Como Usar o Orçamento de Rastreamento do Google para Melhorar o SEO do Site

crawl seo

Eu já fiz consultoria para centenas de negócios, e respondi milhares de perguntas sobre SEO.

Ao sentar com um cliente novo, eu sempre pergunto quais são os objetivos dele.

Quase sempre, as respostas são as mesmas:

“Quero otimizar meu conteúdo para palavras-chave.”

“Quero ranqueamento mais alto no Google.”

“Quero direcionar mais tráfego para o meu site.”

Mas existe uma necessidade muito mais fundamental que todo especialista em SEO precisa abordar.

Pense nisto: o que é SEO?

A pergunta é óbvia, mas siga a minha lógica.

Fazer SEO é otimizar seu site para mecanismos de busca, certo? Isso significa que é importante considerar como os mecanismos de busca interagem com o seu site..

Esse é um elemento básico do SEO, mas que não recebe tanta atenção quanto palavras-chave ou rankings, apesar de merecer mais.

Há muitos fatores que afetam a forma como os mecanismos de busca tratam seu conteúdo.

O orçamento de rastreamento do Google é um desses fatores.

Se você entender bem o orçamento de rastreamento, vai poder usar algumas técnicas para garantir que o seu site seja rastreado de maneira eficaz.

E isso significa que você vai ter resultados de SERPs melhores, e um SEO melhor em geral.

Não se preocupe: isso não envolve nada técnico demais.  Esses métodos são fáceis para qualquer pessoa e podem te dar uma vantagem enorme em termos de SEO.

O que é o orçamento de rastreamento do Google?

Nos últimos anos, o termo “orçamento de rastreamento” tem circulado entre os entusiastas do SEO. Muita gente especulou sobre o que o termo significava, mas não havia uma definição oficial.

Não até janeiro de 2017.

Foi então que Gary Illyes, do Google, publicou um post de blog que definiu especificamente o que é o orçamento de rastreamento do Google.

Segundo Illyes, o que as pessoas chamam de “orçamento de rastreamento” na verdade é visto pelo Google como dois fatores diferentes.

Esses dois fatores são o limite de taxa de rastreamento e a demanda de rastreamento.

Veja como o Google define o limite de taxa de rastreamento:

Screen Shot 2017 05 27 at 6.55.13 PM

Basicamente, o Google não quer sobrecarregar seu site com um rastreamento muito pesado.

O limite de taxa de rastreamento impede o Googlebot de fazer solicitações demais e deixar seu site lento.

Se ninguém estiver usando seu site, ele vai responder ao Googlebot rapidamente, e assim o Googlebot provavelmente vai rastrear mais.

Entendeu? Ótimo.

Agora vamos ver a definição de demanda de rastreamento:

Screen Shot 2017 05 27 at 6.55.17 PM

Isso tem implicações enormes para o SEO. O Google está dizendo que conteúdos populares e novos têm uma demanda de rastreamento mais alta (vamos falar mais sobre isso mais à frente).

Eles resumem tudo isso para te dar uma definição do orçamento de rastreamento do Google:

“Considerando o limite de taxa de rastreamento e a demanda de rastreamento em conjunto, nós definimos o orçamento de rastreamento como o número de URLs que o Googlebot pode e quer rastrear.”

Muito simples, não é?

Idealmente, você vai querer que todas as suas páginas sejam rastreadas, e que o Googlebot queira rastrear seu site .

pasted image 0 49

Agora é hora de responder a pergunta que está na sua cabeça: Como aproveitar o orçamento de rastreamento para obter um SEO melhor?

O importante é dar ao Google exatamente o que ele deseja.

O Google tem uma missão: oferecer a melhor experiência de busca para os seus usuários.

Se você puder ajudá-los nessa missão, será recompensado.

Vejamos como exatamente você pode fazer isso.

Melhorando a velocidade do site

A velocidade do site é essencial para ter um bom SEO, e isso também é verdade em termos do orçamento de rastreamento do Google.

Faz sentido: se o seu site for mais rápido e tiver um desempenho melhor em geral, ele vai poder lidar com mais solicitações do Googlebot e de usuários humanos, simultaneamente.

O Google comenta isso no final de seu post de blog sobre orçamento de rastreamento.

Screen Shot 2017 05 27 at 6.55.28 PM

Assim, se você deixar seu site mais rápido, seu orçamento de rastreamento vai aumentar.

Mas antes de fazer qualquer coisa a esse respeito, você precisa testar a velocidade do seu site.

Eu uso o testador Pingdom:

Screen Shot 2017 05 27 at 2.15.09 PM

Você pode testar sua velocidade a partir de 4 locais. Eu recomendo que você use todos eles, para ter uma ideia da experiência que o seu site oferece a usuários em todo o mundo.

Isso pode levar desde alguns segundos a cerca de 2 minutos, dependendo do tamanho do seu site.

Quando o teste estiver concluído, você vai receber um resumo com informações úteis:

Screen Shot 2017 05 27 at 2.15.14 PM

Isso vai te dar uma boa ideia de como o seu site está se saindo.

O tempo de carregamento e o número de solicitações são particularmente importantes.

Seu tempo de carregamento deve ser o mais curto possível. Ele deve se situar no intervalo entre 500 milisegundos e 2 segundos.

pasted image 0 48

Mais do que isso e você corre o risco de o seu site receber menos atenção do Google.

John Muelle, do Google, declarou que, se uma página em seu site levar mais de 2 segundos para carregar, o Google poderá rastrear seu site mais lentamente.

2 segundos é bem rápido, certo? Mas para o Google, isso não é rápido o suficiente.

Seu site deve ter também o mínimo possível de solicitações.

Se você tiver um número baixo de solicitações, o Googlebot vai poder fazer mais solicitações e rastrear o seu site mais rapidamente.

E então, qual é o número ideal?

O especialista em performance web Steve Souders publicou no Twitter que o número médio de solicitações é 99.

Screen Shot 2017 05 27 at 7.04.28 PM

Se você estiver abaixo desse limite, excelente. E se estiver na faixa de 0-50, melhor ainda.

Nesse ponto, você já deve ter entendido como a velocidade do site é relacionada ao orçamento de rastreamento do Google. Mas nem todos os sites são super rápidos.

Se o seu site for mais devagar que uma lesma, não se preocupe. Há alguns passos simples que você pode implementar para deixá-lo mais rápido.

Veja o que eu recomendo:

1. Deixe seu design mais leve

Isso pode ser difícil.

Em 2017, todo mundo quer usar os designs mais novos e populares.

Há muitos designs que certamente são bonitos mas nem sempre funcionam bem para os usuários.

Veja o BuzzFeed, por exemplo.

Screen Shot 2017 05 27 at 2.43.06 PM

Esse design definitivamente está na moda.

Mas será que ele é funcional? Nem tanto.

Os números dizem tudo:

Screen Shot 2017 05 27 at 2.42.56 PM

Ele fica apenas um pouco abaixo daquele limite de 2 segundos, e tem 222 solicitações.

Isso dói.

Não estou dizendo que você não pode ter um bom design e também um bom desempenho.

Estou dizendo que nem todo design bonito vale a pena.

Se você constatar que seu site é mais lento do que você gostaria, tente simplificar. Você ainda pode ter um ótimo design, e de fato, muitas vezes você pode até manter seu design atual. Você só tem que fazer alguns ajustes.

Comece ativando a compressão. Isso vai reduzir a banda tomada pelas suas páginas.

Gzip é uma das melhores ferramentas para isso.

pasted image 0 54

A seguir, tente reduzir o tamanho das suas imagens, ou comprimi-las.

Imagens grandes podem acabar com a sua velocidade. Elas podem facilmente levar seu site a demorar mais de 2 segundos para carregar.

Eu recomendo tentar primeiro reduzir os tamanhos dos seus arquivos, apesar de a compressão ser uma opção mais conveniente.

Compressor.io faz isso para você em poucos minutos:

Screen Shot 2017 05 27 at 7.05.38 PM

E se você tiver imagens desnecessárias, eu sugiro removê-las.

Ao adicionar novas imagens, tente limitar o tamanho dos arquivos, se possível.

Finalmente, se puder, você deve fazer alguns ajustes ao seu código.

O excesso de código pode deixar um site pesado como um elefante. Isso não só cria uma experiência de usuário ruim, mas também força o seu site a usar mais tempo para responder.

Se você for programador ou conhecer um desenvolvedor, vale a pena aperfeiçoar seu código.

pasted image 0 52

Você deve fazer duas coisas: 1) Deixar o JavaScript asíncrono e 2) combinar o máximo possível de arquivos CSS.

Talvez você não entenda esses passos, mas eles vão apenas simplificar seu código.

Assim, lembre-se: quando se trata de design, você precisa ter um equilíbrio entre tendências e funcionalidade. Não deixe que a aparência te faça esquecer do desempenho.

Tudo isso vai te ajudar a aumentar seu orçamento de rastreamento e permitir que o Googlebot envie mais solicitações. E isso vai garantir que o seu site seja rastreado com mais frequência.

2. Preste atenção a erros de rastreamento

Aqui está outra dica do Google:

Screen Shot 2017 05 27 at 6.55.39 PM

Erros de rastreamento acontecem quando o Googlebot está rastreando seu site e se depara com um problema.

Obviamente, você não deseja ter erros de rastreamento. Mas como monitorar isso?

Talvez você não saiba, mas na verdade o Google de informa sobre qualquer erro que encontrar enquanto rastreia seu site.

Isso é uma função de uma das minhas ferramentas favoritas, o Google Search Console.

Para chegar à seção de Erros de Rastreamento, abra o Search Console e selecione a propriedade que você quer analisar.

Na barra lateral esquerda, clique em Crawl.

Screen Shot 2017 05 28 at 12.32.21 AM

Depois clique em “Crawl Errors.”

Screen Shot 2017 05 28 at 12.32.23 AM

Você verá então o painel de erros de rastreamento.

Screen Shot 2017 05 28 at 12.32.31 AM

Há um gráfico que mostra em formato visual quantos erros você teve.

Ao final, há uma lista que especifica as URLs que estão retornando erros de rastreamento (caso você tenha alguma.)

Há dois tipos de erros mais comuns: erros de servidor e erros de URL.

Para o nosso objetivo, precisamos observar os erros de servidor, já que é disso que o Google fala em seu blog.

Se você tiver um erro de servidor, vai ver um gráfico como este:

Leia mais sobre erros de servidor no Google:

Screen Shot 2017 05 28 at 12.34.58 AM

O Google fornece mais informações sobre erros de servidor nesta página.

Geralmente esses erros significam que o seu site está demorando demais para responder. Seu servidor pode estar sobrecarregado ou até mesmo temporariamente desativado.

Para ajudar a diagnosticar esses erros, o Google recomenda usar a função Fetch as Google, disponível no Search Console.

Screen Shot 2017 05 28 at 12.35.02 AM

Para ir até lá, vá ao menu lateral do Search Console e clique em Crawl, e depois em Fetch as Google.

Screen Shot 2017 05 28 at 12.37.11 AM

Experimente ver sua homepage, deixando a caixa em branco e clicando em “Fetch.” (Você deve também experimentar a opção “Fetch and Render”, separadamente, para resultados mais completos.)

Se o Fetch as Google retornar sua homepage sem nenhum erro, você provavelmente pode assumir que o Google está acessando seu site sem problemas. Isso é um bom sinal, e o erro pode desaparecer.

Se o erro persistir ou você não conseguir fazer fetch do seu site, pesquise como corrigir erros de servidor. Talvez você tenha que falar sobre isso com um especialista, mas vale a pena, já que os erros de servidor podem ser mortais para o seu site.

3. Remova as URLS de baixo valor 

Naquele post de blog, o Google menciona especificamente “URLs de baixo valor.” Elas “podem afetar negativamente o rastreamento e indexamento de um site.”

Faz sentido. O Google quer conteúdo de alta qualidade – a nata. URLs de baixo valor funcionam como enchimento e por definição não são de boa qualidade.

Essas páginas de má qualidade podem incluir:

Screen Shot 2017 05 27 at 6.55.53 PM

Existem algumas regras simples que você pode seguir para evitar URLs de baixo valor como estas:

Primeiro: verifique se todas as suas páginas estão funcionando corretamente

Você deve ter o mínimo possível de páginas 404 (especialmente soft 404s), e deve usar redirecionamentos apenas quando estritamente necessário.

Segundo: evite conteúdo duplicado.

Você provavelmente já sabe que o Google vai te punir por publicar conteúdo duplicado. Mas isso também pode afetar negativamente seu orçamento de rastreamento do Google.

pasted image 0 50

Terceiro: evite espaços infinitos

Isso acontece quando um link continua para sempre. O Google dá o exemplo de um calendário com um link “próximo mês”. O Googlebot teoricamente poderia seguir esses links infinitamente.

Como o Google explica, “rastrear essas URLs pode usar uma largura de banda desnecessária e resultar no Googlebot falhando ao tentar indexar completamente o conteúdo real do seu site.”

Viu como isso pode ser perigoso? É uma situação que você deve evitar a qualquer custo.

Em resumo: verifique que cada URL em seu site está contribuindo de alguma forma. Não utilize SEO black hat SEO ou outras táticas duvidosas.

Aumente sua popularidade

Todo site quer ser popular. Isso é parte de todas as estratégias de SEO.

E afinal, popularidade também é importante para o Google.

Veja só estes comentários do Google:

Screen Shot 2017 05 27 at 6.56.04 PM

Assim, apesar de isso não parecer óbvio, uma boa estratégia de marketing de conteúdo pode melhorar seu orçamento de rastreamento do Google.

Você quer que as pessoas compartilhem seu conteúdo como loucos. Quanto mais links para o seu site, mais o Google vai te rastrear.

Uma boa estratégia de backlinks pode te ajudar a ficar mais popular. E claro, se você criar uma onda de compartilhamentos nas mídias sociais, isso vai ser perfeito.

O Google vai reconhecer seu site como uma autoridade e você vai ganhar um orçamento de rastreamento mais alto.

Mas para se tornar popular, primeiro você precisa…

Manter tudo atualizado

Outra forma de aumentar seu orçamento de rastreamento do Google é oferecer o que ele quer: conteúdo atualizado.

Isso acompanha a popularidade. Quanto mais conteúdo novo e abrangente você publicar, mais as pessoas vão compartilhar, e maior será o seu orçamento de rastreamento.

Existem algumas formas diferentes de manter seu site atualizado:

A primeira é criar conteúdo novo. Sei que isso é óbvio, mas preciso mencionar esse método, já que ele é a forma mais eficaz de manter o seu site atualizado.

pasted image 0 51

Mas esse efeito de novidade pode diminuir com o tempo. Em outras palavras, o Google vai dar um impulso inicial ao conteúdo quando ele for publicado, mas ao longo do tempo, o SEO dele vai cair.

É por isso que é importante continuar adicionando conteúdo novo e fazer disso uma parte regular da sua estratégia de conteúdo.

A segunda tática é modificar conteúdo já existente. Se o Google perceber uma alteração no seu conteúdo, provavelmente vai rastrear seu site novamente.

Se encontrar melhorias no seu conteúdo, o Googlebot vai te atribuir um orçamento de rastreamento mais alto.

A terceira tática é adicionar novas páginas. O Google opera sob a lógica de que sites populares vão crescer, e a adição de páginas completamente novas é um bom sinal de crescimento.

Mas você não deve adicionar novas páginas só por adicionar. O Google ainda procura qualidade acima de tudo.

A quarta tática é obter links de sites atualizados. Você provavelmente já sabe que backlinks passam mais link juice para o seu site.

pasted image 0 53

Se você obtiver links de sites que o Google considera atualizados, parte dessa qualidade vai ser repassada para o seu site.

Isso deve ser parte da sua estratégia geral de link building. Tenha como objetivo outros sites que são atualizados regularmente, e isso vai te ajudar a obter um orçamento de rastreamento do Google mais alto.

Conclusão

O orçamento de rastreamento do Google não é muito discutido, mas é uma peça central do SEO.

Ele te faz pensar sobre o que o seu site está contribuindo para a Internet.

E é também uma métrica extremamente sincera. Você não pode usar atalhos para melhorar seu orçamento de rastreamento.

Você precisa criar conteúdo incrível e fazer com que tudo mundo saiba disso.

Afinal, o Google está pensando em seus usuários. E o que os usuários do Google desejam? Os melhores e mais relevantes resultados.

Consequentemente, o Google deseja aumentar os orçamentos de rastreamento..

O Google quer que os usuários encontrem o melhor conteúdo possível. Assim, se ele vir que alguns sites estão fazendo coisas boas, vai recompensá-los por isso.

Por outro lado, se o seu site não estiver contribuindo muito, você vai ter dificuldades para aumentar seu orçamento de rastreamento do Google.

No fim das contas, o importante para o orçamento de rastreamento é a qualidade. E esse deve ser o seu foco.

Assim, fique à vontade para usar essas técnicas para aumentar seu orçamento de rastreamento. Mas não se esqueça de oferecer algo de novo.

Como você planeja aumentar seu orçamento de rastreamento do Google? Que dicas você tem para aumentar o rastreamento de um site?

Compartilhe