Todo mundo quer evoluir quando o assunto é SEO.
Mas isso pode ser difícil quando seus concorrentes estão veiculando conteúdo que rankeia melhor do que o seu.
Existem muitas razões pelas quais o conteúdo deles rankeia, claro. Talvez eles tenham uma autoridade de domínio maior do que a sua ou até mesmo tenham construído um público maior.
Mas você não se deve deixar abater por isso.
Existem maneiras de você usar o conteúdo deles a seu favor.
Uma dessas maneiras é usar um scraper de conteúdo (também conhecido como web scraper) para se inteirar do que eles estão fazendo e fazer você também.
O único porém é que você precisa saber como usá-lo corretamente. Do contrário, você pode acabar cheio de dados errados.
Aqui eu te digo o que você precisa saber.
O que é scraping de conteúdo?
Scrapers de conteúdo são programas automáticos que puxam dados de vários sites.
Vamos supor, por um momento, que você queira ver quais tipos de títulos seus concorrentes estão usando nos posts para conseguir o máximo de cliques.
Você poderia entrar em cada site, um por um, passar pelos posts arquivados e copiar cada título em uma planilha. É assim que a maioria dos profissionais de marketing faz.
Mas isso dá muito trabalho.
Alguns sites têm centenas, ou até milhares, de posts arquivados que você vai precisar olhar.
Você pode, então, usar scrapers de conteúdo para capturar esses títulos para você, junto com meta descrições e links, se necessários (são todos fatores que podem influenciar o SEO).
Nesse ponto, você deve estar pensando “Se isso é tão fácil e perfeito, por que todo mundo não está fazendo?”
Bom, provavelmente estão. O Google faz uma varredura do seu site para indexar conteúdo.
É assim que o seu conteúdo rankeia.
Mas existem muitos scrapers do mal por aí, que querem roubar seu conteúdo e postar no site deles para te ultrapassar no ranking.
Eles podem:
- Copiar e republicar conteúdo de forma literal (também conhecido como plágio).
- Copiar conteúdo de outros sites com pequenas modificações, publicando como se fosse original.
- Listar outros posts nos seus feeds de outras fontes (pense nisso como links externos feitos de forma errada).
O Google não gosta dessas coisas, e vai te penalizar por isso.
Eu não quero que você faça nenhuma dessas coisas também.
Eu não acredito em roubar conteúdo para rankear, principalmente porque conteúdo original é ótimo para o marketing.
O que você pode fazer é usar scrapers como uma ferramenta de marketing “white hat”.
Em outras palavras, você pode extrair dos sites só os dados que você precisa sem ter que fazer tudo manualmente, e sem usar esses dados para copiar conteúdo.
Você vai usar os dados para tornar suas práticas de marketing mais robustas.
Aqui vão algumas maneiras pelas quais você pode usar scrapers de conteúdo para alavancar seu SEO.
1. Scraping de resultados de palavra-chave orgânicas
A melhor maneira de usar scrapers de conteúdo é na busca de palavras-chave.
Isso significa descobrir para quais palavras-chave seus concorrentes estão rankeando, quais metadados eles usam para seus posts e que tipo de anúncio PPC eles estão veiculando.
Você pode começar com um plugin simples de scraping de conteúdo como o Scraper for Chrome.
Mas, dependendo do que você quiser fazer, uma ferramenta mais robusta pode ser melhor.
Você também pode construir seu próprio scraper de conteúdo se você tem conhecimento de programação.
A ferramenta que você deve escolher vai depender, fundamentalmente, de quantos sites você quer varrer.
Se você quer saber o que centenas de outros sites no seu mercado estão fazendo, você vai precisar de mais do que um simples plugin.
Para caçar uma lista de palavras-chave competitivas, por exemplo, uma ferramenta como o SEMRush (tecnicamente um web scraper) é rápida e fácil.
Mas o SEMRush não vai varrer todos os sites porque muitos deles usam proxies para bloquear web scrapers.
Se você precisar expandir sua busca para sites “não-buscáveis”, você pode usar uma ferramenta como o ScrapeBox.
O Scrapebox é uma boa alternativa ao SEMRush porque funciona em praticamente qualquer site. E é bem fácil de usar.
Para usar o Scrapebox, insira uma palavra-chave (ou lista de palavras-chave) na ferramenta Keyword Scraper do ScrapeBox.
Em seguida, você deve selecionar as fontes do scraping e mecanismos de busca.
Você tem algumas opções, incluindo o Google Suggest, YouTube Suggestions e Google Product Search.
Depois de escolher seus sites, clique “Scrape”.
Dependendo das fontes que você escolher, pode levar vários minutos para gerar uma lista.
Mas depois que ela estiver pronta, você deve ter uma lista bem maior de palavras-chave em potencial disponíveis para você.
Só não se esqueça de se livrar das palavras-chave duplicadas usando a funcionalidade “Remove Duplicate Keywords”.
Pronto!
Pesquisa escalável de palavras-chave de qualquer site, sem firulas.
2. Pesquise textos do Adwords como inspiração
O SEMRush pode não ser tão bom para sites “não-buscáveis”, mas ainda é um web scraper útil para o Adwords.
Embora alguns sites bloqueiem web scrapers para não usarem seus metadados, por exemplo, anúncios do Adwords têm menos chances de serem bloqueados.
Para encontrar palavras-chave pagas, vá até SEMRush > Advertising Research > Positions e insira um domínio.
Vai aparecer uma lista de palavras-chave adquiridas por aquele domínio via AdWords.
Clicando nas setas na coluna CPC, você pode organizar os resultados em ordem crescente ou decrescente de acordo com o valor.
Você pode exportar esses dados para uma planilha para monitorar suas palavras-chave.
Se você tem acesso ao SEMRush, mas não gosta da organização das palavras-chave feita na exportação, você também pode usar um plugin como o SEOGadget para Excel.
Ele pega os dados do SEMRush (ou outras ferramentas de web scraper, como o Moz) e os organiza automaticamente no Excel.
Você pode fazer a varredura diretamente do Excel usando diferentes fórmulas e funções do programa.
Isso pode ser bem útil se você for o tipo de pessoa que não gosta de usar dez ferramentas diferentes só para fazer uma busca preliminar de palavras-chave.
Você pode configurar o processo no Excel e fazer com que os campos sejam preenchidos automaticamente quando você precisar deles.
O plugin também é gratuito, desde que você tenha uma chave de API para uma ferramenta como o SEMRush.
Então, se você já estiver fazendo pesquisa de palavras-chave usando ferramentas de web scraper isso vai te poupar bastante tempo e energia.
3. Encontre influenciadores em potencial com comentários de blog
Eu já falei aqui antes sobre como comentários de blog podem melhorar seu SEO e te ajudar a se conectar com seu público.
É por isso que os comentários no meu blog estão habilitados.
Eu também sei que guest blogging é uma ótima maneira de dar uma turbinada no SEO, principalmente se você consegue encontrar influenciadores de peso para escrever para você.
Eu faço guest blogging o tempo todo.
Já tem um público pronto bem ali, e você vai conseguir um aumento considerável no seu tráfego.
Nem sempre é fácil conseguir que esses influenciadores de peso escrevam para você. Muitos deles estão ocupados ou não fazem guest posts em qualquer site, muito menos o seu.
Mas você sempre pode encontrar pessoas dispostas a escrever para você – influenciadores menores ou especialistas menos conhecidos – pesquisando comentários do blogs.
Se você quer “evangelizadores de marca” para o seu próprio blog, você pode varrer todos os seus comentários para encontrar alguém interessado em guest posting.
Esse método sequer envolve seus concorrentes.
A primeira coisa que você precisa fazer é encontrar todos os posts relacionados a um determinado assunto no seu site, e varrer os nomes e informações de contato de quem comentou nesses posts.
Quando você tiver os nomes e contatos das pessoas que comentaram, você pode ir até elas e perguntar se elas têm interesse em escrever para você.
Se você está varrendo seu próprio site, você já tem um ponto de conexão (eles já comentaram no seu post, então eles sabem quem você é), o que te dá um lead mais quente do que um email frio.
Você também pode varrer sites de concorrentes para encontrar outros influenciadores, mas tenha em mente que qualquer contato que você fizer vai ser totalmente frio.
Lembre-se: só porque alguém comentou em um blog não dignifica que eles querem solicitações, então faça uma abordagem cuidadosa.
4. Use feeds de dados para pesquisa de guest blogging
E se você quiser ser a pessoa escrevendo o guest post?
Ter seu nome e site linkados para outros blogs é uma ótima maneira de alavancar o SEO do seu próprio site. Mas nem sempre é fácil se tornar um blogueiro convidado.
Você precisa:
- Desenvolver relacionamentos com outros sites.
- Descobrir como eles produzem seu conteúdo (eles podem não te dizer).
- Ter uma ou duas boas ideias (ou até dez).
- Escrever um email frio vendendo para eles por que você daria um bom guest poster.
Embora acabe valendo a pena pela melhora no SEO, pode ser um processo rigoroso dependendo de quem você estiver tentando convencer.
Confira essas regras para submeter conteúdo para um site como o da Forbes, por exemplo:
Muito provavelmente, eles vão querer alguém que já conheça o conteúdo escrevendo para eles.
Você não deve, no entanto, perder tempo buscando o site inteiro para encontrar artigos relacionados à sua proposta.
Isso pode ser absurdamente demorado.
Então, em vez de fazer isso, use um web scraper para extrair informações do blog a partir do feed RSS.
Primeiro, você precisa achar o RSS para o blog. Normalmente, é algo como “dominio.com/blog/feed” (nem todos os sites têm um feed RSS como esse, então isso não funciona para todos).
Você pode encontrar o meu aqui, por exemplo. Ele é mais ou menos assim:
Mas é só um monte de dados crus.
É aí que o web scraper vai ser útil. Ele vai categorizar esses dados em uma lista ou planilha de títulos, autores, datas de publicação, links de URL e por aí vai.
Isso vai permitir que você navegue pelos dados para obter conteúdo relevante.
Você poderá então encontrar posts compatíveis com a sua ideia, ou desenvolver ideias de assuntos que podem atrair o público deles.
É tudo para fins de pesquisa, claro, mas uma pesquisa que pode te render um guest post.
E se a sua ideia vingar, vai ser ótimo para seus rankings.
5. Determine suas categorias de melhor performance
Por mais que eu quisesse muito dizer que todos os meus blogs aparecem nas SERPs da primeira página do Google, eles não aparecem.
Muitos, sim, mas não todos.
Eu tento escrever conteúdo que tenha pelo menos alguma chance de aparecer na primeira página, o que significa que eu passo algum tempo revendo meus posts de maior sucesso.
Eu descobri que não é só um título específico que torna alguns posts mais compartilháveis do que outros. É o assunto em si.
Algumas categorias são simplesmente mais compartilháveis entre o meu público do que outros.
Quando eu dou uma olhada nos meus posts mais compartilhados, eu consigo ver um padrão:
Normalmente, eles falam sobre marketing de conteúdo.
Então eu listo a categoria próximo ao topo da página inicial do meu blog.
Meus assuntos mais populares tendem a se encaixar em um número menor de categorias.
Claro que eu já escrevi sobre outras coisas. Mas são essas que as pessoas mais procuram saber de mim.
Você pode descobrir quais categorias estão indo melhor usando um scraper de conteúdo como o Ahrefs Site Explorer.
Digite o domínio que você quer buscar, clique em “Top Content” e exporte os resultados.
Seu documento vai ficar mais ou menos assim:
Você pode então encontrar as categorias mais populares para cada post clicando nos links individualmente e visualizando-os através de um web scraper como o Screaming Frog.
O Screaming Frog vai analisar os resultados e organizá-los com base em métricas específicas.
Isso vai te mostrar em detalhes quais categorias estão performando melhor com o seu público.
Você também pode usar essa ferramenta em sites concorrentes, para ver como eles organizam seu conteúdo e o que é mais atraente para o público deles.
É uma ótima estratégia se você estiver em busca de adicionar categorias ou restringir os assuntos do seu blog.
Eu normalmente recomendo fazer esse tipo de pesquisa pelo menos uma vez por ano para ter certeza de que seu conteúdo ainda faz sentido para o seu público.
6. Encontre conteúdo em fóruns para criar backlinks
A maioria dos profissionais de marketing sabe que construir backlinks é uma parte importante do SEO.
Uma das melhores maneiras de construir backlinks é usando fóruns como o Quora e o Reddit para encontrar perguntas relacionadas à sua empresa e respondê-las, normalmente com um link para o seu site.
Veja um exemplo de um subreddit do Content Marketing:
Mas isso parece meio bagunçado, não?
Bom, o Reddit torna até bem fácil coletar e organizar dados do site.
Eles têm uma API (uma aplicação web) já configurada para a coleta de dados. Muitos fóruns e sites têm APIs que te ajudam a coletar dedos de forma legal.
Você pode acessar a API do Reddit através da Reddit wiki no GitHub, da documentação de API deles, ou do subreddit /r/redditdev.
Por mais que isso requeira um certo conhecimento técnico, pode te ajudar a se situar no caos de fóruns que costumam ter mais de 100 páginas apinhadas de conteúdo.
Infelizmente, o Quora não permite scraping no site deles por razões legais.
Então, por mais que você consiga conteúdo deles através de um web scraper, é considerada uma manobra “black hat”, e é melhor ficar longe disso.
Mas eu não deixo de mencionar porque você ainda assim pode pesquisar as principais perguntas do Quora usando a barra de busca deles.
Não é “automático” como um scraper normalmente seria, mas ainda funciona.
Mas existem outros fóruns que permitem scrapers nos seus sites, como o StackOverflow.
Se você está falando com outros desenvolvedores, ou quer criar conteúdo para proprietários de SaaS, por exemplo, varrer as principais perguntas desse site vai ser bem útil.
E você sempre pode usar esses dados coletados para mais do que apenas backlinks, é claro.
Usar fóruns é uma ótima maneira de ter ideias de assuntos para blogs.
Se você está usando um web scraper para extrair as principais perguntas como inspiração para o seu blog, garanta que o seu scraper está configurado para extrair posts que tenham respostas.
Isso vai te poupar bastante tempo quando você efetivamente for escrever seu conteúdo.
7. Consiga mais dados para os seus posts
Você também pode ir atrás de conteúdo que torne seus posts mais robustos.
Encontrar dados precisos, seja um estudo de caso, relatório ou informação sobre um produto, pode fazer a diferença se você está tentando escrever um post de qualidade.
Digamos que você vá fazer a resenha dos melhores produtos da Amazon em categorias específicas (Casa, Eletrônicos, etc.).
Você precisa conferir se tem as informações corretas de preços e funcionalidades.
Mas a Amazon é muito grande. Não é à toa que eles dizem que são “A maior seleção da Terra”.
A maneira mais fácil de proceder é usar um web scraper que extraia informação automaticamente de sites como Amazon, eBay, ou Google Shopping.
Ferramentas como o Webhose.io fornecem dados em tempo real para milhares de sites, e eles têm um plano gratuito para até 1.000 requisições mensais.
Isso pode ser bem útil para profissionais de marketing que queiram dados rápidos de um grande número de sites sem gastar centenas de dólares com uma ferramenta de web scraping maior.
Se você quiser criar uma lista com “Os Melhores Softwares de Email Marketing de 2018,“ por exemplo, você pode extrair os preços e informações de funcionalidades de vários sites de uma vez só para completar essa lista.
Você também pode extrair dados de sites como o Statista para compilar pesquisas para gráficos ou outro tipo de conteúdo compartilhável.
Basicamente, você pode encontrar qualquer dado que você precisar para tornar seus posts melhores e mais originais.
Isso não só vai te ajudar a criar links externos, mas também vai melhorar a qualidade do seu conteúdo.
E todos sabemos que o Google (e o seu público) ama conteúdo de qualidade.
Dicas para usar scrapers de conteúdo
Quando o assunto são web scrapers, é importante garantir que você os está usando para pesquisa e para reforçar seu trabalho de marketing.
Seja o que você fizer, por favor não use-os para plagiar conteúdo de outras pessoas.
Não só isso é um sinal vermelho para o Google, mas também é ruim para estabelecer relacionamentos com outros blogs.
Se você está tentando construir backlinks se tornando um guest poster, por exemplo, você não vai querer roubar o conteúdo desse site.
Eles provavelmente vão perceber.
Você também deve usar ferramentas consideradas “white hat”.
Web scrapers Black-hat — aqueles criados para roubar conteúdo, por exemplo — podem ser usados para scraping white-hat, mas você precisa ficar atento e usá-los da forma correta.
Scrapebox, a ferramenta que mencionamos anteriormente, pode ser usada tanto para scraping white quanto black-hat, por exemplo.
Mas a maioria dessas ferramentas é criada para profissionais de marketing white-hat, mesmo que as pessoas as utilizem da maneira errada.
Se você realmente quiser automatizar o processo, considere usar ferramentas prontas “fora da caixa”, ou seja, em que você pode inserir palavras-chave ou nomes de domínio e obter resultados.
Web scraping pode ser bem complicado, principalmente se você não tem conhecimento de programação.
Mesmo que você entenda de programação, tem muitas coisas que podem dar errado com um web scraper.
E muitos sites têm proxies e outras ferramentas para quebrar web scrapers se eles não forem bem desenhados.
De forma geral, um web scraper como o SEMRush costuma dar conta do recado.
Mas saiba que há outras opções disponíveis se você quiser mais dados.
Conclusão
Web scraping pode ser ótimo para pesquisa de marketing quando feito de forma correta.
Primeiro, certifique-se de que você está usando a ferramenta certa para o trabalho. Se você tem uma varredura muito pesada para fazer, ou quer obter informações de vários sites diferentes, talvez seja melhor usar algo mais robusto.
Se você só quer extrair títulos de posts metadados, tem alguns plugins que vão funcionar bem.
Só tenha em mente que tudo isso deve ser white hat, ou seja, que você não vai usar esses dados com interesses escusos.
Use-as para encontrar as informações mais importantes primeiro: palavras-chave, metadados, anúncios PPC e inspiração para o seu blog.
E não se esqueça de varrer seu próprio site para obter essas informações também.
Quanto mais você souber sobre os seus próprios dados, melhor serão suas estratégias de marketing.
Como você usa web scrapers para estratégias white-hat?
Cresça seu tráfego