Assim como mencionei no artigo sobre motores de busca, o primeiro passo para você aparecer no Google é ter páginas indexadas. Hoje vou explorar este assunto e explicar sobre métodos de indexação no Google.

Verifique no final do artigo, possíveis erros para sua página não estar sendo indexada.

Sites novos

Quando se cria um site novo, é necessário fazer a parte manual.

Eu resumo em 3 princípios básicos para indexar um site novo:

1º Link para seu site

Primeiramente o Por que! Isto porque o Google precisa encontrar o seu site, e ele fica passando em vários sites ao mesmo tempo, você conseguindo colocar o seu link em algum lugar, o Google Bot vai poder encontrar o site, e assim te indexar. Para conseguir colocar o seu link você pode submeter o site em diretório como (NovoBr), colocar o seu link em um outro site que você já tenha e está indexado ou melhor ainda, fazer um comentário em um grande blog colocando o link para seu site, isto realmente vai ajudar o Google a entrar o site rapidamente.

2º Sitemap.xml com url no robots.txt

Sitemap.xml é um índice do site, que ajuda os motores de busca a entender mais sobre o site e encontrar as urls do seu site, consequentemente, mais possibilidade de ter o site indexado.

Quando se cria um arquivo de índice, normalmente os webmasters utilizam o nome “sitemap.xml”, pois por padrão os motores de busca, tentam acessar este arquivo, se o nome de índice for por exemplo “indice.xml”, ou mesmo sendo “sitemap.xml”, é importante coloca-lo no robots.txt.

Da seguinte forma:

Sitemap: http://www.seusite.com/sitemap.xml

Uma boa prática é enviar o sitemap.xml no WMT.

3º Submeter para indexação

Hoje em dia, tudo é mais fácil, antigamente já era possível submeter o site, mas agora realmente ficou melhor. No WMT do Google, você pode enviar sua página e pedir para que indexe. Para fazer isto, siga os próximos passos.

1-Crie uma conta em: https://www.google.com/webmasters/tools

2-Cadastre o site e valide-o

3- Vá em Diagnóstico > Buscar com o Google Bot > Clique no botão “Buscar”

4-Após algum tempo vai ser exibido na linha do site o link “Enviar ao índice”. Clique nele e depois em “Enviar”.

Feito isto, você vai dizer ao Google para indexar aquela página, basta esperar alguns momentos até que ele à indexe.

É apenas isto?

Sim, em todos os sites novos que eu preciso indexar, é feito isto e realmente já consegui indexar novos sites em cerca de 6 horas.

E para páginas internas

Então vamos prosseguir, embora tenha feito o trabalho para o site novo, nem tudo vai poder ser feito para todas as páginas, mas algumas praticas ainda se aplicam e algumas novas serão incluídas.

Diretório e comentários não vai te ajudar para páginas internas.

Quando se fala de conteúdo interno, entra o fator importante e alguns outros fatores.

1º Link para sua página (Arquitetura)

Tudo se baseia no link para as páginas e as ligações são as que leva o Google Bot até elas.

Primeiramente, você tem que entender que o Google Bot é igual uma pessoa, ele vai chegar na página principal de seu site. E partir dali ele começa a seguir.

Quanto menos passos o Bot tiver que passar, mais rápido ele chegará a página e é mais provável que ele indexe.

2º Sitemap por seção

Quando se possui milhares de página no site, a criação de sitemaps para conteúdos novo ou conteúdos não indexados aumenta a velocidade de indexamento. Crie um sitemap geral e um para os conteúdos novos.

3º Feeds e Pings (Blogs)

Feed é uma ótima maneira do google encontrar o seus artigos novos, assim que publicados. E todo blog já vem configurado com a opção de feed, o cadastramento do Feed no FeedBurner ajuda ainda mais o Bot a descobrir o seu conteúdo novo. Então, se tem Feed, cadastre no FeedBurner.

O Sistema WordPress, possui uma área para você colocar uma lista de sites a serem pingados, o que ajuda e muito também ao Google te encontrar.

Este sistema funcionada da seguinte maneira, você coloca as ulrs para ser enviado a notificação de artigo novo e quando você publica um artigo, o WordPress manda uma mensagem para esta url dizendo que possui novidades.  [Lista de Pings para WP]

4º PageRank

Se o site tiver 1 milhão de páginas e PageRank 0, o Google não vai indexar todas as páginas. É difícil acontecer este exemplo, mas se o PageRank é baixo, o Google Bot não vai ficar muito tempo no site.

5º Submeter para indexação

Você pode submeter para indexação no Webmaster Tools assim como foi falado anteriormente.

Como verificar se meu site esta indexado?

Vá até o Google e digite site:seusite.com.br e veja se o site aparece nos resultados. Vale ressaltar que url indexadas realmente aparece com o link [Em Cache] na frente de sua url quando se vê no Google.

Para ver se a página especifica foi indexada, vá até o Google e digite cache:seusite.com/pagina.html

Possíveis problemas!!!

1º Status da página

Para sua pagina ser indexada ela precisa ter o status 200. Para verificar,coloque sua página nesta url: http://www.webconfs.com/http-header-check.php e verifique se apareceu “200 OK”.

2º Página Original e Relevante

O conteúdo é único, não sendo uma cópia de outro site e ele é relevante ou apenas possui várias palavras sem sentido. Muitos casos de páginas não indexadas é pelo motivo dela já existir ou não ser relevante.

3º Meta Tag Robots e Canonical

Verifique o código fonte se esta realmente sem a meta tag robots com “noindex” ou meta tag canonical. Se tiver, ele não será indexado.

4º Bloquei via robots.txt ou senha

Se no robots.txt tiver com: Disallow:pagina.html ou Disallow:/pasta/, o Google Bot não vai poder acessar e não vai indexar esta página ou arquivos dentro de uma pasta que esteja desabilitado.

5º Domínio Banido

Se você comprou um domínio novo, ele pode ter sido banido no passado. Então se você esta com um site bacana, fez todos os passos e não conseguiu indexar, pode ser necessário que você tenha que entrar em contato com o Google pedindo uma reavaliação sobre o domínio.

Se a página é protegida por senha, também não será acessado pelo Bot.

Galera é isto, espero poder ter ajudado e que todos consigam estar com seus sites presentes nos motores de buscas. Abraço