Quando pensamos em SEO logo à partida temos de separar em duas partes; SEO ON-Page e SEO Off-Page. SEO On-Page é tudo aquilo que vamos “mexer” dentro do site/blog. Neste artigo vou falar do ficheiro Robots.txt que é um arquivo de texto e que é utilizado para o Googlebot(é o robô do Google que varre a Internet à procura de conteúdos) ler quais são as páginas que ele vai indexar ou não. Por exemplo; quando num site/blog existe uma área de acesso com password, não há interesse que o Googlebot indexe no seu motor de busca esse tipo de páginas.
São este tipo de informações que podemos colocar no ficheiro Robots.txt. Este arquivo é muito simples de criar, basta um editor de texto simples, como o bloco de notas (notepad) do Windows. Deve estar na raiz do site e usar sempre o nome Robots.txt, sem letras maiúsculas.
Vamos então ver alguns exemplos deste ficheiro:
Exemplo de código que permite que todos arquivos sejam indexados
Exemplo de código que não permite que nenhum arquivo seja indexado
Exemplo de código que permite a indexação de arquivos e pastas
Neste exemplo o directório “admin.php” e “produtos” estão bloqueados para o acesso do Robô, mas a instrução Allow sobrepõe-se a essa instrução permitindo que o Robô rastreie o conteúdo dessa pasta, mesmo estando dentro de uma pasta bloqueada anteriormente. Ou seja, é possível dar permissão aos robôs para lerem pastas ou ficheiros dentro de directórios bloqueados.
Conclusão:
Para estratégias de SEO On-site esta acção é muito importante ser realizada, desta forma estamos a indexar melhor as páginas do nosso blog. Poderá enviar o ficheiro Robots.txt para a raiz do seu site/blog, ou então enviar através do Google Webmaster Tools.
