Como usar noindex/nofollow e X-Robots-Tag

person holding white printer paper
dmendes40 Avatar

Ao adicionar descrições noindex, nofollow e noarchive com meta tags a páginas específicas, você pode instruir os rastreadores do mecanismo de pesquisa a processar a página.

Em geral, as tags noindex são escritas quando há uma página que você não precisa ou não deseja que apareça nos resultados da pesquisa, mas se você deseja que sua página seja exibida nos resultados da pesquisa, noindex ou nofollow Se for o caso, você deve corrigi-la.
Vou explicar o efeito de cada tag.

Qual é a descrição (meta) que controla o rastreador?

Existem noindex , noarchive none, etc. na meta tag na tag head ao descrever o controle relacionado ao robô, e essas instruções são chamadas de diretivas . Especificamente, é como segue.

Exemplo concreto de descrição para controlar o rastreador

noindex

noindex indica nenhum índice .

<meta name=”robôs” conteúdo=” noindex ”>noarchive

noarchive indica recusa em armazenar em bancos de dados de mecanismos de busca .

<meta name=”robots” content=”noarchive”>

Negar armazenamento em bancos de dados de mecanismos de pesquisa significa simplesmente não aparecer no cache de resultados de pesquisa.
Como uso, é possível escrever noarchive em páginas onde as informações mudam com frequência, como sites de comparação e sites de EC. Alguns usuários podem navegar no cache em algum momento e serem enganados por informações de preços desatualizadas.

A propósito, algumas pessoas podem estar preocupadas com a possibilidade de que escrever noarchive possa afetar o ranking.
John Mueller, do Google, nega categoricamente isso.

nenhum indica negar tanto a indexação quanto o rastreamento de links .

<meta name=”robôs” conteúdo=”nenhum”>não siga

silver iMac near iPhone on brown wooden table

nofollow indica ao rastreador para não seguir nenhum link colocado na página.
*A partir de setembro de 2019, as regras mudaram de diretivas obrigatórias para dicas fracas.

<meta name=”robots” content=”nofollow”>

Além disso, nosnippet que não exibe o snippet nos resultados da pesquisa, noimageindex
que não indexa a imagem da página, indexifembedded que é
usado quando você deseja indexar na página de incorporação mesmo que o próprio conteúdo incorporado seja noindexed , após o
A data especificada tem unavailable_after: [RFC-850 date/time]diretivas como .

Metatag de robôs, data-nosnippet, especificação X-Robots-Tag
Nova tag de robôs: indexifembedded

Cabeçalho HTTP X-Robots-Tag

Como alternativa para não usar a metatag robots, você pode usar a X-Robots-Tag como um elemento de cabeçalho de resposta HTTP para URLs específicos.

X-Robots-Tag: noindex indica nenhuma indexação .

X-Robots-Tag: noindex

Ao configurar, pode haver muitos casos em que você edita diretamente o arquivo “.htaccess” ou “httpd.conf”.
*Depende do servidor que você usa.
O comentário do Google incluiu um exemplo de configuração para cada arquivo.

<Files ~ “\.pdf$”>
Conjunto de cabeçalho X-Robots-Tag “ noindex , nofollow”
</Files>

Ao especificar por URL, parece que você deve defini-lo em httpd.conf de uma maneira diferente.


E se eu escrever errado?

Obviamente, até a página que você deseja exibir será excluída dos resultados da pesquisa.

Ao criar um novo site com WordPress, você pode especificar noindex para evitar que a página em construção seja indexada pelos mecanismos de busca. E você pode esquecer de mudar a configuração e publicá-la enquanto mantém a configuração noindex.

Agora, mesmo que você publique seu site, ele não aparecerá nos resultados da pesquisa.

Erros de configuração comuns com noindex e robots.txt

Se você definir noindex em meta para evitar que os mecanismos de pesquisa exibam uma página indexada existente e também bloqueie o rastreamento para essa página no robots.txt, ela permanecerá exibida nos resultados da pesquisa para sempre.

As configurações de robots.txt e configurações de noindex são semelhantes em termos de controle de rastreadores, mas devem ser entendidas e usadas corretamente.

Robots.txt é resumido em ” Como criar e descrever robots.txt Como usar e notas como especificação de mapa do site XML (Google) “.

Assim como no robots.txt, é melhor evitar situações em que a página especificada por canonical seja não indexada, pois isso pode confundir o Google.

O Google usa o comando de rastreamento mais restritivo

Os bots do Google parecem usar o comando mais restritivo quando confrontados com descrições de comando de rastreamento conflitantes.
Por exemplo, os seguintes exemplos concretos são mostrados.

Pergunta sobre a manipulação JS do código NofollowComo é tratado quando noindex e index são escritos na mesma página ?

O Google irá tratá-lo como noindex.Como o nofollow é escrito no HTML original e excluído no JavaScript ?

O Google irá tratá-lo como nofollow.A metatag do robô não é descrita, como é processada se a descrição noindex for adicionada em JavaScript ?

O Google irá tratá-lo como noindexComo será processado se noindex e follow forem descritos?

Descrições de noindex e follow são tratadas como noindex no início, mas depois de um certo período de tempo parece ser considerado como noindex e nofollow.
Ao continuar a ver noindex por um determinado período de tempo, a página será naturalmente excluída do índice do Google.
Se você não seguir a página, não seguirá o link, então terá o mesmo resultado que nofollow.

Google: Noindex de longo prazo levará a links Nofollow OnUma página que incorpora conteúdo com uma meta tag noindex especificada em um iframe é tratada como noindex?

De acordo com os comentários de John Muller no Twitter , esse não parece ser o caso. Se você estiver preocupado, é uma boa ideia testar se ele pode ser rastreado e indexado normalmente usando a ferramenta de inspeção de URL no Search Console.

Verifique se noindex / nofollow está escrito na ferramenta

https://youtube.com/watch?v=VkRizDlx9MM%3Fenablejsapi%3D1

O SE Ranking , uma plataforma de gerenciamento de SEO , percorre todas as páginas de um site e extrai páginas com noinde ou nofollow especificados de uma só vez. Se você especificar noindex ou nofollow incorretamente, isso pode ter um impacto negativo na atração de clientes de busca, portanto, certifique-se de verificar isso.

Verifique o procedimento

PASSOCrie uma conta gratuita no SE Ranking

Crie sua própria conta na página de criação de conta de avaliação gratuita do SE Ranking. Você pode usá-lo gratuitamente por 2 semanas sem registro de cartão de crédito.

Obter conta de teste

PASSOcriar um projeto

Siga as etapas abaixo para criar um projeto para o site que deseja verificar. Logo após a criação do projeto, a inspeção de SEO do site será concluída.

Procedimento de instalação

PASSOAcesso à função de inspeção de SEO do site

Clique em “Relatório de problemas” na subseção “Inspeção de SEO do site” no menu à esquerda para verificar.

PASSOVerifique a seção ” 

Rastrear “

Clique na seção ” Rastrear ” e verifique se há problemas na seção. Clicar no item com problema exibirá um guia de como melhorá-lo e clicar no número na coluna da página permitirá que você verifique a página onde o problema está ocorrendo.

Verifica a meta tag Robots e a X-Robots-Tag

Incluir noindex em cabeçalhos HTML e HTTP

Diretivas para dizer aos mecanismos de pesquisa para não exibir na página de resultados de pesquisa são adicionadas de duas maneiras ao mesmo tempo: uma meta tag e um cabeçalho HTTP X-Robots-Tag.Incluir nofollow em cabeçalhos HTML e HTTP

As diretivas que dizem aos mecanismos de pesquisa para não seguir links em uma página da Web são adicionadas de duas maneiras: a metatag e o cabeçalho HTTP X-Robots-Tag.bloqueado por noindex

A diretiva noindex na seção do código HTML da página informa aos mecanismos de pesquisa para não exibir a página nos resultados da pesquisa. Se você usar a diretiva noindex em uma página, os mecanismos de pesquisa não classificarão essa página, mesmo que haja links para essa página de outros sites.bloqueado por nofollow

O atributo nofollow na seção <head> do código HTML de uma página informa aos mecanismos de pesquisa para não seguir nenhum link nessa página.Bloqueado por X-Robots-Tag

A resposta do lado do servidor com o cabeçalho X-Robots-Tag é usada. A resposta do cabeçalho X-Robots-Tag pode conter diretivas noindex/nofollow/none. A diretiva noindex impede que a página seja indexada, nofollow impede que os mecanismos de pesquisa sigam links nessa página e nenhum inclui diretivas que incluem ambos.


O ” Site SEO Inspection ” do SE Ranking percorre todas as páginas do site e, além de noindex e nofollow, verifica elementos de grande impacto no SEO de uma só vez e exibe conselhos.
Você pode usar uma versão de teste que pode ser usada gratuitamente por 2 semanas, então por que não verificar se há algum problema grave com seu site?

Obter conta de teste

Como parar de exibir páginas inteiras do site nos resultados de pesquisa do Google com a ferramenta de desativação

O método apresentado aqui é como ocultar todas as páginas de serem exibidas nos resultados de pesquisa do Google.
Se você quiser usá-lo, certifique-se de entendê-lo bem antes de usá-lo.

O Google oferece uma ferramenta de desativação que permite configurar seu site para que ele não apareça nos resultados de pesquisa .

O que é uma ferramenta de exclusão?

Existem várias maneiras de ocultar o conteúdo do seu site dos resultados de pesquisa do Google, mas essa ferramenta de desativação permitirá que o Google rastreie e exiba conteúdo no Google Shopping, Advisor, Voos, Hotéis e pesquisa local do Google+.

O Search Console parece permitir que você remova seu site desses resultados de pesquisa relacionados ao Google em 30 dias.

A configuração parece ser configurável no nível do domínio, apenas para domínios principais e não para subdomínios. Além disso, uma vez desativada, pode levar até 3 meses para reativar os resultados da pesquisa.

Tagged in :

dmendes40 Avatar

Leave a Reply

Your email address will not be published. Required fields are marked *

FOTAWP

Check out our new font generator and level up your social bios. Need more? Head over to Glyphy for all the fancy fonts and cool symbols you could ever imagine.