El término «noindex, follow» es una instrucción que se le puede dar a los motores de búsqueda para indicarles que no deben indexar una página web en particular, pero que deben seguir los enlaces que aparecen en esa página. Esta instrucción se utiliza a menudo en combinación con la etiqueta «meta robots» en el código HTML de una página web.
Cuando un motor de búsqueda encuentra una etiqueta «meta robots» con el valor «noindex, follow», se da cuenta de que no debe incluir esa página en su índice de búsqueda. Sin embargo, aún sigue los enlaces que aparecen en esa página y los añade a su índice, siempre y cuando esos enlaces apuntan a páginas que no tienen una etiqueta «meta robots» con el valor «noindex».
La instrucción «noindex, follow» se utiliza a menudo en páginas que contienen contenido duplicado o que no son relevantes para el motor de búsqueda. Por ejemplo, si una empresa tiene un sitio web con varias páginas de productos que son muy similares entre sí, es posible que desee utilizar la etiqueta «meta robots» con el valor «noindex, follow» en las páginas duplicadas para evitar que los motores de búsqueda las indexen. De esta manera, se evita que se penalice al sitio por contenido duplicado.
También se puede utilizar la instrucción «noindex, follow» en páginas que no son relevantes para el motor de búsqueda, como páginas de inicio de sesión o de pago. De esta manera, se evita que se indexen esas páginas en el índice de búsqueda y se mejora la experiencia del usuario al evitar que aparezcan en los resultados de búsqueda.
Es importante tener en cuenta que la instrucción «noindex, follow» no es tan efectiva como la instrucción «noindex, nofollow» para evitar que una página sea indexada. La instrucción «noindex, nofollow» indica a los motores de búsqueda que no deben indexar la página y que no deben seguir los enlaces que aparecen en ella. Esta instrucción es más efectiva para evitar que una página sea indexada, ya que los motores de búsqueda también dejarán de seguir los enlaces que aparecen en la página.