Los problemas de indexación de sitios web en Yandex es una de las consultas que con más frecuencia me han hecho. También es uno de los principales problemas que he encontrado en sitios web en los que he ayudado a optimizar para posicionar en el buscador ruso.
De las distintas causas que pueden ocasionar que tu sitio desaparezca por completo de los resultados de Yandex, uno es absolutamente técnico y la mayoría de las veces muy sencillo de resolver.
Hay servidores que están configurados para rechazar las conexiones del bot principal de Yandex, el que habitualmente utiliza para rastrear e indexar el contenido de tu sitio web. La razón de este bloqueo, probablemente, es prevenir conexiones al servidor por parte de alguien que se hace pasar por el bot de Yandex. Supongo que aplican aquello de que todo lo viene de Rusia es un ciberataque…
Bien, cuando el bot principal de Yandex intenta establecer conexión con tu sitio web, espera una respuesta 200 (todo correcto) por parte del contenido solicitado. Si encuentra otra respuesta, es posible que tu servidor esté bloqueando el acceso al bot de Yandex (por considerarlo no fiable) y de esta forma tu contenido no se va a indexar en Yandex.
En las herramientas para webmaster de Yandex, puedes comprobar la respuesta que da tu servidor a una petición de alguno de los bots que usa Yandex:
En este ejemplo, el servidor devuelve un error 403, está bloqueando al bot principal de Yandex, y la consecuencia más habitual es que tu sitio no aparezca en los resultados de Yandex.
También puedes hacer la prueba con Chrome, por ejemplo, modificando el User-agent con el que realizas la petición:
Así pues, es importante que tu servidor permita el acceso al bot de Yandex para que tus contenidos se puedan indexar correctamente. Yandex ofrece ayuda e información al respecto, para verificar que un bot pertenece a Yandex y no es alguien que se hace pasar por un bot de Yandex:
¿Cómo comprobar que un bot pertenece a Yandex? (en inglés)
Bots de Yandex
Yandex usa varios bots, cada uno con un propósito y una función. Si necesitas que tu servidor permita el acceso a alguno de ellos, o si quieres analizar estos datos en el log de tu servidor, puedes encontrar más información acerca de los bots de Yandex en la página de ayuda Yandex robots in server logs (en inglés).
