Problemas de indexación con Yandex: el bot

Los problemas de indexación de sitios web en Yandex es una de las consultas que con más frecuencia me han hecho. También es uno de los principales problemas que he encontrado en sitios web en los que he ayudado a optimizar para posicionar en el buscador ruso.

De las distintas causas que pueden ocasionar que tu sitio desaparezca por completo de los resultados de Yandex, uno es absolutamente técnico y la mayoría de las veces muy sencillo de resolver.

Hay servidores que están configurados para rechazar las conexiones del bot principal de Yandex, el que habitualmente utiliza para rastrear e indexar el contenido de tu sitio web. La razón de este bloqueo, probablemente, es prevenir conexiones al servidor por parte de alguien que se hace pasar por el bot de Yandex. Supongo que aplican aquello de que todo lo viene de Rusia es un ciberataque…

Bien, cuando el bot principal de Yandex intenta establecer conexión con tu sitio web, espera una respuesta 200 (todo correcto) por parte del contenido solicitado. Si encuentra otra respuesta, es posible que tu servidor esté bloqueando el acceso al bot de Yandex (por considerarlo no fiable) y de esta forma tu contenido no se va a indexar en Yandex.

En las herramientas para webmaster de Yandex, puedes comprobar la respuesta que da tu servidor a una petición de alguno de los bots que usa Yandex:

En este ejemplo, el servidor devuelve un error 403, está bloqueando al bot principal de Yandex, y la consecuencia más habitual es que tu sitio no aparezca en los resultados de Yandex.

También puedes hacer la prueba con Chrome, por ejemplo, modificando el User-agent con el que realizas la petición:

Así pues, es importante que tu servidor permita el acceso al bot de Yandex para que tus contenidos se puedan indexar correctamente. Yandex ofrece ayuda e información al respecto, para verificar que un bot pertenece a Yandex y no es alguien que se hace pasar por un bot de Yandex:

¿Cómo comprobar que un bot pertenece a Yandex? (en inglés)

Bots de Yandex

Yandex usa varios bots, cada uno con un propósito y una función. Si necesitas que tu servidor permita el acceso a alguno de ellos, o si quieres analizar estos datos en el log de tu servidor, puedes encontrar más información acerca de los bots de Yandex en la página de ayuda Yandex robots in server logs (en inglés).

Sesión sobre Rusia y Yandex en el MeasureCamp Madrid

En el MeasureCamp Madrid del 23 de mayo me animé a dar una sesión sobre Yandex y las herramientas que ofrece para trabajar con nuestros sitios web. Este artículo abre con la presentación de apoyo que usé.

Quería hacer una presentación del universo Yandex antes de hablar de Yandex.Webmaster y Yandex.Metrika, las dos herramientas principales con las que uno puede optimizar y mejorar su presencia en Runet. Y casi que ahí se quedó la cosa. La media hora no me dio para mucho más, y dejé muchas cosas en el tintero.

Como contaba, casi todas las herramientas que conocemos de Google tienen su semejante en Yandex. Así pues, Yandex.Webmaster es el equivalente a las Google Webmaster Tools.

De todo lo que ofrece Yandex.Webmaster, destacaría lo siguiente:

  • Definir la orientación geográfica, algo importantísimo cuando sabemos que Yandex tiene esto en cuenta para en las casi 1.400 para las que tiene en consideración las búsquedas geolocalizadas.
  • Enviar un sitemap.xml y controlar cómo se indexan los contenidos. Hay que tener paciencia, Yandex es mucho más lento que Google a la hora de indexar contenidos, pueden pasar dos semanas hasta que veamos que nuestras páginas aparecen en los resultados. Paciencia.
  • Conocer el número de páginas que Yandex incluye en sus páginas de resultados. Yandex no suele avisar. Si nuestro sitio sufre algún tipo de problema técnico, simplemente nos desindexarán todo aquello que estime oportuno (con motivo, claro), algo que notaremos en el tráfico que recibimos desde Rusia. Conviene estar muy pendiente de esta gráfica.
  • Aspecto de nuestro snippet en los resultados de búsqueda, algo que puede parecer una tontería, pero el hecho de poder indicar lo que se muestra en mayúscula y minúscula en nuestro dominio, por ejemplo, es algo que nos puede ayudar a destacar en las SERP

Sobre Yandex.Metrika, personalmente no lo considero básico e imprescindible para la parte de analítica si uno ya trabaja y se desenvuelve con Google Analytics. Igualmente podemos preparar nuestros informes personalizados, registrar eventos, objetivos, páginas virtuales, datos de nuestras transacciones de comercio electrónico… No obstante, existen unas serie de funciones y características que hay que destacar en Yandex.Metrika:

  • Monitorización de clics en enlaces externos y descarga de ficheros. Son opciones que se pueden activar directamente en el código de seguimiento que insertamos. Sobre la descarga de ficheros, podemos añadir nuestras propias extensiones, aunque Metrika ya reconoce por defecto un bueno número de extensiones y probablemente no tengamos que añadir ninguna por nuestra cuenta. La función es addFileExtension().
  • Igualmente, podemos activar en el código de seguimiento un parámetro para afinar más la tasa de rebote. Si lo activamos, Metrika no considerará como rebote las visitas de más de 15 segundos que únicamente hayan visualizado una página. La función es notBounce().
  • Por el simple hecho de insertar el código de seguimiento en una página, Yandex indexará la página. Esto se puede evitar con el típico noindex o con un parámetro adicional en el código de seguimiento (ut) para que Yandex excluya la página.
  • Tenemos a nuestra disposición los parámetros de sesión (algo equivalente a las dimensiones personalizadas), con las que podemos marcar sesiones, eventos, páginas vistas… con hasta tres niveles que decidimos nosotros. Por ejemplo, “usuario -> registrado / invitado”, “promocion -> A / B”. Puede ir bien para analizar comportamientos de usuarios o valorar resultados de tests A/B sobre contenidos de nuestro sitio. Personalmente, no he usado más de dos niveles cuando he utilizado los parámetros de sesión en Metrika.
  • Y quizás lo más intersante para muchos, Webvisor y los mapas, razones por las que se suele usar Yandex.Metrika, sin que se tenga intereses por el mercado o público ruso.

Webvisor grabará las sesiones de las visitas que registre nuestro sitio web. Como pueden hacer herramientas como Mouseflow o Hotjar, por ejemplo. Webvisor tiene un par de limitaciones: guarda los datos de las últimas dos semanas y guarda un máximo de 1.000 sesiones diarias, en principio sin límite de páginas vistas en cada sesión.

Si estás leyendo hasta aquí, probablemente no necesites explicación sobre lo que hacen los mapas de clics, movimiento y scroll. Estas herramientas te permiten alternar entre el modo de análisis y el de uso de la web, para que puedas cambiar de página desde la propia herramienta para analizar cada mapa en cuestión en páginas diferentes.

Por último, y esta es una de las cosas que más me gustan, tenemos una herramienta de análisis de formularios. Podemos ver el tiempo que lleva completar campos y formularios, los abandonos que se producen en nuestros formularios, los campos que se dejan en blanco o generan más errores al completar formularios…

Hay una cosa más en Yandex.Metrika, la función de Target call, que es un servicio por el que hay que pagar (poco, la verdad) y con el que podemos disponer de números de teléfono para mostrarlos en nuestras páginas web o en nuestros anuncios de Yandex.Direct, y que se integran perfectamente con Yandex.Metrika, asociando el número a diferentes fuentes de tráfico y visualizando la información relativa a este número dentro de los informes de Metrika. Target call tiene sus condiciones, conviene echarles un vistazo para saber cómo contratar y disponer del servicio.

Más o menos este era el guión de lo que se quedó en el tintero de la sesión del MeasureCamp Madrid, ilustrado con algún código de ejemplo o la vista de alguna cuenta operativa de Yandex.Webmaster o Yandex.Metrika.

Si estuviste en la sesión, espero que te resultase interesante y te llevases algo nuevo, y si has aterrizado aquí por cualquier otro motivo, igualmente espero que todo esto te haya resultado útil.

Espero que coincidamos en próximos MeasureCamp, y mientras tanto, aquí estoy para lo que necesites.

5 herramientas de Yandex que deberías probar

Para los que no ven vida más allá de Google, podríamos resumir la historia diciendo que Yandex es el «Google ruso». Así que lo primero que encontramos bajo esa marca es un excelente buscador, sobre todo si lo que andamos buscando son contenidos, servicios o sitios web en ruso. Si hay algo que diferencia —y mucho— a Yandex de Google hoy día, es que entiende mucho mejor a los contenidos en ruso, maneja bastante mejor la geolocalización por aquellos lares, por lo que también tiene una cuota de usuarios mucho mayor en Rusia, al menos de momento. Una herramienta básica para los que trabajamos con Rusia y contenidos rusos.

Pero además de un buscador —como muchas de las herramientas que tiene Yandex, su buscador tiene versión en inglés—, y al igual que Google, Yandex tiene muchos servicios que deberías probar. Sobre todo si en tu trabajo tienes que gestionar sitios web, servicios y contenidos en ruso, posicionar contenidos en buscadores rusos… o simplemente padeces rusofilia.

Para poder acceder al universo de servicios de Yandex, puedes tener una cuenta de Yandex o puedes entrar con tu cuenta de Facebook, Twitter, Google, VKontakte o Odnoklassniki.

Yandex.Mail (Яндекс.Почта)

Un buen servicio de correo electrónico. Integra un lector de RSS. Disponible en ruso, inglés y otros muchos idiomas. Muchas opciones de configuración, aplicación nativa para iOS, Android, Symbian, Windows Mobile… La de iOS es francamente buena.

Yandex.Disk (Яндекс.Диск)

Tus archivos en la nube. Con software para sincronizar tu equipo, como hace Dropbox o Box. Hasta 10 GB de espacio. Disponible en inglés. La aplicación de Yandex.Mail para iOS integra el acceso a Yandex.Disk

Yandex.Metrika (Яндекс.Метрика)

La analítica web de tus sitios web. En algunos aspectos —y es una apreciación personal— me gusta más que Google Analytics. Disponible en inglés.

Yandex.Webmaster (Яндекс.Вебмастер)

Las herramientas de Yandex para webmaster. Información muy útil sobre el estado de salud de tu sitio web y la indexación de sus contenidos en el buscador. Disponible en inglés.

Yandex.Browser (Яндекс.Браузер)

Hace unos días hablaba del navegador de Yandex. Lo llevo usando todo este tiempo y me está gustando mucho. La única pega que se le podría poner ahora mismo es que únicamente está en ruso. Por lo demás, una maravilla en lo que respecta a la rapidez.

Por supuesto, Yandex es mucho más de media docena de servicios, y cada uno de ellos daría para escribir un buen artículo. Buen propósito para este 2013.

¿Qué te parece Yandex? ¿Lo usas o has usado alguna vez para tu trabajo?

 

Yandex Webmaster, disponible en inglés

Desde hace unas semanas están disponibles en inglés las herramientas de Yandex para webmasterЯндекс.Вебмастер—. En el pasado Congreso Web de Zaragoza las citaron como una alternativa a las de Google, si alguien era friki para usarlas, pero lo cierto es que son indispensables para quien tenga que gestionar sitios web con contenido en ruso o quiera posicionar un sitio web en Rusia. Es lo que hay. Afortunadamente para frikis y gurús, ahora no hay que depender tanto del idioma.

Si tienes algún proyecto que dependa o necesite de idioma y contenidos en ruso o posicionamiento en Rusia, puedes preguntar, seguramente podré ayudarte.