Vista de rastreador

Cada página existe en dos copias

La primera copia es el documento HTML que sale de tu servidor. La segunda es lo que construye un navegador a partir de él cuando ha cargado las hojas de estilo, ejecutado los scripts y traído todo lo que esos scripts piden. Las personas solo ven la segunda copia.

Los bots trabajan sobre todo con la primera. Googlebot sí renderiza las páginas con un Chrome sin interfaz, pero en una pasada posterior que puede retrasarse y agotar el tiempo de espera. Bingbot renderiza menos. Los rastreadores que alimentan a los asistentes de IA, y los que generan las vistas previas de las aplicaciones de chat y de redes sociales, por lo general no ejecutan JavaScript en absoluto. Si tu texto solo existe en la segunda copia, buena parte de tu audiencia de máquinas recibe una página vacía.

Esta comprobación pide la primera copia y se detiene ahí. No se ejecuta nada y no se aplica ninguna hoja de estilo.

Cómo leer la vista en texto plano

Recorremos el cuerpo de la página en el orden del código fuente y lo imprimimos como texto. Se omiten los scripts, los estilos, las plantillas y los dibujos SVG en línea. Lo demás se marca así:

#, ##, ###

Un encabezado y su nivel. Prueba a leer solo estas líneas. Deberían funcionar como el índice de la página.

Palabras subrayadas

Un enlace. Pasa el cursor por encima para ver la dirección a la que lleva.

[Image: …]

El texto alt de una imagen. Una imagen sin atributo alt se muestra como ausente, con el nombre de su archivo. Los botones y los campos de formulario aparecen entre corchetes de la misma manera.

Texto marcado como oculto

Palabras que están en el HTML pero llevan el atributo hidden o un estilo en línea como display:none, visibility:hidden, font-size:0 o un text-indent negativo muy grande.

Texto marcado como noscript

Contenido dentro de <noscript>, que solo reciben los bots y los visitantes sin JavaScript.

Debajo del texto aparecen los números: tamaño del HTML, cantidad de palabras visibles, proporción del HTML que es texto, scripts, enlaces e imágenes. Una proporción de texto de entre el 10 y el 30 % es típica de una página hecha a mano o con un CMS. Con un 1 o un 2 %, el documento es sobre todo código.

Qué activa cada hallazgo

El último bloque aplica tu robots.txt a esta única dirección para diez rastreadores: Googlebot, Bingbot, Google-Extended, GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot y Applebot-Extended. Un bloqueo a Googlebot cuenta como error. Un bloqueo a un rastreador de IA solo se indica, ya que es una decisión que tienes derecho a tomar. La comprobación de acceso de bots de IA cubre una lista más larga para todo el sitio.

Cómo poner tu texto en la primera copia

Si la comprobación encontró un contenedor vacío, la página es una aplicación del lado del cliente. El servidor envía un cascarón y el navegador lo rellena. Estos son los remedios, de más a menos completo:

1. Renderizar en el servidor. Next.js, Nuxt, SvelteKit, Remix y Angular pueden producir HTML completo en cada petición y después enganchar los scripts. Suele ser una decisión de configuración, no una reescritura.
2. Generar páginas estáticas en la compilación. Para contenido que cambia poco, herramientas como Astro, Gatsby o la exportación estática de los frameworks anteriores escriben un archivo HTML completo por página.
3. Prerenderizar para los bots. Un servicio de prerenderizado guarda una instantánea renderizada y se la sirve a los rastreadores. Funciona, pero ahora tienes dos versiones que mantener.

En un CMS clásico como WordPress o Drupal, el HTML ya contiene el texto y los hallazgos son menores: un precio que solo aparece dentro de una imagen, un menú cuyos enlaces son manejadores onclick o un número de teléfono en la imagen de un banner con un alt vacío.