Probador de Robots.txt

Sobre este probador de robots.txt

Pega tu archivo robots.txt y prueba si una ruta URL específica está permitida o bloqueada para un user-agent dado. La herramienta parsea el archivo siguiendo las mismas reglas que usan los motores de búsqueda, encuentra el grupo de user-agent correspondiente, y aplica la regla más específica. El resultado muestra un veredicto claro de permitido/bloqueado más la línea exacta que coincidió.

Robots.txt es lo primero que los rastreadores verifican antes de solicitar cualquier página. Una sola regla mal ubicada puede bloquear todo tu sitio de ser indexado — o accidentalmente exponer páginas que querías ocultar. Probar los cambios antes de implementarlos previene errores costosos de indexación que pueden tomar semanas en recuperarse.

El parser maneja todas las características estándar de robots.txt: múltiples grupos de user-agent, directivas Allow y Disallow, patrones comodín (*) en rutas, anclas de fin de URL ($), y directivas Sitemap. Cuando dos reglas de igual especificidad entran en conflicto, Allow gana — coincidiendo con la implementación de Google. La coincidencia de user-agent no distingue mayúsculas.

Los presets de user-agent incluyen Googlebot, Bingbot y GPTBot, más una opción de comodín (*) y un campo personalizado para cualquier otro rastreador. La herramienta también extrae y muestra cualquier directiva Sitemap encontrada en el archivo. Todo corre en tu navegador — tu robots.txt nunca se envía a un servidor.