El archivo robots.txt

Es un simple archivo de texto que contiene indicaciones, no son de obligado cumplimiento, para que sean seguidas por los robots, también conocidos como ‘bots’ o ‘crawlers’, que los buscadores usan para recorrer la WWW e indexarla.

Permite:

  • Discriminar a determinados robots: no todos son de buscadores web, y puede interesarnos bloquear a alguno malicioso.

  • Invisibilizar determinadas áreas de nuestra web: podemos impedir que los buscadores indexen todo contenido que se encuentre localizado en determinados directorios del servidor (o bien archivos en concreto), sin que eso suponga tener que borrarlos.



Se coloca en el directorio raíz de la web

tags: robots

cdnet

faq

  Títol Tema
2544 Entender los dominios dominios y alojamiento
2543 Quién es el propietario de un dominio? dominios y alojamiento
2542 Qué son los DNS? dominios y alojamiento
2541 Qué significa aparcar un dominio? dominios y alojamiento
2529 Cómo comprar online de forma segura compra online
2729 Seguridad de les contraseñas correo
2924 Las siete reglas de oro de un dominio dominios y alojamiento
4207 Qué significan?: Pop, Imap i Smtp correo
5237 El archivo robots.txt