El archivo robots.txt
Es un simple archivo de texto que contiene indicaciones, no son de obligado cumplimiento, para que sean seguidas por los robots, también conocidos como ‘bots’ o ‘crawlers’, que los buscadores usan para recorrer la WWW e indexarla.Permite:
- Discriminar a determinados robots: no todos son de buscadores web, y puede interesarnos bloquear a alguno malicioso.
- Invisibilizar determinadas áreas de nuestra web: podemos impedir que los buscadores indexen todo contenido que se encuentre localizado en determinados directorios del servidor (o bien archivos en concreto), sin que eso suponga tener que borrarlos.
Se coloca en el directorio raÃz de la web
tags: robots
Quieres compartirlo?
faq
| TÃtulo | Tema | |
|---|---|---|
| 7863 | Tipos de certificados SSL | |
| 5237 | El archivo robots.txt | |
| 4207 | Qué significan?: Pop, Imap i Smtp | correo |
| 2924 | Las siete reglas de oro de un dominio | dominios y alojamiento |
| 2729 | Seguridad de les contraseñas | correo |
| 2529 | Cómo comprar online de forma segura | compra online |
| 2540 | Como cambiar el alojamiento de una web? | dominios y alojamiento |
| 2541 | Qué significa aparcar un dominio? | dominios y alojamiento |
| 2542 | Qué son los DNS? | dominios y alojamiento |
| 2543 | Quién es el propietario de un dominio? | dominios y alojamiento |
| 2544 | Entender los dominios | dominios y alojamiento |