¿Qué es el Robots.txt en Wordpress?

Robots.txt
Los Web Robots son programas que atraviesan la Web automáticamente. También se les llama Web Wanderers, Web Crawlers y Spiders. Los motores de búsqueda son los principales robots web. Algunos Web Robots buscan un archivo llamado robots.txt en su servidor web para ver qué y dónde deben buscar contenido y archivos en su servidor web. Algunos Web Robots ignoran este archivo.

Deja un comentario