El archivo robots.txt es una herramienta esencial para la página web que pretende ser bien posicionada por los rastreadores como Bing. Sirve como un mapa para los bots, indicándoles qué secciones https://soloweb.mx/knowledgebase/211/Sitemap-y-robots.txt-para-mejorar-tu-web.html