El documento robots.txt es una recurso fundamental para la sitio que pretende aparecer bien vista por los buscadores como Chrome . Sirve como el mapa para los bots, indicándoles qué secciones de tu web pueden ser rastreadas y cuáles se deben excluir . Una correcta configuración de este archivo ayuda a prevenir problemas de indexación , optimiz