El archivo robots.txt es el recurso fundamental para toda sitio que desea estar bien vista por los rastreadores como Google . Opera como un mapa para los rastreadores , indicándoles qué áreas de tu sitio pueden ser indexadas y cuáles se deben excluir . La adecuada configuración de este documento sir