Robots.txt
Robots.txt è un file su un sito Web che indica ai crawler dei motori di ricerca quali parti del sito non devono essere accessibili dai programmi bot dei motori di ricerca. Robots.txt è un file di testo normale ma utilizza comandi e sintassi speciali per i webcrawlers. Sebbene non sia ufficialmente standardizzato, il file robots.txt … Leggi tutto









