Gui

Scooter è il “crawler” Web per il motore di ricerca pubblico AltaVista. AltaVista una volta ha affermato che era “il crawler Web più veloce conosciuto esistente”. Scooter aderisce alle regole di cortesia per gli spider Web specificate nello Standard for Robot Exclusion (SRE). Chiede a ogni server quali file devono essere esclusi dall’indicizzazione. Non passa … Leggi tutto