Uno spider è un programma che visita i siti Web e legge le loro pagine e altre informazioni per creare voci per l'indice di un motore di ricerca. I principali motori di ricerca sul Web hanno tutti un programma di questo tipo, noto anche come "crawler" o "bot". Gli spider sono in genere programmati per visitare i siti che sono stati inviati dai loro proprietari come nuovi o aggiornati. È possibile visitare e indicizzare selettivamente interi siti o pagine specifiche. I ragni sono chiamati ragni perché di solito visitano molti siti in parallelo allo stesso tempo, le loro "gambe" si estendono su una vasta area del "web". Gli spider possono eseguire la scansione delle pagine di un sito in diversi modi. Un modo è seguire tutti i collegamenti ipertestuali in ogni pagina fino a quando tutte le pagine non sono state lette.
Lo spider per il motore di ricerca AltaVista e il suo sito Web si chiama Scooter. Scooter aderisce alle regole di cortesia per gli spider Web specificate nello Standard for Robot Exclusion (SRE). Chiede a ogni server quali file devono essere esclusi dall'indicizzazione. Non passa (o non può) passare attraverso il firewall. E utilizza uno speciale algoritmo per l'attesa tra le successive richieste del server in modo che non influenzi il tempo di risposta per gli altri utenti.