Un tuffo dentro FAST, il motore di Tiscali, Lycos ed Excite: i crawlers
2-11-2002

FAST, la tecnologia di ricerca che è utilizzata da Tiscali, Lycos, Excite e diversi altri motori internazionali, è costituita da 2 datacenter (ridondanti, a garanzia di un corretto funzionamento 24 ore su 24 per rispondere alle oltre 40 milioni di queries al giorno), 2,1 miliardi di documenti indicizzati, 1100 server Dell con diverse piattaforme software: in prevalenza FreeBSD, ma anche Windows 2000 e Solaris di Sun. Data la fluidità del web (nuovi link, nuove pagine, documenti che cambiano i propri contenuti o vengono cancellati), la prossima sfida è tener traccia in tempo quasi reale di tali cambiamenti, allargando la possibilità di ricerche anche all'interno di nuovi formati: documenti flash, database, contenuti dinamici, files multimediali. Per questo ampia importanza è data da Fast ai propri crawlers (o robots). I robots di FAST navigano il web di link in link indicizzando ciascun documento analizzato, archiviandolo nell'indice e recuperandone una copia da inserire nel proprio database. Durante il ciclo di indicizzazione, nessun documento viene visitato più di una volta; i crawlers sono distribuiti su più server, ciascuno dei quali ha un dato settore del web da navigare in maniera indipendente, in modo da evitare sovrapposizioni. La lista dei documenti da analizzare è ordinata da un programma centrale, che tiene conto dei files robot.txt, ed evita troppe richieste concorrenti ad uno stesso server: se così non fosse, i crawlers di FAST potrebbero richiedere anche 1000 pagine al secondo allo stesso server... Alcuni crawlers sono destinati alla scoperta di nuove pagine, altri rivisitano i documenti già in archivio; da statistiche, almeno i 2/3 dei link analizzati in un ciclo di indicizzazione porta verso documenti già analizzati, mentre la percentuale dei link verso documenti non più disponibili è del 5% circa ad ogni ciclo. Oltre a quelli già elencati, FAST ha crawlers dedicati ai files multimediali, flash compresi, e crawlers che navigano il web alla ricerca di news in tempo reale. L'ultima serie di crawlers è dedicata alle pagine a pagamento, visitate ogni 24 ore.

Invia questa news ad un amico:
Inserisci il tuo indirizzo email:
Inserisci l'indirizzo email del destinatario:
Inserisci il tuo messaggio (max 255 caratteri):