Googlebot

Odpowiednik pojęcia bot/robot. Jest to bowiem robot wyszukiwarki google, który przegląda i indeksuje zawartość stron internetowych, tworząc jednocześnie indeks stron www dla wyszukiwarki Google. Zadania jakie Googlebot wykonuje możemy podzielić na dwie kategorie: deep crawl oraz fresh crawl. Pierwsza kategoria to „pełzanie głębokie”, czyli przechodzenie na każdy znaleziony link oraz dodanie go do indeksu, czynności te wykonywane są średnio co miesiąc. Druga kategoria, czyli „świeże indeksowanie” to czynności wykonywane na bieżąco, czyli odświeżanie często zmieniających się treści na stronach oraz indeksowanie zmian niektórych stron internetowych.