Sadržaj
Googlebot je robot koji vam omogućuje praćenje weba Google, također poznat kao Google pauk. Na taj način sustav otkriva nove stranice koje su indeksirane u njegovoj bazi podataka gdje se ažuriraju te se ponovno uključuje u Googleov indeks.Google koristi veliku količinu računalne opreme za indeksiranje milijardi stranica distribuiranih na webu. Temelji se na algoritamskom procesu praćenja, gdje računalni programi određuju web stranice koje će se pratiti, kao i učestalost i broj stranica za pretraživanje na svakoj web stranici. Proces započinje popisom prethodno generiranih web stranica, koji se proširuje na temelju podataka koje pružaju karte web stranica koje ugrađuju webmasteri. Googlebot otkriva veze pri svakom posjetu tim web stranicama dodajući ih na popis stranica za indeksiranje. Sustav otkriva nove web stranice, promjene na postojećim i veze koje su zastarjele, a zatim ažurira Googleov indeks.
Kako Googlebot pristupa web mjestu
Googlebot obično ne pristupate web stranicama više od jednom i na nekoliko sekundi. Općenito, sustav preuzima samo jednu kopiju svake stranice, u slučaju da istu stranicu preuzmete više puta, to je vjerojatno zbog zaustavljanja i ponovnog pokretanja alata za indeksiranje.Googlebot je distribuiran na nekoliko računala, a neki od pauka rade s računala koja se nalaze u blizini web lokacija koje indeksiraju. Može se dogoditi da zapisnici stranica prikazuju posjete s više računala kao korisnički agent.
Cilj je indeksirati najveći broj stranica na web stranici pri svakom posjetu, a da se ne smanji propusnost poslužitelja.
Sustav pronalazi web stranice putem veza na njihovim stranicama. U slučaju pogrešaka praćenja, one se mogu vidjeti u Googleovim alatima za webmastere. Navodi probleme na koje se naišlo prilikom indeksiranja web stranice. Bilo bi dobro redovito provjeravati sve greške indeksiranja koje se mogu pojaviti kako biste ih identificirali i popravili.
Budući da se IP adrese kojima Googlebot rukuje povremeno mijenjaju, idealno je koristiti robota "korisnički agent" (Googlebot). Googleov pauk poštovat će smjernice navedene u datoteci robots.txt, no zlonamjerni korisnici ih se možda neće pridržavati.
