Kako stvoriti robotsku txt datoteku

Kada tražilice stignu na web stranicu, počinju tražiti datoteku robots.txt za čitanje. Ovisit će o njegovom sadržaju tako da pauk tražilice nastavi unutar web stranice ili pređe na drugu.
Datoteka robots.txt sadrži popis stranica koje tražilica može indeksirati, čime se selektivno ograničava pristup određenim tražilicama.

Ovo je ASCII datoteka koja se mora nalaziti u korijenu web stranice. Naredbe koje može sadržavati su:
Korisnik agenta: Koristi se za navođenje robota koji će slijediti prikazane narudžbe.
Ne dopuštaju: Koristi se za identifikaciju stranica koje će tražilica isključiti tijekom procesa analize. Važno je da svaka stranica koja se izuzima mora imati zasebne retke, a također mora početi simbolom /. S ovom se simbolikom precizira; na "sve stranice web stranice".
Izuzetno je važno da datoteka robots.txt nema praznih redaka.
Neki primjeri prikazani su u nastavku;

• Kada želite isključiti sve stranice; Korisnički agent je: Ne dopustite: /.
• Ako cilj nije isključiti bilo koju stranicu, tada datoteka robotos.txt ne smije postojati na web stranici, odnosno sve stranice web stranice bit će jednako posjećene.

• Kada je određeni robot isključen, to će biti:
• Korisnik agenta: Naziv robota Ne dopušta: / Korisnik agenta: * Ne dopušta:

• Kada je stranica isključena; Korisnik agenta: * Ne dopustite: /directory/path/page.html

• Kada se sve stranice imenika isključe s web stranice s pripadajućim podmapama, bit će to; Korisnik agenta: * Ne dopustite: / directory /

Pomoću ove datoteke možete spriječiti tražilicama pristup određenim stranicama ili direktorijima, a također možete blokirati pristup datotekama ili određenim uslužnim programima.
Druga je značajka spriječiti indeksiranje dupliciranog sadržaja koji se nalazi na web mjestu kako se ne bi kaznio.
Ostalo treba uzeti u obzir da neki roboti mogu zanemariti upute prikazane u ovoj datoteci, a također mora biti jasno da je datoteka javna jer svi koji pišu www.example.com/robots.txt mogu joj pristupiti.
Sada bi pitanje moglo biti; Kako generirati datoteku robots.txt?
Zapravo je prilično jednostavno budući da se radi o tekstualnom dokumentu s imenom "robots.txt", a zatim ga prenesite u korijen domene stranice, tamo će tražilice ići tražiti da se pročita.
Osnovna datoteka robots.txt može biti:
Korisnički agent: *
Onemogući: / privatno /
Generiraju se upute za odbijanje pristupa direktoriju koji će biti "privatan" za sve tražilice.
Naredba određuje da je adresirana na sve robote (User-agent: *), navodeći da je imenik zabranjen (Disallow: / private /).
Parametar koji se koristi za Google tražilicu je; Korisnički agent: Googlebot
Kao što je već spomenuto, njegova upotreba u SEO -u koristi se za ograničavanje pristupa robota dupliciranom sadržaju.Je li vam se svidio i pomogao ovaj vodič?Autor možete nagraditi pritiskom na ovaj gumb kako biste mu dali pozitivan bod