robots.txt

Definícia

robots.txt je malý textový súbor na koreni webu (adresa.sk/robots.txt), ktorý vyhľadávačom hovorí, ktoré časti webu smú prechádzať a ktoré nie. Neslúži na skrytie stránky z výsledkov, len na usmernenie, kde robot nemá tráviť čas.

Čo to znamená pre vašu firmu

Pre firmu je robots.txt poistka, aby Google neprechádzal administráciu, košík, filtre e-shopu a interné vyhľadávanie a venoval čas stránkam, ktoré majú byť vo výsledkoch. Odkazuje sa v ňom aj na sitemapu. Najčastejšia chyba je opačná: súbor, ktorý omylom zakáže celý web (po prenose z testovacej verzie), čím firma zmizne z Googlu. Preto sa po spustení webu kontroluje v Search Console, či robots.txt nič dôležité neblokuje.

Príklad z praxe

Firma spustí nový web, ktorý vznikol na testovacej adrese so zákazom prechádzania. Po prenose ostane v robots.txt riadok, ktorý zakáže celý web, a stránka za týždeň vypadne z Googlu. Po odstránení riadku a opätovnom odoslaní sa pozície vrátia.

Prečo je to dôležité

robots.txt riadi, kam Google na webe ide, čo pri veľkom webe alebo e-shope šetrí čas na prechádzanie a pomáha indexovať dôležité stránky. Zároveň je to miesto, kde sa dá omylom vypnúť celý web, preto patrí ku kontrolným bodom po každom spustení a presune webu.

Súvisiace pojmy

Indexovanie Sitemapa (XML sitemap)Search Console SEO Kanonická adresa (canonical)Stránka 404 (nenájdená stránka)

Čítajte ďalej

Časté otázky

Skryje robots.txt stránku z Googlu?

Nie. Zakáže len prechádzanie, ale stránka sa môže vo výsledkoch objaviť bez popisu, ak na ňu vedú odkazy. Na vylúčenie z indexu slúži značka noindex, nie robots.txt.

Potrebuje môj web robots.txt?

WordPress ho generuje sám aj bez zásahu. Vlastný súbor sa oplatí pri e-shope a väčšom webe, aby Google neprechádzal filtre, košík a interné vyhľadávanie.

Ako zistím, že robots.txt neblokuje web?

Otvorte adresu.sk/robots.txt a hľadajte riadok Disallow: /. Ak tam je, blokuje celý web. Search Console má aj nástroj, ktorý ukáže, či je konkrétna adresa blokovaná.

Chcete to mať vyriešené?

Napíšte nám pár viet o firme a o tom, čo potrebujete. Ozveme sa do pár hodín v pracovný deň a ponuku pošleme do 48 hodín. Prvých 20 minút konzultácie je zadarmo.

Napsat nám Späť na slovník