Protokol pro zakázání přístupu robotům

Z Multimediaexpo.cz

Protokol pro zakázání přístupu robotům (robots.txt) je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu.

Obsah

Příklady

Uvedením následujícího textu v souboru robots.txt lze zakázat indexování všech vyhledávačů: 

User-agent: *
Disallow: /

Následující příklad zakáže všem robotům, aby indexovali obsah složek /cgi-bin, /images, /tmp a /private: 

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Zakázaní googlbotu indexovat vše v adresáři /en: 

User-Agent: Googlebot
Disallow: /en/

Alternativy

HTML tagy

Zakázat indexování lze i vložením následujícího HTML kódu mezi tzv. metatagy: 

<meta name="robots" content="noindex,nofollow" />

Související články

Externí odkazy


Citováno z „http://www.multimediaexpo.cz/mmecz/index.php/Protokol_pro_zak%C3%A1z%C3%A1n%C3%AD_p%C5%99%C3%ADstupu_robot%C5%AFm“