Датотеката robots.txt, зачувана во коренот на вашата веб-страница, ќе им каже на веб-роботи како пајаци за пребарување кои директориуми и датотеки им е дозволено да ползи. Лесно е да се користи датотека robots.txt, но има некои работи што треба да ги запомните:
- Роботските веб-страници со црна шапка ќе ја игнорираат вашата датотека robots.txt. Најчестите типови се ботови на малициозен софтвер и роботи кои бараат адреси на е-пошта за жетва.
- Некои нови програмери ќе напишат роботи кои ја игнорираат датотеката robots.txt. Ова обично се прави по грешка.
- Секој може да ја види вашата датотека robots.txt. Тие секогаш се нарекуваат robots.txt и секогаш се зачувуваат во коренот на веб-страницата.
- Конечно, ако некој се поврзе со датотека или директориум кој е исклучен од вашата датотека robots.txt од страница што не е исклучена од нивната датотека robots.txt, пребарувачите може да го пронајдат и онака.
Не користете датотеки robots.txt за да скриете нешто важно. Наместо тоа, треба да ставите важни информации зад безбедните лозинки или целосно да ги оставите на интернет.
Како да ги користите овие примерочни датотеки
Копирајте го текстот од примерокот што е најблиску до она што сакате да го направите и ставете го во вашата датотека robots.txt. Променете ги имињата на робот, директориум и имиња за да одговараат на вашата претпочитана конфигурација.
Две основни датотеки Robots.txt
Корисникот-агент: *
Занемарам: /
Оваа датотека вели дека секој робот (User-agent: *) што пристапува до неа треба да ја игнорира секоја страница на страницата (Disallow: /).
Корисникот-агент: *
Забрана:
Оваа датотека вели дека секој робот (User-agent: *) што пристапува до него е дозволено да ја прикажува секоја страница на сајтот (Disallow:).
Исто така можете да го направите ова, оставајќи ја вашата датотека robots.txt празна или воопшто да не ја имате на вашата страница.
Заштитете ги специфичните директориуми од роботи
Корисникот-агент: *
Забрани: / cgi-bin /
Забрана: / temp /
Оваа датотека вели дека секој робот (User-agent: *) којшто пристапува треба да ги игнорира директориумите / cgi-bin / и / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Заштити специфични страници од роботи
Корисникот-агент: *
Забрана: /jenns-stuff.htm
Забрана за: /private.php
Оваа датотека вели дека секој робот (User-agent: *) којшто пристапува треба да ги игнорира датотеките /jenns-stuff.htm и /private.php (Забрана: /jenns-stuff.htm Disallow: /private.php).
Спречете специфичен роботот од пристап до вашиот сајт
Корисникот-агент: Lycos / xx
Занемарам: /
Оваа датотека вели дека Lycos bot (Корисникот агент: Lycos / xx) не е дозволен пристап насекаде на страницата (Disallow: /).
Дозволи само еден специфичен роботен пристап
Корисникот-агент: *
Занемарам: /
Корисникот-агент: Googlebot
Забрана:
Оваа датотека прво ги оневозможува сите роботи како што беше погоре, а потоа експлицитно им овозможува на Googlebot (User-agent: Googlebot) да има пристап до сè (Disallow:).
Комбинирајте повеќе линии за да ги добиете токму исклучоците што ги сакате
Иако е подобро да се користи многу инклузивна линија на кориснички агенти, како User-agent: *, можете да бидете специфични колку што сакате. Запомнете дека роботите ја читаат датотеката по ред. Значи, ако во првите редови се вели дека сите роботи се блокирани од сè, а потоа подоцна во датотеката се вели дека на сите роботи им е дозволен пристап до сè, роботите ќе имаат пристап до сè.
Ако не сте сигурни дали сте ја напишале вашата датотека robots.txt правилно, можете да ги користите Google's Tools Webmaster за да ја проверите вашата датотека robots.txt или да напишете нова.