Roboty indeksujące (crawlery) przeszukują sieć WWW, skanują zawartość stron internetowych i indeksują je, dzięki czemu witryna może np. pojawić się w wynikach wyszukiwania. Z tego artykułu dowiesz się, jak zablokować...
Plik robots.txt jest jednym z mechanizmów "Robots Exclusion Protocol", który został stworzony w celu informowania automatów (botów) o tym, czego nie powinny robić na stronie WWW. Przykładowo, nie wszyscy właściciele...
Plik robots.txt jest jednym z pierwszych plików, sprawdzanym przez roboty indeksujące witrynę. W pliku tym definiowane są informacje dotyczące części serwisu, których nie chcesz udostępniać robotom. Jego odpowiednia konfiguracja wpłynie...
