Słowo kluczowe: automat

Do czego służy plik robots.txt?

Plik “robots.txt” jest jednym z mechnizmów “Robots Exclusion Protocol”, który został stworzony w celu informowania automatów (botów) o tym, czego nie powinny robić na stronie WWW. Przykładowo, nie wszyscy właściciele stron WWW chcą, aby ich projekt WWW był widoczny w wynikach wyszukiwania (np. w wyszukiwarce Google). Plik “robots.txt” powinien zostać umieszczony w katalogu, do którego […]