Do czego służy plik robots.txt?

Szybki hosting dla WordPressa

Plik “robots.txt” jest jednym z mechnizmów “Robots Exclusion Protocol”, który został stworzony w celu informowania automatów (botów) o tym, czego nie powinny robić na stronie WWW. Przykładowo, nie wszyscy właściciele stron WWW chcą, aby ich projekt WWW był widoczny w wynikach wyszukiwania (np. w wyszukiwarce Google). Plik “robots.txt” powinien zostać umieszczony w katalogu, do którego została przekierowana domena internetowa (jest to tzw. katalog główny domeny).

Jak działa plik robots.txt?

Do procesu wyszukiwania nowych materiałów w sieci Internet wykorzystywane są tak zwane roboty (boty), które podążają za hiperłączami (linkami) i indeksują całą zawartość danej strony WWW do katalogu wyszukiwarki. Robota indeksującego można określić jako część wyszukiwarki internetowej (np. Google), która przegląda i analizuje strony WWW, by następnie dodać o nich informacje do bazy wyszukiwarki.
WAŻNE! Plik “robots.txt” ogranicza dostęp do Twojej strony WWW robotom wyszukiwarek, które przeszukują Internet. Dla przykładu, możesz zabronić indeksowanie całej lub tylko wybranej części Twojej strony WWW!
Wspomniane roboty (np. roboty Google) po odwiedzeniu wybranej strony WWW analizują jej strukturę oraz treść i następnie na podstawie tajemnego algorytmu umieszczają wybraną stronę WWW w wynikach wyszukiwania na odpowiedniej pozycji.

 

Po utworzeniu odpowiedniego pliku “robots.txt” i opublikowaniu go na serwerze wszystkie zasady, które zostały w nim zdefiniowane będą natychmiast aktywne. Pamiętaj, że plik “robots.txt” można utworzyć w najprostszym edytorze tekstowym.
WAŻNE! Plik “robots.txt” jedynie informuje o odpowiednim zachowaniu, nie wymusza go zaś w żaden sposób. Wszystkie uznane roboty (np. roboty popularnych wyszukiwarek internetowych) będą przestrzegać zasad zawartych w pliku “robots.txt”, jednak niektóre roboty mogę je zignorować.

 

Ignorowanie zapisów zawartych w pliku “robots.txt” jest możliwe, ponieważ nie można narzucić bezwarunkowego przestrzegania zasad zawartych w pliku “robots.txt”, w związku z czym niektórzy spamerzy i inni oszuści mogą go zignorować. W tym przypadku zalecamy używanie hasła do ochrony poufnych informacji, np. za pomocą pliku .htaccess (funkcja ukrytego katalogu).

Przykłady zawartości dla plików robots.txt

Cała strona WWW będzie indeksowana przez roboty (tak jakby nie było pliku “robots.txt”):

User-agent: *
Allow:

Cała strona WWW nie będzie indeksowana:

User-agent: *
Disallow: /

Indeksowane nie będą tylko foldery “/images” i “/private”:

User-agent: *
Disallow: /images/
Disallow: /private/

Indeksowany nie będzie tylko plik “file.html” w katalogu “/directory”:

User-agent: *
Disallow: /directory/file.html

O czym należy pamiętać podczas korzystania z pliku robots.txt?

  • Roboty, które są odpowiedzialne za skanowanie w poszukiwaniu dziur w zabezpieczeniach stron WWW mogą ignorować zapisy z pliku. Podobnie zachowują się automaty, które gromadzą adresy email i inne dane teleadresowe.
  • Pamiętaj, że zawartość pliku jest publicznie dostępna, a plik “robots.txt” nie jest metodą zabezpieczenia dostępu do zasobów.
  • Niektóre roboty mogą zbyt szybko pobierać strony WWW do ich sprawdzenia, co może znacząco obciążyć serwer. W tym przypadku zalecane jest zablokowanie user agent takich robotów lub ich adresów IP.
  • Pamiętaj, że wyszukiwarka Google nie będzie pobierać ani indeksować zawartości stron WWW, które zostały zablokowane w pliku “robots.txt”, ale może indeksować te adresy URL, jeśli zostaną znalezione na innych stronach WWW w sieci Internet. W związku z tym adres URL takiej strony WWW oraz prawdopodobnie inne powszechnie dostępne informacje, np. teksty kotwicy mogą zostać wyświetlone w wynikach wyszukiwania.
  • Plik “robots.txt” jest potrzebny tylko w przypadku, gdy witryna zawiera treść, którą chcesz ukryć przed wyszukiwarkami internetowymi (np. Google). Jeśli wyszukiwarki mają indeksować całą stronę WWW, to plik “robots.txt” jest całkowicie zbędny!

Hosting stworzony dla WordPressa

Masz stronę WWW na WordPressie? My też uwielbiamy ten system dla stron internetowych. Dlatego stworzyliśmy hosting specjalnie dla jego użytkowników.


  • Czy artykuł był pomocny ?
  • Tak   Nie
Szukaj
Generic filters
Tylko dokładne dopasowania
Szukaj w tytułach
Szukaj w treści
Filter by Article Categories
Częste pytania
Narzędzia
Połączenie SSH
Analityka serwera
Statystyki serwera (nowe)
Statystyki serwera (stare)
WebFTP
Autoinstalator
Kontrola wersji (SVN)
Listy mailingowe
Poczta home.pl
Obsługa poczty webmail
Konfiguracja programów pocztowych
Nowa platforma home.pl
Częste pytania
Bezpieczeństwo
Instalacje
Panel klienta
Domeny
Hosting
Serwer Apache
Bazy danych
Certyfikaty SSL
Zamawianie SSL
Instalacja i konfiguracja SSL
Poczta e-mail
Office 365
WordPress Hosting SSD
Dodatki od partnerów
Poprzednia platforma home.pl
Certyfikaty SSL
Zamawianie certyfikatów SSL
Konfiguracja i instalacja SSL
Panel home.pl
Informacje podstawowe
Pulpit
Usługi
Płatności
Profil
Centrum Pomocy
Operacje w Panelu home.pl
Serwery
WebFTP
Informacje podstawowe
Konfiguracja serwerów
Serwery Unix
Serwery Windows
Obsługa baz danych
phpMyAdmin (MySQL)
phpPgAdmin (PgSQL)
myLittleAdmin (MSSQL)
Sklep internetowy eSklep
Panel usługi eSklep
RODO w sklepie internetowym
Panel sklepu internetowego
Pierwsze kroki
Promocja sklepu
Sprzedaż
Pierwsze uruchomienie
Dodatki od partnerów
Asortyment
Klienci
Integracje
Inne integracje
Systemy aukcyjne
Baza produktów
Aplikacje
App store
Aplikacja mobilna
Marketing
Modyfikacja wyglądu
Dokumentacja
Dla deweloperów
Style graficzne
Inne zagadnienia
Raporty i statystyki
Zawartość
Filmy instruktażowe
Konfiguracja sklepu
Rozliczenia i dokumenty
Faktury
Zmiana danych (cesja)
Rozliczenia i płatności
Dokumenty do pobrania
Produkty i usługi
Kreator Stron WWW
eCommerce
Moduły
Ustawienia
Szablony
Nawigacja
Publikacja i dodatki
Szybki start
Prestahosting
Profesjonalne Usługi IT
Certyfikaty SSL
Przywracanie danych
Udostępnienie logów oraz analizowanie błędów
Operacje na plikach i bazach danych
WordPress
Terminal płatniczy SumUp
Wordpress hosting SSD
Office 365
OneDrive
Domeny
Informacje podstawowe
Rejestracja / opłacanie
Konfiguracja domen
Transfer domen
Giełda domen
Dodatki do domen
Serwery VPS
Skrzynki e-mail
Microsoft Exchange
Cloud Email Xchange
Obsługa skrzynki e-mail za pomocą Panelu home.pl
Jak zarejestrować Personal email lub Business email?
Bezpieczeństwo
eKsięgowość
Wizyta - system rezerwacji
Reklama internetowa
Reklama Allegro Ads
Tworzenie stron WWW
Contact LEADer
Reklama banerowa Google
Zakupy Google
Google Ads (AdWords)
eKampanie Google
SEMSTORM
Pozycjonowanie
rankingCoach
Baza wiedzy
Facebook
Systemy CMS
Internet w praktyce
Przydatne programy
Konfiguracja programów FTP
Zagadnienia techniczne
.htaccess
mod_rewrite
Akademia home.pl
Poradniki do pobrania
Kursy i specyfikacje
Kurs HTML
Kurs PHP
Kurs SQL
Kurs mod_rewrite
Rejestracja usług
RODO w home.pl
English
Control Panel
Webmail
FTP
Office 365
WordPress
SSL
Aplikacje w marketplace
SiteLock - ochrona WWW
Dropsuite Backup
CCleaner
Antywirus Kaspersky
Dropbox - dysk w chmurze
Płatności PayU
Programy antywirusowe AVAST
Office 365
AVG PC TuneUp
Reklama na start
Google AdWords
Zareklamuj stronę WWW na Facebook
Dropbox
Cloud Email Xchange
Dropsuite
Brand24
Microsoft OneDrive
FreshMail.pl
Tłumaczenia online
G Suite - poczta Gmail
Program prowizyjny
Acronis Backup
Informacje podstawowe
Ustawienia dodatkowe
Panel użytkownika
Panel administratora
lub