Do czego służy plik robots.txt?

Do procesu wyszukiwania nowych materiałów w sieci Internet wykorzystywane są tak zwane roboty (boty), które podążają za hiperłączami (linkami) i indeksują całą zawartość danej strony WWW do katalogu wyszukiwarki. Robota indeksującego można określić jako część wyszukiwarki internetowej (np. Google), która przegląda i analizuje strony WWW, by następnie dodać o nich informacje do bazy wyszukiwarki.

WAŻNE! Plik „robots.txt” ogranicza dostęp do Twojej strony WWW robotom wyszukiwarek, które przeszukują Internet. Dla przykładu, możesz zabronić indeksowanie całej lub tylko wybranej części Twojej strony WWW! Przykładowo, możesz nie chcieć, aby Twoje prywatne dane pojawiły się w wynikach wyszukiwania Google.

Plik robots.txt dla sklepu internetowego możesz edytować w opcji menu Ustawienia > Zaawansowane > SEO. Aby zmodyfikować jego zawartość:

1. Zaloguj się do Twojego Panelu eSklep.
   • Kliknij tutaj, aby sprawdzić jak się zalogować.
2. Przejdź do opcji menu  Ustawienia > Zaawansowane > SEO
3. Kliknij zakładkę Zaawansowane, która znajduje się po lewej stronie ekranu.
   
4. Na ekranie zostanie wyświetlony formularz, w którym będziesz mógł zdefiniować reguły znajdujące się w pliku robots.txt dla Twojego sklepu.
   
5. Wpisz reguły dot. indeksowania, które mają obowiązywać w Twoim sklepie internetowym i kliknij przycisk Zapisz. Podczas uzupełniania reguł możesz skorzystać z poniższych przykładów.

Wykluczenie całego serwisu z procesu indeksowania:

User-agent: *
Disallow: /

Wykluczenie części serwisu z procesu indeksowania:

User-agent: *
Disallow: /katalog1/
Disallow: /katalog2/

Wykluczenie całego serwisu z procesu indeksowania przez robota Google:

User-agent: Googlebot
Disallow: /

Jeżeli chcesz, aby roboty wyszukiwarek miały dostęp do całego serwisu, wprowadź poniższy zapis:

User-agent: *
Disallow: