Robots.txt – czym jest i dlaczego każda strona powinna go posiadać

Marketing i pozycjonowanie stron nie ogranicza się jedynie do dostosowania treści tak, by przeglądarki umieszczały ją na wysokiej pozycji. Istnieje również gałąź, która nazywa się technicznym SEO, i opiera się na takiej optymalizacji witryny, żeby silnik wyszukiwania zwracał uwagę przede wszystkim na takie elementy, które chcemy uwypuklić.

Czym jest robots.txt?

To plik, który stanowi mapę dla wyszukiwarki, przeprowadzając ją w taki sposób przez treść strony, żeby np. pominęła jakiś jej fragment, zaczęła ją sprawdzać od konkretnego miejsca lub w ogóle jej nie indeksowała i nie brała pod uwagę w wynikach. Tutaj moglibyśmy sobie zadać pytanie: dlaczego mielibyśmy robić coś takiego?

Cóż, jeśli chodzi o pomijanie witryny w przeglądarce, jest ono przydatne w momencie, w którym dopiero ją tworzymy i nie chcemy, żeby ktoś na nią trafił, albo wtedy, gdy pracujemy nad jej renowacją (i również pragniemy zostać niewidzialni do czasu pełnej sprawności).

Jednak w kwestii optymalizacji SEO interesują nas pozostałe opcje. Możliwość zakomunikowania silnikowi wyszukiwarki, żeby pomijał mało znaczące treści (albo prywatne albo te, które powtarzają się w innych miejscach strony), pozwala zoptymalizować i podnieść naszą pozycję w wynikach. To samo tyczy się utworzenia czegoś w rodzaju mapy, która pokaże, w jaki sposób i w jakiej kolejności należy przeczesywać kolejne podstrony.

Jak to działa?

Robots.txt jest pierwszym plikiem, które silnik wyszukiwarki odczytuje na naszej stronie. Jeśli go nie znajdzie, uzna, że go nie ma i przejdzie do standardowego przeczesywania treści, oglądając się za wpisanymi frazami. Jeśli jeszcze go nie posiadamy, możemy samodzielnie założyć robots.txt na serwerze, ale do pokierowania wyszukiwaniem wymagana jest znajomość odpowiedniego języka. Chcąc sprawdzić, czy obecny jest ten plik, wystarczy wpisać w przeglądarce adres: www.naszawitryna.pl/robots.txt. Jest on ogólnodostępny, więc możemy go również sprawdzić na innych witrynach, wpisując ich adres.

Dobrze zoptymalizowane

Widzimy już, że możemy w znaczny sposób wpłynąć na to, jak wyszukiwarka będzie patrzyła na naszą stronę internetową. Przełoży się to bezpośrednio na pozycję w rankingu, bo najpierw podsuwamy treści najważniejsze, a dopiero potem (lub wcale) te mniej istotne. Jeśli chcemy, by nasza strona była świetnie dopasowana pod wymogi SEO, warto zainteresować się tematem bliżej.