Słownik pojęć
Co to jest robots.txt?
W skrócie
robots.txt to mały plik na stronie (pod adresem twojafirma.pl/robots.txt), w którym zapisujesz, gdzie roboty wyszukiwarek i narzędzi AI mogą wchodzić, a gdzie nie. To pierwsze miejsce, które sprawdza robot przed odwiedzeniem strony.
Co to oznacza dla Twojej firmy?
Dobrze ustawiony robots.txt kieruje roboty tam, gdzie powinny być – do oferty, bloga i ważnych podstron – i trzyma je z dala od miejsc bez wartości, np. koszyka czy panelu logowania.
Źle ustawiony potrafi jedną linijką zablokować całą stronę przed Google albo przed narzędziami AI. Warto też pamiętać, że to nie jest zabezpieczenie: plik prosi roboty o omijanie stron, ale ich nie ukrywa.
Prosty przykład
Po przeniesieniu strony z wersji testowej na docelową w robots.txt zostaje wpis „nie wpuszczaj nikogo”. Z zewnątrz strona wygląda normalnie, ale przez kilka tygodni nie pojawia się w Google ani w ChatGPT, bo roboty grzecznie omijają ją szerokim łukiem.
Jak to wykorzystuję w pracy dla klientów
Sprawdzam, czy robots.txt nie blokuje ważnych podstron ani pożądanych robotów AI, i ustawiam go tak, żeby wspierał widoczność w Google i w AI. Plik ocenia też bezpłatny test GEO na mojej stronie głównej.
Powiązane wpisy i usługi
Czy Twój robots.txt nie blokuje klientów?
Na bezpłatnej rozmowie opowiesz mi o swojej firmie, a ja wyjaśnię, jak działa robots.txt i na co uważać, żeby przypadkiem nie zablokować klientów.
Umów bezpłatną rozmowę