Przejdź do treści
SEO

Robots.txt niedostępny: jak błędy serwera zatrzymują skanowanie Google

Niebieskie kable sieciowe wpięte w przełącznik serwera, od którego zależy każde zapytanie robota
W tym artykule
  1. Jak kody statusu robots.txt zmieniają zachowanie Google?
  2. Dlaczego 403 dla Googlebota to zły sposób na kontrolę skanowania
  3. Gdzie w Search Console widać błędy pobierania robots.txt
  4. Jak sprawdzić, czy serwer poprawnie serwuje robots.txt
  5. Robots.txt za reverse proxy: serwer źródłowy nadal musi odpowiadać
  6. Robots.txt niedostępny: co zapamiętać
  7. FAQ

Gdy plik robots.txt jest niedostępny, bo serwer zwraca błąd, Google nie pomija go i nie skanuje dalej. Wstrzymuje skanowanie całej witryny, dopóki znowu nie zdoła odczytać pliku. Jeśli Search Console pokazuje błędy pobierania robots.txt albo Twoja strona stoi za firewallem, proxy lub panelem hostingu, który czasem odpowiada na /robots.txt błędem lub stroną HTML, zacznij od serwera, a nie od reguł w pliku. Przyczyną jest zwykle serwer, firewall albo to, co stoi przed nimi.

Jak kody statusu robots.txt zmieniają zachowanie Google?

Kod statusu HTTP dla /robots.txt decyduje, czy Google odczyta plik, zignoruje go, czy przestanie skanować. Specyfikacja robots.txt od Google opisuje, jak traktowana jest każda klasa odpowiedzi, i zaznacza, że Google zwykle przechowuje zawartość pliku w pamięci podręcznej do 24 godzin, więc ani awaria, ani poprawka nie są widoczne od razu. Reguły ze specyfikacji:

  • 2xx: plik jest przetwarzany w takiej postaci, w jakiej go podano.
  • 3xx: Google podąża za co najmniej pięcioma przekierowaniami, a potem traktuje wynik jak 404.
  • 4xx poza 429: traktowane tak, jakby prawidłowy plik robots.txt nie istniał, więc Google zakłada brak ograniczeń skanowania.
  • 5xx: przez pierwsze 12 godzin Google wstrzymuje skanowanie witryny, ale dalej próbuje pobrać plik; przez kolejne 30 dni używa ostatniej poprawnej wersji. Potem witryna, która jest ogólnie dostępna, jest traktowana jak strona bez robots.txt, a witryna z ogólnymi problemami z dostępnością przestaje być skanowana.
  • 503: powoduje dość częste ponowne próby, więc krótkie okno serwisowe szkodzi mniej niż długa awaria, ale i tak wstrzymuje skanowanie.
  • Problemy z DNS lub siecią, na przykład przekroczenie limitu czasu, liczą się jako błąd serwera.

Dlaczego 403 dla Googlebota to zły sposób na kontrolę skanowania

Zwrócenie Googlebotowi kodu 403 dla robots.txt nie ogranicza skanowania. Google traktuje to jak brak pliku i zakłada, że nie ma żadnych ograniczeń, czyli odwrotnie, niż chciałeś. Specyfikacja mówi to wprost: nie używaj kodów 401 i 403 do ograniczania częstotliwości skanowania. Taka blokada rzadko jest celowa. Zwykle bierze się z Twojej własnej infrastruktury: reguły firewalla, limitu żądań albo filtra botów na serwerze lub w CDN, który odrzuca user agenta Googlebota.

Przypadkowe „Disallow: /” to inny problem. Wtedy plik jest dostępny i blokuje wszystko, więc poprawiasz regułę w pliku, a nie serwer.

Gdzie w Search Console widać błędy pobierania robots.txt

Zajrzyj do raportu Statystyki indeksowania, w sekcję stanu hosta. Otwórz go z ustawień Search Console, sprawdź, czy pobieranie robots.txt jest oznaczone jako problematyczne, i zanotuj, kiedy wystąpiły nieudane żądania. Powtarzające się błędy oznaczają, że skanowanie zostało wstrzymane lub ograniczone zgodnie z regułami opisanymi wyżej. Zestaw te daty z wdrożeniami, restartami serwera, zmianami DNS i edycjami proxy; zbieżność zwykle daje odpowiedź.

Jak sprawdzić, czy serwer poprawnie serwuje robots.txt

Pobierz /robots.txt spoza swojej sieci, z user agentem Googlebota i bez niego, i upewnij się, że dostajesz status 200 i zwykły tekst. Test z wnętrza sieci albo z zalogowanej sesji administratora może ukryć reguły, które dotyczą tylko ruchu z zewnątrz lub botów.

  1. Pobierz plik z zewnętrznej maszyny dwa razy: raz ze zwykłym user agentem przeglądarki i raz z user agentem Googlebota.
  2. Porównaj kody statusu obu odpowiedzi. Każda różnica wymaga wyjaśnienia.
  3. Sprawdź, czy nagłówek Content-Type to text/plain, a nie text/html.
  4. Przeczytaj treść i upewnij się, że zawiera Twoje reguły, a nie formularz logowania, stronę weryfikacji czy komunikat o pracach serwisowych.

Firewall, limit żądań ani strona serwisowa nigdy nie powinny odpowiadać na robots.txt kodem 403, kodem 5xx albo stroną HTML wysłaną z kodem 200. Serwuj robots.txt jako plik statyczny prosto z serwera źródłowego lub NGINX, poza aplikacją, która może się wysypać, przekroczyć limit czasu albo przekierować odwiedzających na ekran logowania. Powtarzaj test po każdej zmianie serwera, DNS lub proxy, bo właśnie wtedy takie problemy pojawiają się najczęściej.

Robots.txt za reverse proxy: serwer źródłowy nadal musi odpowiadać

Reverse proxy przekazuje żądania dalej, więc jeśli serwer źródłowy zawiedzie, robots.txt zawiedzie także przez proxy. Tak działa Jalvo: jako reverse proxy SEO dla każdej strony przekazuje żądania do Twojego obecnego hostingu i daje każdej stronie własny adres IP. Poprawka leży więc po stronie serwera źródłowego: statyczny robots.txt, który Twój hosting lub NGINX serwuje niezawodnie. Gdy to działa i decydujesz, ilu adresów IP potrzebują Twoje strony, możesz porównać plany proxy.

Robots.txt niedostępny: co zapamiętać

Błąd niedostępnego robots.txt to przede wszystkim problem serwera. Odpowiedzi 5xx i przekroczenia limitu czasu wstrzymują skanowanie, kod 4xx inny niż 429 usuwa Twoje ograniczenia skanowania, a 403 nigdy nie jest sposobem na kontrolę częstotliwości skanowania. Serwuj plik statycznie, testuj go z zewnątrz z user agentem Googlebota i sprawdzaj ponownie po każdej zmianie infrastruktury.

FAQ

Czy Google przestaje skanować, gdy robots.txt zwraca 404?

Nie. Każdy kod 4xx inny niż 429 jest traktowany tak, jakby robots.txt nie istniał, więc Google zakłada brak ograniczeń skanowania i skanuje dalej. Jeśli nie masz żadnych reguł, to nie problem, ale wszystkie linie Disallow, na których polegałeś, przestają działać.

Jak długo może trwać 503 dla robots.txt, zanim zaszkodzi skanowaniu?

Wpływa na skanowanie od pierwszego błędu, bo Google wstrzymuje skanowanie, dopóki nie może pobrać pliku. Google dość często ponawia próby przy 503, ale skanowanie pozostaje wstrzymane, dopóki plik nie wróci, więc okna serwisowe powinny być krótkie.

Czy reguła 'Disallow: /’ to to samo co niedostępny robots.txt?

Nie. Przy „Disallow: /” plik jest dostępny i Google go odczytuje. To sama reguła blokuje całą witrynę, więc poprawiasz regułę w pliku, a nie serwer.

UdostępnijLinkedInX
Zespół Web Systems

Zespół, który tworzy i utrzymuje Jalvo.

Daj każdej stronie własne IP.

Pierwszą domenę dodasz w kilka minut.

Zacznij teraz

Wybierz, na które pliki cookie się zgadzasz. Niezbędne pliki cookie utrzymują działanie strony i logowania, nie można ich wyłączyć.