{"id":2569,"date":"2026-11-05T09:30:00","date_gmt":"2026-11-05T08:30:00","guid":{"rendered":"https:\/\/jalvo.eu\/robots-txt-niedostepny-bledy-serwera-wstrzymuja-skanowanie\/"},"modified":"2026-11-05T09:30:00","modified_gmt":"2026-11-05T08:30:00","slug":"robots-txt-niedostepny-bledy-serwera-wstrzymuja-skanowanie","status":"publish","type":"post","link":"https:\/\/jalvo.eu\/pl\/robots-txt-niedostepny-bledy-serwera-wstrzymuja-skanowanie\/","title":{"rendered":"Robots.txt niedost\u0119pny: jak b\u0142\u0119dy serwera zatrzymuj\u0105 skanowanie Google"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Gdy plik robots.txt jest niedost\u0119pny, bo serwer zwraca b\u0142\u0105d, Google nie pomija go i nie skanuje dalej. Wstrzymuje skanowanie ca\u0142ej witryny, dop\u00f3ki znowu nie zdo\u0142a odczyta\u0107 pliku. Je\u015bli Search Console pokazuje b\u0142\u0119dy pobierania robots.txt albo Twoja strona stoi za firewallem, proxy lub panelem hostingu, kt\u00f3ry czasem odpowiada na \/robots.txt b\u0142\u0119dem lub stron\u0105 HTML, zacznij od serwera, a nie od regu\u0142 w pliku. Przyczyn\u0105 jest zwykle serwer, firewall albo to, co stoi przed nimi.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Jak kody statusu robots.txt zmieniaj\u0105 zachowanie Google?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Kod statusu HTTP dla \/robots.txt decyduje, czy Google odczyta plik, zignoruje go, czy przestanie skanowa\u0107. <a href=\"https:\/\/developers.google.com\/crawling\/docs\/robots-txt\/robots-txt-spec\" rel=\"nofollow noopener\" target=\"_blank\">Specyfikacja robots.txt od Google<\/a> opisuje, jak traktowana jest ka\u017cda klasa odpowiedzi, i zaznacza, \u017ce Google zwykle przechowuje zawarto\u015b\u0107 pliku w pami\u0119ci podr\u0119cznej do 24 godzin, wi\u0119c ani awaria, ani poprawka nie s\u0105 widoczne od razu. Regu\u0142y ze specyfikacji:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>2xx<\/strong>: plik jest przetwarzany w takiej postaci, w jakiej go podano.<\/li>\n<li><strong>3xx<\/strong>: Google pod\u0105\u017ca za co najmniej pi\u0119cioma przekierowaniami, a potem traktuje wynik jak 404.<\/li>\n<li><strong>4xx poza 429<\/strong>: traktowane tak, jakby prawid\u0142owy plik robots.txt nie istnia\u0142, wi\u0119c Google zak\u0142ada brak ogranicze\u0144 skanowania.<\/li>\n<li><strong>5xx<\/strong>: przez pierwsze 12 godzin Google wstrzymuje skanowanie witryny, ale dalej pr\u00f3buje pobra\u0107 plik; przez kolejne 30 dni u\u017cywa ostatniej poprawnej wersji. Potem witryna, kt\u00f3ra jest og\u00f3lnie dost\u0119pna, jest traktowana jak strona bez robots.txt, a witryna z og\u00f3lnymi problemami z dost\u0119pno\u015bci\u0105 przestaje by\u0107 skanowana.<\/li>\n<li><strong>503<\/strong>: powoduje do\u015b\u0107 cz\u0119ste ponowne pr\u00f3by, wi\u0119c kr\u00f3tkie okno serwisowe szkodzi mniej ni\u017c d\u0142uga awaria, ale i tak wstrzymuje skanowanie.<\/li>\n<li><strong>Problemy z DNS lub sieci\u0105<\/strong>, na przyk\u0142ad przekroczenie limitu czasu, licz\u0105 si\u0119 jako b\u0142\u0105d serwera.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Dlaczego 403 dla Googlebota to z\u0142y spos\u00f3b na kontrol\u0119 skanowania<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Zwr\u00f3cenie Googlebotowi kodu 403 dla robots.txt nie ogranicza skanowania. Google traktuje to jak brak pliku i zak\u0142ada, \u017ce nie ma \u017cadnych ogranicze\u0144, czyli odwrotnie, ni\u017c chcia\u0142e\u015b. Specyfikacja m\u00f3wi to wprost: nie u\u017cywaj kod\u00f3w 401 i 403 do ograniczania cz\u0119stotliwo\u015bci skanowania. Taka blokada rzadko jest celowa. Zwykle bierze si\u0119 z Twojej w\u0142asnej infrastruktury: regu\u0142y firewalla, limitu \u017c\u0105da\u0144 albo filtra bot\u00f3w na serwerze lub w CDN, kt\u00f3ry odrzuca user agenta Googlebota.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Przypadkowe &#8222;Disallow: \/&#8221; to inny problem. Wtedy plik jest dost\u0119pny i blokuje wszystko, wi\u0119c poprawiasz regu\u0142\u0119 w pliku, a nie serwer.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Gdzie w Search Console wida\u0107 b\u0142\u0119dy pobierania robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Zajrzyj do raportu Statystyki indeksowania, w sekcj\u0119 stanu hosta. Otw\u00f3rz go z ustawie\u0144 Search Console, sprawd\u017a, czy pobieranie robots.txt jest oznaczone jako problematyczne, i zanotuj, kiedy wyst\u0105pi\u0142y nieudane \u017c\u0105dania. Powtarzaj\u0105ce si\u0119 b\u0142\u0119dy oznaczaj\u0105, \u017ce skanowanie zosta\u0142o wstrzymane lub ograniczone zgodnie z regu\u0142ami opisanymi wy\u017cej. Zestaw te daty z wdro\u017ceniami, restartami serwera, zmianami DNS i edycjami proxy; zbie\u017cno\u015b\u0107 zwykle daje odpowied\u017a.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Jak sprawdzi\u0107, czy serwer poprawnie serwuje robots.txt<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Pobierz \/robots.txt spoza swojej sieci, z user agentem Googlebota i bez niego, i upewnij si\u0119, \u017ce dostajesz status 200 i zwyk\u0142y tekst. Test z wn\u0119trza sieci albo z zalogowanej sesji administratora mo\u017ce ukry\u0107 regu\u0142y, kt\u00f3re dotycz\u0105 tylko ruchu z zewn\u0105trz lub bot\u00f3w.<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Pobierz plik z zewn\u0119trznej maszyny dwa razy: raz ze zwyk\u0142ym user agentem przegl\u0105darki i raz z user agentem Googlebota.<\/li>\n<li>Por\u00f3wnaj kody statusu obu odpowiedzi. Ka\u017cda r\u00f3\u017cnica wymaga wyja\u015bnienia.<\/li>\n<li>Sprawd\u017a, czy nag\u0142\u00f3wek Content-Type to text\/plain, a nie text\/html.<\/li>\n<li>Przeczytaj tre\u015b\u0107 i upewnij si\u0119, \u017ce zawiera Twoje regu\u0142y, a nie formularz logowania, stron\u0119 weryfikacji czy komunikat o pracach serwisowych.<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Firewall, limit \u017c\u0105da\u0144 ani strona serwisowa nigdy nie powinny odpowiada\u0107 na robots.txt kodem 403, kodem 5xx albo stron\u0105 HTML wys\u0142an\u0105 z kodem 200. Serwuj robots.txt jako plik statyczny prosto z serwera \u017ar\u00f3d\u0142owego lub NGINX, poza aplikacj\u0105, kt\u00f3ra mo\u017ce si\u0119 wysypa\u0107, przekroczy\u0107 limit czasu albo przekierowa\u0107 odwiedzaj\u0105cych na ekran logowania. Powtarzaj test po ka\u017cdej zmianie serwera, DNS lub proxy, bo w\u0142a\u015bnie wtedy takie problemy pojawiaj\u0105 si\u0119 najcz\u0119\u015bciej.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Robots.txt za reverse proxy: serwer \u017ar\u00f3d\u0142owy nadal musi odpowiada\u0107<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Reverse proxy przekazuje \u017c\u0105dania dalej, wi\u0119c je\u015bli serwer \u017ar\u00f3d\u0142owy zawiedzie, robots.txt zawiedzie tak\u017ce przez proxy. Tak dzia\u0142a Jalvo: jako <a href=\"https:\/\/jalvo.eu\/pl\/\">reverse proxy SEO dla ka\u017cdej strony<\/a> przekazuje \u017c\u0105dania do Twojego obecnego hostingu i daje ka\u017cdej stronie w\u0142asny adres IP. Poprawka le\u017cy wi\u0119c po stronie serwera \u017ar\u00f3d\u0142owego: statyczny robots.txt, kt\u00f3ry Tw\u00f3j hosting lub NGINX serwuje niezawodnie. Gdy to dzia\u0142a i decydujesz, ilu adres\u00f3w IP potrzebuj\u0105 Twoje strony, mo\u017cesz <a href=\"https:\/\/jalvo.eu\/pricing\/\">por\u00f3wna\u0107 plany proxy<\/a>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Robots.txt niedost\u0119pny: co zapami\u0119ta\u0107<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">B\u0142\u0105d niedost\u0119pnego robots.txt to przede wszystkim problem serwera. Odpowiedzi 5xx i przekroczenia limitu czasu wstrzymuj\u0105 skanowanie, kod 4xx inny ni\u017c 429 usuwa Twoje ograniczenia skanowania, a 403 nigdy nie jest sposobem na kontrol\u0119 cz\u0119stotliwo\u015bci skanowania. Serwuj plik statycznie, testuj go z zewn\u0105trz z user agentem Googlebota i sprawdzaj ponownie po ka\u017cdej zmianie infrastruktury.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">FAQ<\/h2>\n\n\n<div id=\"rank-math-faq\" class=\"rank-math-block\">\n<div class=\"rank-math-list \">\n<div id=\"faq-question-1794898780328-0\" class=\"rank-math-list-item\">\n<h3 class=\"rank-math-question \">Czy Google przestaje skanowa\u0107, gdy robots.txt zwraca 404?<\/h3>\n<div class=\"rank-math-answer \">\n\n<p>Nie. Ka\u017cdy kod 4xx inny ni\u017c 429 jest traktowany tak, jakby robots.txt nie istnia\u0142, wi\u0119c Google zak\u0142ada brak ogranicze\u0144 skanowania i skanuje dalej. Je\u015bli nie masz \u017cadnych regu\u0142, to nie problem, ale wszystkie linie Disallow, na kt\u00f3rych polega\u0142e\u015b, przestaj\u0105 dzia\u0142a\u0107.<\/p>\n\n<\/div>\n<\/div>\n<div id=\"faq-question-1794898780328-1\" class=\"rank-math-list-item\">\n<h3 class=\"rank-math-question \">Jak d\u0142ugo mo\u017ce trwa\u0107 503 dla robots.txt, zanim zaszkodzi skanowaniu?<\/h3>\n<div class=\"rank-math-answer \">\n\n<p>Wp\u0142ywa na skanowanie od pierwszego b\u0142\u0119du, bo Google wstrzymuje skanowanie, dop\u00f3ki nie mo\u017ce pobra\u0107 pliku. Google do\u015b\u0107 cz\u0119sto ponawia pr\u00f3by przy 503, ale skanowanie pozostaje wstrzymane, dop\u00f3ki plik nie wr\u00f3ci, wi\u0119c okna serwisowe powinny by\u0107 kr\u00f3tkie.<\/p>\n\n<\/div>\n<\/div>\n<div id=\"faq-question-1794898780328-2\" class=\"rank-math-list-item\">\n<h3 class=\"rank-math-question \">Czy regu\u0142a 'Disallow: \/&#8217; to to samo co niedost\u0119pny robots.txt?<\/h3>\n<div class=\"rank-math-answer \">\n\n<p>Nie. Przy &#8222;Disallow: \/&#8221; plik jest dost\u0119pny i Google go odczytuje. To sama regu\u0142a blokuje ca\u0142\u0105 witryn\u0119, wi\u0119c poprawiasz regu\u0142\u0119 w pliku, a nie serwer.<\/p>\n\n<\/div>\n<\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>Gdy plik robots.txt jest niedost\u0119pny, bo serwer zwraca b\u0142\u0105d, Google nie pomija go i nie skanuje dalej. Wstrzymuje skanowanie ca\u0142ej witryny, dop\u00f3ki znowu nie zdo\u0142a odczyta\u0107 pliku. Je\u015bli Search Console pokazuje b\u0142\u0119dy pobierania robots.txt albo Twoja strona stoi za firewallem, proxy lub panelem hostingu, kt\u00f3ry czasem odpowiada na \/robots.txt b\u0142\u0119dem lub stron\u0105 HTML, zacznij od [&hellip;]<\/p>\n","protected":false},"author":25,"featured_media":2574,"comment_status":"","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[182],"tags":[630,292,224,348,475,35],"class_list":["post-2569","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-pl","tag-bledy-serwera","tag-googlebot-x","tag-indeksowanie","tag-robots-txt-x","tag-search-console-x","tag-techniczne-seo-pl"],"acf":[],"_links":{"self":[{"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/posts\/2569","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/users\/25"}],"replies":[{"embeddable":true,"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/comments?post=2569"}],"version-history":[{"count":0,"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/posts\/2569\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/media\/2574"}],"wp:attachment":[{"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/media?parent=2569"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/categories?post=2569"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/jalvo.eu\/pl\/wp-json\/wp\/v2\/tags?post=2569"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}