Przejście na CDN lub proxy bez blokowania Googlebota

W tym artykule
- Dlaczego crawlowanie rośnie skokowo zaraz po przejściu na CDN?
- Jak ochrona przed botami w CDN i WAF kończy się blokadą Googlebota
- Lista kontrolna przed zmianą: rozgrzanie cache przed migracją
- Co zrobić, gdy crawlowanie przeciąża serwer źródłowy
- Po przejściu na CDN: sprawdzanie Googlebota w logach i Search Console
- Ostatnie sprawdzenie przed uruchomieniem każdej domeny
- FAQ
Przejście na CDN zmienia sposób, w jaki Googlebot crawluje Twoją stronę, i dwie rzeczy mogą pójść źle. Serwer źródłowy dławi się pierwszą falą chybień cache albo CDN zaczyna wystawiać wyzwania zweryfikowanemu Googlebotowi i odcina mu dostęp. Zaplanuj więc zmianę tak, żeby serwer źródłowy udźwignął chybienia, a Googlebot nigdy nie zobaczył wyzwania, a potem pilnuj logów i raportu Statystyki indeksowania. Jeśli zaraz kierujesz kilka domen na CDN albo reverse proxy i boisz się któregoś z tych problemów, ten poradnik omawia oba. Logika jest ta sama, czy korzystasz z komercyjnego CDN, czy kierujesz domenę na proxy takie jak Jalvo, czyli reverse proxy na NGINX.
Dlaczego crawlowanie rośnie skokowo zaraz po przejściu na CDN?
W skrócie: serwer brzegowy odpowiada szybciej, więc Google podnosi limit wydajności crawlowania. Ale cache jest jeszcze zimny, więc każde pierwsze żądanie i tak wraca do serwera źródłowego. Szybko kilka pojęć. Serwer źródłowy (origin) to backend, na którym leży oryginalna treść. Serwer brzegowy (edge) to węzeł CDN, który obsługuje odwiedzających znajdujących się blisko niego. Chybienie cache (cache miss) to sytuacja, w której serwer brzegowy nie ma zapisanej kopii i musi pobrać ją z serwera źródłowego.
Według wytycznych Google dotyczących przejścia na CDN roboty Google wyznaczają limit wydajności crawlowania (spotkasz też nazwę hostload). Wolne odpowiedzi obniżają tempo crawlowania. Szybkie i stabilne pozwalają mu powoli rosnąć, o ile jest zapotrzebowanie na crawlowanie. A nowy CDN startuje pusty, więc pierwsze żądanie każdego adresu URL to chybienie. Właśnie tu boli. Prawdziwi ludzie skupiają się na garstce popularnych stron. Roboty nie. Przechodzą przez każdy adres URL, jaki masz, i dopóki cache się nie zapełni, większość pracy wykonuje serwer źródłowy.
Jak ochrona przed botami w CDN i WAF kończy się blokadą Googlebota
To zdarza się często. Ktoś włącza ogólne reguły przeciw botom (CAPTCHA, wyzwania WAF) bez żadnych wyjątków i w sidła wpadają też roboty Google. Nie przechodzą wyzwania i się wycofują. WAF, czyli web application firewall, filtruje żądania, zanim dotrą do strony. Jeśli traktuje każdego zautomatyzowanego klienta tak samo, Twoje strony mogą zacząć wypadać z wyszukiwarki.
Rozwiązanie jest proste. Dopuść zweryfikowane boty w ustawieniach CDN i firewalla, bo większość dostawców ma przełącznik albo zarządzaną regułę dla znanych lub zweryfikowanych botów. Chcesz sam sprawdzić robota? Zrób odwrotne zapytanie DNS i szukaj googlebot.com, google.com albo googleusercontent.com albo porównaj adres z zakresami na stronie Google o weryfikacji żądań. Jeśli są boty, których naprawdę nie chcesz, celuj w te konkretne w robots.txt albo w regułach, a nie we wszystkich zautomatyzowanych klientów. Ja trzymałbym się podejścia opisanego w tekście o limitowaniu botów bez spowalniania Googlebota.
Lista kontrolna przed zmianą: rozgrzanie cache przed migracją
Zanim puścisz cały ruch przez CDN, znajdź najważniejsze adresy URL i rozgrzej je przez CDN w tempie, które kontrolujesz. Dzięki temu pierwsze wizyty robotów trafią do cache, a nie do serwera źródłowego.
- Wyciągnij z logów dostępu serwera źródłowego najczęściej crawlowane adresy URL.
- Dodaj strony z największym ruchem według analityki.
- Pobieraj tę listę przez CDN powoli. Inaczej samo rozgrzewanie stanie się skokiem obciążenia serwera źródłowego (co trochę mija się z celem).
- Sprawdź, czy wyjątek dla zweryfikowanych botów jest włączony dla każdej domeny. Dla każdej bez wyjątku.
- Przejrzyj reguły cache, korzystając z reguł cache bez nieaktualnych stron, żeby po aktualizacji nikt nie dostał przestarzałego HTML.
Przenoś domeny pojedynczo, a nie wszystkie naraz. Wtedy widzisz obciążenie serwera źródłowego dla każdej domeny i możesz się zatrzymać przed kolejną, jeśli coś wygląda nie tak.
Co zrobić, gdy crawlowanie przeciąża serwer źródłowy
W sytuacji awaryjnej możesz przez krótki czas zwracać 429 albo 503, a roboty zwolnią. Rada Google dotycząca przejścia na CDN odsyła do wytycznych o ograniczaniu tempa crawlowania, które mówią o kilku godzinach, najwyżej 1-2 dniach. Nie używaj 403 ani 404 do dławienia crawlowania. Te kody mówią Google, że treść jest zabroniona albo zniknęła, a nie taki komunikat chcesz wysłać.
Te kody statusu to plaster. Przeciążenie serwera źródłowego przy fali crawlowania naprawdę rozwiązują rozgrzany cache i wystarczająca wydajność backendu na chybienia, które jeszcze zostaną.
Po przejściu na CDN: sprawdzanie Googlebota w logach i Search Console
Zestaw logi serwera źródłowego z raportem Statystyki indeksowania w Search Console. Chcesz widzieć, że Googlebot trafia na strony z cache i nie dostaje błędów. Techniki z tekstu o czytaniu logów pod kątem crawlowania pomagają odróżnić prawdziwe problemy od szumu. Co ja bym obserwował:
- Chybienia cache od Googlebota w porównaniu z innymi botami w logach serwera źródłowego.
- Zero odpowiedzi 403 i stron z wyzwaniem dla zweryfikowanego Googlebota.
- Czasy odpowiedzi serwera źródłowego, zwłaszcza w pierwszych dniach.
- Zmiany liczby żądań crawlowania, czasów odpowiedzi i błędów w raporcie Statystyki indeksowania.
Chybień na jednej domenie wciąż dużo? Rozszerz jej listę do rozgrzania, zanim przeniesiesz kolejną.
Ostatnie sprawdzenie przed uruchomieniem każdej domeny
Przy przejściu na CDN trzymaj tę samą kolejność dla każdej domeny: przeczytaj logi serwera źródłowego, włącz wyjątek dla zweryfikowanych botów, rozgrzej cache, przełącz DNS w kontrolowany sposób, monitoruj. Nudne? Trochę. Ale ta sekwencja chroni serwer źródłowy przed zalaniem chybieniami i pozwala Googlebotowi dalej crawlować, więc szybsze serwery brzegowe faktycznie pomagają w tym, jak Google widzi Twoje strony, zamiast przeszkadzać.
FAQ
Czy przejście na CDN zaszkodzi mojemu SEO?
Nie, jeśli Googlebot przechodzi bez przeszkód, a serwer źródłowy radzi sobie z zimnym cache. Szybsze i stabilne odpowiedzi mogą z czasem nawet podnieść tempo crawlowania. Kłopoty zwykle biorą się z wyzwań dla botów albo z przeciążonego serwera źródłowego.
Skąd mam wiedzieć, że żądanie naprawdę pochodzi od Googlebota?
Zrób odwrotne zapytanie DNS i sprawdź, czy host kończy się na googlebot.com, google.com albo googleusercontent.com, a potem potwierdź to zwykłym zapytaniem DNS. Możesz też porównać adres IP z opublikowanymi przez Google zakresami robotów. Sam ciąg user agent niczego nie dowodzi. Każdy może go podrobić.
Czy mogę użyć 403, żeby spowolnić Googlebota podczas migracji?
Nie. Kod 403 mówi robotom, że treść jest zabroniona, a to może zaszkodzić indeksowaniu. Używaj 429 albo 503, tylko przez krótki czas, i napraw właściwy problem z wydajnością albo z cache.
Daj każdej stronie własne IP.
Pierwszą domenę dodasz w kilka minut.


