Przekierowania po IP: dlaczego automatyczne przekierowanie według kraju szkodzi crawlowaniu
W tym artykule
Przekierowania po IP kierują Googlebota do tej wersji serwisu, która pasuje do kraju, z którego pozornie pochodzi jego adres IP. Efekt? Pozostałe wersje krajowe lub językowe mogą nigdy nie zostać zcrawlowane ani zaindeksowane. Jeśli więc Twój serwis ma wydania regionalne, przekierowuje na nie odwiedzających na podstawie IP, a część z tych wydań po prostu nie pojawia się w Google, to niemal na pewno właśnie dlatego. Poniżej: co idzie nie tak, jak to potwierdzić i co Google każe zrobić zamiast tego.
Skąd crawluje Googlebot?
Głównie z USA. Domyślne adresy IP Googlebota wyglądają na amerykańskie, jak podaje przewodnik Google po stronach regionalnych. Googlebot crawluje też z adresów IP spoza USA, ale domyślne są te amerykańskie. I tu jest coś, co wiele osób przeoczy: jego żądania w ogóle nie zawierają nagłówka Accept-Language. Przekierowanie oparte na języku przeglądarki nie ma więc na czym się oprzeć. W serwisie, który przekierowuje według kraju, crawler przez większość czasu wygląda jak odwiedzający z USA. Tak po prostu.
Jak przekierowania po IP ukrywają wersje krajowe
Jeśli każdy adres IP z USA trafia na wersję amerykańską lub angielską, crawler rzadko (albo nigdy) dociera do pozostałych. Google ma na taki układ swoją nazwę: strony dostosowane do lokalizacji, czyli takie, w których ten sam URL zwraca inną treść zależnie od kraju lub języka, jaki przypisuje odwiedzającemu. W wskazówkach Google o witrynach wieloregionalnych znajdziesz ostrzeżenie, że automatyczne przekierowania między wersjami językowymi mogą uniemożliwić zarówno użytkownikom, jak i wyszukiwarkom zobaczenie wszystkich wersji. Jak to zwykle wygląda w praktyce:
- zaindeksowana jest tylko jedna wersja serwisu
- lokalnych wydań brakuje w lokalnych wynikach wyszukiwania
- crawler nigdy nie odkrywa pozostałych wersji
- alternatywne adresy w hreflang wskazują URL-e, do których crawler nie ma dostępu
Dlaczego nie warto robić wyjątku dla Googlebota
Kusi, wiem. Wystarczy dodać bota do białej listy i po sprawie, prawda? Nie. Pokazywanie Googlebotowi czegoś innego niż to, co widzi użytkownik z tego samego kraju, to cloaking, a do tego niczego nie naprawia. Zasada Google jest taka: traktuj crawlera jak każdego innego odwiedzającego z kraju, z którego pozornie pochodzi. Dotyczy to też blokad: jeśli użytkownicy z USA są blokowani, Googlebot z amerykańskim IP też powinien być zablokowany. Prawdziwa poprawka jest strukturalna. Każda wersja dostępna z dowolnego IP, bez osobnej ścieżki dla crawlera.
Przekierowania geo a SEO: co Google zaleca zamiast nich
W skrócie: daj każdej wersji własny URL, pozwól ludziom wybrać przez baner lub przełącznik języka i połącz wersje ze sobą za pomocą hreflang. Krok po kroku:
- Daj każdej wersji krajowej lub językowej własny URL.
- Nie wymuszaj przekierowania z żadnego URL-a.
- Zamiast przekierowywać, pokaż baner proponujący lokalną wersję.
- Umieść przełącznik języka na każdej stronie.
- Dodaj adnotacje hreflang między odpowiadającymi sobie stronami.
ccTLD, subdomeny czy podkatalogi? Rozważ wady i zalety, które wymienia Google (nie ma tu jednej dobrej odpowiedzi dla wszystkich). Nasz poradnik o strukturach witryny kierowanych na kraje porównuje je obok siebie. Jedna rzecz do zapamiętania: domena ogólna, taka jak .com, nie ma przypisanej lokalizacji. Jeśli chcesz kierować ją na konkretny kraj, musisz ustawić to wprost jedną z metod opisanych przez Google.
Jak sprawdzić, czy przekierowanie według kraju blokuje crawlowanie
Prosty test. Wyślij żądanie do URL-a każdej wersji z adresu IP w USA, bez nagłówka Accept-Language, i zobacz, co wraca. Wersja, o którą prosiłeś, czy przekierowanie? Potem sprawdź po kolei:
- kod statusu i cel przekierowania dla URL-a każdej wersji
- wynik sprawdzenia URL-a w Search Console dla każdej wersji
- czy każdy alternatywny adres z hreflang zwraca treść bez przekierowania
Odwiedzający (albo Twoje własne testy) lądują w złym kraju? Wtedy problemem może być po prostu błędna baza IP, a poprawianie błędnej geolokalizacji IP to osobne zadanie. Tak czy inaczej, usuń albo złagodź reguły przekierowań w konfiguracji serwera źródłowego lub NGINX i zamiast tego pokaż baner wskazujący lokalną wersję.
Lokalizacja serwera i adresy IP: co nadal ma znaczenie
To, skąd serwis jest serwowany, to inna kwestia niż to, dokąd przekierowujesz odwiedzających. I nie zastępuje osobnych URL-i ani hreflang. Google zaznacza, że przy ccTLD lokalizacja serwera nie ma znaczenia, a subdomeny i podkatalogi pozwalają uruchomić każdą wersję z innej lokalizacji serwera. W geotargetowaniu Jalvo wybierasz, czy serwis ma być serwowany z adresów IP w UE czy w USA przez reverse proxy NGINX, a Twoi odwiedzający nigdy nie są przekierowywani. Prowadzisz kilka wersji językowych? Zobacz, jak skonfigurować wielojęzyczne sieci na unijnych IP.
Podsumowując. Przekierowania po IP trzymają Googlebota, który crawluje głównie z adresów w USA, z dala od wszystkich wersji poza tą, na którą zostaje przekierowany. Dostępne dla crawlera URL-e każdej wersji, baner lub przełącznik języka dla odwiedzających i hreflang między odpowiadającymi sobie stronami. Dopiero to pozwala Google zaindeksować je wszystkie.
FAQ
Czy mogę przekierowywać odwiedzających po IP i mieć zaindeksowane wszystkie wersje?
Wymuszone przekierowania mogą ukryć część wersji przed crawlerem. Zadbaj, żeby każdy URL był dostępny, i używaj banera, który proponuje lokalną wersję. Odwiedzający nadal dostają wyraźną podpowiedź, a Google może zaindeksować każdy wariant.
Czy Googlebot crawluje tylko z USA?
Nie. Jego domyślne adresy IP wyglądają na amerykańskie, ale crawluje też z adresów IP spoza USA. Tak czy inaczej, jego żądania nie zawierają nagłówka Accept-Language.
Czy przekierowanie według języka przeglądarki jest bezpieczniejsze niż według IP?
Nie bardzo. Google odradza automatyczne przekierowania oparte na zgadywaniu języka użytkownika. A skoro crawler nie wysyła nagłówka Accept-Language, nigdy nie uruchomi takiego przekierowania tak, jak zakładałeś.
Daj każdej stronie własne IP.
Pierwszą domenę dodasz w kilka minut.
