Tw\u00f3j serwer origin pojawi\u0142 si\u0119 w indeksie Google? Naprawa ma dwie cz\u0119\u015bci. Zamknij origin tak, \u017ceby da\u0142o si\u0119 do niego wej\u015b\u0107 tylko przez proxy, i skieruj wszystkie sygna\u0142y kanoniczne na domen\u0119 publiczn\u0105, \u017ceby Google scali\u0142 wszystko pod tym jednym hostem. Zwykle wygl\u0105da to tak: strona stoi za reverse proxy, a mimo to w wynikach wyskakuje surowy adres IP originu (albo jaki\u015b zapomniany przez wszystkich host stagingowy) jako pe\u0142na kopia prawdziwej strony. Poni\u017cej: sk\u0105d si\u0119 to bierze, jak to potwierdzi\u0107, jak zablokowa\u0107 bezpo\u015bredni dost\u0119p, kt\u00f3re sygna\u0142y kanoniczne naprawd\u0119 si\u0119 licz\u0105 i jak posprz\u0105ta\u0107 adresy, kt\u00f3re ju\u017c s\u0105 w indeksie.<\/p>\n\n\n\n
Google zaindeksuje ka\u017cdy adres, kt\u00f3ry serwuje Twoje strony jako zwyk\u0142\u0105, poprawn\u0105 odpowied\u017a. Je\u015bli wi\u0119c origin odpowiada na zapytania kierowane na go\u0142y IP albo na stary hostname, masz drug\u0105 kopi\u0119 swojej strony. Tyle. A przyczyny s\u0105 prawie zawsze banalne:<\/p>\n\n\n\n
W efekcie dostajesz zduplikowan\u0105 tre\u015b\u0107 pod IP originu<\/strong>. Konkuruje ona z Twoj\u0105 domen\u0105 kanoniczn\u0105 i zjada czas indeksowania. Google w wskaz\u00f3wkach o scalaniu zduplikowanych adres\u00f3w<\/a> pisze, \u017ce lepiej, gdy Googlebot po\u015bwi\u0119ca czas nowym lub zaktualizowanym stronom ni\u017c duplikatom. S\u0142usznie. Jest jednak te\u017c cichszy koszt, moim zdaniem gorszy: zaindeksowany origin zdradza dok\u0142adnie ten adres, kt\u00f3ry proxy mia\u0142o ukry\u0107. Staje si\u0119 te\u017c jednym z sygna\u0142\u00f3w \u0142\u0105cz\u0105cych strony ze sob\u0105<\/a>.<\/p>\n\n\n\n Wyszukaj w Google z operatorem site: IP originu i swoje hosty stagingowe, a potem sprawd\u017a, co origin odsy\u0142a, gdy kto\u015b wejdzie na niego bezpo\u015brednio. Id\u017a w tej kolejno\u015bci:<\/p>\n\n\n\n Licz\u0105 si\u0119 odpowiedzi. Za\u0142\u00f3\u017cmy, \u017ce bezpo\u015brednie zapytanie na IP zwraca poprawn\u0105 stron\u0119 z pe\u0142n\u0105 tre\u015bci\u0105. Wtedy origin serwuje Twoj\u0105 stron\u0119 publicznie, a Google mo\u017ce j\u0105 zaindeksowa\u0107 r\u00f3wnie \u0142atwo, jak Ty j\u0105 pobra\u0142e\u015b. \u017badnej magii.<\/p>\n\n\n\n Najpewniejsza naprawa to origin, kt\u00f3ry odrzuca ka\u017cde zapytanie nieprzychodz\u0105ce przez proxy. Wtedy nie zostaje nic publicznego, co Google m\u00f3g\u0142by zaindeksowa\u0107. Na serwerze, kt\u00f3rym zarz\u0105dzasz sam, zwykle oznacza to:<\/p>\n\n\n\n Odrzucanie bezpo\u015brednich po\u0142\u0105cze\u0144 z originem to zwyk\u0142a kontrola dost\u0119pu. Serwowanie robotom czego\u015b innego ni\u017c to, co widz\u0105 ludzie w domenie publicznej, to cloaking i nigdy nie jest dopuszczalnym rozwi\u0105zaniem (niewa\u017cne, jak kusz\u0105co wygl\u0105da o drugiej w nocy). Warstwa proxy przed hostingiem<\/a>, z adresami IP w UE albo w USA, oddziela adres publiczny od originu, a konfiguracja samego originu zostaje w Twoich r\u0119kach. Samo proxy nie naprawi jednak dziurawej konfiguracji. Warto wiedzie\u0107, kiedy proxy ukrywa problemy zamiast je rozwi\u0105zywa\u0107.<\/p>\n\n\n\n Za proxy ka\u017cdy sygna\u0142 wysy\u0142any przez origin musi wskazywa\u0107 domen\u0119 publiczn\u0105 jako host kanoniczny. Dlaczego? Bo origin cz\u0119sto nie ma poj\u0119cia, jaki hostname wpisa\u0142 odwiedzaj\u0105cy. Umie\u015b\u0107 rel=canonical w \u017ar\u00f3dle HTML, wskazuj\u0105c publiczny adres HTTPS, i upewnij si\u0119, \u017ce \u017caden JavaScript go potem nie nadpisuje. Dokumentacja Google o kanonikalizacji m\u00f3wi, \u017ce nag\u0142\u00f3wek HTTP Link z rel=canonical te\u017c dzia\u0142a, tak\u017ce dla plik\u00f3w innych ni\u017c HTML, na przyk\u0142ad PDF.<\/p>\n\n\n\n Ustaw aplikacj\u0119 tak, \u017ceby budowa\u0142a bezwzgl\u0119dne adresy URL z nag\u0142\u00f3wk\u00f3w przekazuj\u0105cych host i protok\u00f3\u0142, kt\u00f3re wysy\u0142a Twoje proxy. Dzi\u0119ki temu adresy kanoniczne, mapy witryny i linki wewn\u0119trzne nigdy nie zawieraj\u0105 IP. Linki wewn\u0119trzne wskazuj\u0105 wy\u0142\u0105cznie adresy kanoniczne. Sta\u0142e przekierowania na zduplikowanym ho\u015bcie? Tylko wtedy, gdy wycofujesz ten host. I unikaj b\u0142\u0119dnych certyfikat\u00f3w TLS oraz przekierowa\u0144 z HTTPS na HTTP, bo jedno i drugie mocno pcha Google w stron\u0119 wersji HTTP. Certyfikaty te\u017c potrafi\u0105 zdradzi\u0107 Twoj\u0105 konfiguracj\u0119, wi\u0119c przy okazji przejrzyj \u015blady zostawiane przez SSL i CDN<\/a>.<\/p>\n\n\n\n \u017beby Google usun\u0105\u0142 zaindeksowane adresy originu, musi m\u00f3c je odwiedzi\u0107 i zobaczy\u0107 sygna\u0142 noindex albo przekierowanie na domen\u0119 kanoniczn\u0105. Robots.txt to tu z\u0142e narz\u0119dzie. Wiele os\u00f3b si\u0119ga po nie w pierwszej kolejno\u015bci, ale dokumentacja Google o blokowaniu indeksowania<\/a> wyja\u015bnia, \u017ce zablokowane adresy mog\u0105 i tak trafi\u0107 do indeksu, tylko bez tre\u015bci. Masz dwie opcje, kt\u00f3re naprawd\u0119 dzia\u0142aj\u0105:<\/p>\n\n\n\n Gdy sprawa jest pilna, narz\u0119dzie Google do usuwania adres\u00f3w szybko ukryje URL-e. Ale tylko na jaki\u015b czas. To plaster, a nie zamiennik poprawionej konfiguracji serwera.<\/p>\n\n\n\nJak sprawdzi\u0107, czy serwer origin jest zaindeksowany<\/h2>\n\n\n\n
\n
Zablokuj bezpo\u015bredni dost\u0119p po IP i ogranicz origin do proxy<\/h2>\n\n\n\n
\n
Ustawienie hosta kanonicznego za proxy<\/h2>\n\n\n\n
Usuwanie adres\u00f3w originu, kt\u00f3re Google ju\u017c zaindeksowa\u0142<\/h2>\n\n\n\n
\n
Podsumowanie: naprawa krok po kroku<\/h2>\n\n\n\n