\u017beby bezpiecznie ogranicza\u0107 boty, najpierw zweryfikuj Googlebota i wy\u0142\u0105cz go z limit\u00f3w, potem d\u0142awij ca\u0142\u0105 reszt\u0119 per IP przez nginx limit_req i zwracaj 429 Too Many Requests ka\u017cdemu klientowi, kt\u00f3ry przekroczy limit. To ca\u0142y przepis. Ten poradnik jest dla administrator\u00f3w, kt\u00f3rych serwer \u017ar\u00f3d\u0142owy zasypuj\u0105 scrapery i kt\u00f3rzy chc\u0105 je spowolni\u0107, nie trac\u0105c crawlowania przez wyszukiwark\u0119. Haczyk? Limit na\u0142o\u017cony na wszystkich \u0142apie te\u017c prawdziwego Googlebota. A fa\u0142szywe crawlery wysy\u0142aj\u0105 user agent Googlebota w\u0142a\u015bnie po to, \u017ceby prze\u015blizgn\u0105\u0107 si\u0119 przez twoje regu\u0142y, wi\u0119c sam ci\u0105g user agent niczego nie dowodzi.<\/p>\n\n\n\n
Google odczytuje seri\u0119 odpowiedzi 429, 500 lub 503 jako \u201ezwolnij, prosz\u0119”, wi\u0119c limit, kt\u00f3ry \u0142apie Googlebota, obni\u017ca tempo crawlowania ca\u0142ej nazwy hosta. Nie tylko jednej \u015bcie\u017cki. Wed\u0142ug poradnika Google o ograniczaniu crawlowania<\/a> spowolnienie obejmuje ca\u0142\u0105 nazw\u0119 hosta, na przyk\u0142ad subdomain.example.com. Rzadziej crawlowane s\u0105 wi\u0119c tak\u017ce adresy URL, kt\u00f3re zwracaj\u0105 zupe\u0142nie normaln\u0105 tre\u015b\u0107, razem z tymi, kt\u00f3re sypa\u0142y b\u0142\u0119dami. Crawlowanie samo wraca do normy, gdy b\u0142\u0119d\u00f3w ubywa. Moim zdaniem 429 wys\u0142ane do Googlebota ma by\u0107 narz\u0119dziem, po kt\u00f3re si\u0119gasz celowo, a nigdy skutkiem ubocznym regu\u0142y na scrapery.<\/p>\n\n\n\n \u017b\u0105danie naprawd\u0119 pochodzi od Googlebota tylko wtedy, gdy jego IP rozwi\u0105zuje si\u0119 na nazw\u0119 hosta Google, a ta nazwa rozwi\u0105zuje si\u0119 z powrotem na to samo IP, albo gdy IP mie\u015bci si\u0119 w opublikowanych przez Google zakresach crawler\u00f3w. Weryfikacja DNS w obie strony wygl\u0105da tak:<\/p>\n\n\n\n Nazwy host\u00f3w maj\u0105 wzorce w rodzaju crawl-***-***-***-***.googlebot.com lub geo-crawl-***-***-***-***.geo.googlebot.com, jak pokazuje instrukcja Google do weryfikacji crawler\u00f3w<\/a>. Wolisz zakresy ni\u017c DNS? Mo\u017cesz zamiast tego por\u00f3wnywa\u0107 IP z listami publikowanymi przez Google. Tylko od\u015bwie\u017caj je regularnie (wystarczy zadanie cron), zamiast wpisa\u0107 je na sztywno i o nich zapomnie\u0107. Je\u015bli odwrotna cz\u0119\u015b\u0107 sprawdzenia wydaje ci si\u0119 troch\u0119 mglista, tu wyja\u015bniamy, jak dzia\u0142aj\u0105 zapytania PTR<\/a>.<\/p>\n\n\n\n nginx limit_req ogranicza \u017c\u0105dania wed\u0142ug klucza, a pusty klucz nigdy nie jest liczony, wi\u0119c zweryfikowane crawlery omijaj\u0105 limit, a wszyscy pozostali s\u0105 \u015bledzeni per IP. Ta drobna osobliwo\u015b\u0107 robi tu wi\u0119kszo\u015b\u0107 roboty. Minimalna konfiguracja ma cztery elementy: blok geo<\/em>, kt\u00f3ry oznacza zweryfikowane zakresy Google, map<\/em>, kt\u00f3ry zamienia t\u0119 flag\u0119 na pust\u0105 warto\u015b\u0107 albo $binary_remote_addr<\/em>, limit_req_zone<\/em> na tym kluczu oraz limit_req<\/em> z burst i nodelay w bloku location.<\/p>\n\n\n\n Ustaw limit_req_status 429<\/strong>, \u017ceby d\u0142awieni klienci dostawali 429 Too Many Requests zamiast domy\u015blnego w nginx 503, i wysy\u0142aj razem z nim nag\u0142\u00f3wek Retry-After. Kosztowne \u015bcie\u017cki, takie jak wyszukiwarka, filtry i feedy, zas\u0142uguj\u0105 na osobn\u0105, cia\u015bniejsz\u0105 stref\u0119. Zasobom statycznym wystarczy lu\u017aniejsza. Te ustawienia dotycz\u0105 twojego w\u0142asnego serwera \u017ar\u00f3d\u0142owego lub serwera NGINX. A warto\u015bci limit\u00f3w? Zale\u017c\u0105 od twojego ruchu i sprz\u0119tu, wi\u0119c dostrajaj je na podstawie log\u00f3w. Kopiowanie liczb z przypadkowego wpisu na blogu (tego te\u017c) to prosta droga do d\u0142awienia prawdziwych u\u017cytkownik\u00f3w.<\/p>\n\n\n\n Wszystko, co w user agencie podaje si\u0119 za Googlebota, ale nie przechodzi weryfikacji DNS ani zakres\u00f3w IP, trafia do najostrzejszej strefy limit\u00f3w albo jest od razu blokowane. Bez drugiej szansy. W logu dost\u0119pu zdradzaj\u0105 to takie sygna\u0142y:<\/p>\n\n\n\n Trzymaj wyniki reverse DNS w cache, inaczej weryfikacja dok\u0142ada zapytanie do ka\u017cdego pojedynczego \u017c\u0105dania. S\u0142abo. Loguj te\u017c d\u0142awione \u017c\u0105dania do osobnego pliku, \u017ceby \u0142atwo wy\u0142apa\u0107 fa\u0142szywe alarmy. Do przegl\u0105dania tego pliku \u015bwietnie nadaje si\u0119 to samo podej\u015bcie, kt\u00f3rego u\u017cywamy do weryfikacji Googlebota w logach<\/a>.<\/p>\n\n\n\n Za reverse proxy serwer \u017ar\u00f3d\u0142owy widzi adres proxy zamiast adresu crawlera, wi\u0119c weryfikacja po IP i limity per IP na serwerze \u017ar\u00f3d\u0142owym przestaj\u0105 dzia\u0142a\u0107, chyba \u017ce prawdziwe IP klienta jest przekazywane dalej. Rotuj\u0105ce adresy proxy jeszcze to komplikuj\u0105. Jeden odwiedzaj\u0105cy mo\u017ce pojawi\u0107 si\u0119 pod kilkoma adresami, a wielu odwiedzaj\u0105cych mo\u017ce dzieli\u0107 jeden. Liczniki per IP si\u0119 rozje\u017cd\u017caj\u0105, a sprawdzenia reverse DNS trafiaj\u0105 w niew\u0142a\u015bciwy host. Rozwi\u0105zaniem jest nag\u0142\u00f3wek z przekazanym IP klienta plus lista zaufanych adres\u00f3w proxy, a dok\u0142adnie tym zajmuje si\u0119 modu\u0142 nginx real_ip. Tylko \u017ce weryfikacja jest dok\u0142adnie tak wiarygodna jak ten nag\u0142\u00f3wek. Je\u015bli tw\u00f3j ruch idzie przez reverse proxy z rotacj\u0105 IP<\/a>, sprawd\u017a, kt\u00f3ry adres faktycznie trafia do twoich stref limit\u00f3w.<\/p>\n\n\n\n Je\u015bli to sam Googlebot przeci\u0105\u017ca serwer, mo\u017cesz przez kr\u00f3tki czas zwraca\u0107 jego \u017c\u0105daniom 500, 503 lub 429, a Google b\u0119dzie crawlowa\u0107 mniej, dop\u00f3ki b\u0142\u0119dy nie ustan\u0105. Kluczowe s\u0142owo to \u201ekr\u00f3tki”. Dokumentacja Google o tempie crawlowania<\/a> opisuje to jako dora\u017any \u015brodek na kr\u00f3tki okres, na przyk\u0142ad par\u0119 godzin albo 1-2 dni. Nie mo\u017cesz serwowa\u0107 b\u0142\u0119d\u00f3w? Wtedy mo\u017cesz z\u0142o\u017cy\u0107 specjalne zg\u0142oszenie o nietypowo wysokim tempie crawlowania. Nie pr\u00f3buj w ten spos\u00f3b prosi\u0107 o wy\u017csze tempo, bo nie do tego s\u0142u\u017cy, a jego rozpatrzenie i tak mo\u017ce potrwa\u0107 kilka dni. Tak czy inaczej, to celowe i ograniczone w czasie spowolnienie. Trzymaj je osobno od opisanych wy\u017cej limit\u00f3w na scrapery.<\/p>\n\n\n\nJak zweryfikowa\u0107 Googlebota po IP, zanim wy\u0142\u0105czysz go z limit\u00f3w?<\/h2>\n\n\n\n
\n
Konfiguracja nginx limit_req dla niezweryfikowanych bot\u00f3w<\/h2>\n\n\n\n
geo $google_verified {\n default 0;\n include \/etc\/nginx\/google-ranges.conf; # od\u015bwie\u017cane przez zadanie cron\n}\nmap $google_verified $limit_key {\n 1 \"\";\n 0 $binary_remote_addr;\n}\nlimit_req_zone $limit_key zone=bots:10m rate=YOUR_RATE;\n\nserver {\n limit_req_status 429;\n location \/ {\n limit_req zone=bots burst=YOUR_BURST nodelay;\n }\n}<\/code><\/pre>\nWy\u0142apywanie fa\u0142szywych Googlebot\u00f3w i agresywnych scraper\u00f3w<\/h2>\n\n\n\n
\n
Co si\u0119 zmienia, gdy ruch przechodzi przez reverse proxy z rotacj\u0105 IP?<\/h2>\n\n\n\n
Kiedy naprawd\u0119 trzeba zmniejszy\u0107 tempo crawlowania Googlebota<\/h2>\n\n\n\n
Podsumowanie<\/h2>\n\n\n\n