Ka\u017cde techniczne dochodzenie SEO w ko\u0144cu uderza w \u015bcian\u0119. Analityka po prostu przestaje odpowiada\u0107. Widzisz, \u017ce sesje z organica spad\u0142y, \u017ce wy\u015bwietlenia si\u0119 wyp\u0142aszczy\u0142y, \u017ce jaki\u015b szablon po cichu przesta\u0142 zbiera\u0107 klikni\u0119cia - ale nie widzisz, dlaczego trzy tygodnie wcze\u015bniej crawler odpu\u015bci\u0142 sobie po\u0142ow\u0119 twojego katalogu. Logi serwera zasypuj\u0105 t\u0119 luk\u0119. To jedyny zapis tego, co faktycznie dotar\u0142o do twojej infrastruktury, \u017c\u0105danie po \u017c\u0105daniu, zanim jakikolwiek skrypt, tag czy warstwa renderuj\u0105ca zd\u0105\u017cy\u0142a to zinterpretowa\u0107. Je\u015bli twoja strona jest na tyle du\u017ca, \u017ce ma ograniczenia crawlowania, analiza log\u00f3w nie jest \u017cadnym zaawansowanym luksusem. To podstawa, dzi\u0119ki kt\u00f3rej ca\u0142a reszta zaczyna mie\u0107 sens.<\/p>\n\n\n\n
Analityka po stronie klienta odpala si\u0119 na wyrenderowanym JavaScripcie. Boty, kt\u00f3re nigdy tego JavaScriptu nie wykonuj\u0105 albo rezygnuj\u0105, zanim strona si\u0119 posk\u0142ada, po prostu nie istniej\u0105 w twoich raportach. Ta jedna mechanika wymazuje z mapy wi\u0119kszo\u015b\u0107 ruchu crawler\u00f3w. Search Console troch\u0119 pomaga, ale dostajesz pr\u00f3bkowane, zagregowane i op\u00f3\u017anione liczby bez \u017cadnej szczeg\u00f3\u0142owo\u015bci na poziomie pojedynczego \u017c\u0105dania. Dowiadujesz si\u0119, \u017ce \u015bredni czas odpowiedzi wzr\u00f3s\u0142. Nie dowiadujesz si\u0119, przez kt\u00f3re dwana\u015bcie tysi\u0119cy URL-i z parametrami.<\/p>\n\n\n\n
Logi nie maj\u0105 \u017cadnego z tych ogranicze\u0144. Trafia tam ka\u017cde \u017c\u0105danie, kt\u00f3re dotkn\u0119\u0142o origin, \u0142\u0105cznie z tymi, kt\u00f3re wysypa\u0142y si\u0119 z b\u0142\u0119dem 500, zanim jakikolwiek tag zd\u0105\u017cy\u0142 si\u0119 za\u0142adowa\u0107. A ta \u015blepa plamka robi si\u0119 jeszcze gorsza na du\u017cych serwisach, sklepach z filtrowaniem fasetowym i przy migracjach, gdzie marnowanie crawlu pozostaje niewidoczne, dop\u00f3ki pozycje wyra\u017anie nie zjad\u0105. Traktuj logi jak swoje jedyne w\u0142asne \u017ar\u00f3d\u0142o informacji o tym, czego crawler naprawd\u0119 do\u015bwiadczy\u0142.<\/p>\n\n\n\n
Format combined upycha w jednej linii zaskakuj\u0105co du\u017co: IP klienta, znacznik czasu, metod\u0119 \u017c\u0105dania, \u017c\u0105dan\u0105 \u015bcie\u017ck\u0119, wersj\u0119 protoko\u0142u, status odpowiedzi, liczb\u0119 przes\u0142anych bajt\u00f3w, referrer i user agent. Ka\u017cde pole odpowiada na w\u0142asne pytanie.<\/p>\n\n\n\n
Bogatsze stacki daj\u0105 wi\u0119cej. Nginx potrafi logowa\u0107 czas odpowiedzi upstreamu, a CDN-y zapisuj\u0105 trafienie lub pud\u0142o w cache na brzegu sieci. Pliki zwykle le\u017c\u0105 w access_log Apache’a, access.log Nginksa, plus osobne strumienie z CDN-a i load balancera. Pole z IP klienta niesie te\u017c informacj\u0119 geograficzn\u0105, co ma znaczenie, je\u015bli korzystasz z nordyckich pul adres\u00f3w IP<\/a> i musisz potwierdzi\u0107, z kt\u00f3rego centrum danych przyszed\u0142 crawler.<\/p>\n\n\n\n Wskaz\u00f3wka:<\/strong> Ustaw w\u0142asny format loga z czasem odpowiedzi i statusem cache ju\u017c teraz, zanim co\u015b si\u0119 wydarzy. Nie da si\u0119 dorobi\u0107 p\u00f3l wstecz do historii. Pr\u00f3bowa\u0142em.<\/p>\n\n\n\n Ci\u0105gi user agent podrabia si\u0119 banalnie \u0142atwo. Scrapery przez ca\u0142y dzie\u0144 przedstawiaj\u0105 si\u0119 jako Googlebot, \u017ceby prze\u015blizgn\u0105\u0107 si\u0119 przez prymitywne regu\u0142y blokuj\u0105ce, wi\u0119c filtrowanie wy\u0142\u0105cznie po tym ci\u0105gu zatruwa zbi\u00f3r danych i zawy\u017ca ka\u017cdy wniosek o bud\u017cecie crawlowania. Weryfikacja jest obowi\u0105zkowa. Nie opcjonalna.<\/p>\n\n\n\n Standardowa metoda: odwrotne zapytanie DNS<\/a> na IP wysy\u0142aj\u0105cym \u017c\u0105danie, potwierdzenie, \u017ce rozwi\u0105zuje si\u0119 do prawid\u0142owej nazwy hosta crawlera, a potem zapytanie w prz\u00f3d, kt\u00f3re musi zwr\u00f3ci\u0107 pierwotny adres. Przy pracy hurtowej na milionach linii publikowane pliki z zakresami IP crawler\u00f3w s\u0105 du\u017co szybsze i daj\u0105 identyczny wynik przy du\u017cej skali.<\/p>\n\n\n\n Potem segmentuj. Googlebot Smartphone, Googlebot Desktop i wyspecjalizowane boty (crawlery obrazk\u00f3w, AdsBot) zachowuj\u0105 si\u0119 inaczej i zas\u0142uguj\u0105 na osobn\u0105 analiz\u0119.<\/p>\n\n\n\n Wskaz\u00f3wka:<\/strong> Trzymaj zweryfikowany i niezweryfikowany ruch bot\u00f3w jako osobne widoki, \u017ceby szum ze scraper\u00f3w nigdy nie rozwali\u0142 ci wylicze\u0144 bud\u017cetu crawlowania.<\/p>\n\n\n\n Surowa liczba \u017c\u0105da\u0144 nie m\u00f3wi prawie nic. Prawdziw\u0105 robot\u0119 robi grupowanie: podziel \u017c\u0105dania na kube\u0142ki wed\u0142ug katalogu, typu szablonu i wzorca parametr\u00f3w, a potem popatrz na rozk\u0142ad. Marnotrawstwo zbiera si\u0119 w przewidywalnych miejscach - filtry fasetowe mno\u017c\u0105ce si\u0119 w kombinatoryczne zbiory URL-i, identyfikatory sesji, parametry sortowania, paginacja kalendarza maszeruj\u0105ca a\u017c do 2049 roku i strony wynik\u00f3w wyszukiwarki wewn\u0119trznej, kt\u00f3re generuj\u0105 niesko\u0144czon\u0105 liczb\u0119 wariant\u00f3w z niczego.<\/p>\n\n\n\n Teraz por\u00f3wnaj ten rozk\u0142ad z URL-ami wa\u017cnymi komercyjnie. Rozjazd mi\u0119dzy jednym a drugim to w\u0142a\u015bnie twoje znalezisko. Logi ujawniaj\u0105 te\u017c sieroce URL-e, kt\u00f3rych nie ma w \u017cadnej mapie strony i kt\u00f3re nie dostaj\u0105 link\u00f3w wewn\u0119trznych, a mimo to zjadaj\u0105 moce przerobowe.<\/p>\n\n\n\n Kody statusu ods\u0142aniaj\u0105 wady strukturalne, kt\u00f3re audyty na poziomie pojedynczych stron rutynowo przegapiaj\u0105. Klasykiem s\u0105 mi\u0119kkie 404: strony zwracaj\u0105ce 200, cho\u0107 nie pokazuj\u0105 nic u\u017cytecznego, spalaj\u0105 moce crawlowania i nie wnosz\u0105 \u017cadnej warto\u015bci do indeksu. \u0141a\u0144cuchy i p\u0119tle przekierowa\u0144 wida\u0107 jak na d\u0142oni jako kolejne trafienia 301 i 302 w obr\u0119bie jednej sesji crawlowania, gdzie ka\u017cdy przeskok zjada bud\u017cet, kt\u00f3ry powinien gdzie\u015b wyl\u0105dowa\u0107.<\/p>\n\n\n\n B\u0142\u0119dy serwera trzeba czyta\u0107 w czasie. Kiedy odpowiedzi 5xx skupiaj\u0105 si\u0119 g\u0119sto w konkretnych oknach, zamiast rozk\u0142ada\u0107 si\u0119 r\u00f3wnomiernie, zwykle patrzysz na wyczerpanie zasob\u00f3w pod obci\u0105\u017ceniem, a nie na b\u0142\u0105d w kodzie. Z kolei odpowiedzi 429 i 503 wprost m\u00f3wi\u0105 crawlerom, \u017ceby zwolni\u0142y, po cichu t\u0142umi\u0105c odkrywanie tre\u015bci przez kolejne dni.<\/p>\n\n\n\n Wskaz\u00f3wka:<\/strong> Rysuj wykres kod\u00f3w statusu w uj\u0119ciu godzinowym, nie dziennym. Dziewi\u0119\u0107dziesi\u0119ciominutowa awaria ca\u0142kowicie znika w dziennej \u015bredniej, a razem z ni\u0105 znika twoje wyja\u015bnienie.<\/p>\n\n\n\n Tempo crawlowania idzie za wydajno\u015bci\u0105 serwera. Kiedy odpowiedzi dla bot\u00f3w zwalniaj\u0105, liczba \u017c\u0105da\u0144 spada - nawet wtedy, gdy \u017cywi u\u017cytkownicy maj\u0105 idealnie p\u0142ynne do\u015bwiadczenie, bo im zwykle serwowany jest ciep\u0142y cache, a crawlery trafiaj\u0105 na zimne \u015bcie\u017cki, kt\u00f3rych nikt wcze\u015bniej nie rozgrza\u0142.<\/p>\n\n\n\n Warto zmierzy\u0107 t\u0119 r\u00f3\u017cnic\u0119 wprost. Por\u00f3wnaj czasy odpowiedzi dla bot\u00f3w z czasami dla u\u017cytkownik\u00f3w; wyra\u017any rozjazd wskazuje prosto na niecache’owane \u015bcie\u017cki crawler\u00f3w. Wsp\u00f3\u0142czynnik pude\u0142 w cache dla ruchu bot\u00f3w to jedna z najbardziej niedocenianych diagnostyk w tej robocie. Rzadko ogl\u0105dana, cz\u0119sto rozstrzygaj\u0105ca.<\/p>\n\n\n\n Obserwuj te\u017c trendy w rozmiarze odpowiedzi. Rosn\u0105ce rozmiary zdradzaj\u0105 rozd\u0119te szablony albo pe\u0142ne renderowanie serwowane przez przypadek tam, gdzie wystarczy\u0142oby co\u015b l\u017cejszego.<\/p>\n\n\n\n Wskaz\u00f3wka:<\/strong> We\u017a pr\u00f3bk\u0119 najwolniej crawlowanych URL-i i sprawd\u017a, co je \u0142\u0105czy - wsp\u00f3lny szablon, konkretny parametr zapytania albo jedno kosztowne zapytanie do bazy siedz\u0105ce za nimi wszystkimi.<\/p>\n\n\n\n Jednorazowe dochodzenia daj\u0105 wgl\u0105d. Powtarzalne procesy daj\u0105 popraw\u0119. Zacznij od zbierania danych: scentralizuj strumienie z originu, CDN-a i load balancera oraz pilnuj, \u017ceby \u017c\u0105dania nie by\u0142y ani liczone podw\u00f3jnie, ani po cichu gubione, gdy poch\u0142ania je brzeg sieci. Trzymaj tyle historii, \u017ceby m\u00f3c por\u00f3wna\u0107 zachowanie crawler\u00f3w przed i po ka\u017cdym wi\u0119kszym wdro\u017ceniu, bo bez takiego punktu odniesienia nie przypiszesz zmiany do przyczyny.<\/p>\n\n\n\n Narz\u0119dzia dobierasz do potrzeb. Grep i awk z wiersza polece\u0144 za\u0142atwiaj\u0105 szybkie pytania, tabele przestawne w arkuszu spokojnie wystarcz\u0105 do miesi\u0119cznych przegl\u0105d\u00f3w, a dedykowane analizatory log\u00f3w i dashboardy BI robi\u0105 ci\u0105g\u0142y monitoring. Po\u0142\u0105czenie danych z log\u00f3w z eksportem z crawlera i list\u0105 z mapy strony pozwala zaklasyfikowa\u0107 ka\u017cdy URL jako scrawlowany, zaindeksowany, sierocy albo zmarnowany, i tu praca z logami \u0142\u0105czy si\u0119 z szerszymi podstawami technicznego audytu SEO<\/a>.<\/p>\n\n\n\n Podzia\u0142 jest czysty: logi opisuj\u0105, co zdarzy\u0142o si\u0119 na serwerze, analityka opisuje, co zdarzy\u0142o si\u0119 w przegl\u0105darce. Potrzebujesz obu. Ale tylko jedno z nich widzi crawlery uczciwie.<\/p>\n\n\n\n Dzia\u0142aj wed\u0142ug priorytet\u00f3w. Najpierw zatrzymaj marnotrawstwo, bo blokowanie albo konsolidacja ma\u0142o warto\u015bciowych wzorc\u00f3w URL od razu uwalnia moce przerobowe. Drugie w kolejce s\u0105 b\u0142\u0119dy - \u0142a\u0144cuchy przekierowa\u0144, mi\u0119kkie 404, awarie serwera. Szybko\u015b\u0107 idzie trzecia, kiedy ju\u017c wiesz, kt\u00f3re \u015bcie\u017cki naprawd\u0119 zas\u0142uguj\u0105 na wysi\u0142ek in\u017cynierski.<\/p>\n\n\n\nSprawdzanie, czy Googlebot to naprawd\u0119 Googlebot<\/h2>\n\n\n\n
Marnowany bud\u017cet crawlowania: gdzie boty sp\u0119dzaj\u0105 czas<\/h2>\n\n\n\n
\n
Wzorce kod\u00f3w statusu, kt\u00f3re wskazuj\u0105 na problemy strukturalne<\/h2>\n\n\n\n
Czas odpowiedzi, rozmiar odpowiedzi i tempo crawlowania<\/h2>\n\n\n\n
Budowanie powtarzalnego procesu analizy log\u00f3w<\/h2>\n\n\n\n
\n
Jak zamieni\u0107 wnioski z log\u00f3w w poprawki<\/h2>\n\n\n\n