W wi\u0119kszo\u015bci ma\u0142ych serwis\u00f3w to nie crawl budget hamuje indeksowanie. Zaczyna mie\u0107 znaczenie dopiero wtedy, gdy strona generuje znacznie wi\u0119cej adres\u00f3w URL do crawlowania, ni\u017c ma prawdziwych podstron, a winne s\u0105 zwykle filtry, sortowanie albo niedba\u0142a obs\u0142uga b\u0142\u0119d\u00f3w. Je\u015bli wi\u0119c prowadzisz kilka ma\u0142ych stron i ci\u0105gle czytasz, \u017ce crawl budget ogranicza indeksowanie, pewnie zastanawiasz si\u0119: czy to mnie dotyczy? Poni\u017cej opisuj\u0119, jak Google definiuje ten bud\u017cet, dla kogo naprawd\u0119 s\u0105 pisane jego wytyczne, jakie pu\u0142apki marnuj\u0105 crawling na ma\u0142ych stronach i co poprawi\u0107 zamiast tego.<\/p>\n\n\n\n
Crawl budget to zbi\u00f3r adres\u00f3w URL, kt\u00f3re Google mo\u017ce i chce crawlowa\u0107 w danej witrynie. Wed\u0142ug dokumentacji Google o crawl budget<\/a> infrastruktura crawluj\u0105ca traktuje witryn\u0119 jako unikaln\u0105 nazw\u0119 hosta, wi\u0119c www.example.com i code.example.com maj\u0105 osobne bud\u017cety. Bud\u017cet sk\u0142ada si\u0119 z dw\u00f3ch cz\u0119\u015bci:<\/p>\n\n\n\n Ka\u017cda witryna zaczyna z tym samym domy\u015blnym limitem wydajno\u015bci i jest to limit ostro\u017cny. Google podnosi go z czasem, je\u015bli jest zapotrzebowanie, a witryna dzia\u0142a sprawnie. Jest jednak haczyk. Nawet gdy limit nigdy nie zostaje osi\u0105gni\u0119ty, niskie zapotrzebowanie i tak oznacza, \u017ce Google crawluje witryn\u0119 rzadziej.<\/p>\n\n\n\n Rzadko. W typowej ma\u0142ej witrynie ze skromnym, stabilnym zestawem podstron crawl budget prawie nigdy nie jest powodem, dla kt\u00f3rego strony nie trafiaj\u0105 do indeksu. Wytyczne dotycz\u0105ce zarz\u0105dzania crawl budget s\u0105 skierowane do du\u017cych witryn i takich, kt\u00f3rych tre\u015b\u0107 zmienia si\u0119 bardzo cz\u0119sto (a nie do bloga czy strony wizyt\u00f3wki z kilkudziesi\u0119cioma adresami URL, kt\u00f3re prawie si\u0119 nie zmieniaj\u0105). W sieci ka\u017cda domena lub subdomena to osobna nazwa hosta z w\u0142asnym bud\u017cetem. Ma\u0142e strony nie dziel\u0105 jednej wsp\u00f3lnej puli. Dodaj kolejn\u0105 stron\u0119 do sieci<\/a>, a pozosta\u0142e nie strac\u0105 ani troch\u0119 crawlingu.<\/p>\n\n\n\n Ma\u0142a witryna nadal mo\u017ce marnowa\u0107 crawling, gdy generuje mn\u00f3stwo adres\u00f3w URL powielaj\u0105cych t\u0119 sam\u0105 tre\u015b\u0107. Typowi winowajcy:<\/p>\n\n\n\n Nawigacja fasetowa to podr\u0119cznikowy przyk\u0142ad. Ka\u017cda kombinacja filtr\u00f3w koloru, rozmiaru czy ceny tworzy nowy URL z niemal identyczn\u0105 tre\u015bci\u0105, a to szybko si\u0119 sumuje. Je\u015bli Google sp\u0119dza za du\u017co czasu na adresach, kt\u00f3rych nie powinien crawlowa\u0107, mo\u017ce nie dotrze\u0107 do reszty witryny albo w og\u00f3le nie podnie\u015b\u0107 bud\u017cetu. Zdarzenia obejmuj\u0105ce ca\u0142\u0105 witryn\u0119, na przyk\u0142ad przeniesienie serwisu, dzia\u0142aj\u0105 odwrotnie: na kr\u00f3tko zwi\u0119kszaj\u0105 zapotrzebowanie na crawling, \u017ceby Google m\u00f3g\u0142 ponownie przetworzy\u0107 tre\u015b\u0107 pod nowymi adresami.<\/p>\n\n\n\n Zarz\u0105dzaj zasobem adres\u00f3w URL tak, \u017ceby Google wydawa\u0142 crawling na unikaln\u0105 tre\u015b\u0107, a nie na unikalne adresy. Du\u017ca r\u00f3\u017cnica. Te kroki dotycz\u0105 twojego serwera \u017ar\u00f3d\u0142owego<\/a>, CMS-a albo konfiguracji NGINX:<\/p>\n\n\n\n Mi\u0119dzy usuni\u0119ciem a blokowaniem wybieraj z rozwag\u0105. Ludzie ci\u0105gle to myl\u0105. Usuni\u0119ta strona, kt\u00f3ra zwraca status b\u0142\u0119du, to mocny sygna\u0142, \u017ceby jej ponownie nie crawlowa\u0107. Adresy zablokowane w robots.txt natomiast siedz\u0105 w kolejce do crawlowania znacznie d\u0142u\u017cej i s\u0105 crawlowane ponownie, gdy tylko blokada zniknie.<\/p>\n\n\n\n Google podnosi limit wydajno\u015bci crawlowania tylko witrynom, kt\u00f3re dzia\u0142aj\u0105 sprawnie, wi\u0119c dost\u0119pno\u015b\u0107 w trakcie crawlowania jest wa\u017cniejsza ni\u017c jakiekolwiek ustawienie do podkr\u0119cenia. Przy diagnozowaniu najpierw sprawd\u017a, czy witryna mia\u0142a problemy z dost\u0119pno\u015bci\u0105 podczas wizyt Googlebota. Dopiero potem zajmij si\u0119 zwi\u0119kszaniem wydajno\u015bci crawlowania. A niskie zapotrzebowanie na crawling? Moim zdaniem to zwykle problem tre\u015bci i sygna\u0142\u00f3w, a nie limitu bud\u017cetu. Ubogie, zduplikowane albo rzadko aktualizowane strony daj\u0105 Google ma\u0142o powod\u00f3w, \u017ceby wraca\u0107. Logi to w\u0142a\u015bciwe narz\u0119dzie, \u017ceby zobaczy\u0107, gdzie crawlery sp\u0119dzaj\u0105 czas<\/a> na twoim serwerze, a pozosta\u0142e wpisy o crawlingu i serwerach<\/a> omawiaj\u0105 powi\u0105zane kwestie konfiguracji.<\/p>\n\n\n\n Dla ka\u017cdej witryny por\u00f3wnaj strony, kt\u00f3re chcesz mie\u0107 w indeksie, z adresami URL, kt\u00f3re Google ci\u0105gle znajduje. Win\u0105 obarczaj crawl budget tylko wtedy, gdy r\u00f3\u017cnica wynika z nadmiaru adres\u00f3w. Przejd\u017a t\u0119 list\u0119 dla ka\u017cdej domeny:<\/p>\n\n\n\n\n
Czy crawl budget wp\u0142ywa na ma\u0142e strony w sieci?<\/h2>\n\n\n\n
Kiedy crawl budget staje si\u0119 realnym problemem na ma\u0142ej stronie<\/h2>\n\n\n\n
\n
Jak skupi\u0107 crawling na stronach, kt\u00f3re si\u0119 licz\u0105<\/h2>\n\n\n\n
\n
<lastmod><\/code> przy zaktualizowanej tre\u015bci.<\/li>\nDlaczego kondycja witryny liczy si\u0119 bardziej ni\u017c wielko\u015b\u0107 bud\u017cetu<\/h2>\n\n\n\n
Szybka kontrola crawl budget w ma\u0142ej sieci stron<\/h2>\n\n\n\n
\n
<lastmod><\/code><\/li>\n