Optymalizacja pod Crawl Budget - na czym polega?

Podstawą budowania mocnej pozycji w wyszukiwarce Google jest indeksacja witryny. Odpowiednio zoptymalizowane strony internetowe o przemyślanej strategii pozycjonowania są uznawane za idealną odpowiedź na zapotrzebowanie użytkownika. Dlatego warto zadbać o to, żeby roboty google chciały często wracać na naszą witrynę w celu indeksowania adresów url przydatnych dla odbiorców. Do tego, by zweryfikować ile podstron będzie mogło być sprawdzonych w czasie jednej wizyty służy Crawl Budget. To od nas zależy jednak to, czy w czasie sprawdzania witryny roboty nie znajdą rażących błędów i nadużyć oraz czy będą wracały do nas częściej. Czym jest Crawl Budget? Jakie ma znaczenie dla pozycjonowania oraz jak zoptymalizować proces indeksowania? Na to pytanie postaramy się odpowiedzieć w poniższym artykule.

Źródło: https://backlinko.com/hub/seo/crawl-budget

Czym jest Crawl Budget?

Crawl Budget czyli budżet indeksowania strony określa liczbę podstron, które są możliwe do zaindeksowania przez roboty Google podczas pojedynczej wizyty. Narzędzia indeksujące codziennie skanują miliardy podstron z całego świata. W związku z tym wprowadzono pewne ograniczenia, które mają za zadanie usprawniać działanie botów Google przez zmniejszenie wykorzystania mocy obliczeniowej i przyczyniać się do tego, że na wysokich wynikach wyszukiwania będą się pojawiać tylko te strony, które wnoszą największą wartość dla czytelnika a ich budowa jest czytelna.

Z tego względu warto zadbać o prawidłową optymalizację przekładającą się na pozycję w wynikach wyszukiwania oraz na częste wizyty robotów Google na naszej witrynie.

Dlaczego warto zadbać o Crawl Budget?

Przy małych, prostych w strukturze stronach, zasadniczo nie występuje zbyt wiele problemów związanych z indeksowaniem witryny. Nawet przy wielu podstronach z przyporządkowanymi, odmiennymi adresami URL, indeksacja będzie odbywać się dość sprawnie. Trudności indeksowania strony można napotkać wtedy gdy witryna zaczyna regularnie rozbudowywana i pojawia się na niej kilka tysięcy podstron.

Przy niewłaściwie zarządzanym e-commerce istnieje ryzyko, że roboty Google nie dotrą do wszystkich podstron w witrynie przez co nie zostaną one zaindeksowane. Taki obrót spraw, negatywnie odbija się na wynikach wyszukiwania i na pozycji strony. Ma to bezpośredni wpływ na konwersję oraz na to, że nie będzie ona polecana użytkownikom.

Dlatego warto zadbać o to, by budżet indeksowania witryny był przemyślany oraz rozpocząć działania poprawiające funkcjonowanie strony oraz przyspieszające jej indeksowanie. Jak tego dokonać? Na to pytanie odpowiemy w dalszej części artykułu.

Jakie czynniki wpływają na Crawl Budget?

Na to jaki czas będzie musiał być przeznaczony przez roboty google, by dana witryna była w pełni zaindeksowana, ma wpływ kilka czynników.

Crawl rate limit

To ograniczenie dotyczące ilości podstron, które są odwiedzane przez roboty Google w krótkim czasie. Wyszukiwarka Google stara się, by ilość zaindeksowanych stron była optymalna i dopasowuje je do wydajności strony lub serwera na którym się znajduje.

Crawl Rate limit pomaga w bilansowaniu procesu indeksacji i powstrzymuje roboty przed nadmiernym eksploatowaniem serwera poprzez długą i częstą indeksację witryny. Dzięki takiemu zabiegowi, Crawl limit nie wpływa negatywnie na prędkość działa witryny podczas użytkowania jej przez odwiedzających.

Wpływa to na to, że proces indeksacji jest odpowiednio skoordynowany i nie wpływa negatywnie na jakość działania serwera lub witryny. Crawl limit ma więc bezpośredni wpływ na wydajność strony.

Od czego zależny jest crawl rate limit?

Ten parametr jest zależny przede wszystkim od szybkości witryny. Kiedy strona działa wolno a czas potrzebny na odpowiedź serwera jest zbyt długo znacząco wpływa to jak długo trwa indeksowanie strony.

W związku z tym, warto zadbać o to, by w obrębie danej witryny znalazło się linkowanie wewnętrzne oraz sitemapa. Warto też zadbać o odpowiednią optymalizację techniczną strony, by czas ładowania strony internetowej był jak najszybszy.

Istnieje wówczas duże prawdopodobieństwo, że wszystkie wszystkie adresy URL dostępne w obrębie witryny zostaną zaindeksowane już przy pierwszej wizycie robotów Google.

Jak sprawdzić szybkość strony?

Jeśli chcesz sprawdzić prędkość swojej witryny możesz do tego użyć takich narzędzi jak

Oba narzędzia dają nam pełny obraz tego, jak skonstruowany jest kod html, i jak długo strona ładuje się na poszczególnych etapach wczytywania witryny oraz jakie odpowiedzi serwera są zwracane w przypadku strony. Warto dbać o to, by czas całkowitego ładowania się strony był jak najkrótszy i nie wynosił więcej niż 1 sekunda.

Warto odpowiedzieć sobie też na pytanie czy można ustawić rate limit dla strony internetowej. Owszem, parametr ten można ustawić w Google Search Console jednak nie jest to gwarancja tego, że indeksacja strony się poprawi.

Crawl demand

To kolejny parametr, który ma wpływ na budżet indeksowania witryny. Crawl demand to potrzeba ponownej indeksacji strony, która jest wynikiem np. dużej ilości aktualizacji treści na stronie oraz wzrostu popularności strony internetowej.

Od czego zależny jest Crawl demand?

Wszelkie zmiany na stronie, regularne dodawanie dobrej jakościowo treści nie umyka uwadze wyszukiwarki Google. Częste dodawanie wartościowego contentu wynagradzane jest poprzez zwiększoną częstotliwość indeksacji. W związku z tym, warto dbać aby strona rozwijała się a częstotliwość aktualizacji treści wskazywała na to, że jest ona wartościowa i ulepszana. Roboty Google podrzucają użytkownikom przydatne i świeże informacje, warto pamiętać jednak o tym, że strategia contentowa powinna być przemyślana i nie powinna być dziełem przypadku.

Warto też pamiętać o tym, że zbyt częste dodawanie treści, która nie prezentuje wysokiego poziomu, może przyczynić się do tego, że budżet indeksowania nie wzrośnie a wręcz przeciwnie.

Crawl health

Crawl health oznacza, że czas odpowiedzi serwera jest bardzo niski. To czynnik, na który wpływa szybkość odpowiadania i renderowania strony oraz błędy 5xx na stronie internetowej. Warto pamiętać nie tylko o optymalizowaniu strony ale i serwera w celu szybszego indeksowania. Dbałość o prędkość strony owocuje nie tylko wysokim rankingiem ale także zwiększonym limitem indeksowania.

Rozmiar strony

Na Crawl Budget ma wpływ także taki czynnik jak ilość podstron znajdujących się w obrębie witryny. Warto zadbać o to, by wszystkie podstrony, były odpowiednio zoptymalizowane oraz, by nie doszło do przeładowania strony niepotrzebnymi treściami, które nie tylko grożą zaistnieniem duplikacji wewnętrznej ale także mogą mieć realny wpływ na trudność przy indeksowaniu obszernej witryny.

Waga podstrony

Warto zwrócić uwagę na to, jaka jest waga konkretnej strony, samo wykorzystanie kodu Javascript już znacząco wpływa na wykorzystanie więcej ilości Crawl Budget. Warto przyjrzeć się temu czy nasze podstrony nie wykorzystują zbyt dużej ilości budżetu crawlowania.

Jak sprawdzić statystyki indeksowania Crawl Budget?

Jeśli chcesz sprawdzić informacje o indeksie google możesz to zrobić z pomocą narzędzia Google Search Console. Informacje o statystykach dziennego indeksowania można obecnie znaleźć w Ustawieniach w zakładce Indeksowanie. Już w pierwszej kolejności uzyskujemy informacje o tym ile żądań indeksowania otrzymaliśmy w ostatnich 90 dniach. Po otworzeniu raportu dostajemy dokładne informacje dotyczące tego, jaka jest łączna liczba żądań robotów wyszukiwarki, jaki jest łączny rozmiar wszystkich plików i zasobów pobranych podczas indeksowania w wybranym okresie oraz jaki jest średni czas reakcji w czasie indeksowania strony.

W zakładce dostajemy też inne przydatne informacje, które mogą usprawnić optymalizację budżetu indeksowania oraz zwiększyć limit indeksowania oraz jego szybkość.

Mianowicie w raporcie możemy zobaczyć czy wystąpiły problemy z hostem strony czyli znajdziesz podsumowanie swojej ogólnej dostępności w ciągu ostatnich 90 dni. Dowiesz się tu np. czy wystąpiły problemy łączności z serwerem, jak wyglądały żądania indeksowania według stanu strony:

według odpowiedzi strony internetowej

według typu pliku

według przeznaczenia
według Googlebota

Należy jednak pamiętać, że okres 90 dni podczas, których pobierane są powyższe informacje jest relatywnie krótki a sam wykres zmienia się w zależności od nowych algorytmów crawlowania robotów wyszukiwarki.

Jak optymalizować Crawl Budget krok po kroku?

Skoro wiemy już czym jest Crawl Budget, dlaczego jest tak ważny i od czego zależy, możemy zastanowić się nad tym, jakie kroki należy podjąć, by zoptymalizować Crawl Budget krok po kroku.

Indeksowanie strony z pomocą pliku robots.txt

Przede wszystkim należy pozwolić na indeksację najważniejszych stron poprzez plik robots.txt.

Jest to pierwszy krok optymalizacji przy czym często okazuje się być tym najważniejszym. Plik robots.txt przekazuje informacje o tym, jakie podstrony robot google mają zostać zaindeksowane. Plik robots z mapą witryny może być zarządzany samodzielnie lub można do tego wykorzystać odpowiednie narzędzia audytujące witryny.

Dzięki temu, będziemy mogli mieć wpływ na to, jakie podstrony mogą być indeksowanie a jakie podstrony mają zostać pominięte w procesie.

Łańcuchy przekierowań

Na stronie internetowej ciężko jest uniknąć łańcuchów przekierowań. Warto jednak dbać o to, by był on jak najmniej rozbudowany. Często niemożliwym jest to, by nie natrafić na przekierowanie 301 w obrębie konkretnej strony.

Rozbudowane łańcuchy przekierowań mogą spowodować zatrzymanie indeksacji w wyniku czego priorytetowa strona nie pojawi się w wynikach wyszukiwania. Dlatego warto być czujnym i pilnować tego, by ilość przekierowań w łańcuchu nie przekraczała jednego lub dwóch przekierowań.

Błędy 404

Warto wspomnieć o tym jaki wpływ na budżet indeksowania mają błędy 404. Niestety zarówno błędy 404 jak i błędy 410 mają negatywny wpływ na crawl budżet i przyczyniają się do zmniejszenia limitu indeksowania. Błędy tego rodzaju znaczącą działają się na aspekty UX. Dlatego należy naprawić zweryfikować wszystkie podstrony ze statusem 4XX i 5xx oraz naprawić kody odpowiedzi. Żeby to zrobić warto skorzystać z takich narzędzi jak SE Ranking czy Screaming Frog dzięki, którym przeprowadzimy dokładny audyt strony internetowej pod względem kodów odpowiedzi. Informacje o błędach indeksowania uzyskamy też w narzędziu Google Search Console w którym zawarte są informacje o tym jakie błędy uniemożliwiły indeksowanie, ile podstron zostało zaindeksowanych z sukcesem. W raporcie zawartych w tej zakładce zobaczymy też przyczyny i problemy, które wpłynęły na to, że podstrony jeszcze nie zostały zaindeksowane (jest jednak szansa, że zostaną zaindeksowane w przyszłości).

Logi serwera

Chcąc skutecznie optymalizować crawl budget warto zająć się analizą logów serwera po to, żeby sprawdzić jak roboty google poruszały się po Twojej witrynie. Najlepszym zakresem czasu, który warto wziąć pod uwagę przeprowadzając taką analizę jest ostatni miesiąc. Jeśli serwis jest duży to warto jednak przeanalizować krótszy okres – dwóch tygodni.

Aktualizacja sitemapy

Przy optymalizacji crawl budget warto pamiętać także o to, by zająć się mapą strony. Sitemapa powinna powinna być uaktualniana w celu przyspieszania i usprawnienia poruszania się robotów google po stronie oraz szybkiej orientacji w powiązaniach linkowania wewnętrznego. Mapa witryny powinna być także zgłaszana w Google Search Console z listą wszystkich podstron dostępnych w indeksacji.

Treść na stronie

Często mówi się o tym jaki negatywny wpływ na jakość witryny oraz na ranking ma duplikacja treści. Warto pamiętać o tym, że unikatowa treść ma ogromne znaczenie przy ustalaniu strategii pozycjonowania i przykłada się na wysoką pozycję wyszukiwarce google. Kopiowanie treści w obrębie witryny na wielu podstronach może mieć negatywne skutki dla budżetu indeksowania.

Treść kopiowana lub taka, która nie wyczerpuje tematu daje sygnał robotom google, że nie jest ona wartościowa i nie warto jej windować w wynikach wyszukiwania.

Innym problemem z, którym może borykać się witryna internetowa jest kanibalizacja treści. Jest to zjawisko pojawiające się gdy podstrony są pozycjonowane na te samą frazę kluczową lub gdy treść podstron jest do siebie znacząco zbliżona. w takiej sytuacji roboty Google mają problem z przyporządkowaniem podstrony do pozycjonowanej frazy kluczowej w efekcie czego, w wynikach wyszukiwania może pojawić się podstrona, która nie była naszym priorytetem dla danej frazy. Warto dbać o częstotliwości aktualizacji treści o raz o to, by wyczerpać poruszane zagadnienie przy pomocy unikatowej treści. Google promuje aktualne informacje. Dlatego jeśli treść jest przemyślana i przynosi wyraźną korzyść dla użytkownika to istnieje duże prawdopodobieństwo, że google uzna ją za wartą promowania i dana witryna będzie mogła liczyć na wyświetlanie się na pierwszych pozycjach wyników wyszukiwania w odpowiedzi na zapytanie użytkownika.

Linkowanie wewnętrzne

W procesie pozycjonowania istotną rolę odgrywa także strategia linkowania wewnętrznego. Tworzenie przemyślanych łańcuchów linków między podstronami danej witryny. Wewnętrzne linki nakładane w naturalny sposób na frazę kluczową mogą odbić się pozytywnie na wynikach wyszukiwania oraz wpływają na przekazanie mocy z jednej podstrony na drugą przyczyniając się do budowania wartości określonego słowa kluczowego.

Adresy kanoniczne

Warto korzystać z adresów kanonicznych adresów URL dla witryny. Co prawda tag rel= canonical nie wpływa bezpośrednio na zaoszczędzenie budżetu indeksowania ale sprawi, że optymalizacja pod crawl budget będzie o wiele łatwiejsza. Adresy kanoniczne sprawiają, że Google szybciej orientuje się w tym, jaką wersję Twojej strony należy zaindeksować w pierwszej kolejności.

Wykluczanie stron z procesu indeksowania

Jeśli po weryfikacji podstron uznasz, że niektóre z nich są niepotrzebne i nie powinny być indeksowane, warto przy nich rozważyć użycie znacznika meta „noindex”. Z punktu widzenia Google ten znacznik jest wyraźnym sygnałem jakie podstrony powinny być wykluczone z indeksu. Dzięki temu parametrowi oszczędzamy budżet indeksowania przeznaczając go na podstrony istotne dla SEO oraz sprawiamy, że optymalizacja crawl budget jest skuteczna .

Jak skutecznie zwiększyć Crawl Budget?

Wiemy już, jak robot znajduje strony i jakie czynniki bierze pod uwagę rozdzielając crawl budget dla danej witryny. Dzięki tym informacjom optymalizacja crawl budget jest efektywniejsza a statystyki indeksowania będą przedstawiać się o wiele lepiej. Jak skutecznie zwiększyć limit współczynnika indeksacji i pomóc Twojej stronie pojawić się na wysokiej pozycji w wyszukiwarce?

Należy zadbać o zbudowanie właściwej architektury witryny oraz sprowadzić do minimum błędy, które się w niej pojawiają.
Należy zadbać o to, żeby nowe podstrony przyniosły wyraźną wartość, nie były przypadkowe oraz żeby nie zaburzały wielkości serwisu generując nadprogramową treść przyczyniającą się do powstawania duplicate content i kanibalizacji.
Niepotrzebne podstrony powinny być wykluczone z indeksacji w pliku robots.txt.
Należy ograniczyć ilość przekierowań i zadbać, by łańcuch był jak najkrótszy.
Aktualna sitemapa powinna być wprowadzona do Google Search Console.
Należy zoptymalizować stronę internetową pod kątem prędkości działania – jest to istotne również dla szybkości indeksowania.

Podsumowanie

Crawl Budget określa liczbę podstron, które będą mogły być zaindeksowane przez roboty Google podczas pojedynczej wizyty. Odpowiednia optymalizacja budżetu crawlowania przekłada się na zwiększony crawl rate limit oraz na popularność witryny. Im większa ilość adresów URL spełni wymogi Google tym bardziej zwiększy się jej wartość i przydatność dla użytkownika co przełoży się na wyświetlanie wyników z nią związanych. Warto monitorować poruszanie się robotów Google, by zweryfikować jak przebiega crawlowanie strony. Żeby sprawdzić Crawl Budget warto skorzystać z raportów generowanych przez Search Console.

Uważna optymalizacja witryny i dbałość o jej architekturę przełoży się nie tylko na to, że adresy URL będą sprawniej indeksowane a roboty wyszukiwarki będą chętniej do nas wracać co nie tylko zaowocuje zwiększoną widocznością ale także możliwością polepszenia sprzedaży produktów i usług oraz zwiększeniem świadomości naszej marki.

Optymalizacja pod Crawl Budget – na czym polega?