Zwiększ crawl budget i zdobywaj wyższe pozycje w Google

Szybciej widoczne w wynikach wyszukiwania i dostępne dla użytkowników treści ze strony internetowej? Jeśli jest to dla Ciebie ważne, sprawdź, czym jest crawl budget. Jego optymalizacja odgrywa szczególną rolę w przypadku rozbudowanych serwisów.

Spis treści:

1. Czym jest crawl budget?
2. Jak wyszukiwarka Google gromadzi dane o stronach?
3. Pojęcia ważne dla budżetu indeksowania
4. Narzędzie do analizy crawl budgetu – Google Search Console
5. Jak zwiększyć crawl budget?

Czym jest crawl budget?

Crawl budget, czyli budżet indeksowania, to ważny termin w SEO. Wskazuje, ile podstron w serwisie roboty Google są w stanie odwiedzić i zaindeksować w trakcie jednej wizyty. Crawl budget zależy od różnych czynników, m.in. rozmiaru strony, częstotliwości aktualizacji treści i linkowania.

By lepiej zrozumieć crawl budget i wysiłek robotów, można go porównać do pracy nad katalogowaniem książek w ogromnej bibliotece. Googlebot w tym porównaniu pełni funkcję bibliotekarza, którego zadanie polega na przejrzeniu jak największej liczby publikacji (podstron) i zapisaniu o nich informacji w katalogu (czyli dodaniu podstron do indeksu Google). Dysponuje on określonymi zasobami – podobnie jak bibliotekarz mający ograniczony czas.

Jak wyszukiwarka Google gromadzi dane o stronach?

W kontekście budżetu indeksowania ważny jest sposób, w jaki roboty (crawlery Google) zbierają informacje o stronach. Dlatego poniżej przedstawiamy w skrócie te działania.

Skanowanie

Zanim strona pojawi się w wynikach Google, roboty muszą ją znaleźć, zrozumieć jej zawartość i dodać ją do swojego indeksu. Proces ten zaczyna się od skanowania, czyli czasu, w którym boty przeszukują Internet w poszukiwaniu nowych serwisów i aktualizacji istniejących już treści.

W jaki sposób Google dowiaduje się o nowej stronie internetowej? Po pierwsze, może pozyskać tę wiedzę dzięki mapie strony (sitemap) przesłanej do Google Search Console. Po drugie, może dowiedzieć się o nowym serwisie z prowadzących do niego linków pochodzących z zaindeksowanych już stron.

Indeksacja

Po skanowaniu przychodzi czas na indeksowanie, w trakcie którego roboty starają się „zrozumieć” zawartość strony. Analizują tematykę, unikalność i wartość treści. Jeśli wymagania jakościowe zostaną spełnione, serwis trafi do indeksu Google, czyli ogromnej bazy stron dostępnych w wynikach wyszukiwania.

Jak sprawdzić, czy witryna została zaindeksowana? Wystarczy wpisać w wyszukiwarkę: site:twojadomena.pl, czyli „site:”, a po nim nazwę domeny. Jeśli podstrony serwisu pojawią się w wynikach, strona jest zaindeksowana. Warto też przejrzeć kolejne rezultaty, by upewnić się, że w indeksie nie znajdują się podstrony, które nie powinny być widoczne, takie jak podstrony rejestracji i logowania czy filtrowania produktów.

Wyświetlanie wyników

Samo zaindeksowanie strony nie oznacza, że będzie się ona pojawiać na wysokich miejscach w wynikach Google. Osiągnięcie takich pozycji wymaga wielorakich i często wielomiesięcznych działań z zakresu SEO. Do ważniejszych czynników decydujących o wyświetlaniu strony na pierwszych miejscach należy m.in.:

• jakość treści – Google docenia unikalne i wartościowe dla użytkownika teksty,
• dobór odpowiednich fraz kluczowych – tworząc treści, nawet najbardziej ciekawe i wyczerpujące, trzeba uwzględnić w nich słowa kluczowe,
• pozytywne doświadczenie użytkownika – strona powinna szybko się ładować, odpowiednio wyświetlać na urządzeniach mobilnych oraz być prosta w nawigacji,
• autorytet strony – warto zadbać o dużą liczbę wartościowych stron linkujących do serwisu.

Pojęcia ważne dla budżetu indeksowania

Wiesz już, jak crawlery Google zbierają informacje o stronach. Dlatego teraz warto przybliżyć pojęcia związane z samym budżetem indeksowania, takie jak crawl rate limit (limit współczynnika indeksacji), crawl demand (częstotliwość indeksacji) i crawl health (kondycja crawla).

Crawl rate limit

Googlebot nie chce przeciążyć serwera, dlatego ogranicza liczbę jednoczesnych połączeń podczas skanowania strony. Dzięki temu serwisowi nie zagraża spowolnione działanie w trakcie wizyty robota.

Na crawl rate limit możesz wpłynąć, wykorzystując Google Search Console lub plik robots.txt. W Google Search Console ręcznie dostosujesz częstotliwość skanowania – choć warto mieć na uwadze, że roboty nie zawsze biorą pod uwagę te ustawienia. W pliku robots.txt natomiast zablokujesz dostęp do części witryny niewymagających indeksowania.

Crawl demand

Częstotliwość indeksacji, czyli crawl demand, można rozumieć jako zapotrzebowanie Google na skanowanie danej strony. Inaczej mówiąc, jeśli boty uznają serwis za ważny, częściej go odwiedzają. Na crawl demand wpływają choćby takie czynniki jak:

• popularność strony – serwis odwiedzany przez dużą liczbę użytkowników i mający wiele linków przychodzących może być częściej skanowany,
• aktualizacje treści – strona regularnie wzbogacana o treści będzie częściej odwiedzana przez boty Google. Teksty powinny być jednak wartościowe i unikalne. W przeciwnym razie serwis zostanie uznany za niewarty częstych wizyt i zwiększenia budżetu indeksowania.

Crawl health

Crawl health oznacza kondycję strony internetowej z perspektywy wyszukiwarki. Jeśli serwis ładuje się szybko, a błędy są ograniczone do minimum, bot może swobodnie skanować kolejne podstrony. Dlatego zwróć uwagę na kwestie mogące pogarszać crawl health Twojej strony, np. przerwy w działaniu witryny, nieprawidłowe przekierowania prowadzące donikąd lub tworzące pętle, nieistniejące bądź zwracające błędy serwera podstrony.

Narzędzie do analizy crawl budgetu – Google Search Console

Budowanie widoczności serwisu, a także analiza i poprawa budżetu indeksowania są niemożliwe bez korzystania z Google Search Console. Aby sprawdzić dane dotyczące skanowania strony przez roboty Google, przejdź w GSC do sekcji Ustawień, a następnie Statystyk indeksowania i zwróć uwagę na takie elementy jak:

• Całkowita liczba żądań – pokazuje, jak intensywnie bot przeszukuje Twoją stronę. Im większy jest jego ruch, tym więcej zasobów Google przeznacza na indeksowanie witryny.
• Rodzaje żądań – informuje, ile spośród żądań bota zakończyło się sukcesem (status 200) oraz ile napotkało błędy.
• Dostępność zasobów – pokazuje, czy Googlebot może pobierać wszystkie pliki niezbędne do poprawnej interpretacji strony.
• Średni czas pobierania strony – jeśli Twoja strona ładuje się długo, może to przyczynić się do zmniejszenia crawl budgetu.
• Przeznaczenie crawl budgetu – informuje, czy Googlebot częściej odwiedza nowe strony, czy już znane sobie adresy.

Warto regularnie zaglądać do Statystyk indeksowania, by wyeliminować przeszkody blokujące zwiększenie budżetu indeksowania i widoczności serwisu.

Jak zwiększyć crawl budget?

Zadbaj o wydajny serwer

Jeśli serwer działa wolno i nie do końca stabilnie, Googlebot będzie skanował stronę rzadziej, a użytkownicy będą rezygnować z przeglądania treści. Dlatego koniecznie sprawdź wydajność serwera. Przyjrzyj się kolejno:

• czasowi odpowiedzi serwera w Google Search Console,
• czasowi ładowania strony w Google PageSpeed Insights,
• błędom indeksowania – w przypadku zgłaszania problemów z dostępnością strony w Google Search Console sprawdź, czy serwer nie jest przeciążony bądź błędnie skonfigurowany.

Jak poprawić wydajność serwera? Warto zacząć od wyboru odpowiedniego hostingu – jeśli Twoja strona rośnie, tańszy, współdzielony serwer może w pewnym momencie przestać wystarczać. Wtedy lepiej zainwestować w hosting dostosowany do poziomu ruchu na stronie.

Następnie zoptymalizuj konfigurację poprzez: włączenie cache, korzystanie z Content Delivery Network (CDN), ograniczenie zbędnych skryptów oraz optymalizację plików multimedialnych. Ważną kwestią jest również dbałość o aktualizacje. Regularne uaktualnianie oprogramowania serwera, systemu CMS i wtyczek pozwoli uniknąć problemów z wydajnością, a także poprawi bezpieczeństwo serwisu.

Zwiększ szybkość ładowania strony

Szybkość ładowania witryny to czas, który upływa od momentu, kiedy użytkownik wejdzie na stronę, do chwili, gdy wszystkie elementy (obrazy, teksty, skrypty itp.) zostaną wyświetlone.

Aby przyspieszyć wyświetlanie serwisu, zacznij od kompresji obrazów, ponieważ duże pliki graficzne mogą znacząco spowalniać działanie witryny. Pomogą Ci w tym narzędzia takie jak TinyPNG czy ImageOptim. Kolejnym krokiem jest zastosowanie techniki lazy loading. Dzięki niej obrazy i inne zasoby ładują się dopiero w momencie, gdy użytkownik przewija stronę w ich kierunku. Istotnym elementem optymalizacji jest także pamięć podręczna cache przechowująca część danych witryny w przeglądarkach użytkowników. Ustawienie odpowiednich nagłówków HTTP, takich jak Cache-Control i Expires, pozwoli określić, jak długo pliki mają być przechowywane w pamięci podręcznej. Ostatnim krokiem jest minifikacja plików HTML, CSS i JavaScript, czyli usunięcie zbędnych spacji, enterów i komentarzy niepotrzebnych do interpretacji kodu, ale zwiększających jego rozmiar.

Nie zapomnij o responsywności

Użytkownicy odwiedzają strony internetowe na różnych urządzeniach – od komputerów po smartfony i tablety. Dlatego serwis powinien działać poprawnie na każdym z nich. Aby mieć pewność optymalnego wyświetlania się witryny bez względu na wielkość ekranu, warto zdecydować się na projektowanie strony według podejścia mobile first. Oznacza ono, że projekt zaczyna się od stworzenia wersji mobilnej serwisu, a dopiero potem, stopniowo dodaje się elementy i style dopasowane do wyświetlania na większych urządzeniach. Warto zwrócić też uwagę na responsive images, czyli obrazy automatycznie dostosowujące swój rozmiar do rozdzielczości ekranu.

Usuń kopie treści

Jeśli w serwisie znajdują się różne wersje tej samej treści, Googlebot poświęca na nie cenny czas, zamiast skupić się na innych, bardziej wartościowych podstronach. Koniecznie więc zidentyfikuj duplikaty, a następnie się ich pozbądź.

By usunąć kopie treści, skorzystaj np. z tagu kanonicznego (<link rel="canonical">). Z jego pomocą wskażesz oryginalną wersję strony, która zostanie uwzględniona przez Google. Jeśli masz strony zduplikowane choćby w wyniku używania różnych parametrów URL, możesz zastosować przekierowania 301 kierujące użytkowników i roboty Google na właściwą podstronę.

Regularnie aktualizuj artykuły

Strony proponujące aktualne treści są atrakcyjniejsze dla użytkowników. Podobnie wygląda ta kwestia w przypadku botów Google, które podczas odwiedzin serwisu oceniają go także pod względem „świeżości” tekstów. Dodawaj więc nowe artykuły oraz aktualizuj te już opublikowane, by zachęcić roboty do częstszych wizyt i uznania serwisu za wartościowy.

Zoptymalizuj plik robots.txt

Optymalizując plik robots.txt, możesz wykluczyć ze skanowania podstrony niewarte odwiedzin robotów: koszyki zakupowe, strony administracyjne i duplikaty treściowe. W ten sposób zaoszczędzisz crawl budget i poprawisz efektywność indeksowania.

Pozbądź się błędów HTTP

Kiedy roboty wyszukiwarek napotykają błędy HTTP jak 404, 502, czy inne problemy z dostępem do strony, marnują zasoby na próby uzyskania do nich dostępu zamiast odwiedzania wartościowych podstron. Do częstych błędów tego typu należy 404 (not found) pojawiający się w momencie, gdy robot lub użytkownik próbuje wejść na nieistniejącą stronę. Jak to naprawić? Jeżeli podstrona została usunięta, użyj przekierowania 301 na najbardziej zbliżoną tematycznie podstronę lub kategorię.

Popularnymi błędami są też błędy 5xx (500, 502, 504) wskazujące na problemy z serwerem. Googlebot natrafiając na nie, nie jest w stanie odwiedzić strony. W takiej sytuacji sprawdź ewentualne przeciążenie serwera oraz poprawność jego konfiguracji.

Zadbaj o linkowanie wewnętrzne i zewnętrzne

W ułatwieniu robotom dotarcia do najważniejszych miejsc w serwisie i zarazem optymalizacji crawl budgetu pomoże też linkowanie wewnętrzne. Zaplanuj więc logiczną nawigację między poszczególnymi, tematycznie powiązanymi podstronami. Uprości ona poruszanie się po witrynie robotom i użytkownikom. Pamiętaj o stosowaniu zrozumiałych dla odbiorców anchor textów, czyli tekstów zawierających link prowadzący do innej podstrony. Ważną rolę w walce o optymalizację budżetu indeksowania odgrywają również linki zewnętrzne. Wykorzystując je, pokazujesz Google, że Twój serwis jest warty uwagi, a więc także odpowiednio dużego crawl budgetu.

Regularnie aktualizuj mapę witryny

Mapa strony w formacie XML pomaga botom Google zrozumieć, które podstrony są najważniejsze oraz jak często ich treści są aktualizowane. Sitemap ma szczególne znaczenie dla większych serwisów, ponieważ w ich przypadku roboty mogą mieć trudność w pełnym przeszukaniu, zrozumieniu zawartości i jej zaindeksowaniu. Jeśli dobrze skonstruujesz mapę witryny, boty będą w stanie szybciej odnaleźć nowe i zaktualizowane podstrony.

Ogranicz liczbę przekierowań

Każde z przekierowań spowalnia indeksowanie i zwiększa obciążenie zasobów wyszukiwarki. Jeśli strona została przeniesiona na stałe, nie używaj przekierowań tymczasowych 302, ale postaw na przekierowania 301. Dzięki temu Googlebot nie będzie tracił zasobów na sprawdzanie przekierowań w przyszłości.

Zarządzanie crawl budgetem nie jest jednorazowym procesem. To ciągła praca nad strukturą strony, jakością treści, eliminowaniem błędów technicznych, aktualizacją mapy witryny i szybkością ładowania. Dlatego warto korzystać ze wsparcia specjalistów SEO w tym zakresie – jeśli zastanawiasz się nad taką współpracą, zapraszamy do kontaktu: https://www.ibif.pl/kontakt.