Crawl budget tarkoittaa sitä määrää resursseja, jonka Googlebot käyttää sivustosi crawlaamiseen tietyn ajanjakson aikana. Käytännössä se tarkoittaa, kuinka monta sivua Googlebot vierailee sivustollasi ennen kuin se siirtyy muualle. Crawl budget ei ole kiinteä luku, vaan se vaihtelee sivuston koon, laadun ja teknisen tilanteen mukaan.
Kenelle crawl budget on tärkeä?
Pienillä sivustoilla, joilla on alle tuhat sivua, crawl budget ei yleensä ole ongelma. Googlebot käy kaikki sivut läpi riittävän usein ilman optimointia. Crawl budget nousee kriittiseksi tekijäksi silloin, kun sivustolla on:
- Kymmeniä tuhansia tai satoja tuhansia sivuja, kuten suurissa verkkokaupoissa
- Paljon URL-parametreja, jotka luovat duplikaattiversioita samoista sivuista
- Suuri määrä rikkinäisiä linkkejä tai uudelleenohjausketjuja
- Hidas palvelin, joka pakottaa Googlebotia odottamaan pitkään jokaisen pyynnön välillä
- Paljon heikkolaatuisia tai ohuita sivuja, joita Googlebot käy turhaan läpi
Mitkä tekijät vaikuttavat crawl budgetiin?
Google määrittää crawl budgetin kahden tekijän perusteella. Ensimmäinen on crawl rate limit eli se, kuinka nopeasti Googlebot voi crawlata sivustoa ilman, että se ylikuormittaa palvelintasi. Jos palvelimesi on hidas tai ylikuormittunut, Googlebot hidastaa tahtia automaattisesti. Toinen tekijä on crawl demand eli se, kuinka paljon Google haluaa crawlata sivustoasi. Tähän vaikuttavat sivuston suosio, linkkiprofiili ja se, kuinka usein sisältö päivittyy.
Miten optimoit crawl budgetin?
Crawl budgetin optimointi tarkoittaa käytännössä sitä, että ohjaat Googlebotia käyttämään resurssit tärkeisiin sivuihin turhan sijaan.
Estä turhat sivut crawlaukselta
Käytä robots.txt-tiedostoa estämään sellaisten sivujen crawlaus, joita ei tarvitse indeksoida. Näitä ovat esimerkiksi sisäisen haun tulossivut, suodatinsivut verkkokaupassa, kirjautumissivut ja hallintapaneelit. Mitä vähemmän turhia sivuja Googlebot crawlaa, sitä enemmän resursseja jää tärkeille sivuille.
Hallitse URL-parametrit
URL-parametrit ovat yksi suurimmista crawl budget -ongelmien aiheuttajista erityisesti verkkokaupoissa. Suodattimet, lajitteluvaihtoehdot ja sessiotunnisteet voivat luoda tuhansia URL-osoitteita samasta sivusta. Ratkaise tämä canonical-tageilla, jotka osoittavat kaikkien parametriversuoiden kanoniseksi versioksi alkuperäinen URL, tai estämällä parametrisivut robots.txt:llä.
Korjaa rikkinäiset linkit ja uudelleenohjausketjut
Jokainen rikkinäinen linkki tai uudelleenohjausketju on hukkaan heitetty crawl budget -resurssi. Googlebot seuraa linkkiä, kohtaa virheen tai useita uudelleenohjauksia ja siirtyy eteenpäin ilman hyötyä. Tarkista rikkinäiset linkit säännöllisesti Screaming Frogilla ja pidä uudelleenohjaukset suorina yksivaiheisina.
Paranna palvelinnopeutta
Hidas palvelin pakottaa Googlebotia hidastamaan crawlaustahtia. Mitä nopeammin palvelimesi vastaa, sitä enemmän sivuja Googlebot pystyy crawlaamaan samassa ajassa. Palvelimen vasteaika kannattaa pitää alle 200 millisekunnissa. Välimuisti, CDN ja hyvä hosting-palveluntarjoaja ovat tärkeimmät keinot palvelinnopeuden parantamisessa.
Poista tai yhdistä heikkolaatuiset sivut
Heikkolaatuiset tai ohuet sivut tuhlaavat crawl budgettia ja voivat vaikuttaa koko sivuston indeksointitehokkuuteen negatiivisesti. Arvioi säännöllisesti, mitkä sivut tuottavat arvoa ja mitkä voi poistaa, yhdistää tai päivittää laadukkaammiksi.
Miten seuraat crawl budgetin käyttöä?
Google Search Console näyttää crawl-tilaston kohdassa Asetukset ja sieltä Crawl-tilastot. Sieltä näet, kuinka monta sivua Googlebot on crawlannut päivässä, mikä on ollut crawlauksen vasteaika ja onko crawlauksessa ollut virheitä. Jos crawlausmäärä on laskenut äkillisesti tai vasteajat ovat nousseet, se on signaali teknisestä ongelmasta.
Lokitiedostoanalyysi on edistynyt tapa seurata crawl budgetin käyttöä. Palvelimen lokitiedostot kertovat tarkasti, milloin Googlebot on vieraillut milläkin sivulla ja kuinka kauan pyyntöön on mennyt aikaa. Tämä data paljastaa, mihin sivuihin Googlebot käyttää eniten resursseja ja onko se löytänyt kaikki tärkeät sivut.
Crawl budget lyhyesti
Crawl budget on se resurssimäärä, jonka Googlebot käyttää sivustosi crawlaamiseen. Pienillä sivustoilla se ei ole ongelma, mutta suurilla sivustoilla sen optimointi on kriittistä. Estä turhat sivut, hallitse URL-parametrit, korjaa rikkinäiset linkit ja paranna palvelinnopeutta niin, että Googlebot käyttää resurssinsa sivuihin, jotka todella kannattaa indeksoida.