Objavljeno: 30.07.2024. | 1 minute branja
Crawl budget je število URL-jev na vaši spletni strani, ki jih iskalniki, kot je Google, pregledajo (odkrijejo) v določenem časovnem obdobju. Po tem se premaknejo na druge strani. Na svetu obstajajo milijarde spletnih strani, vendar imajo iskalniki žal omejene vire, zaradi česar ne morejo vsak dan pregledati vseh strani. Zato morajo določiti prioritete, kaj in kdaj bodo pregledovali.Preden razložimo, kako ta proces deluje, moramo razumeti, zakaj je ta vidik ključnega pomena za SEO vaše spletne strani.
Zakaj je Crawl Budget važen za SEO?
Google mora najprej pregledati (crawlati) in nato indeksirati vaše strani, preden se te lahko začnejo rangirati. Vse mora potekati gladko v teh procesih, da se vaša vsebina prikaže v rezultatih iskanja. To lahko pomembno vpliva na vaš organski promet in splošne poslovne cilje. Večina lastnikov spletnih strani se ne rabi preveč ukvarjati s crawl budgetom, saj Google učinkovito pregleda strani. Vendar obstajajo specifične situacije, ko je crawl budget še posebej pomemben za SEO:
- Ko je spletna stran velika in zapletena: Če je vaša spletna stran velika in zapletena (10.000+ strani), Google morda ne bo takoj našel novih strani ali pogosto pregledoval vseh strani.
- Ko dodajate veliko novih strani: Če pogosto dodajate veliko novih strani, lahko crawl budget vpliva na vidljivost teh strani.
- Ko ima stran tehnične težave: Če težave pri pregledovanju preprečujejo iskalnikom učinkovito pregledovanje vaše spletne strani, vaša vsebina morda ne bo prikazana v rezultatih iskanja.
Kako Google določa Crawl Budget?
Vaš crawl budget se določa glede na dva glavna elementa:
Povpraševanje po pregledovanju (Crawl Demand)
Crawl Demand označuje, kako pogosto Google obišče vašo spletno stran na podlagi njene zaznane pomembnosti. Trije dejavniki, ki vplivajo na povpraševanje po pregledu vaše strani, so:
- Percepcijski Inventar - Google običajno poskuša pregledati vse ali večino strani, za katere ve na vaši spletni strani, razen če mu drugače ne naročite. To pomeni, da lahko Google bot poskuša pregledati podvojene strani ali odstranjene strani, če mu ne naročite, naj jih preskoči prek datoteke robots.txt ali HTTP statusnih kodov 404/410.
- Priljubljenost - Google običajno daje prednost stranem z več povratnimi povezavami (backlinki) in tistim, ki pritegnejo večji promet. To lahko signalizira Googlovemu algoritmu, da je vaša spletna stran pomembna in vredna pogostejšega pregledovanja. Pomembno je poudariti, da samo število povratnih povezav ni ključno—te povezave morajo biti ustrezne in prihajati iz verodostojnih virov.
- Zastarelost - Iskalniki stremijo k temu, da vsebino pregledajo dovolj pogosto, da opazijo spremembe. Če pa se vaša vsebina ne spreminja pogosto, jo Google lahko začne redkeje pregledovati. To ne pomeni, da morate vsebino posodabljati vsak dan, da bi spodbudili Google k pogostejšemu pregledovanju vaše strani. Google navaja, da želi pregledovati le visokokakovostno vsebino. Zato dajte prednost kakovosti vsebine namesto pogostim, nepomembnim spremembam, da bi povečali pogostost pregledovanja.
Omejitev zmogljivosti iskanja (Crawl Capacity Limit)
Omejitev zmogljivosti iskanja preprečuje, da bi Google boti upočasnili vašo spletno stran s prevelikim številom zahtev, kar bi lahko povzročilo težave z zmogljivostjo.
Na to vplivata predvsem splošno stanje vaše strani in Googlove lastne omejitve iskanja.
Na to vplivata predvsem splošno stanje vaše strani in Googlove lastne omejitve iskanja.
- Zdravje iskanja vaše strani - Hitrost odziva vaše spletne strani na Googlove zahteve lahko vpliva na vaš proračun za iskanje (crawl budget). Če vaša stran hitro odgovarja, se lahko omejitev zmogljivosti iskanja poveča in Google bo lahko hitreje pregledoval vaše strani. Če pa se vaša stran upočasni ali odgovarja z napakami strežnika, se lahko ta omejitev zmanjša, Google pa bo redkeje obiskoval vašo stran.
- Googlova omejitev iskanja - Google nima neomejenih virov za pregledovanje spletnih strani, zato obstajajo proračuni za iskanje (crawl budgets). To je način, kako Google določi prioritete, katere strani najpogosteje pregleduje. Če so Googlove zmogljivosti omejene iz kakršnegakoli razloga, lahko to vpliva na zmogljivost iskanja vaše spletne strani.
Kako preveriti aktivnost iskanja
Google Search Console
a (GSC) zagotavlja celovite informacije o tem, kako Google pregleduje vašo spletno stran, vključno z morebitnimi težavami in spremembami v vedenju iskanja skozi čas. To vam lahko pomaga razumeti, ali obstajajo težave, ki vplivajo na vaš proračun za iskanje (crawl budget), in jih po potrebi odpraviti.
Za dostop do teh informacij odprite svoj GSC račun in kliknite na "Settings" (Nastavitve). V razdelku "Crawling" (Iskanje) boste videli število zahtev za iskanje v zadnjih 90 dneh.
a (GSC) zagotavlja celovite informacije o tem, kako Google pregleduje vašo spletno stran, vključno z morebitnimi težavami in spremembami v vedenju iskanja skozi čas. To vam lahko pomaga razumeti, ali obstajajo težave, ki vplivajo na vaš proračun za iskanje (crawl budget), in jih po potrebi odpraviti.
Za dostop do teh informacij odprite svoj GSC račun in kliknite na "Settings" (Nastavitve). V razdelku "Crawling" (Iskanje) boste videli število zahtev za iskanje v zadnjih 90 dneh.
Grafikoni skozi čas
Na vrhu Google Search Console se nahaja grafikon zahtev za iskanje, ki jih je Google izvedel na vaši strani v zadnjih 90 dneh.
- Skupno število zahtev za iskanje - število zahtev za iskanje, ki jih je Google izvedel v zadnjih 90 dneh.
- Skupna velikost prenesenih podatkov - količina podatkov, ki so jih Googlove iskalne enote prenesle ob dostopu do vaše spletne strani v določenem obdobju.
- Povprečni čas odziva - čas, ki ga potrebuje strežnik vaše spletne strani, da odgovori na zahtevo iskalne enote (v milisekundah).
Host status
Status gostitelja prikazuje, kako enostavno lahko Google pregleduje vašo stran. Na primer, če vaša stran ni vedno uspela zadovoljiti Googlovih zahtev za iskanje, boste morda videli sporočilo "Gostitelj je imel težave v preteklosti" (Host had problems in the past). Če obstajajo težave, si lahko ogledate več podrobnosti s klikom na ta okvir, pod razdelkom "Podrobnosti" (Details) pa boste našli več informacij o tem, zakaj so se težave pojavile.
To vam bo pokazalo, če obstajajo težave z:
- Pridobivanjem vaše robots.txt datoteke
- Vašim sistemom za imenska strežnike (DNS)
- Povezovanjem s strežnikom
7 Nasvetov za optimizacijo Crawl Budgeta
Ko odkrijete težave s proračunom za iskanje (crawl budget), jih morate odpraviti, da maksimizirate učinkovitost iskanja. Tukaj je nekaj glavnih korakov, ki jih lahko naredite:
Poboljšajte hitrost svoje strani- To lahko Googlu pomaga hitreje pregledovati vašo stran, kar lahko privede do boljšega izkoristka proračuna za iskanje (crawl budget). Poleg tega je to koristno za uporabniško izkušnjo (UX) in SEO.
Da preverite, kako hitro se nalagajo vaše strani, se vrnite k projektu Site Audit, ki ste ga prej nastavili, in kliknite "Prikaži podrobnosti" (View details) v razdelku "Učinkovitost strani" (Site Performance).
Videli boste razčlenitev hitrosti nalaganja svojih strani in povprečno hitrost nalaganja strani ter seznam napak in opozoril, ki lahko povzročajo slabše delovanje.
Obstaja veliko načinov za izboljšanje hitrosti strani, vključno z:
Da preverite, kako hitro se nalagajo vaše strani, se vrnite k projektu Site Audit, ki ste ga prej nastavili, in kliknite "Prikaži podrobnosti" (View details) v razdelku "Učinkovitost strani" (Site Performance).
Videli boste razčlenitev hitrosti nalaganja svojih strani in povprečno hitrost nalaganja strani ter seznam napak in opozoril, ki lahko povzročajo slabše delovanje.
Obstaja veliko načinov za izboljšanje hitrosti strani, vključno z:
- Optimizacija slik: Uporabite spletna orodja, kot je Image Compressor, za zmanjšanje velikosti datotek brez izgube kakovosti slike.
Minimiziranje kode in skript: Uporabite orodja, kot je Minifier.org, ali WordPress vtičnike, kot je WP Rocket, za zmanjšanje kode in hitrejše nalaganje strani.
Uporaba omrežja za dostavo vsebine (CDN): CDN je distribuirano omrežje strežnikov, ki uporabnikom dostavlja spletno vsebino glede na njihovo lokacijo za hitrejše nalaganje strani.
Uporabite strateško interno povezovanje - Pametna struktura internega povezovanja lahko iskalnikom olajša iskanje in razumevanje vaše vsebine, kar lahko vodi do učinkovitejšega izkoristka proračuna za iskanje (crawl budget) ter poveča vaš potencial za boljšo uvrstitev.
Predstavljajte si svojo spletno stran kot hierarhijo z začetno stranjo na vrhu, ki se razveja v različne kategorije in podkategorije. Vsaka veja naj vodi do podrobnejših strani ali objav, povezanih s kategorijo, kamor spadajo. To ustvarja jasno in logično strukturo vaše spletne strani, ki je enostavna za navigacijo tako za uporabnike kot za iskalnike.
Dodajte interne povezave na vse pomembne strani, da bo Google lažje našel vašo najpomembnejšo vsebino. To pomaga tudi pri izogibanju "osamljenim stranem" (orphan pages), ki nimajo internih povezav. Google sicer še vedno lahko najde te strani, vendar je veliko lažje, če imajo ustrezne interne povezave.
Ohranjajte svoj zemljevid spletne strani (sitemap) posodobljen - Imeti posodobljen XML zemljevid spletne strani je še en način, kako usmeriti Google na vaše vidne in najpomembnejše strani. Posodabljanje zemljevida spletne strani ob dodajanju novih strani lahko poveča verjetnost, da bodo pregledane (čeprav to ni zagotovljeno).
Google priporoča, da v zemljevid vključite samo URL-je, ki jih želite prikazati v rezultatih iskanja. S tem se izognete morebitnemu zapravljanju proračuna za iskanje (crawl budget) (za več informacij glejte naslednji nasvet).
Prav tako lahko uporabite oznako <lastmod>, da označite, kdaj je bil določen URL nazadnje posodobljen, vendar to ni obvezno.
Blokirajte URL-je, ki jih ne želite, da jih iskalniki pregledajo - Uporabite datoteko robots.txt (datoteko, ki iskalniškim botom pove, katere strani naj pregledajo in katerih ne), da zmanjšate možnost, da Google pregleda strani, ki jih ne želite. To lahko pomaga zmanjšati zapravljanje proračuna za iskanje (crawl budget).
Zakaj bi želeli preprečiti pregled nekaterih strani?
Ker so nekatere strani nepomembne ali zasebne. Verjetno ne želite, da iskalniki pregledajo te strani in porabljajo svoje vire. Vse strani, navedene po ukazu "Disallow:", določajo strani, ki jih ne želite, da jih iskalniki pregledajo.
Uklonite nepotrebna preusmjeravanja - Preusmeritve usmerjajo uporabnike (in bote) z enega URL-ja na drugega, kar lahko upočasni čas nalaganja strani in povzroči zapravljanje proračuna za iskanje (crawl budget). To je lahko še posebej problematično, če imate verižne preusmeritve.
Verižne preusmeritve nastanejo, ko imate več kot eno preusmeritev med izvirnim in končnim URL-jem.
Če želite izvedeti več o preusmeritvah, nastavljenih na vaši strani, odprite orodje Site Audit in pojdite na zavihek "Težave" (Issues). V iskalno vrstico vnesite "redirect", da si ogledate težave, povezane s preusmeritvami na vaši strani.
Popravite pokvarjene povezave - Pokvarjene povezave so tiste, ki ne vodijo na aktivne strani - namesto tega običajno vrnejo napako s kodo 404.
Čeprav to ni nujno slabo, strani, ki ne obstajajo, bi morale vrniti statusno kodo 404. Vendar lahko veliko število povezav, ki vodijo na neobstoječe strani, porablja proračun za iskanje (crawl budget), saj botovi še vedno poskušajo pregledovati te strani, uporabniki pa so lahko razočarani.
Če želite identificirati pokvarjene povezave na svoji strani, pojdite na zavihek "Težave" (Issues) v orodju Site Audit in v iskalno vrstico vnesite "broken". Poiščite napako "# notranjih povezav je pokvarjenih" (# internal links are broken) in kliknite na modro povezavo s številko za več podrobnosti.
Odstranite podvojeno vsebino - Podvojena vsebina nastane, ko imate na svoji spletni strani zelo podobne strani. Ta težava lahko porablja proračun za iskanje (crawl budget), saj botovi pregledajo več različic iste strani.
Podvojena vsebina se lahko pojavi v več oblikah, kot identične ali skoraj identične strani (česar se običajno treba izogibati). Različice strani, ki jih povzročajo URL parametri (pogosto na spletnih straneh za e-trgovino).
Če želite preveriti, ali obstajajo težave s podvojeno vsebino na vaši spletni strani, pojdite na zavihek "Težave" (Issues) v orodju Site Audit.
Optimizacija proračuna za iskanje (crawl budget) je ključna za zagotavljanje, da iskalniki, kot je Google, učinkovito pregledajo in indeksirajo vašo vsebino, kar neposredno vpliva na vaše rezultate SEO. Z rednimi pregledi (auditi) spletne strani lahko prepoznate in odpravite tehnične težave, preden postanejo resne.
Za profesionalno pomoč pri optimizaciji vaše spletne strani in maksimiziranju vašega proračuna za iskanje, se obrnite na strokovnjake v Arboni. Ekipa vam lahko nudi potrebno podporo in orodja za doseganje najboljših rezultatov.
Predstavljajte si svojo spletno stran kot hierarhijo z začetno stranjo na vrhu, ki se razveja v različne kategorije in podkategorije. Vsaka veja naj vodi do podrobnejših strani ali objav, povezanih s kategorijo, kamor spadajo. To ustvarja jasno in logično strukturo vaše spletne strani, ki je enostavna za navigacijo tako za uporabnike kot za iskalnike.
Dodajte interne povezave na vse pomembne strani, da bo Google lažje našel vašo najpomembnejšo vsebino. To pomaga tudi pri izogibanju "osamljenim stranem" (orphan pages), ki nimajo internih povezav. Google sicer še vedno lahko najde te strani, vendar je veliko lažje, če imajo ustrezne interne povezave.
Ohranjajte svoj zemljevid spletne strani (sitemap) posodobljen - Imeti posodobljen XML zemljevid spletne strani je še en način, kako usmeriti Google na vaše vidne in najpomembnejše strani. Posodabljanje zemljevida spletne strani ob dodajanju novih strani lahko poveča verjetnost, da bodo pregledane (čeprav to ni zagotovljeno).
Google priporoča, da v zemljevid vključite samo URL-je, ki jih želite prikazati v rezultatih iskanja. S tem se izognete morebitnemu zapravljanju proračuna za iskanje (crawl budget) (za več informacij glejte naslednji nasvet).
Prav tako lahko uporabite oznako <lastmod>, da označite, kdaj je bil določen URL nazadnje posodobljen, vendar to ni obvezno.
Blokirajte URL-je, ki jih ne želite, da jih iskalniki pregledajo - Uporabite datoteko robots.txt (datoteko, ki iskalniškim botom pove, katere strani naj pregledajo in katerih ne), da zmanjšate možnost, da Google pregleda strani, ki jih ne želite. To lahko pomaga zmanjšati zapravljanje proračuna za iskanje (crawl budget).
Zakaj bi želeli preprečiti pregled nekaterih strani?
Ker so nekatere strani nepomembne ali zasebne. Verjetno ne želite, da iskalniki pregledajo te strani in porabljajo svoje vire. Vse strani, navedene po ukazu "Disallow:", določajo strani, ki jih ne želite, da jih iskalniki pregledajo.
Uklonite nepotrebna preusmjeravanja - Preusmeritve usmerjajo uporabnike (in bote) z enega URL-ja na drugega, kar lahko upočasni čas nalaganja strani in povzroči zapravljanje proračuna za iskanje (crawl budget). To je lahko še posebej problematično, če imate verižne preusmeritve.
Verižne preusmeritve nastanejo, ko imate več kot eno preusmeritev med izvirnim in končnim URL-jem.
Če želite izvedeti več o preusmeritvah, nastavljenih na vaši strani, odprite orodje Site Audit in pojdite na zavihek "Težave" (Issues). V iskalno vrstico vnesite "redirect", da si ogledate težave, povezane s preusmeritvami na vaši strani.
Popravite pokvarjene povezave - Pokvarjene povezave so tiste, ki ne vodijo na aktivne strani - namesto tega običajno vrnejo napako s kodo 404.
Čeprav to ni nujno slabo, strani, ki ne obstajajo, bi morale vrniti statusno kodo 404. Vendar lahko veliko število povezav, ki vodijo na neobstoječe strani, porablja proračun za iskanje (crawl budget), saj botovi še vedno poskušajo pregledovati te strani, uporabniki pa so lahko razočarani.
Če želite identificirati pokvarjene povezave na svoji strani, pojdite na zavihek "Težave" (Issues) v orodju Site Audit in v iskalno vrstico vnesite "broken". Poiščite napako "# notranjih povezav je pokvarjenih" (# internal links are broken) in kliknite na modro povezavo s številko za več podrobnosti.
Odstranite podvojeno vsebino - Podvojena vsebina nastane, ko imate na svoji spletni strani zelo podobne strani. Ta težava lahko porablja proračun za iskanje (crawl budget), saj botovi pregledajo več različic iste strani.
Podvojena vsebina se lahko pojavi v več oblikah, kot identične ali skoraj identične strani (česar se običajno treba izogibati). Različice strani, ki jih povzročajo URL parametri (pogosto na spletnih straneh za e-trgovino).
Če želite preveriti, ali obstajajo težave s podvojeno vsebino na vaši spletni strani, pojdite na zavihek "Težave" (Issues) v orodju Site Audit.
Optimizacija proračuna za iskanje (crawl budget) je ključna za zagotavljanje, da iskalniki, kot je Google, učinkovito pregledajo in indeksirajo vašo vsebino, kar neposredno vpliva na vaše rezultate SEO. Z rednimi pregledi (auditi) spletne strani lahko prepoznate in odpravite tehnične težave, preden postanejo resne.
Za profesionalno pomoč pri optimizaciji vaše spletne strani in maksimiziranju vašega proračuna za iskanje, se obrnite na strokovnjake v Arboni. Ekipa vam lahko nudi potrebno podporo in orodja za doseganje najboljših rezultatov.
Arbona Club
Preberite blog ki je brezplačno na voljo za člane Arbona Cluba.
Prednosti, ki vas čakajo v Arbona Clubu
- Arbona blogovi
- Arbona eBook
- Arbona Podcast
- Arbona Webinari
.jpg?preset=autorSlika)
Newsletter
Prijavite se na naš newsletter in bodite v koraku z najnovejšimi marketinškimi trendi.
