Mit navn er Sasa Kovacevic, og jeg har fået lov til at bidrage med et indlæg her på Andreas blog. Til dagligt arbejder jeg med søgemaskineoptimering hos Obsidian Digital. De fleste som arbejder med SEO optimerer oftest på title tags og laver links måned efter måned. Det fungerer godt, men er ikke lige så effektivt, som det var for 5-10 år siden. Derfor vil jeg i dette indlæg komme ind på Googles crawl budget, som de færreste arbejder med. Hvis du tager emnet til dig, vil du måske kunne få lige det, der skal til for at rangere højere end konkurrenterne.

Selv om du måske ikke synes, at du har en særlig stor webshop, kan du hurtigere end du tror, risikere at Google ikke får crawlet alle dine produkter, når Google kommer forbi din hjemmeside. For nettets større sites får tildelt et såkaldt crawlbudget, der bestemmer, hvor meget Google indekserer af sitet. Her kan særligt webshops komme i farezonen. Worst case scenario er, at nogle varer aldrig bliver vist i søgeresultaterne.

Internettet er vokset fra Google. Det gjorde det faktisk allerede i 2009, men det er først i år, at de melder rent ud, at de har indført noget, der bedst kan sammenlignes med en slags crawlbudget for de større website på nettet. Det bestemmer, hvor stor en del af websitet, Googlebot crawler ved hvert besøg.

De mindre websites bliver crawlet helt igennem ved hvert besøg. Det er kun de største, der kan risikere, ikke at få alle sider eller sektioner på sitet crawlet. Det betyder i praksis, at der er sider på de enkelte sites, der aldrig bliver indekseret og som derfor ikke kan findes i søgeresultaterne.

Det betyder igen, at der aldrig vil komme trafik til de pågældende sider fra Google og at de derfor ikke vil bidrage nær så meget til din omsætning, som du havde regnet med.

Webshops er oftest i farezonen for at få et crawlbudget

Selv om det kun er de større websites på nettet, der får tildelt et crawlbudget, så kan din webshop hurtigt komme i farezonen – også selv om du måske kun har nogle få hundrede varer. For når Google beregner omfanget af websitet, ser de på alle de webadresser (URL’er), de kan tilgå på webserveren.

Det betyder, at også

  • de forskellige formater, du har produktbillederne liggende i,
  • CSS- og anden kode som er opdelt i flere filer
  • alle statiske filer som PDF-dokumenter og lignende
  • filer som ikke er anvendes længere
  • alternative versioner af hver side
  • alle systemgenererede sider som jeres webshop opretter, men I ikke anvender

tæller med, når Google skal beregne omfanget af jeres website. Derfor kan din webshop hurtigere får tildelt et crawlbudget, end du er klar over.

Hvor bestemmer størrelsen på jeres crawlbudget?

Så det er altså det samlede antal webadresser, som Google kan crawle, der bestemmer, hvorvidt I får tildelt et crawl budget. Men hvor stort et crawlbudget I så får tildelt, afhænger især af, hvor hurtigt jeres webserver og de enkelte sider på websitet er om at svare.

Er jeres webshop først blevet udvalgt til at have et crawlbudget, bestemmer dagsformen på jeres webserver således, hvor mange sider Google crawler ved hvert besøg af Googlebot. Rammer de jer på et tidspunkt af dagen, hvor der er mange kunder på siden, så serveren er lidt langsommere, crawler Googlebot færre sider, end hvis den ankommer på et tidspunkt, hvor den stort set er den eneste bruger på webshoppen.

Vil du have et indblik i, hvor mange sider Google crawler ved hvert besøg, kan du tjekke webshoppens crawlstatistik på jeres Search Console-konto. Der kan du se maks-, min- og gennemsnitsværdierne for antallet af crawlede sider.

Vil du vide præcist hvilke sider, Google crawler, skal du have fat i logfilerne på webserveren. Herefter kan du f.eks. bruge Screaming Frogs Log File Analyser til vise dig, hvilke sider Googlebot har indekseret og hvilke den ikke har set endnu.

Sørg for at Google udnytter jeres crawlbudget mest optimalt

Opdager du, at der er sider, som Google ikke har fået indekseret, betyder det, at din webshop (eller dit website) har fået tildelt et crawlbudget.

Når sitet først har fået et crawlbudget er det ikke sådan, at Googlebot sætter et bogmærke ved den side, den er nået til, når crawlbudgettet er opbrugt for dette besøg og så fortsætter derfra igen ved næste besøg. Næ, Google crawler kun de sider, som de vurderer, får flest besøg og de sektioner på webstedet, de vurderer, er mest vigtige. Resten bliver aldrig crawlet!

Hvilke sektioner det drejer sig om, afgøres af, hvilket slags site Google mener, I har. Anvender I et webshopsystem, vil Google automatisk anse jeres site for at være en webshop og derfor opprioriteres crawlet af produkter og produktkategorier.

Pas på med at have for omfattende kategorier

Men har I f.eks. meget store kategorier med mange underkategorier, kan I nemt risikere, at Google ikke får crawlet alle produktsiderne ved hvert besøg – specielt ikke i under- og under-underkategorier. For jo længere nede i sitets hierarki, en side ligger, jo mindre vigtig er siden set med Googles øjne.

Derfor bør du sørge for, at jeres produktkategorier ikke bliver for omfattende. Samtidig bør du begrænse antallet af underkategorier, så vejen til det enkelte produkt bliver så kort som muligt. Der ved øger du chancen for, at Google får crawlet så mange produkter som muligt på jeres webshop.

Begræns Googlebot adgang til webserverens mapper

Skal du sørge for, at Google får udnyttet jeres crawlbudget bedst muligt, skal du sørge for, at Google kan nå at crawle flere webadresser hvert besøg, som er relevante for jeres forretning.

Derfor gælder det om f.eks. om, at begrænse Googlebots adgang til de mapper på webserveren, der indeholder systemfiler og andre filer, som ikke har nogen betydning for jeres webshops placering i søgeresultaterne. Det gøres ved at rette i robots.txt i roden på webserveren.

Trim indholdet i de mapper Google kan crawle på webserveren

Gennemgå derefter de mapper, som I giver Googlebot adgang til at crawle og fjern så alle de filer, det ikke giver mening at få crawlet. Nogle filer kan – om muligt – flyttes til mapper, der ikke crawles, mens andre bare kan slettes.

Prøv f.eks. at flytte så mange kode- og andre nødvendige systemfiler fra rodmappen og de øvrige crawlbare mapper over i de mapper, som Googlebot ikke har adgang til. Slet samtidig alle de filer med f.eks. gamle billeder, der ikke anvendes længere og sørg også for at få fjernet alle de filer med billedformater, som I ikke bruger alligevel – og sæt webshopsystemet til ikke at generere dem mere.

Slet eller fjern adgangen til systemgenererede sider

Gennemgå også jeres webshopsystem for systemgenererede sider, det ikke giver nogen værdi at få crawlet. Kan du helt undgå, at systemet genererer dem, så slå denne mulighed til. Ellers se om du kan flytte dem til et sted på webserveren, som Googlebot ikke har adgang til.

Fjern ligegyldige sider fra crawlet med no-follow

Gå også webshoppen og det tilhørende website igennem for sider, som det er lige meget at få crawlet, eller som ikke har særlig meget indhold. Enten fjern dem fra sitet eller fjern crawlet af dem, ved at tilføje et ”rel=no-follow” til linket. Det gælder f.eks. kontaktformularer, Om-siden og andre pligtsider m.v.

Brug intern linkbuilding til at sikre at vigtige sider bliver crawlet

Sørg også for at oprette interne links til de sider, som I kan se, ikke bliver crawlet. Sæt linket på de sider, der er mest populære eller ligger i de sektioner, I kan se, der bliver crawlet. Google følger nemlig alle de links de finder, på de sider som de crawler. Så derved sikrer du, at crawlbudgettet bliver brug på sider, der rent faktisk giver dig indtjening.

Optimer løbende jeres crawlbudget

Følger du disse råd og holder du hele tiden øje med, hvad Google rent faktisk indekserer på jeres hjemmeside, sikrer du den mest optimale udnyttelse af jeres crawlbudget.

Altså endnu et punkt til tjeklisten – hvis din webshop er stor nok. Hvis du vil læse mere om crawl budget, så find info her:

https://obsidian.dk/crawl-budget/

https://webmasters.googleblog.com/2017/01/what-crawl-budget-means-for-googlebot.html

Leave a Reply

Your email address will not be published. Required fields are marked *