Ordliste

robots.txt

robots.txt er en tekstfil i rotmappen på et nettsted som styrer hvilke roboter som får lov til å lese hvilke deler av siden. Den bør eksplisitt tillate anerkjente søkemotor- og AI-crawlere — som Googlebot, GPTBot, ClaudeBot og PerplexityBot — og kun blokkere teknisk nødvendige mapper som `/api/` eller `/admin/`.

Hvordan filen fungerer

Når en robot besøker et nettsted, sjekker den først /robots.txt for å se hvilke deler av siden den har lov til å lese. Filen består av regler som User-agent (hvilken robot regelen gjelder for) og Disallow/Allow (hvilke stier som er sperret eller åpne). Én feilplassert linje — for eksempel en Disallow: / som ble liggende igjen fra en test- eller utviklingsversjon — kan blokkere hele siden fra Google, ofte uten at noen merker det før trafikken stuper måneder senere.

Hvorfor eksplisitt tillatelse er noe annet enn stillhet

De fleste robots.txt-filer sier ingenting om AI-crawlere, og lar dem dermed passere som standard. Å aktivt liste dem opp — GPTBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot, Google-Extended og de andre — er noe annet: det er et bevisst signal om at nettstedet ønsker å bli lest og sitert av AI-modeller, ikke bare tillater det i mangel av et forbud.

Hva som normalt bør blokkeres

Kun mapper som ikke har noe innhold søkemotorer skal indeksere: /api/, /_next/, /admin/ eller tilsvarende. Alt annet — tjenestesider, FAQ, artikler, ordliste — bør være åpent. Filen bør gjennomgås jevnlig, siden nye AI-crawlere og agent-user-agenter dukker opp med jevne mellomrom, og bør tillates som standard fremfor å oppdages for sent. Se teknisk SEO for hvordan robots.txt henger sammen med resten av den tekniske grunnmuren.

Relatert innhold

Tjeneste

Redesign og SEO-optimalisering

Har du en nettside som ikke blir funnet? Vi analyserer teknisk SEO, omstrukturerer innholdet og redesigner der det trengs. Du beholder det som fungerer — og får målbare tall på det som endres. De fleste eldre nettsider har de samme svakhetene: manglende strukturert data, dårlig overskriftshierarki, treg lasting og innhold skrevet for mennesker som skummer, ikke for motorer som skal sitere det. Vi starter alltid med en teknisk gjennomgang før vi foreslår noe visuelt. Redesign hos oss betyr ikke at alt rives ned. Det som allerede rangerer eller konverterer, beholdes og styrkes. Det som lekker trafikk eller forvirrer besøkende, bygges om.

Se tjenesten →Ordliste

AEO (Answer Engine Optimization)

AEO (Answer Engine Optimization) er å strukturere innhold slik at et AI-svar kan hente det rett ut og sitere det direkte — svar-først-avsnitt, tydelige definisjonssetninger, og spørsmål-og-svar-format som FAQ. Der GEO handler om å bli anbefalt, handler AEO om at selve teksten er skrevet for å kunne siteres.

Les definisjonen →Ordliste

Core Web Vitals

Core Web Vitals er tre målbare ytelsestall Google bruker som rangeringsfaktor: LCP (hvor raskt hovedinnholdet vises), CLS (hvor mye layoutet hopper mens siden laster) og INP (hvor raskt siden svarer på et klikk). Dårlige tall koster plassering i søkeresultatene, uansett hvor godt innholdet er.

Les definisjonen →Ordliste

GEO (Generative Engine Optimization)

GEO (Generative Engine Optimization) er arbeidet med å bli den kilden AI-modeller som ChatGPT, Perplexity, Gemini og Copilot velger å sitere eller anbefale når noen spør om en bransje eller et problem. Der klassisk SEO optimaliserer for en rangert liste, optimaliserer GEO for å bli selve svaret.

Les definisjonen →

Få et fastpristilbud.

Fortell kort hva du trenger, så kommer vi tilbake med en fast pris og en konkret tidslinje.

Svar innen én arbeidsdag.

Be om fastpris