Ny data fra Ahrefs: Er llms.txt-filer overflødige for din SEO?
Inden for de seneste måneder er et nyt begreb begyndt at florere i SEO-kredse: llms.txt. Ideen bag dette nye initiativ er at skabe en standardiseret måde at servere tekstbaseret information direkte til sprogmodeller (LLM’er) som ChatGPT og Claude, så de bedre kan forstå og opsummere indholdet på en hjemmeside. Men fungerer det overhovedet i praksis?
En ny omfattende undersøgelse fra Ahrefs kaster nu koldt vand i blodet på de mest entusiastiske frontløbere. Data viser nemlig, at langt størstedelen af de llms.txt-filer, der er blevet oprettet, reelt aldrig bliver læst af de AI-botter, de er målrettet mod.
Tallenes tale: 97 % af filerne bliver ignoreret
Ahrefs har analyseret data fra deres enorme indeks, som tæller over 557 millioner sider. Resultaterne er opsigtsvækkende: Ud af de mange millioner sider var det kun omkring 33.000 domæner, der overhovedet havde implementeret en llms.txt-fil. Men det mest interessante fund er, at 97 % af disse filer aldrig har modtaget et eneste kald fra en LLM-crawler.
Det betyder i praksis, at selvom webmastere og SEO-specialister bruger tid på at optimere deres data til kunstig intelligens, så er teknologien bag AI-søgning endnu ikke gearet til at opsøge denne specifikke filtype automatisk. Blandt de få domæner, der rent faktisk oplevede trafik på deres llms.txt-fil, var det primært velkendte crawlere som OpenAIs “GPTBot”, Anthropics “Claude-Web” og “PerplexityBot”, der stod for aktiviteten.
Hvad er llms.txt, og hvorfor opstod behovet?
Konceptet bag llms.txt blev oprindeligt foreslået af Jeremy Howard fra Answer.ai. Tanken er at skabe en parallel til den velkendte robots.txt-fil, men med det omvendte formål. Hvor robots.txt fortæller søgemaskiner, hvad de ikke må se, er llms.txt designet til at give AI-agenter en hurtig og Markdown-venlig oversigt over websteds mest relevante indhold.
For mange virksomheder virker optimering til AI-agenter som en naturlig forlængelse af deres nuværende SEO-strategi. Ved at servere ren tekst uden tunge layout-elementer håber man at øge chancen for, at ens brand bliver nævnt korrekt i AI-genererede svar. Men Ahrefs’ undersøgelse understreger, at vi stadig befinder os i en eksperimentel fase, hvor de store AI-virksomheder endnu ikke har gjort filformatet til en prioritet i deres indeksering af data til AI.
Betydningen for fremtidens SEO-strategi
Selvom tallene lige nu ser dystre ud for adoptionen af llms.txt, bør man ikke afskrive formatet fuldstændigt. Som SEO-specialist handler det ofte om at være på forkant med teknologien, før den bliver mainstream. At implementere en llms.txt-fil er en relativt lille teknisk opgave, der potentielt kan give en konkurrencefordel i takt med, at LLM crawlere bliver mere avancerede og begynder at lede efter strukturerede genveje til viden.
Det vigtigste takeaway fra undersøgelsen er dog, at man ikke skal forvente mirakler her og nu. God gammeldags teknisk SEO, autoritært indhold og en stærk intern linkstruktur er stadig de primære faktorer, hvis man vil være synlig i både traditionelle søgemaskiner og i de nye AI-baserede søgetjenester.
Hvad er formålet med en llms.txt-fil?
Formålet er at give sprogmodeller en letlæselig, tekstbaseret oversigt over en hjemmesides vigtigste indhold. Det skal gøre det nemmere for AI-agenter at indeksere og forstå konteksten på sitet uden at skulle navigere igennem kompleks HTML-kode.
Hvilke AI-bots besøger rent faktisk disse filer?
Ifølge Ahrefs data er det primært de store spillere som OpenAI (GPTBot), Anthropic (Claude-Web) og Perplexity, der har vist interesse for filerne, men selv for disse bots er det kun en forsvindende lille del af filerne, der bliver besøgt.
Er det besværet værd at lave en llms.txt nu?
For de fleste hjemmesider er det ikke en kritisk opgave i dag, da 97 % af filerne ignoreres. Men for store vidensdatabaser eller tekniske dokumentationssider kan det være en god investering i fremtidig SEO for kunstig intelligens, da det forbereder sitet på mere avancerede crawlere.
Hvordan adskiller llms.txt sig fra en sitemap.xml?
Hvor et sitemap er en liste over URL’er til brug for indeksering, indeholder llms.txt selve indholdet eller korte resumeer i Markdown-format, som sprogmodeller kan læse og lære fra direkte.