Støjgulv
Problemet
Stil den samme sprogmodel det samme spørgsmål ti gange, og du får ikke ti ens svar. Nogle gange nævnes dit brand. Nogle gange gør det ikke. Intet er ændret på dit website i mellemtiden.
Det betyder, at et synlighedstal kan bevæge sig, uden at der er sket noget. Går din synlighed fra 22 % til 26 %, er der to mulige forklaringer:
- Der er sket en reel forbedring.
- Du har målt igen på en anden dag.
Uden en behandling af usikkerheden kan et dashboard ikke skelne mellem de to. Det viser bare det nye tal.
Hvad markedet gør ved det
Vi har gennemgået 118 nordiske leverandører af AI-synlighed. Vi har ikke fundet én eneste, der offentliggør et konfidensinterval, et støjgulv, en signifikanstest eller en angivelse af, hvor stor en ændring der skal til, før den er påviselig.
Nogle offentliggør deres synlighedsscore som et helt tal uden usikkerhed. Én stor nordisk leverandør skriver på sin produktside, at et højt antal kørsler “filtrerer støjen fra og fremhæver stabile tendenser” — hvilket er en påstand om præcisionen af et niveau, ikke om påviseligheden af en ændring. Det besvarer ikke kundens spørgsmål.
Hvad der faktisk er publiceret
Det bedste offentligt tilgængelige tal på området kommer fra den amerikanske leverandør Petra Labs, som i 2026 offentliggjorde en analyse af, hvor meget synlighed skal ændre sig, før ændringen kan påvises. Deres resultat: ved 100 kørsler pr. prompt er den mindste påviselige ændring omkring 11 procentpoint.
Det er værd at lade stå et øjeblik. Ved en typisk målestørrelse er enhver bevægelse under cirka 11 procentpoint ikke til at skelne fra tilfældig variation — og præcisionen forbedres kun med kvadratroden af antallet af kørsler, så det bliver hurtigt dyrt at måle mere præcist.
De fleste dashboards i dette marked viser tal med én eller to decimaler.
Hvad Nerv gør
1. Vi angiver en mindste påviselig ændring. Hver rapport indeholder en sætning i stil med: en bevægelse mindre end X procentpoint ligger inden for vores støjbånd og bør ikke tolkes som en ændring.
2. Vi offentliggør nævneren. Antal prompts, antal kørsler pr. prompt, antal målte kanaler. Et procenttal uden nævner kan ikke fortolkes.
3. Vi måler mod en kontrolgruppe. Vi måler et sæt sammenlignelige virksomheder, som vi ikke arbejder for, på samme panel i samme periode. Hvis hele markedet bevæger sig, viser kontrolgruppen det — og så var det ikke os.
4. Vi måler kvartalsvis, ikke månedligt. Ikke af bekvemmelighed. Ved realistiske målestørrelser er en månedlig ændring overvejende tilfældig variation, og vi vil ikke fakturere for at rapportere støj.
Vores eget støjgulv: endnu ikke målt
Vi har ikke selv målt Nervs støjgulv endnu, og vi offentliggør det ikke, før vi har.
Tallet afhænger af panelstørrelsen, antallet af kørsler og de kanaler, der måles, og det skal måles på vores egen opsætning frem for lånes fra en anden leverandørs. Metoden er: kør det samme frosne panel gentagne gange mod et uændret website over en periode uden interventioner, og opgør fordelingen af den observerede variation.
Når det er målt, står tallet her, med dato, panelstørrelse og antal kørsler.
Indtil da gælder Petra Labs’ publicerede omkring 11 procentpoint som det bedste offentligt tilgængelige udgangspunkt — og det er deres tal, ikke vores.
En begrænsning vi selv har
Vores før/efter-design sammenligner en periode før en indsats med en periode efter, målt mod en kontrolgruppe. Designet hviler på en antagelse om, at kunden og kontrolgruppen ville have udviklet sig ens, hvis vi ikke havde gjort noget.
Med kun én førperiode kan den antagelse ikke testes. Det er en reel svaghed, og vi skriver den i rapporten frem for at lade den ligge. Den kan afhjælpes ved at måle flere førperioder inden en indsats sættes i gang — hvilket forlænger forløbet, og som kunden derfor skal vælge bevidst.
Har du en indvending mod noget herover, hører vi gerne. Metoden bliver bedre af at blive læst kritisk: kontakt@usenerv.com