Sådan måler vi synlighed i AI-søgning

Status: dette er protokollen. Vi har endnu ikke offentliggjort målinger efter den. Når vi har, ligger de under Målinger, med dato, panelstørrelse og antal kørsler.

Vi beskriver metoden først, fordi en metode, der først offentliggøres sammen med et resultat, ikke kan efterprøves uafhængigt af resultatet.

Hvad vi måler

Synlighed = andelen af kørsler, hvor brandet nævnes i svaret på et spørgsmål fra et defineret panel.

Ikke en placering. Ikke en score ud af 100. En andel med en offentliggjort nævner, så tallet kan fortolkes.

Promptpanelet

Panelet fryses. Spørgsmålene formuleres én gang sammen med kunden, versioneres og ændres ikke undervejs. Ændres et spørgsmål, er det et nyt målepunkt — ikke en fortsættelse af den samme serie.

Spørgsmålene er blinde. De nævner ikke kundens navn eller domæne. Et spørgsmål som “hvem er den bedste VVS’er i Odense?” måler noget reelt. Et spørgsmål, der nævner kunden, måler kun, om modellen kan gentage et ord, den lige har fået. Det er en standard forholdsregel, ikke en opfindelse — men den er ikke universel i markedet, og en panelsammensætning med mange brandnævnende spørgsmål vil systematisk overvurdere synligheden.

Panelet offentliggøres i rapporten. Kunden får hele spørgelisten, ikke et udpluk.

Hvad der registreres pr. kørsel

• Spørgsmålet, ordret
• Det fulde svar, ordret — også når kunden ikke nævnes, og også når en konkurrent anbefales
• Model og modelversion
• Tidsstempel
• Hvilke kilder svaret henviser til

Rå svar gemmes, fordi et synlighedstal uden de underliggende svar ikke kan kontrolleres af nogen. Kunden kan bede om dem.

Modeller og versioner

Modelversionen noteres ved hver kørsel og oplyses i rapporten. Det er nødvendigt, fordi udbyderne opdaterer modeller uden varsel, og en modelopdatering kan flytte et synlighedstal uden at noget er ændret hos kunden. Uden versionsangivelse kan de to ting ikke skilles ad bagefter.

Skifter en udbyder model midt i en serie, står det i rapporten som en note på tidspunktet.

Kontrolgruppe

Vi måler samtidig et sæt sammenlignelige virksomheder, vi ikke arbejder for, på det samme panel i den samme periode.

Formålet er at kunne skelne “jeres synlighed steg” fra “hele branchens synlighed steg”. Uden kontrolgruppe kan en generel bevægelse i markedet tilskrives en indsats, den ikke har noget med at gøre.

Kontrolgruppen kræver ikke samtykke fra de målte — vi måler offentligt tilgængelige modelsvar om offentligt kendte virksomheder og offentliggør ikke navngivne konkurrentresultater i kundens rapport.

Kadence

Kvartalsvis. Begrundelsen er statistisk og står udførligt på Støjgulv: ved realistiske panelstørrelser er en månedlig ændring overvejende tilfældig variation. En månedlig rapport ville i praksis fakturere for at rapportere støj.

Hvad tallet ikke er

• Det er ikke en placering. Der findes ingen rangliste i et AI-svar at blive nummer tre på.
• Det er ikke trafik. Synlighed i et svar er ikke det samme som et besøg.
• Det er ikke et løfte. Vi kan måle, om synligheden ændrer sig, og med en kontrolgruppe kan vi sige noget om, hvorvidt vores indsats var årsagen. Vi kan ikke garantere et niveau i et system, vi ikke kontrollerer.

Se også: Støjgulv · Begrænsninger