Zadáte do AI otázku na doporučení dodavatele a vaše firma se objeví mezi odpověďmi. Uděláte si screenshot a máte chuť oznámit, že optimalizace funguje. Druhý den stejnou otázku zopakujete. Tentokrát se objeví konkurence a vaše značka chybí. Který výsledek je správný?
Oba mohou být platným záznamem konkrétního měření. Ani jeden však sám o sobě neříká, jak stabilně se vaše firma v odpovědích objevuje.
Neexistuje počet opakování, po kterém náhoda zmizí. Pro orientační průzkum může posloužit 10 až 20 opakování stejného dotazu za srovnatelných podmínek. Třicet opakování může být praktickým výchozím bodem monitoringu, ale nezaručuje přesnost. Pokud potřebujete odhad četnosti zmínek s orientační chybou kolem ±10 procentních bodů při 95% hladině spolehlivosti, vychází v konzervativním výpočtu přibližně 100 nezávislých měření. Pro ±5 bodů už přibližně 385.
Uvedené rozsahy pro průzkum a monitoring jsou moje metodické doporučení, nikoli závazná norma pro AI Visibility. Statistické hodnoty navíc platí jen při splnění předpokladů, ke kterým se dostaneme.
Jako majitel marketingové agentury ROI index považuji za podstatné, aby report pomáhal rozhodovat. Samotná přítomnost loga mezi doporučenými firmami ještě není dostatečným podkladem pro hodnocení marketingové investice.
Nejdříve určete, co má test vlastně zjistit
Pod pojmem AI Visibility se často míchají odlišné situace. Značka se může objevit v textu, být doporučena jako dodavatel nebo mít svůj web uvedený mezi citovanými zdroji. Každý z těchto výsledků má jiný význam.
Před měřením proto stanovte samostatná pravidla alespoň pro tři ukazatele:
- Zmínka značky: odpověď obsahuje jednoznačně identifikovatelný název firmy.
- Doporučení firmy: odpověď firmu představuje jako relevantní možnost pro danou potřebu.
- Citace webu: odpověď obsahuje odkaz na doménu nebo konkrétní stránku firmy.
Firma může získat citaci, aniž by byla doporučena k nákupu. Může být zmíněna také negativně. Pokud všechny situace započítáte jako stejný úspěch, získáte obtížně interpretovatelné číslo.
Zvlášť vyhodnocujte dotazy se jménem značky a otázky, ve kterých ji uživatel nezadává. Odpověď na „Co víš o firmě X?“ neměří totéž jako doporučení na otázku „Která účetní kancelář se hodí pro malý e-shop?“.
Širší souvislosti rozebírám v článku jak měřit AI viditelnost značky. Pro opakované testování je zásadní, aby se definice úspěchu v průběhu měření neměnila.
Sto odpovědí nemusí znamenat sto opakování
Představme si audit s dvaceti otázkami, pěti AI službami a jednou odpovědí na každou kombinaci. Celkem získáte sto odpovědí. Žádnou konkrétní kombinaci otázky a služby jste však neověřili opakovaně.
Takový audit může ukázat šíři témat, ve kterých se značka objevuje. Neumožňuje ale spolehlivě posoudit, zda konkrétní doporučení nastalo výjimečně, nebo se pravidelně vrací.
Základní jednotku testu doporučuji definovat jako přesnou kombinaci dotazu, AI služby či dostupné verze modelu, režimu vyhledávání, jazyka a relevantního uživatelského kontextu. Opakování počítejte uvnitř této jednotky.
Ani sto opakování jediné otázky není úplným obrazem viditelnosti firmy. Zpřesníte tím odhad pro jednu formulaci, ale nezjistíte, jak si značka vede u jiných potřeb zákazníků. Kvalitní návrh musí vyvažovat šíři dotazů a hloubku opakování.
Co vám řekne 10, 30 a 100 opakování
Při deseti měřeních představuje jedna odpověď deset procentních bodů. Pokud vás AI zmíní čtyřikrát, naměříte 40 %. Při pěti zmínkách už vykážete 50 %. Rozdíl působí výrazně, přitom vznikl jedinou odpovědí.
U třiceti opakování má jedna odpověď váhu přibližně 3,3 procentního bodu. U stovky jeden bod. Vyšší počet měření tedy zjemňuje výsledek, ale sám o sobě neodstraňuje chyby v návrhu testu.
Pro plánování používám toto rozlišení:
| Počet opakování jedné kombinace | Praktický účel | Hlavní omezení |
|---|---|---|
| 1–5 | Kontrola zadání a podoby odpovědí | Velmi slabý podklad pro hodnocení stability |
| 10–20 | Orientační průzkum a hledání výrazných rozdílů | Vysoká nejistota odhadu |
| 30–50 | Výchozí monitoring důležitých dotazů | Menší změny mohou stále být náhodným kolísáním |
| Přibližně 100 | Přesnější odhad četnosti u vybraných priorit | Při četnosti kolem 50 % stále přibližně ±10 bodů |
| Přibližně 385 | Plánování odhadu s chybou kolem ±5 bodů | Vyšší náklady a náročné předpoklady srovnatelnosti |
Tabulka není příslibem přesnosti pro libovolný audit. Zejména poslední dva řádky předpokládají nezávislá pozorování a přibližně stálou pravděpodobnost sledovaného výsledku.
Proč je potřeba ukazovat interval nejistoty
Představme si modelový výsledek: značka se objevila v patnácti ze třiceti odpovědí. Naměřená četnost je 50 %. Bylo by však zavádějící napsat, že přesně polovina všech relevantních uživatelů tuto značku uvidí.
Pro 15 úspěchů z 30 měření vychází 95% Wilsonův interval přibližně od 33 % do 67 %. Při 50 úspěších ze 100 měření je přibližně od 40 % do 60 %. Jde o vlastní výpočty pro jednoduchý binomický model, nikoli o výsledky klientského auditu.
Wilsonův interval je jednou z metod odhadu nejistoty podílu. Volba metody je důležitá zejména u malých vzorků nebo četností blízko nule a jedné; různé postupy mají rozdílné statistické vlastnosti. arxiv.org
Prakticky to znamená, že údaj „viditelnost 50 %“ bez velikosti vzorku a vymezení testu neříká dost. Padesát procent ze čtyř odpovědí má jinou vypovídací hodnotu než padesát procent ze čtyř set.
Ani 95% interval není zárukou výsledku příštího týdne. Popisuje nejistotu odhadu za předpokladů použitého modelu. Nezahrnuje automaticky budoucí změnu služby, zdrojů ani chování uživatelů.
Jak se počítá potřebná velikost vzorku
Pro orientační plánování počtu nezávislých pozorování podílu lze použít vztah:
n ≈ 1,96² × p × (1 − p) / e²
Písmeno n označuje počet měření, p předpokládanou četnost výsledku a e požadovanou absolutní chybu odhadu. Pro chybu ±5 procentních bodů dosazujeme 0,05.
Pokud očekávanou četnost neznáme, použijeme konzervativně p = 0,5. V tomto bodě je potřebný vzorek pro danou absolutní přesnost největší. Po zaokrouhlení nahoru vychází:
- přibližně 97 měření pro chybu ±10 procentních bodů,
- přibližně 385 měření pro chybu ±5 procentních bodů,
- přibližně 1 068 měření pro chybu ±3 procentní body.
Jde o přibližný plánovací výpočet pro 95% hladinu spolehlivosti. Přesnější plán může vyžadovat jinou metodu, zejména při velmi vzácných zmínkách.
Tato čísla odpovídají otázce „Jak přesně chceme odhadnout četnost?“. Neodpovídají automaticky na otázku „Kolik měření potřebujeme k prokázání zlepšení?“. Porovnání dvou období vyžaduje také předem určit velikost změny, kterou chceme zachytit, a požadovanou sílu statistického testu.
Opakování musí mít srovnatelné podmínky
Sto měření v jednom dlouhém chatu není dobrým ekvivalentem stovky oddělených testů. Další odpovědi mohou pracovat s předchozí konverzací. Pokud v ní značku nejdříve představíte, následné doporučení už vzniká za jiných podmínek než u uživatele, který o firmě nic neví.
Pro základní monitoring proto doporučuji nové konverzace, bez předchozího představování značky a s jednotně nastavenou pamětí či personalizací, pokud je lze ovládat. Ukládejte přesné zadání, čas, dostupné označení modelu, prostředí a informaci o použitém režimu vyhledávání.
Výsledky z API a spotřebitelské aplikace evidujte odděleně. Jestliže používáte API, popište výsledky jako měření konkrétního API nastavení. Bez ověření je nepřenášejte na všechny uživatele aplikace.
Ani nová konverzace však sama nezaručuje statistickou nezávislost. Odpovědi mohou sdílet stejné podklady, aktuální stav služby nebo mechanismy opakovaného poskytování výsledků. Velký počet podobných odpovědí může působit přesvědčivěji, než odpovídá skutečnému množství nové informace.
Měřit najednou, nebo v několika dnech?
Záleží na cíli. Pokud chcete zkoumat krátkodobou variabilitu, dává smysl opakovat dotaz v relativně úzkém časovém okně. Pokud vás zajímá stabilita viditelnosti v běžném provozu, potřebujete pozorování rozložená v čase.
Pro orientační monitoring lze například naplánovat třicet opakování do pěti dnů po šesti měřeních. Jde o organizační příklad, nikoli o statisticky zaručený postup. Výhodou je, že jediný okamžik nerozhoduje o celém výsledku.
Rozložení v čase současně přináší jiný problém: mohou se změnit podmínky. Výsledky proto uchovávejte i po dnech a sledujte změny dostupného označení modelu nebo režimu služby.
Pokud jsou odpovědi uvnitř jednotlivých dnů silně podobné, jednoduchý interval počítaný ze všech odpovědí může nejistotu podhodnotit. U důležitých rozhodnutí je namístě analýza respektující časové bloky. Pět dnů měření přitom stále představuje jen pět bloků, nikoli rozsáhlou historii.
Kdy můžete mluvit o skutečném zlepšení
Představme si hypotetickou situaci: před úpravou webu se firma objevila v 15 ze 30 odpovědí, po úpravě v 18 ze 30. Naměřený podíl vzrostl z 50 % na 60 %.
Správně můžete napsat, že jste v testu pozorovali nárůst o deset procentních bodů. Bez dalšího vyhodnocení ale nemůžete tvrdit, že jste prokázali stabilní zlepšení. U takto malých vzorků může být rozdíl vysvětlitelný běžným kolísáním.
Porovnávejte stejnou sadu dotazů, shodné hodnocení a srovnatelné prostředí. Předem určete hlavní metriku i počet měření. Pokud porovnáváte velké množství dotazů a vyberete jen ty, které vyšly nejlépe, zvyšujete riziko náhodných „úspěchů“.
Důležité je také oddělit statistický rozdíl od příčiny. Ani přesvědčivě naměřený růst sám nedokazuje, že jej vyvolala vaše úprava webu. Do výsledku mohou vstupovat změny prostředí, konkurence nebo dostupných zdrojů.
Při hodnocení GEO optimalizace pro AI vyhledávače proto doporučuji vést záznam provedených zásahů a sledovat i předem vybrané srovnávací dotazy. Pomůže to interpretaci, přesto nejde automaticky o kontrolovaný experiment.
Jak rozdělit rozpočet na testování
Ne každá otázka zaslouží stejný počet opakování. Vyšší prioritu mají dotazy blízko rozhodnutí o dodavateli, témata s vysokou hodnotou zakázky a situace, ve kterých plánujete na základě výsledku měnit marketingový rozpočet.
Praktický postup může začít širším průzkumem. Z něj vyberete obchodně důležité otázky a pro ty naplánujete samostatnou potvrzovací sérii. Její velikost a způsob vyhodnocení stanovíte předem.
Například dvanáct prioritních dotazů, tři AI služby a třicet opakování znamená 1 080 odpovědí. Každá kombinace dotazu a služby však stále obsahuje jen třicet pozorování. Celkový počet nesmí v reportu vytvářet dojem, že jste každé jednotlivé tvrzení ověřili více než tisíckrát.
Vedle hloubky měření kontrolujte relevanci otázek. Přesně měřit dotaz, který žádný skutečný zákazník pravděpodobně nepoužije, má omezenou obchodní hodnotu. Pro návazné úpravy obsahu využijte také návod jak připravit web pro AI vyhledávání.
Které chyby dokážou znehodnotit i velký test
Největší problém často neleží v počtu odpovědí, ale ve způsobu jejich výběru.
Neukončujte test ve chvíli, kdy vyjde požadovaný výsledek. Pokud budete měřit až do okamžiku, kdy se firma konečně objeví třikrát za sebou, nehodnotíte předem stanovený vzorek. Hledáte příznivý okamžik. Průběžné rozhodování o zastavení vyžaduje odpovídající statistickou metodiku.
Neměňte zadání mezi obdobími bez označení změny. Přidané město, rozpočet nebo požadavek na specializaci může ovlivnit výsledek. Novou formulaci evidujte jako jiný dotaz.
Neschovávejte technické chyby. Výpadek služby není automaticky odpovědí bez zmínky. Předem stanovte, které pokusy jsou neplatné a jak je nahradíte. Platná odpověď, která žádného dodavatele nedoporučí, je naproti tomu relevantním výsledkem.
Neslévejte všechno do jednoho procenta bez vysvětlení. Souhrnný index může být užitečný, pokud zveřejníte jeho složení a váhy. Není však automaticky odhadem toho, co vidí průměrný český zákazník.
Ověřujte také samotné hodnocení. Automatické rozpoznání názvu může zaměnit podobné firmy. U doporučení a správnosti informací kontrolujte vzorek ručně a u nejasných případů používejte jednotná pravidla.
Co má obsahovat důvěryhodný report
Dobrý report umožní pochopit nejen výsledek, ale i jeho omezení. Uvádí období, přesné otázky, prostředí, počet platných opakování, pravidla hodnocení a četnost sledovaných jevů. U klíčových odhadů přidává interval nejistoty a uchovává původní odpovědi pro kontrolu.
Namísto věty „AI nás doporučuje v 60 % případů“ je přesnější formulace:
V testu konkrétního dotazu v uvedené službě byla firma doporučena v 18 ze 30 platných odpovědí. Výsledek popisuje sledované podmínky a období; vzhledem k velikosti vzorku zůstává odhad nejistý.
Taková formulace možná nevypadá tak efektně. Pro řízení firmy je však užitečnější než procento, jehož původ nelze ověřit.
Počet opakování vybírejte podle rozhodnutí
Pro rychlé zmapování situace doporučuji začít menší sérií. Pro pravidelný monitoring vyberte stabilní sadu relevantních dotazů a opakujte je podle předem stanoveného plánu. Pokud má výsledek podpořit významnou investici nebo veřejné tvrzení o zlepšení, potřebujete přesnější návrh a odpovídající počet měření.
Za důležitou považuji otázku: Jak velká změna by skutečně ovlivnila naše rozhodnutí? Jestliže vás zajímá posun o několik procentních bodů, třicet odpovědí na dotaz obvykle nebude dostatečným podkladem.
Smyslem AI Visibility testu je zjistit, jak často, v jakých situacích a s jakou stabilitou se firma dostává do odpovědí. Teprve na tento základ lze navázat obsahovou strategií, technickými úpravami a měřením obchodního přínosu.
Chcete zjistit, zda se vaše značka objevuje opakovaně u otázek skutečných zákazníků? Kontaktujte ROI index a probereme návrh měření, který bude odpovídat vašemu trhu, rozpočtu i rozhodnutím, která potřebujete udělat.
