Co AI chatbot na webu skutečně přináší

Webový asistent je nejsnazší AI projekt k demu a nejtěžší k obhájení. Oba fakty mají stejnou příčinu: každý měří snadné číslo — kolik lidí ho použilo — místo toho těžkého — kolik práce ušetřil.

Proč se většina webových chatbotů ruší

Typický životní cyklus vypadá takhle. Někdo postaví widget za pár týdnů. Návštěvnost je vysoká, takže počty konverzací vypadají impozantně. Objem podpory se nepohne. O dvanáct měsíců později se škrtne rozpočet a organizace usoudí, že AI nefunguje.

Skutečně se stalo to, že asistent odpovídal na otázky, u kterých byl dobrý, a ty otázky nebyly ty drahé. Návštěvníci se ptají na to, co najdou v patičce. Ty otázky jsou skutečné a odpovídat na ně je příjemné — a nikdy vás nestály nic.

Ty drahé otázky — zda mají nárok na vrácení peněz, rozsah záruky, jestli tarif pokrývá jejich konkrétní případ, co se stane s jejich daty — jsou přesně ty, u kterých špatná odpověď vytváří odpovědnost. Na tyto otázky byl asistent nastavený, aby je odmítal.

Odvrácení: číslo, které nikdo neměří poctivě

Odvrácení je podíl kontaktního kanálu, ke kterému nikdy nedojde. Zní to jednoduše a je to číslo, které rozhoduje o business case. Poctivé změření vyžaduje tři věci:

Baseline. Objem ticketů a chatu týdně alespoň čtyři týdny před spuštěním, rozdělený podle typu otázky. Bez toho máte pocit, ne číslo.

Definici protipřípadu. Když návštěvník použije asistenta a stejně pak napíše podpoře, ke kontaktu nedošlo — nebo k němu došlo rychleji a levněji, protože agent přišel s kontextem. Musíte se rozhodnout, které z toho, písemně před spuštěním, a používat to konzistentně.

Kontrolní skupinu. Malý podíl návštěvníků, kteří asistenta vidí, a malý podíl, kteří ho nevidí, obojí měřené. To je jediná metoda, která přežije setkání se sezónností, protože automaticky kontroluje pomalý týden.

Bez kontrolní skupiny se každá vnější událost — marketingová kampaň, výpadek, změna ceny — stává vysvětlením, po kterém sáhnete, když čísla zklamou.

Vyřešení versus odvrácení

To jsou dvě různé věci a jen jedna z nich je poctivá.

Odvrácení je „návštěvník přestal a nekontaktoval nás“. Vyřešení je „návštěvník dostal, co potřeboval, a řekl by to“. Odvrácení lze dosáhnout zmateným asistentem, který lidi naštve natolik, že stejně napíšou e-mailem — a proto odvrácení bez signálu spokojenosti nebo následného dotazu neměří nic užitečného.

Sledujte obojí. Vysoká míra odvrácení s nízkou mírou vyřešení je varování, ne úspěch. Nejjednodušší užitečný signál je, jestli vás návštěvníci o stejné téma potom kontaktují méně, což kontrolní skupina dělá měřitelným.

Měřte to od prvního dne

Než cokoli postavíte, rozhodněte se o událostech. Rozumné minimum:

• Otevření widgetu, začátek konverzace, opuštění konverzace.
• Položená otázka, vyřešená z citovaného obsahu, nebo eskalovaná člověku.
• Použitý jazyk, stránka, na které návštěvník byl, rozpoznané téma.
• Výsledek po konverzaci: kontakt uskutečněn či neuskutečněn do sedmi dnů.
• Explicitní palec nahoru nebo dolů u každé věcné odpovědi.

Anonymně, first-party, bez third-party trackerů. K odpovědím na tyto otázky nepotřebujete tracking vendor a jeho přidání vytvoří problém se souhlasem, který pak budete muset řešit.

Seznam nezodpovězených otázek

Nejhodnotnější artefakt, který webový asistent vyrábí, nejsou odpovědi — je to seznam otázek, na které nedokázal odpovědět s jistotou.

Zveřejňujte ho interně, týdně. Je zároveň backlogem obsahu, produktovou roadmapou a podkladem pro další fázi. Z mé zkušenosti se třetina seznamu z prvního čtvrtletí vyřeší úpravou dokumentace, což stojí hodiny a je to nejlevnější možné zlepšení.

Ten seznam je také poctivou obhajobou projektu. „Odpoví na 78 % otázek, které vidí, tady je dvacet otázek, na které neodpoví, a tady je, kdo je opravuje“ — to je rozhovor, který může vést výbor vedení. „Měl 40 000 chatů“ — ten ne.

Vícejazyčnost mění účty

Přidání češtiny a slovenštiny zhruba zdvojnásobí množinu otázek, na které můžete odpovídat, a mění její tvar. Místní návštěvníci se ptají na místní ceny, místní záruční právo a místní vrácení zboží — obsah, který mnohé webům s angličtinou první jednoduše chybí.

To vytváří charakteristický vzor: asistent dobře funguje v angličtině a v češtině má nižší míru odpovědí z důvodů, které souvisejí s vaší dokumentací, ne s modelem. Měřte vždy po jednotlivých jazycích. Jediná sloučená metrika přesně schová problém, který nejvíc potřebujete vidět.

Znamená to také, že zavedení dalších jazyků je často obhájitelné čistě na základě obsahu, nezávisle na asistentovi — otázky z českých logů jsou specifikací pro váš český web.

Jak vypadá dobrá odpověď

Tři vlastnosti, v pořadí důležitosti:

1. Cituje. Zdroj, který si návštěvník otevře a ověří. To mění „věř mi“ na „ověř si to“.
2. Přizná nevědomost. Když korpus neodpovídá, řekne to a nabídne kontaktní cestu. Odmítnutí je správná odpověď; výmysl je defekt.
3. Je krátká. Vaše články podpory jsou psané pro procházení, ne pro čtení uvnitř bubliny chatu.

Všechno ostatní — tón, osobnost, rychlost — má mnohem menší hodnotu než tyhle tři a mnohem snáz se to opravuje.

Kdy to vypnout

Vypněte to, nebo to zúžte, pokud po celém čtvrtletí s kontrolní skupinou platí něco z toho:

• Objem podpory na pokrytých tématech se nepohnul.
• Míra eskalace k člověku roste místo toho, aby klesala.
• Skóre kvality odpovědí stagnují, zatímco objem konverzací roste — tato kombinace znamená, že lidé kladou těžší otázky a asistent hádá.
• Náklady na udržování obsahového korpusu přesného převýší náklady na konverzace, které ušetří.

Ta poslední je skutečná. Webový asistent vyžaduje někoho, kdo udržuje dokumentaci aktuální. Pokud to nikdo nevlastní, systém se potichu zhoršuje a zhoršený asistent, který pořád sebevědomě odpovídá, je horší než žádný asistent.