Čo AI chatbot na webe vlastne vráti

Webový asistent je najľahší AI projekt na demo a najťažší na obhájenie. Obe fakty majú tú istú príčinu: každý meria ľahké číslo — koľko ľudí ho použilo — namiesto toho ťažkého — koľko práce odstránil.

Prečo sa väčšina webových chatbotov ruší

Typický cyklus vyzerá takto. Niekto postaví widget za pár týždňov. Prevádzka je vysoká, takže počty konverzácií vyzerajú impozantne. Objem podpory sa nepohne. O dvanásť mesiacov neskôr sa rozpočet skráti a organizácia vyvodí záver, že AI nefunguje.

Čo sa v skutočnosti stalo, je to, že asistent odpovedal na otázky, v ktorých bol dobrý, a tie otázky neboli tie drahé. Návštevníci sa pýtajú to, čo nájdu v pätičke. Tie otázky sú reálne, odpovedať na ne je príjemné a nikdy vás nič nestáli.

Drahé otázky — oprávnenosť vrátenia peňazí, rozsah záruky, či plán pokrýva ich konkrétny prípad, čo sa stane s ich dátami — sú presne tie, kde zlá odpoveď vytvára zodpovednosť. Tie boli otázkami, na ktoré bol asistent nakonfigurovaný odmietať.

Odvrátenie: číslo, ktoré nikto poriadne nemerá

Odvrátenie je podiel kontaktu v kanáli, ktorý sa vôbec neuskutoční. Znie to jednoducho a je to číslo, ktoré rozhoduje o business case. Jeho poctivé meranie vyžaduje tri veci:

Základ. Ticketi podpory a objem chatu týždenne aspoň štyri týždne pred spustením, rozdelené podľa typu otázky. Bez toho máte pocit, nie číslo.

Definíciu protipoložky. Keď návštevník použije asistenta a napriek tomu napíše podpore, kontakt sa neuskutočnil — alebo sa uskutočnil rýchlejšie a lacnejšie, pretože agent prišiel s kontextom. Musíte sa rozhodnúť, ktoré z toho, písomne, pred spustením, a používať to konzistentne.

Holdout. Malý podiel návštevníkov, ktorí asistenta vidia, a malý podiel, ktorí ho nevidia, obidva merané. Toto je jediná metóda, ktorá prežije stret s sezónnosťou, pretože automaticky kontroluje pomalý týždeň.

Bez holdoutu sa každá externá udalosť — marketingový náraz, výpadok, zmena ceny — stane vysvetlením, po ktorom siahnete, keď čísla sklamú.

Vyriešenie verzus odvrátenie

Toto sú rôzne veci a len jedna z nich je poctivá.

Odvrátenie je „návštevník prestal a nekontaktoval nás". Vyriešenie je „návštevník dostal, čo potreboval, a povedal by to". Odvrátenie sa dá dosiahnuť zmätočným asistentom, ktorý ľudí rozčúli natoľko, že aj tak napíšu e-mail, pretože odvrátenie bez signálu spokojnosti alebo následného kontaktu nič užitočné nemerá.

Sledujte oboje. Vysoká miera odvrátenia s nízkou mierou vyriešenia je varovanie, nie úspech. Najjednoduchší užitočný signál je, či vás návštevníci po tom kontaktujú k tej istej téme menej, čo holdout robí merateľným.

Merajte to od prvého dňa

Skôr než čokoľvek postavíte, rozhodnite o udalostiach. Rozumné minimum:

• Widget otvorený, konverzácia začatá, konverzácia opustená.
• Otázka položená, vyriešená z citovaného obsahu, alebo eskalovaná človeku.
• Použitý jazyk, stránka, na ktorej návštevník bol, zistená téma.
• Výsledok po konverzácii: kontakt uskutočnený alebo neuskutočnený do siedmich dní.
• Explicitný palec hore alebo dole pri každej podstatnej odpovedi.

Anonymné, first-party, žiadni trackeri tretích strán. Nepotrebujete tracking vendor na to, aby ste odpovedali na tieto otázky, a jeho pridanie vytvorí problém so súhlasom, ktorý by ste potom museli riešiť.

Zoznam nezodpovedaných otázok

Najcennejší artefakt, ktorý webový asistent produkuje, nie sú odpovede — je to zoznam otázok, na ktoré nedokázal sebavedomo odpovedať.

Zverejňujte ho interne, týždenne. Zároveň je to content backlog, produktová roadmapa a business case pre ďalšiu fázu. Z mojich skúseností sa tretina zoznamu z prvého štvrťroku opraví úpravou dokumentácie, čo stojí hodiny a je to najlacnejšie možné zlepšenie.

Tento zoznam je aj poctivou obhajobou projektu. „Odpovie na 78 % otázok, ktoré vidí, a tu je dvadsať otázok, na ktoré nevie, a tu je, kto ich opravuje" je rozhovor, ktorý môže výkonný výbor viesť. „Mal 40 000 chatov" nie je.

Viacjazyčnosť mení rovnicu

Pridanie češtiny a slovenčiny približne zdvojnásobí vašu množinu adresovateľných otázok a zmení jej tvar. Lokálni návštevníci sa pýtajú na lokálne ceny, lokálne záručné právo a lokálne vrátenie tovaru — obsah, ktorý mnohé stránky s angličtinou ako primárnym jazykom jednoducho nemajú.

To produkuje odlišný vzor: asistent dobre funguje po anglicky a po česky má nižšiu mieru odpovedí z dôvodov, ktoré sú o vašej dokumentácii, nie o modeli. Merajte vždy po jazykoch. Jediná zmiešaná metrika presne skryje problém, ktorý najviac potrebujete vidieť.

Znamená to aj to, že viacjazyčné nasadenie je často odôvodnené len na základe obsahu, nezávisle na asistentovi — otázky vychádzajúce z českých logov sú špecifikáciou pre vašu českú stránku.

Ako vyzerá dobrá odpoveď

Tri vlastnosti, v poradí dôležitosti:

1. Cituj zdroj. Zdroj, ktorý si návštevník môže otvoriť a overiť. Z toho „dôveruj mi" robí „over si to".
2. Priznaj nevedomosť. Keď korpus neodpovie, povedzte to a ponúknite kontaktnú cestu. Odmietnutie je správna odpoveď; výmysel je chyba.
3. Buď krátky. Vaše podporné články sú písané na prehliadanie, nie na čítanie vnútri chatovej bubliny.

Všetko ostatné — tón, osobnosť, rýchlosť — má oveľa menšiu hodnotu než tieto tri a dá sa oveľa ľahšie opraviť.

Kedy to vypnúť

Vypnite to alebo to zúžte, ak po celom štvrťroku s holdoutom platí niečo z tohto:

• Objem podpory na pokrytých témach sa nepohol.
• Miera eskalácie na človeka stúpa namiesto klesania.
• Skóre kvality odpovedí stagnujú, kým objem konverzácií rastie — táto kombinácia znamená, že ľudia sa pýtajú ťažšie otázky a systém hádže.
• Náklady na udržiavanie obsahového korpusu presahujú náklady na konverzácie, ktoré ušetrí.

Ten posledný je reálny. Webový asistent vyžaduje niekoho, kto udržiava dokumentáciu aktuálnu. Ak to nikto nevlastní, systém sa potichu degraduje a degradovaný asistent, ktorý stále sebavedomo odpovedá, je horší než žiadny asistent.