RAG alebo fine-tuning? Výber správneho prístupu k znalostiam

Takmer každá diskusia o firemnom AI sa začína ako debata medzi fine-tuningom a retrievalom, akoby boli konkurenti. Nie sú. Odpovedajú na rôzne otázky a väčšina projektov, ktoré uviaznu, si ich pomýlila.

Otázka za otázkou

Opýtajte sa, čo dnes zlyháva. Zvyčajne je to jedna z troch vecí:

• Model niečo nevie. To je problém znalostí a retrieval ho rieši.
• Model to vie, ale správa sa zle — zlý formát, zlý tón, zlá štruktúra, ignorované kroky. To je problém správania a rieši ho fine-tuning alebo lepší prompting.
• Model to vie a správa sa správne, ale odpoveď je drahá alebo pomalá. To je problém architektúry a ani jedno z týchto riešení to nie je.

Fine-tuning nedokáže urobiť model informovaným o politike, ktorú ste minulý utorok revidovali. Nemá žiadny mechanizmus, aby niečo vyhľadal. Odpovie zo svojich váh, čo je snímok, a odpovie s rovnakou istotou v oboch prípadoch. Táto veta je v tomto článku najdôležitejšia.

Čo vlastne mení fine-tuning

Fine-tuning upravuje distribúciu. Mení, čo model má tendenciu produkovať — formát, tón, štruktúru, správanie pri odmietnutí, doménovú slovnú zásobu. S dobrými dátami spoľahlivo urobí tvar výstupu predvídateľný, čo záleží, keď downstream kód parsuje výstup.

Nepridáva znalosti. Nepridáva fakty o vašej firme. Nemôže odkázať na dokument, ktorý nikdy nevidel, a nepovie vám, odkiaľ odpoveď pochádzala.

Čo vlastne mení retrieval

Retrieval mení vstup. Skôr než model odpovie, váš systém vytiahne relevantné pasáže z korpusu, ktorý kontrolujete, a vloží ich do kontextového okna s inštrukciou odpovedať len z nich.

Tým vám dá tri veci, ktoré fine-tuning nemá: aktuálnosť, pretože korpus sa aktualizuje, keď sa menia dokumenty; pôvod, pretože presne viete, ktorá pasáž sa použila; a vratkosť, pretože oprava odpovede znamená opraviť dokument, nie natrénovať model znova.

Cenou je kvalita retrievu. Ak dorazí zlý odstavec, žiadny vás nezachráni.

Výber podľa požiadavky

V akom poradí skúšať

Mám pevné poradie a preskočenie skorých krokov je dôvod, prečo projekty skončia s tým, že fine-tunujú problém retrievu.

1. Promptujte správne. Jasné systémové inštrukcie, oddeľovače pre načítaný kontext a explicitná inštrukcia odmietnuť, keď kontext na otázku neodpovedá. Už toto opraví prekvapivý podiel sťažností „AI je zlá".
2. Opravte retrieval. Štruktúrou riadené členenie, hybridné vyhľadávanie kombinované s vektorovým, reranking a metadata filtre pre oprávnenia.
3. Pridajte citácie a overte faithfulness. Ak viete merať, či odpoveď vyplýva z načítaného textu, viete zlepšiť všetko ostatné.
4. Routujte medzi modelmi. Lacný model na klasifikáciu a routovanie, drahý na ťažké odpovede. Náklady klesnú, kvalita sa udrží.
5. Fine-tune. Až teraz a len pre správanie: formát výstupu, klasifikáciu, tón, odmietanie.

Ak sa dostanete na krok päť a ste stále nespokojní, problém je takmer iste v kroku dva.

Kedy fine-tuning skutočne vyhrá

Sú reálne prípady a sú užšie, než naznačuje marketing.

Dodržiavanie formátu vo veľkom: potrebujete, aby bol každý výstup parsovateľný, máte tisíce príkladov a malý fine-tune nahrádza gymnastiku s promptmi. Doménová klasifikácia a routovanie, kde fine-tunovaný klasifikátor porazí všeobecný model plus prompt. Tón, ktorý musí byť presne správny, napríklad právny alebo lekársky register. Odstránenie správania — zastavenie konkrétneho nechceného vzoru spoľahlivejšie, než to dokáže inštrukcia.

Vo všetkých štyroch fine-tuning mení, ako sa model správa, a retrieval stále dodáva fakty. Vzor nie je buď/alebo.

Hybridný vzor

Systémy, ktoré v produkcii obstoja, vyzerajú takto: vrstva retrievu dodáva čerstvý, filtrovaný podľa oprávnení a citovaný kontext; modelová brána routuje požiadavku na najmenší model, ktorý ju zvládne; fine-tunovaná vrstva vynucuje tvar výstupu a správanie pri odmietnutí; evaluačný rámec to celé dokazuje pri každom vydení.

Každá časť robí prácu, na ktorú je naozaj dobrá. Fine-tuning je v tom vnútri, ale nenesie znalosti a nikto to nepredstiera.

Ako zistiť, ktoré potrebujete

Tri otázky, v poradí.

Potrebuje byť odpoveď aktuálna? Retrieval.

Potrebuje odpoveď zdroj, ktorý si človek môže overiť? Retrieval.

Musí výstup vyzerať alebo sa správať konkrétnym spôsobom? Fine-tuning, prompting alebo obyčajný kód.

Ak je vaša poctivá odpoveď na prvé dve nie, možno nepotrebujete ani jedno — možno potrebujete pravidlový engine, obyčajný dotaz do databázy a podstatne menej infraštruktúry. To je legitímna a podhodnotená odpoveď.