Három hibaforrás, három eltérő beavatkozás

A RAG, vagyis a visszakereséssel kiegészített szöveggenerálás a kéréshez releváns forrásokat ad a modellnek. A Microsoft leírása ezt saját tartalomra alapozott válaszadási mintaként tárgyalja, amelynél a keresés és a hozzáférés kezelése önálló feladat. Ha egy termék új garanciális feltétele nincs a visszakeresett anyagok között, a probléma elsőként a tartalom és az index útvonalán keresendő.

A felügyelt finomhangolás címkézett példák alapján módosítja a modell viselkedését. A Google dokumentációja jól körülhatárolt feladatoknál említi alkalmazását, például osztályozásnál és következetes kimeneti formátumnál. Ettől külön kérdés marad, hogy a konkrét válaszhoz honnan érkezik az aktuális ár, a jogosultság vagy a hatályos szerződés. A megtanult minta nem helyettesíti ezek ellenőrzött lekérdezését.

Az üzleti szabály gyakran egyik technológiába sem való. A fizetési határidő számítása, az engedmény felső korlátja vagy a számla könyvelési állapota ellenőrizhető alkalmazáslogika lehet. A modell javasolhat besorolást, de a szabálymotor számoljon és ellenőrizzen. Ha ezt a három réteget egyetlen „tanítsuk be az adatainkra” feladattá gyúrjuk, nehéz lesz megmondani, melyik fejlesztés mit javított.

Először hibajegyzék készüljön, utána technológiai döntés

Érdemes valódi, engedéllyel használható feladatokból hibatérképet készíteni. Egy hibához kerüljön a bemenet, az elvárt eredmény, a tényleges válasz, a felhasznált dokumentumverzió és a folyamat állapota. A „nem elég okos” megjelölés helyett különítsük el a hiányzó forrást, a rossz találatot, a forrással ellentétes állítást, a formátumhibát és a jogosulatlan műveleti kísérletet. Ezekre más kontroll adható.

A kiinduló megoldás lehet pontosabb utasítás, rövid példasor, strukturált kimenet és ellenőrző kód. Ennek mérési eredménye legyen az összehasonlítás alapja. Ha már ez megoldja a problémát az elfogadható költségen, a külön betanítás fenntartása nem feltétlenül indokolt. Ha a kereső nem találja meg a dokumentumot, előbb a darabolást, a metaadatokat és a keresési kérés kialakítását vizsgáljuk.

A táblázat diagnosztikai segítség, nem automatikus választógép. Egy munkafolyamatban több hiba is együtt lehet jelen. Például a panasz jó kategóriát kaphat, miközben a válasz egy lejárt feltételt idéz. Ilyenkor a besorolást és a tájékoztatást külön teszteljük; egyetlen összesített pontszám elfedné, hogy az egyik javulása mellett a másik továbbra is üzleti kockázatot jelent.

Először hibajegyzék készüljön, utána technológiai döntés
Megfigyelt problémaElsőként vizsgálandó rétegAmit külön is ellenőrizni kell
A válasz régi árlistára támaszkodikForrásfrissítés és RAGHatályosság, törlés, idézet
A besorolás hol rövid, hol magyarázó szövegUtasítás, séma, esetleg finomhangolásKategóriák jelentése és új esetek
Az engedmény túllépi az engedélyezett értéketSzabálymotor és jóváhagyásSzámítás, szerepkör, napló
A helyes dokumentumból is rossz következtetés készülVálaszadási és értékelési rétegBizonyíték és tartózkodás
Másik ügyfél adata bekerül a válaszbaHozzáférés és elkülönítésKereső, gyorsítótár, export

Szemléltető példa: reklamációs ügyek és változó feltételek

Egy elképzelt kereskedő a beérkező leveleket „szállítás”, „termékhiba” és „számlázás” csoportba szeretné rendezni. A munkatársak eltérően használták ezeket a címkéket, ezért először a fogalmakat és a határeseteket egyeztetik. A sérült csomag például lehet szállítási ügy, de tartalmazhat termékhibára utaló tényt is. A rendszer engedhet több címkét vagy emberi felülvizsgálatot; ezt nem a modellnek kell önállóan kitalálnia.

A kategorizálásnál egy tisztított, szakmailag ellenőrzött példakészlet alapján összevethető az alapmodell és a finomhangolt változat. A válaszlevélhez viszont a megrendelés tényleges dátuma és az akkor érvényes feltétel szükséges. Ezek visszakeresése külön történik, a felhasználó jogosultságával. A levél szövegébe a forrás bizonyított állítása kerülhet, hiányzó vásárlási adatra pedig kérdés vagy feladat készül.

Ez kizárólag szemléltető folyamat, nem ügyféleredmény. A siker feltétele nem az, hogy a modell minden levelet magabiztosan lezárjon. A jó eredményhez az is hozzátartozhat, hogy egy vegyes ügyet átad a megfelelő munkatársnak, és megmutatja az átadás okát. A finomhangolás hatását így a címkézésen mérjük, a RAG hatását a megfelelő feltétel megtalálásán, a teljes rendszert pedig az ellenőrzött ügykezelésen.

A tanítóadat üzleti állásfoglalásokat is tartalmaz

Egy korábbi válasz nem attól jó példa, hogy munkatárs írta. Lehet benne elavult feltétel, túlzott ígéret, véletlen személyes adat vagy egyszeri kivétel. A minták kiválasztásához tartalmi felelős szükséges, aki el tudja különíteni a kívánt gyakorlatot a történeti szokástól. Az ellentmondó címkéket érdemes a tanítás előtt feloldani, különben a rendszer éppen a bizonytalanságot tanulhatja meg.

A felhasználási jogosultságot és az adatminimalizálást a betanítási folyamatra külön is át kell gondolni. Melyik szervezet kapja meg a mintát, mely régióban történik a feldolgozás, milyen ideig tárolják az állományt és a származtatott modellt? A személyes adatok eltávolítása nem pusztán névcserét jelent: az egyedi ügykörülmények is azonosíthatnak. Egy technikai megoldás önmagában nem ad jogi megfelelőségi garanciát.

A tesztadat ne ugyanazokból a levelekből készüljön apró átfogalmazással. Ha egy ügy több üzenetből áll, az összetartozó üzeneteket egy csoportként kezeljük a felosztásnál. Külön próbáljuk az új terméket, a hiányos levelet és az ismeretlen kategóriát. A finomhangolt változat nemcsak a megszokott mintákon javulhat vagy romolhat: megváltozhat a bizonytalanság kezelése és a hosszabb bemenetekre adott válasza is.

A kombinált rendszer költsége és változáskezelése

RAG és finomhangolás együtt is használható, de ettől több változó kerül a kiadásba. Változhat az alapmodell, a tanított verzió, az index, a keresési rangsor és a kimeneti séma. Egy válasz vizsgálatához ezek azonosítóit érdemes rögzíteni a szükséges, korlátozott naplóban. A napló ne váljon korlátlan másolattá az összes ügyféldokumentumról; a nyomkövethetőséghez célzott bizonyíték és megőrzési rend kell.

A költség összevetésénél a tanítás egyszeri futtatása csak egy tétel. Ide tartozik a minták címkézése, szakmai ellenőrzése, újratanítása, a modell kiszolgálása és az értékelés ismétlése. A RAG esetén a forrásbetöltés, az index karbantartása és a keresési réteg üzemeltetése jelent munkát. A döntéshez az elfogadott, tényleges feladatonkénti teljes költséget érdemes nézni, nem két különálló számla egyetlen sorát.

  • Nevezzük meg azt a konkrét hibát, amelyet a finomhangolásnak kell csökkentenie.
  • Rögzítsük, mely adatok változnak olyan gyakran, hogy lekérdezésből kell érkezniük.
  • Jelöljük ki a modellen kívül ellenőrzött üzleti szabályokat.
  • Tartsunk vissza külön, csoportosan elkülönített értékelő eseteket.
  • Legyen visszaállítható alapváltozat, ha az új modell más feladatokon ront.
  • A kiadást szakmai eredmény és üzemeltetési feltétel együtt alapozza meg.

Milyen pilot ad használható döntést?

A pilotban ugyanazt az engedélyezett feladathalmazt több változattal futtassuk: egyszerű alapmegoldással, javított kereséssel, és ha indokolt, finomhangolással. A kimeneteket azonos szempontok szerint értékeljük. Külön soron szerepeljen a helyes besorolás, a bizonyított állítás, a hibás ígéret, a szükséges kézi javítás és a teljes átfutás. Így láthatóvá válik, ha a szebb fogalmazás nem hozott pontosabb ügykezelést.

A bevezetéshez a sikerkritérium mellett leállítási feltétel is tartozzon. Ha új termékcsalád érkezik vagy megváltozik a reklamációs szabályzat, felülvizsgálható, mely réteg érintett. Nem minden módosítás indokol új tanítást, és egy forráscsere sem feltétlenül marad hatás nélkül a válaszokra. A KOCI a feladatok, az adatok és a fenntartási feltételek tisztázása után segíthet a megfelelő összehasonlító rendszer megtervezésében és integrálásában.

Gyakori kérdések

Elég feltölteni a céges dokumentumokat, hogy a modell megtanulja őket?

A dokumentum feltöltése, az indexelés és a modell tanítása eltérő folyamat. Tisztázni kell, melyik történik, hogyan frissül a forrás, és a válasz visszavezethető-e a konkrét dokumentumverzióra. A puszta feltöltésből nem következik naprakész, jogosultsághelyes válaszadás.

A finomhangolás megszünteti a téves állításokat?

Erre nem ad általános garanciát. Javíthat egy meghatározott feladaton, de új eseteken is mérni kell. A forrásellenőrzés, a szabályok, a tartózkodási lehetőség és a szükséges emberi jóváhagyás továbbra is külön rendszerelem.

Mikor érdemes mindkét megközelítést használni?

Ha külön igazolt igény van a tanult viselkedésre és az aktuális, visszakereshető tudásra is. Előbb külön mérjük meg az egyes fejlesztések hozzájárulását, majd a kombinált folyamatot is teszteljük. Így nem pusztán a több technológia látszatáért vállalunk nagyobb fenntartási terhet.

Források és további olvasnivaló

A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.

Van egy hasonló feladatod?

Beszéljük át, hogyan ültethető át a gyakorlatba.

Projektet indítok

Kapcsolódó szolgáltatás: AI és automatizálás ↗