A felület helye nem árulja el a feldolgozás helyét

Az alkalmazás futhat a munkatárs számítógépén úgy, hogy a dokumentumot külső OCR, beágyazást készítő szolgáltatás vagy nyelvi modell dolgozza fel. Fordítva is lehetséges: egy böngészős felület mögött belső hálózati modell végezheti a számítást. A döntés tárgya ezért ne a „helyi alkalmazás” címke legyen, hanem az egyes feldolgozási lépések tényleges végpontja és az oda továbbított adat.

Az Ollama hivatalos dokumentációja például külön kezeli a helyi és a felhős képességeket, és leírja a felhős funkciók letiltását. Ez jól mutatja, hogy egy helyben telepíthető eszköznél is ellenőrizni kell az engedélyezett működési módot. Ebből nem következik minden más termék viselkedése; az adott verzió beállításait és a tényleges hálózati kapcsolatokat külön szükséges megvizsgálni.

A leltárhoz kerüljön a dokumentumfeltöltés, a szövegkinyerés, a keresőindex, a modellkérés, a hibajelentés és a mentés is. Egy támogatási napló akár több érzékeny tartalmat őrizhet, mint az eredeti rövid kérés. Az adatvédelmi vagy titoktartási feltételt ezért minden ilyen tárolóra és továbbításra alkalmazni kell. A modell végpontjának kiválasztása önmagában még nem rendezi a teljes folyamatot.

Az adatbesorolásból legyen végrehajtható szabály

A „bizalmas” jelzőt érdemes konkrét feldolgozási feltétellé alakítani. Mely iratok mehetnek külső szolgáltatóhoz, milyen szerződéses és technikai feltételekkel? Melyeknél kell belső feldolgozás, és van-e olyan tartalom, amelyet az AI-folyamatból teljesen ki kell zárni? A döntéshez az adatkezelési, informatikai és üzleti felelősök együttműködése szükséges; ezt nem helyettesíti egy termék adatlapja.

A szabály csak akkor ér valamit, ha a rendszer végre is hajtja. A felület figyelmeztetése mellett a háttérben ellenőrizni kell a kijelölt útvonalat. A külső tartalékmodellre váltás például nem lehet észrevétlen kényelmi funkció, ha az adott dokumentumra külső továbbítási tilalom vonatkozik. Hiba esetén a megengedett eredmény lehet várakozás vagy kézi feldolgozás, nem feltétlenül egy másik szolgáltató.

A táblázat nem nyilvánít egyik megoldást biztonságosabbnak. Más feladat kerül a vállalkozáshoz és más a szolgáltatóhoz. Egy kis csapatnál a saját kiszolgáló karbantartása lehet a gyenge pont, míg egy szigorúan elkülönített műszaki környezetnél a külső adatút jelenthet kizáró feltételt. A választásnak az ellenőrizhető követelményekhez és a tényleges üzemeltetési képességhez kell illeszkednie.

Az adatbesorolásból legyen végrehajtható szabály
Döntési területHelyi futtatásnál tisztázandóKülső API-nál tisztázandó
AdatútKülső kiegészítők és hálózati kimenetekTovábbított mezők és feldolgozási régió
HozzáférésBelső végpont, felhasználók, rendszergazdákAPI-kulcsok, projektek, szolgáltatói szerepkörök
MegőrzésNaplók, átmeneti fájlok, mentésekSzerződéses és beállítható megőrzési feltételek
Rendelkezésre állásHardver, áram, frissítés, helyettesítésKvóta, kiesés, határidők, szolgáltatói változás
KöltségKapacitás, üzemeltetés és kihasználtságFelhasználás, kapcsolódó szolgáltatások és ellenőrzés
KilépésModell és környezet újraépíthetőségeAdatkiadás, törlés, másik szolgáltatóra váltás

A helyi kapacitást saját munkaterhelésen kell kipróbálni

A modell fájlmérete nem azonos a teljes kiszolgálási igénnyel. Számít a bemenet hossza, a párhuzamos felhasználók száma és az előállított válasz terjedelme is. A hardvertervhez ezért valódi, engedélyezett feladatprofil szükséges. Más terhelést jelent néhány rövid besorolás, mint sok hosszú műszaki dokumentum egyidejű feldolgozása. Mások az elvárások háttérfeladatnál és élő ügyfélszolgálatnál is.

A kisebb vagy tömörített modellváltozatot ne pusztán a név alapján tekintsük azonos minőségűnek. Az adott feladatokon ugyanazzal a teszttel vizsgáljuk a pontosságot, a bizonytalanság kezelését és a szükséges emberi javítást. A sebességet a teljes folyamat végén is mérjük: a dokumentum betöltése, az OCR, a keresés és a várakozó sor együtt adja azt az időt, amelyet a felhasználó érzékel.

Az üzemeltetési próba tartalmazzon csúcsterhelést és hibás helyzetet is. Mi történik memóriahiánynál, megszakadt kérésnél, újrainduló gépnél vagy egy elakadt hosszú feladatnál? A rendszer tudjon visszautasítani vagy sorba állítani munkát anélkül, hogy elveszne az állapot. A helyi kapacitás drágább bővítése előtt kiderülhet, hogy feladatütemezéssel vagy rövidebb, célzottabb bemenettel lehet a szükséges kiszolgálást biztosítani.

Szemléltető példa: tervdokumentáció és nyilvános termékszöveg

Egy elképzelt műszaki vállalkozás két feladatot vizsgál. Az egyik belső tervdokumentációból készít ellenőrzendő kivonatot, a másik jóváhagyott termékadatokból ír webes szövegvázlatot. Az elsőnél a külső továbbítás nem megengedett, a másodiknál a nyilvános adat is csak ellenőrzött folyamaton keresztül használható. A két feladatot ezért nem szükséges egyetlen közös végpontra kényszeríteni.

A műszaki feladatnál belső modellt, helyi szövegkinyerést és elkülönített naplózást próbálnak. A termékszövegnél egy külső szolgáltatás is részt vehet a tesztben, de csak a kijelölt, jóváhagyott mezőket kapja meg. Ugyanaz a felület kiszolgálhatja mindkettőt, ha a háttérben egyértelmű és ellenőrzött a feladat besorolása. A felhasználó lássa, milyen feldolgozási módot választott a rendszer.

Ez szemléltető megoldási irány, nem konkrét ügyféleset. Ha a helyi modell nem érhető el, a tervdokumentáció nem kerül automatikusan a termékszöveghez használt API-hoz. A rendszer várakozó állapotot jelez, és a kijelölt felelős dönthet más megengedett eljárásról. A használhatóság itt azt is jelenti, hogy a hiba látható és kezelhető, miközben az adatbesorolás a kiesés alatt is érvényes marad.

A nyílt modell licenc és fenntartási feladat is

A letölthető súlyokból nem következik korlátlan felhasználási jog. A kiválasztott modellhez tartozó licencet, felhasználási feltételeket és esetleges terjesztési kikötéseket az adott változatra kell megvizsgálni. A modellcsalád neve vagy egy gyűjtőoldal rövid címkéje nem elég beszerzési bizonyíték. A döntéskor használt feltételek és az alkalmazott modellazonosító megőrzése segít egy későbbi ellenőrzésnél.

A saját üzemeltetésnél ki kell jelölni a frissítés, a sérülékenység-kezelés és a helyreállítás felelősét. A modellcserét ugyanúgy tesztelni kell, mint a kiszolgáló szoftver módosítását. Ne legyen szükség ismeretlen eredetű bővítmény futtatására pusztán egy fájl betöltéséhez. A letöltött állomány eredetét és a futtatási környezetet is célszerű ellenőrizhetően kezelni, az üzleti igényhez illeszkedő szigorral.

  • Készüljön végpontokra és tárolókra bontott adatfolyam-ábra.
  • Legyen adatcsoportonként megengedett és tiltott feldolgozási útvonal.
  • A külső tartalékmegoldás csak előre engedélyezett feladatra működjön.
  • A próbában szerepeljen egyidejű terhelés és kiszolgálói kiesés.
  • Vizsgáljuk meg az adott modell licencét és a szolgáltatási szerződést.
  • A mentések, naplók és törlések felelőse is legyen kijelölve.

Teljes költség és visszafordítható beszerzés

Helyi futtatásnál a hardver mellett a beállítás, az energia, a felügyelet, a tartalék és az időszakos csere is költség. Külső API-nál a hívásokon túl az OCR, az index, az adattovábbítás és az alkalmazás fenntartása is számíthat. Mindkettőnél közös tétel a szakmai ellenőrzés. A feladatonkénti elfogadott eredmény költsége ezért használhatóbb összehasonlítás, mint egy gép vételára vagy egyetlen szolgáltatói egységár.

A pilotban különböző, ténylegesen megengedett változatokat érdemes összevetni, és rögzíteni a váltás feltételeit. Az adatok, az értékelő készlet és az üzleti szabályok maradjanak a vállalkozás által kezelhető formában. Így egy modellcsere nem jelent teljes újrakezdést. A KOCI a feldolgozási igények, a belső kapacitás és az adatkezelési feltételek tisztázása után segíthet a megfelelő architektúra kialakításában és integrációjában.

Gyakori kérdések

Ha a modell a saját gépen fut, az adatok biztosan nem hagyják el azt?

Ez csak a teljes alkalmazás és a hálózati működés ellenőrzésével állapítható meg. A helyi modell mellett lehet külső OCR, kereső, felhős tartalék vagy hibajelentő szolgáltatás. A beállítások és a tényleges adatút együtt adnak használható bizonyítékot.

A helyi modell mindig olcsóbb nagyobb mennyiségnél?

Nem automatikusan. Számít a kihasználtság, a feladat hossza, a párhuzamosság, a hardver és az üzemeltetés. Az összehasonlítást azonos minőségi elvárás mellett, a teljes felügyeleti és ellenőrzési költséggel együtt kell elvégezni.

Lehet ugyanabban a rendszerben helyi és külső modell is?

Igen, ha egyértelmű a feladatok besorolása és a továbbítható adatok köre. A modellváltás ne kerülje meg a jogosultságot vagy az adatkezelési szabályt. A kiesési viselkedést és a felhasználó tájékoztatását is előre meg kell tervezni.

Források és további olvasnivaló

A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.

Van egy hasonló feladatod?

Beszéljük át, hogyan ültethető át a gyakorlatba.

Projektet indítok

Kapcsolódó szolgáltatás: AI és automatizálás ↗