A felület helye nem árulja el a feldolgozás helyét
Az alkalmazás futhat a munkatárs számítógépén úgy, hogy a dokumentumot külső OCR, beágyazást készítő szolgáltatás vagy nyelvi modell dolgozza fel. Fordítva is lehetséges: egy böngészős felület mögött belső hálózati modell végezheti a számítást. A döntés tárgya ezért ne a „helyi alkalmazás” címke legyen, hanem az egyes feldolgozási lépések tényleges végpontja és az oda továbbított adat.
Az Ollama hivatalos dokumentációja például külön kezeli a helyi és a felhős képességeket, és leírja a felhős funkciók letiltását. Ez jól mutatja, hogy egy helyben telepíthető eszköznél is ellenőrizni kell az engedélyezett működési módot. Ebből nem következik minden más termék viselkedése; az adott verzió beállításait és a tényleges hálózati kapcsolatokat külön szükséges megvizsgálni.
A leltárhoz kerüljön a dokumentumfeltöltés, a szövegkinyerés, a keresőindex, a modellkérés, a hibajelentés és a mentés is. Egy támogatási napló akár több érzékeny tartalmat őrizhet, mint az eredeti rövid kérés. Az adatvédelmi vagy titoktartási feltételt ezért minden ilyen tárolóra és továbbításra alkalmazni kell. A modell végpontjának kiválasztása önmagában még nem rendezi a teljes folyamatot.
Az adatbesorolásból legyen végrehajtható szabály
A „bizalmas” jelzőt érdemes konkrét feldolgozási feltétellé alakítani. Mely iratok mehetnek külső szolgáltatóhoz, milyen szerződéses és technikai feltételekkel? Melyeknél kell belső feldolgozás, és van-e olyan tartalom, amelyet az AI-folyamatból teljesen ki kell zárni? A döntéshez az adatkezelési, informatikai és üzleti felelősök együttműködése szükséges; ezt nem helyettesíti egy termék adatlapja.
A szabály csak akkor ér valamit, ha a rendszer végre is hajtja. A felület figyelmeztetése mellett a háttérben ellenőrizni kell a kijelölt útvonalat. A külső tartalékmodellre váltás például nem lehet észrevétlen kényelmi funkció, ha az adott dokumentumra külső továbbítási tilalom vonatkozik. Hiba esetén a megengedett eredmény lehet várakozás vagy kézi feldolgozás, nem feltétlenül egy másik szolgáltató.
A táblázat nem nyilvánít egyik megoldást biztonságosabbnak. Más feladat kerül a vállalkozáshoz és más a szolgáltatóhoz. Egy kis csapatnál a saját kiszolgáló karbantartása lehet a gyenge pont, míg egy szigorúan elkülönített műszaki környezetnél a külső adatút jelenthet kizáró feltételt. A választásnak az ellenőrizhető követelményekhez és a tényleges üzemeltetési képességhez kell illeszkednie.
| Döntési terület | Helyi futtatásnál tisztázandó | Külső API-nál tisztázandó |
|---|---|---|
| Adatút | Külső kiegészítők és hálózati kimenetek | Továbbított mezők és feldolgozási régió |
| Hozzáférés | Belső végpont, felhasználók, rendszergazdák | API-kulcsok, projektek, szolgáltatói szerepkörök |
| Megőrzés | Naplók, átmeneti fájlok, mentések | Szerződéses és beállítható megőrzési feltételek |
| Rendelkezésre állás | Hardver, áram, frissítés, helyettesítés | Kvóta, kiesés, határidők, szolgáltatói változás |
| Költség | Kapacitás, üzemeltetés és kihasználtság | Felhasználás, kapcsolódó szolgáltatások és ellenőrzés |
| Kilépés | Modell és környezet újraépíthetősége | Adatkiadás, törlés, másik szolgáltatóra váltás |
A helyi kapacitást saját munkaterhelésen kell kipróbálni
A modell fájlmérete nem azonos a teljes kiszolgálási igénnyel. Számít a bemenet hossza, a párhuzamos felhasználók száma és az előállított válasz terjedelme is. A hardvertervhez ezért valódi, engedélyezett feladatprofil szükséges. Más terhelést jelent néhány rövid besorolás, mint sok hosszú műszaki dokumentum egyidejű feldolgozása. Mások az elvárások háttérfeladatnál és élő ügyfélszolgálatnál is.
A kisebb vagy tömörített modellváltozatot ne pusztán a név alapján tekintsük azonos minőségűnek. Az adott feladatokon ugyanazzal a teszttel vizsgáljuk a pontosságot, a bizonytalanság kezelését és a szükséges emberi javítást. A sebességet a teljes folyamat végén is mérjük: a dokumentum betöltése, az OCR, a keresés és a várakozó sor együtt adja azt az időt, amelyet a felhasználó érzékel.
Az üzemeltetési próba tartalmazzon csúcsterhelést és hibás helyzetet is. Mi történik memóriahiánynál, megszakadt kérésnél, újrainduló gépnél vagy egy elakadt hosszú feladatnál? A rendszer tudjon visszautasítani vagy sorba állítani munkát anélkül, hogy elveszne az állapot. A helyi kapacitás drágább bővítése előtt kiderülhet, hogy feladatütemezéssel vagy rövidebb, célzottabb bemenettel lehet a szükséges kiszolgálást biztosítani.
Szemléltető példa: tervdokumentáció és nyilvános termékszöveg
Egy elképzelt műszaki vállalkozás két feladatot vizsgál. Az egyik belső tervdokumentációból készít ellenőrzendő kivonatot, a másik jóváhagyott termékadatokból ír webes szövegvázlatot. Az elsőnél a külső továbbítás nem megengedett, a másodiknál a nyilvános adat is csak ellenőrzött folyamaton keresztül használható. A két feladatot ezért nem szükséges egyetlen közös végpontra kényszeríteni.
A műszaki feladatnál belső modellt, helyi szövegkinyerést és elkülönített naplózást próbálnak. A termékszövegnél egy külső szolgáltatás is részt vehet a tesztben, de csak a kijelölt, jóváhagyott mezőket kapja meg. Ugyanaz a felület kiszolgálhatja mindkettőt, ha a háttérben egyértelmű és ellenőrzött a feladat besorolása. A felhasználó lássa, milyen feldolgozási módot választott a rendszer.
Ez szemléltető megoldási irány, nem konkrét ügyféleset. Ha a helyi modell nem érhető el, a tervdokumentáció nem kerül automatikusan a termékszöveghez használt API-hoz. A rendszer várakozó állapotot jelez, és a kijelölt felelős dönthet más megengedett eljárásról. A használhatóság itt azt is jelenti, hogy a hiba látható és kezelhető, miközben az adatbesorolás a kiesés alatt is érvényes marad.
A nyílt modell licenc és fenntartási feladat is
A letölthető súlyokból nem következik korlátlan felhasználási jog. A kiválasztott modellhez tartozó licencet, felhasználási feltételeket és esetleges terjesztési kikötéseket az adott változatra kell megvizsgálni. A modellcsalád neve vagy egy gyűjtőoldal rövid címkéje nem elég beszerzési bizonyíték. A döntéskor használt feltételek és az alkalmazott modellazonosító megőrzése segít egy későbbi ellenőrzésnél.
A saját üzemeltetésnél ki kell jelölni a frissítés, a sérülékenység-kezelés és a helyreállítás felelősét. A modellcserét ugyanúgy tesztelni kell, mint a kiszolgáló szoftver módosítását. Ne legyen szükség ismeretlen eredetű bővítmény futtatására pusztán egy fájl betöltéséhez. A letöltött állomány eredetét és a futtatási környezetet is célszerű ellenőrizhetően kezelni, az üzleti igényhez illeszkedő szigorral.
- Készüljön végpontokra és tárolókra bontott adatfolyam-ábra.
- Legyen adatcsoportonként megengedett és tiltott feldolgozási útvonal.
- A külső tartalékmegoldás csak előre engedélyezett feladatra működjön.
- A próbában szerepeljen egyidejű terhelés és kiszolgálói kiesés.
- Vizsgáljuk meg az adott modell licencét és a szolgáltatási szerződést.
- A mentések, naplók és törlések felelőse is legyen kijelölve.
Teljes költség és visszafordítható beszerzés
Helyi futtatásnál a hardver mellett a beállítás, az energia, a felügyelet, a tartalék és az időszakos csere is költség. Külső API-nál a hívásokon túl az OCR, az index, az adattovábbítás és az alkalmazás fenntartása is számíthat. Mindkettőnél közös tétel a szakmai ellenőrzés. A feladatonkénti elfogadott eredmény költsége ezért használhatóbb összehasonlítás, mint egy gép vételára vagy egyetlen szolgáltatói egységár.
A pilotban különböző, ténylegesen megengedett változatokat érdemes összevetni, és rögzíteni a váltás feltételeit. Az adatok, az értékelő készlet és az üzleti szabályok maradjanak a vállalkozás által kezelhető formában. Így egy modellcsere nem jelent teljes újrakezdést. A KOCI a feldolgozási igények, a belső kapacitás és az adatkezelési feltételek tisztázása után segíthet a megfelelő architektúra kialakításában és integrációjában.
Gyakori kérdések
Ha a modell a saját gépen fut, az adatok biztosan nem hagyják el azt?
Ez csak a teljes alkalmazás és a hálózati működés ellenőrzésével állapítható meg. A helyi modell mellett lehet külső OCR, kereső, felhős tartalék vagy hibajelentő szolgáltatás. A beállítások és a tényleges adatút együtt adnak használható bizonyítékot.
A helyi modell mindig olcsóbb nagyobb mennyiségnél?
Nem automatikusan. Számít a kihasználtság, a feladat hossza, a párhuzamosság, a hardver és az üzemeltetés. Az összehasonlítást azonos minőségi elvárás mellett, a teljes felügyeleti és ellenőrzési költséggel együtt kell elvégezni.
Lehet ugyanabban a rendszerben helyi és külső modell is?
Igen, ha egyértelmű a feladatok besorolása és a továbbítható adatok köre. A modellváltás ne kerülje meg a jogosultságot vagy az adatkezelési szabályt. A kiesési viselkedést és a felhasználó tájékoztatását is előre meg kell tervezni.
Források és további olvasnivaló
A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.
Beszéljük át, hogyan ültethető át a gyakorlatba.
Projektet indítokKapcsolódó szolgáltatás: AI és automatizálás ↗



