Készíts térképet a dokumentum másolatairól

A forrásfájl mellett külön tárolódhat az OCR-szöveg, a darabolt tartalom és az embedding. A feldolgozás közben ideiglenes állomány és szolgáltatói napló is keletkezhet. Ezeket a bevezetés előtt fel kell sorolni, az adatgazdával és megőrzési szabállyal együtt. Nem elegendő a fő alkalmazás adatbázisát nézni. A teljes adatút határozza meg, mit jelent a dokumentum visszavonása.

A Microsoft Azure AI Search dokumentumtörlési útmutatója külön indexműveletként tárgyalja a kereshető dokumentum eltávolítását. Ez jól mutatja, hogy a forráskezelő rendszer és a keresési réteg eltérő komponens lehet. A konkrét integrációban ellenőrizni kell, milyen törlési jel jut át és mikor. Egy sikeres fájlműveletből nem következik automatikusan minden származtatott rekord megszűnése. A szolgáltatói konfiguráció és verzió számít.

Szemléltető helyzet: egy visszavont termékútmutató már nincs a megosztott mappában, de a chatbot még régi szövegrészletet idéz. A felhasználó számára ez úgy látszik, mintha az AI nem tudna a törlésről. Valójában lehet elakadt indexszinkron vagy megmaradt cache. A példa hipotetikus; a helyes beavatkozást a tényleges adatút vizsgálata adja.

Stabil azonosító nélkül nehéz teljesen visszavonni

A származtatott rekordok kapcsolódjanak a forrásdokumentum és verzió azonosítójához. Ha a darabok csak saját sorszámot kapnak, később nehéz megállapítani, melyik tartozott a visszavont fájlhoz. A változó fájlnév nem elég stabil kulcs. A rendszernek kell egy követhető kapcsolat, amely az átnevezés és áthelyezés után is megmarad. Az adatmodell már az első importnál készüljön erre.

Az Azure AI Search indexprojekciós dokumentációja a szülő és gyermekdokumentum kapcsolatát, valamint a változás- és törléskezelés konfigurációját is tárgyalja. A darabolt keresésnél ezért a szülő törlésének továbbvezetése külön ellenőrzendő. A saját tesztben ne csak az eredeti dokumentum címére keressünk, hanem egyedi részletre is. Így kiderülhet, hogy valamelyik gyermekrekord még elérhető.

A duplikált forrásokat is kezelni kell. Ugyanaz a tartalom más néven vagy másik tárhelyről ismét bekerülhet. A törlési igény hatóköre legyen világos: konkrét fájl, verzió, dokumentumcsalád vagy tartalomrész? A rendszer ne találja ki ezt önállóan. A dokumentumgazda döntése alapján alakítható ki a szükséges visszavonás. A technikai duplikációs felismerés segítség, nem teljes jogi vagy üzleti értelmezés.

Stabil azonosító nélkül nehéz teljesen visszavonni
AdatrétegTörlési vagy visszavonási feladatEllenőrzési jel
ForrásfájlJóváhagyott életciklus-műveletStátusz és azonosító
OCR és darabokForráshoz tartozó rekordok kezeléseNincs aktív gyermekrészlet
KeresőindexDokumentumok eltávolítása vagy tiltásaKérdésre nem kerülnek elő
Cache és előzményÚjrafelhasználás megszüntetéseRégi válasz nem adódik vissza
MentésJóváhagyott megőrzési és visszaállítási szabályNem éled újra aktív tudásként

A visszavonás és a fizikai törlés eltérhet

Lehet olyan helyzet, amikor egy anyagot meg kell őrizni, de aktuális válaszhoz már nem használható. Ilyenkor az archivált vagy visszavont státusz és a keresési szűrés fontos. Más esetben meghatározott másolatok tényleges törlésére van szükség. A vállalat előre rögzítse, mely esemény milyen műveletet indít. Az AI számára átadott forráskör ennek megfelelően változzon.

A tiltási vagy tombstone-nyilvántartás segíthet elkerülni a véletlen újraimportálást, ha a megoldás ezt igényli. A nyilvántartás maga is adat, ezért tartalmát és megőrzését szabályozni kell. Nem célszerű a teljes visszavont dokumentumot ebben tárolni. Megfelelő azonosító és státusz elég lehet a technikai végrehajtáshoz. A konkrét adatmodell a forrásrendszer és a feladat alapján alakítható ki.

A visszavonási folyamat legyen megismételhető és idempotens. Egy újrapróbált kérés ne hozzon létre hibás állapotot, és a részleges siker legyen látható. Ha az egyik külső szolgáltatás nem válaszol, a rendszer ne jelölje automatikusan teljesítettnek az egész feladatot. A nyitott réteghez felelős és következő próbálkozás tartozzon. A végső állapot tényleges ellenőrzésre épüljön.

A gyorsítótár külön újrafelhasználási út

A modellhez már el sem jutó dokumentum korábbi válasza még visszaadható lehet. A cache a forrásazonosítókat vagy a releváns érvényességi környezetet is követheti. A konkrét megoldásnak támogatnia kell a visszavonást. A puszta időalapú lejárat nem minden kockázati helyzetben elegendő. A szolgáltatási és adatkezelési követelményhez megfelelő invalidálási terv szükséges.

A beszélgetési előzmény és megosztott export másik kérdés. A korábbi válasz az akkor megengedett forrásra épülhetett, de később nem feltétlenül adható tovább újra. A rendszer határozza meg a történeti hozzáférés és aktív felhasználás különbségét. A felhasználó számára érthető legyen, mikor lát korábbi állapotot. A jelenlegi válasz ne kezeljen automatikusan minden korábbi mondatot érvényes tudásként.

A szolgáltatói megőrzésről a tényleges feltételek és konfiguráció alapján kell tájékozódni. A saját index törlése nem állít semmit egy külső rendszer naplójáról vagy mentéséről. Az adatfolyam leltára tartalmazza a beszállítót és a vállalt lehetőségeket. A konkrét jogi megítélés külön szakmai feladat lehet. A technikai jelentés ne ígérjen többet annál, mint ami ellenőrizhető és vállalható.

A visszaállítás után ismét érvényesüljön a rend

Egy mentés korábbi állapotot hozhat vissza, benne később visszavont anyaggal. A helyreállítási tervnek ezt kezelnie kell, mielőtt a rendszer újra felhasználókhoz kerül. Az aktuális visszavonási és jogosultsági nyilvántartás összevetése szükséges lehet. A sikeres adatbázis-visszatöltés nem teljes üzleti helyreállítás. A kereshető tartalom és az érvényességi szabály közös konzisztenciáját kell igazolni.

A próbában legyen olyan dokumentum, amely a mentés után került visszavonásra. Ellenőrizzük, hogy a felhasználói kérdésre nem válik újra aktív forrássá. A teszt használhat ártalmatlan, egyedi jelölést a tartalomban. Így valódi érzékeny adat kockáztatása nélkül vizsgálható az életciklus. A teszt eredménye a konkrét rendszerre és vizsgált rétegre vonatkozzon.

A törlési igazolás ne tartalmazza újra a teljes törlendő tartalmat. Azonosító, időpont, végrehajtott művelet és eredmény elegendő lehet a nyomhoz. A bizonyíték megőrzése is saját adatkezelési szabályt igényel. A folyamat célja ellenőrizhető végrehajtás, nem újabb rejtett másolat létrehozása. A napló és a riport tervezése ezért a törlési folyamat része.

A pilot teljes életciklust mutasson

A kezdeti próba ne álljon meg a dokumentum feltöltésénél és egy jó válasznál. Legyen módosítás, visszavonás, részleges hiba és újraimportálási kísérlet. A rendszer mutassa meg, mely lépés sikerült és melyik vár még feladatra. A késleltetést mérjük a tényleges forrástól a felhasználói eredményig. A „szinkronizált” státusz mögött legyen konkrét jelentés.

A ráfordítást a fenntartási folyamatban is mérjük. Hány kézi lépés szükséges új kiadáskor vagy visszavonáskor? Ki tudja kivizsgálni, ha egy régi részlet még előkerül? A tudástár növekedése mellett ezek a kérdések egyre fontosabbak. Egy kisebb, jól kezelt rendszer jobb kezdés lehet a nagy, gazdátlan indexnél. A bővítés feltétele a bizonyított életciklus-kezelés legyen.

KOCI az adatforrások, szolgáltatók és megőrzési követelmények tisztázása után segíthet a RAG-életciklus megtervezésében és integrálásában. A szakmai és jogi szabályt az illetékes gazda határozza meg. A rendszer feladata ennek következetes végrehajtása és ellenőrizhető jelzése, minden olyan másolaton, amely a válaszhoz vagy további feldolgozáshoz felhasználható.

  • Forrás- és származtatottadat-leltár.
  • Stabil dokumentum- és verziókapcsolat.
  • Visszavonás és fizikai törlés külön állapot.
  • Cache, előzmény és külső másolat kezelése.
  • Újraimportálást és visszaállítást is vizsgáló próba.
  • Tartalmat nem újrateremtő végrehajtási nyom.

Gyakori kérdések

Elég a fájlt a megosztott mappából törölni?

Nem minden rendszerben. Az index, a darabolt szöveg és a cache külön másolat lehet. A konkrét adatútban végig kell vezetni és ellenőrizni a szükséges műveletet.

A visszavont dokumentumot mindig meg kell semmisíteni?

Nem általánosan. Megőrzési kötelezettség vagy történeti cél is felmerülhet. A kereshetőség, érvényesség és fizikai megőrzés külön, megfelelően jóváhagyott szabály szerint kezelendő.

Miért kell törlés után helyreállítási teszt?

Mert egy régebbi mentés visszahozhat már visszavont adatot. A működő visszaállításnak az aktuális érvényességi és hozzáférési rendet is helyre kell állítania.

Források és további olvasnivaló

A cikk tájékoztató jellegű szakmai útmutató. Az említett példák szemléltető helyzetek; a saját vállalkozásodnál a konkrét adatok és a működési feltételek alapján érdemes dönteni.

Van egy hasonló feladatod?

Beszéljük át, hogyan ültethető át a gyakorlatba.

Projektet indítok

Kapcsolódó szolgáltatás: AI és automatizálás ↗