Először tervezzen egyértelmű sémát és a hiányzó értékekre vonatkozó szabályokat, majd bontsa fel biztonságosan a dokumentumot, és nyerje ki a mezőket a bizonyítékkal együtt. A formátumot és az üzleti összefüggéseket kóddal ellenőrizze, az ellentmondó vagy bizonytalan adatokat küldje ellenőrhöz, és a célrendszerbe csak validált eredményt írjon.
Egy szerződés, megrendelés, jegyzőkönyv vagy űrlap különböző elrendezésekben és megfogalmazásokban tartalmazhat fontos adatokat. Az AI ott is segít megtalálni a jelentést, ahol egy egyszerű sablon nem elegendő, de válaszának pontos adatsémába kell kerülnie. A forráshoz való kötés nélkül meggyőzően kiegészíthet olyan értéket, amely a dokumentumban egyáltalán nem szerepel.
Az adatkinyerő rendszer ezért szétválasztja a szöveg kinyerését, a jelentés értelmezését, a technikai validálást és az üzleti jóváhagyást. Minden mezőnél megőrzi azt a helyet vagy szövegrészletet, amelyből kiindul, és lehetővé teszi az ismeretlen állapotot. A cél nem az, hogy minden cella ki legyen töltve, hanem olyan adatok létrehozása, amelyeket a ráépülő folyamat megért és biztonságosan ellenőrizni tud.
Határozza meg a mezőt a munkában betöltött jelentése alapján
Minden mezőhöz szükség van névre, adattípusra, kötelezőségre, megengedett értékekre és annak magyarázatára, mire fogják használni. Különböztesse meg az aláírás dátumát a hatálybalépéstől, és a tétel árát a teljes értéktől. Ha egy fogalom még a szakemberek között sem egységes, a modell sem fogja egyedül megoldani. Először állapodjanak meg a definícióban és a határesetek példáiban.
Határozza meg, hogy a kimenet lehet-e ismeretlen, nem alkalmazandó vagy ellentmondásos. Az üres karakterlánc nem képviselheti mindhárom helyzetet. Listáknál rögzítse, hogy egy vagy több elem várható-e, és hogyan marad meg a sorrend. A séma verzióját az eredménnyel együtt tárolja, hogy a régebbi exportok a folyamat módosítása után is értelmezhetők maradjanak.
Készítse elő a dokumentumot, és őrizze meg a szerkezetét
Először ellenőrizze a fájl típusát, biztonságát, olvashatóságát és az oldalak számát. Az OCR-nek vagy a szövegrétegnek meg kell őriznie a kapcsolatot az oldallal, a táblázattal és a címsorral. A teljes szöveg vakon történő összefűzése összekeverheti az oszlopokat vagy a lábjegyzeteket. Képek esetén rögzítse a minőséget és a tájolást; az olvashatatlan rész maradjon kivétel, ne adjon okot találgatásra.
A hosszú dokumentumot ossza fel logikai részekre, és a kinyeréshez adja hozzá a szükséges kontextust, például a szakasz címét. A szakaszok átfedése megóvhatja a határon lévő mondatot, de összevonandó duplikációkat hoz létre. A mellékletet és a fő dokumentumot kezelje különálló forrásként. A köztük lévő megbízhatósági sorrendet tárgyszerű szabállyal határozza meg, ne a bemenet véletlenszerű sorrendje alapján.
- a dokumentum, az oldal és a terület azonosítója
- az OCR vagy más szövegkinyerés állapota
- logikus szakaszok és megőrzött táblázatos kapcsolatok
- egyértelműen elkülönített fő dokumentum és mellékletek
Követeljen meg értéket és alátámasztó bizonyítékot is
A modell minden mezőhöz visszaadja a normalizált értéket, az eredeti szövegrészletet és annak helyét. A bizonyítéknak ténylegesen jelen kell lennie a feldolgozott forrásban; az alkalmazás ezt technikailag ellenőrzi, amikor lehetséges. Az idézet nélküli magyarázat nem helyettesíti ezt. A több helyről származtatott értéknél jelölje meg az összes forrást és az összekapcsolás szabályát.
Ne engedje, hogy a modell jelölés nélkül javítson ki egy nyilvánvaló elírást. Az eredeti értéket és a normalizált értéket két külön mezőben őrizze meg, hogy a felhasználó lássa a különbséget. Ha a dokumentum két eltérő, hasonló nevű összeget tartalmaz, adja vissza az ütközést vagy a jelölteket. Egyetlen modellpontszám nem feltétlenül tükrözi a tényleges megbízhatóságot, ezért a bizonytalanságot kombinálja a forrás minőségével és a validációs szabályokkal.
Validálja a formátumot, a kapcsolatokat és az üzleti szabályokat
A sémavalidáció ellenőrzi az adattípust, a kötelező mezőt, a formátumot és a megengedett értéket. Egy további réteg a kapcsolatokat ellenőrzi: a záró dátum nem előzheti meg a kezdőt, az összegnek egyeznie kell a tételekkel, és az azonosítónak szerepelnie kell az engedélyezett nyilvántartásban. A pontos szabályokat a kódban tartsa, ahol tesztelhetők, verziózhatók és megmagyarázhatók.
A validáció nem módosíthatja csendben az eredményt csak azért, hogy átmenjen az ellenőrzésen. Az eltérést mutassa meg a felhasználónak egy javítási javaslattal együtt. Források ütközése esetén tüntesse fel, melyik szabály határozta meg az elsőbbséget. Az exportra kész rekordnak tartalmaznia kell a jóváhagyási állapotot és a dokumentum verziójához való kapcsolatot, különben egy új melléklet megváltoztathatná egy már feldolgozott eset jelentését.
Tesztelje külön a mezőket és az üzemeltetést
A tesztkészlet különböző elrendezéseket, szkennelt dokumentumokat, több oldalon átnyúló táblázatokat, hiányzó mezőket, ellentmondó adatokat és a hatókörön kívüli dokumentumokat tartalmaz. Minden fontos mezőt külön értékeljen, mert az összesített átlag elrejthet egy veszélyes hibát egyetlen értékben. A hibás bizonyítékot is kövesse, ne csak a normalizált szöveg egyezését.
Üzem közben mérje a kivételeket ok szerint, az ellenőrzők javításait, az OCR hibáit, az ismeretlen változatokat, a várakozási időt, a költségeket és az exporthibákat. A modell új verzióját élesítés előtt ugyanazon a teszthalmazon hasonlítsa össze. Az eredetik, a munkaadatok és a kimenetek eltérő hozzáféréssel és megőrzési idővel rendelkeznek. Kiesés esetén a dokumentum biztonságosan a kézi folyamatba kerül.
Gyakori kérdések
Az érvényes JSON a helyes kinyerés bizonyítéka?
Nem. Csak a formátumot igazolja. Az érték lehet helytelen vagy kitalált, ezért forráshoz kell kötni, üzleti validációkra van szükség, a kockázatos mezőknél pedig emberi ellenőrzésre.
Mit tegyen a rendszer, ha egy adat hiányzik a dokumentumból?
A séma szerint egyértelmű „ismeretlen” vagy „nem alkalmazandó” állapotot kell visszaadnia. Átlátható szabály nélkül nem helyettesítheti szokásos értékkel vagy más dokumentumból származó adattal.
Lehet táblázatokból és szkennelt dokumentumokból is adatot kinyerni?
Igen, ha az előkészítő réteg megőrzi a forrás elrendezését és minőségét. A rosszabb olvashatóság és az összetett táblázatok külön teszteket, bizonyítékokat és gyakoribb ellenőrzést igényelnek.
Források és további olvasnivaló
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
