Najpierw proszę zaprojektować jednoznaczny schemat i reguły dla brakujących wartości, następnie bezpiecznie podzielić dokument i wyodrębnić pola wraz z dowodem. Format oraz powiązania biznesowe należy zweryfikować kodem, sprzeczne lub niepewne dane przekazać osobie weryfikującej, a do systemu docelowego zapisywać wyłącznie zwalidowany wynik.
Umowa, zamówienie, protokół lub formularz mogą zawierać ważne dane w różnych układach i sformułowaniach. AI pomaga odnaleźć znaczenie także tam, gdzie prosty szablon nie wystarcza, ale jej odpowiedź musi trafić do precyzyjnego schematu danych. Bez powiązania ze źródłem może przekonująco uzupełnić wartość, której w dokumencie w ogóle nie ma.
Dlatego system ekstrakcji oddziela pozyskanie tekstu, interpretację znaczenia, walidację techniczną i zatwierdzenie biznesowe. Przy każdym polu zachowuje miejsce lub fragment, z którego pochodzi, i dopuszcza stan nieznane. Celem nie jest wypełnienie wszystkich komórek, lecz stworzenie danych, które proces następczy rozumie i może bezpiecznie zweryfikować.
Definiujcie pole według jego znaczenia w pracy
Każde pole potrzebuje nazwy, typu danych, informacji o obowiązkowości, dozwolonych wartości oraz wyjaśnienia, do czego będzie używane. Odróżnijcie datę podpisania od początku obowiązywania oraz cenę pozycji od wartości całkowitej. Jeśli pojęcie nie jest jednolite nawet wśród ekspertów, model sam tego nie rozwiąże. Najpierw uzgodnijcie definicję i przykłady przypadków granicznych.
Proszę określić, czy wynik może mieć wartość „nieznane”, „nie dotyczy” lub „konflikt”. Pusty ciąg znaków nie może zastępować wszystkich trzech sytuacji. W przypadku list należy ustalić, czy oczekiwana jest jedna, czy więcej pozycji i jak zachowana zostanie kolejność. Wersję schematu warto zapisywać razem z wynikiem, aby starsze eksporty pozostały możliwe do interpretacji po zmianie procesu.
Przygotowanie dokumentu z zachowaniem jego struktury
Najpierw należy zweryfikować typ pliku, bezpieczeństwo, czytelność i liczbę stron. OCR lub warstwa tekstowa muszą zachować powiązanie ze stroną, tabelą i nagłówkiem. Bezrefleksyjne połączenie całego tekstu może pomieszać kolumny czy przypisy. W przypadku obrazu należy odnotować jakość i orientację; nieczytelna część powinna pozostać wyjątkiem, a nie pretekstem do zgadywania.
Długi dokument podziel według logicznych części i do ekstrakcji dodaj niezbędny kontekst, na przykład nazwę sekcji. Nakładanie się fragmentów może chronić zdanie na granicy, ale tworzy duplikaty, które trzeba scalić. Załącznik i dokument główny traktuj jako osobne źródła. Hierarchię zaufania między nimi określ rzeczową regułą, a nie przypadkową kolejnością danych wejściowych.
- identyfikator dokumentu, strony i obszaru
- status OCR lub innego sposobu pozyskania tekstu
- logiczne sekcje i zachowane powiązania tabelaryczne
- wyraźnie oddzielony dokument główny i załączniki
Wymagaj wartości oraz dowodu potwierdzającego
Model zwraca dla każdego pola znormalizowaną wartość, oryginalny fragment i lokalizację. Dowód musi rzeczywiście występować w przetworzonym źródle; aplikacja weryfikuje to technicznie, gdy jest to możliwe. Wyjaśnienie bez cytatu nie jest zamiennikiem. W przypadku wartości wyprowadzonej z wielu miejsc proszę oznaczyć wszystkie źródła i regułę ich połączenia.
Nie należy pozwalać modelowi poprawiać oczywistej literówki bez oznaczenia. Proszę zachować wartość oryginalną i znormalizowaną jako dwa pola, aby użytkownik widział różnicę. Jeśli dokument zawiera dwie różne kwoty o podobnej nazwie, należy zwrócić konflikt lub kandydatów. Pojedynczy wynik modelu nie musi odzwierciedlać rzeczywistej wiarygodności, dlatego niepewność warto łączyć z jakością źródła i regułami walidacji.
Waliduj format, relacje i reguły biznesowe
Walidacja schematu sprawdza typ danych, pole obowiązkowe, format i dozwoloną wartość. Kolejna warstwa weryfikuje relacje: data końcowa nie powinna poprzedzać początkowej, suma może odpowiadać pozycjom, a identyfikator może znajdować się w dozwolonym rejestrze. Precyzyjne reguły trzymaj w kodzie, gdzie można je testować, wersjonować i wyjaśniać.
Walidacja nie powinna po cichu zmieniać wyniku tylko po to, aby przeszedł kontrolę. Różnicę należy pokazać użytkownikowi wraz z propozycją poprawki. W przypadku konfliktu źródeł trzeba wskazać, która reguła zadecydowała o pierwszeństwie. Rekord przygotowany do eksportu musi zawierać status zatwierdzenia i powiązanie z wersją dokumentu, w przeciwnym razie nowy załącznik mógłby zmienić znaczenie już przetworzonej sprawy.
Testuj pola i działanie osobno
Zestaw testowy obejmuje różne układy, skany, tabele na wielu stronach, brakujące pola, sprzeczne dane i dokumenty spoza zakresu. Każde istotne pole należy oceniać osobno, ponieważ średnia ogólna może ukryć groźny błąd w jednej wartości. Warto śledzić także nieprawidłowy dowód, a nie tylko zgodność znormalizowanego tekstu.
W trakcie eksploatacji należy mierzyć wyjątki według przyczyny, poprawki weryfikatorów, błędy OCR, nieznane warianty, czas oczekiwania, koszty i błędy eksportu. Nową wersję modelu należy przed wdrożeniem porównać na tym samym zestawie danych. Oryginały, dane robocze i wyniki mają odrębne uprawnienia dostępu i okresy przechowywania. W razie awarii dokument jest bezpiecznie przekazywany do ręcznego obiegu.
Najczęstsze pytania
Czy poprawny JSON dowodzi prawidłowej ekstrakcji?
Nie. Potwierdza jedynie format. Wartość może być błędna lub zmyślona, dlatego wymaga powiązania ze źródłem, walidacji biznesowych, a w przypadku ryzykownych pól – kontroli przez człowieka.
Co powinien zrobić system, gdy w dokumencie brakuje danej?
Powinien zwrócić jednoznaczny status „nieznane” lub „nie dotyczy” zgodnie ze schematem. Nie powinien podstawiać typowej wartości ani danych z innego dokumentu bez przejrzystej reguły.
Czy można wyodrębniać dane również z tabel i skanów?
Tak, jeśli warstwa przygotowania zachowa układ i jakość źródła. Gorsza czytelność i złożone tabele wymagają osobnych testów, dowodów i częstszej kontroli.
Źródła i dalsza lektura
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
