Strukturierte Datenextraktion mit KI: Schema, Belege und Validierung

Konzipieren Sie eine KI-Datenextraktion in ein exaktes Schema mit Quellenbezug, Validierungsregeln, Umgang mit Unsicherheit und kontrolliertem Export.

Strukturierte Datenextraktion mit KI: Schema, Belege und Validierung
Kurze Antwort

Entwerfen Sie zuerst ein eindeutiges Schema und Regeln für fehlende Werte, teilen Sie dann das Dokument sicher auf und extrahieren Sie die Felder zusammen mit einem Beleg. Prüfen Sie Format und fachliche Zusammenhänge per Code, leiten Sie widersprüchliche oder unsichere Daten an einen Prüfer weiter und schreiben Sie nur validierte Ergebnisse in das Zielsystem.

Ein Vertrag, eine Bestellung, ein Protokoll oder ein Formular kann wichtige Angaben in unterschiedlichen Layouts und Formulierungen enthalten. KI hilft, die Bedeutung auch dort zu erfassen, wo eine einfache Vorlage nicht ausreicht, ihre Antwort muss jedoch in ein exaktes Datenschema überführt werden. Ohne Bezug zur Quelle kann sie überzeugend einen Wert ergänzen, der im Dokument überhaupt nicht vorkommt.

Ein Extraktionssystem trennt daher die Textgewinnung, die inhaltliche Interpretation, die technische Validierung und die geschäftliche Freigabe. Für jedes Feld bewahrt es die Stelle oder den Ausschnitt auf, auf dem es beruht, und lässt den Zustand unbekannt zu. Ziel ist nicht, alle Zellen zu füllen, sondern Daten zu erzeugen, die der nachgelagerte Prozess versteht und sicher überprüfen kann.

Definieren Sie Felder nach ihrer Bedeutung im Arbeitsablauf

Jedes Feld benötigt eine Bezeichnung, einen Datentyp, die Angabe, ob es verpflichtend ist, zulässige Werte und eine Erklärung, wofür es verwendet wird. Unterscheiden Sie das Unterzeichnungsdatum vom Beginn der Gültigkeit und den Positionspreis vom Gesamtwert. Wenn ein Begriff selbst unter Fachleuten nicht einheitlich ist, wird das Modell ihn nicht von allein klären. Vereinbaren Sie zuerst die Definition und Beispiele für Grenzfälle.

Legen Sie fest, ob eine Ausgabe „unbekannt“, „nicht zutreffend“ oder „Konflikt“ sein kann. Eine leere Zeichenkette darf nicht alle drei Situationen vertreten. Bestimmen Sie bei Listen, ob ein oder mehrere Einträge erwartet werden und wie die Reihenfolge erhalten bleibt. Erfassen Sie die Schemaversion zusammen mit dem Ergebnis, damit ältere Exporte nach einer Prozessänderung interpretierbar bleiben.

Bereiten Sie das Dokument vor und bewahren Sie seine Struktur

Prüfen Sie zunächst Dateityp, Sicherheit, Lesbarkeit und Seitenanzahl. OCR oder die Textebene müssen den Bezug zu Seite, Tabelle und Überschrift erhalten. Ein blindes Zusammenfügen des gesamten Textes kann Spalten oder Fußnoten vermischen. Erfassen Sie bei Bildern Qualität und Ausrichtung; ein unleserlicher Teil sollte als Ausnahme behandelt werden, nicht als Anlass zum Raten.

Teilen Sie ein langes Dokument nach logischen Abschnitten auf und fügen Sie der Extraktion den nötigen Kontext hinzu, etwa den Abschnittstitel. Überlappende Abschnitte können einen Satz an der Grenze schützen, erzeugen jedoch Duplikate, die zusammengeführt werden müssen. Behandeln Sie Anhang und Hauptdokument als getrennte Quellen. Legen Sie die Vertrauensreihenfolge zwischen ihnen anhand einer sachlichen Regel fest, nicht nach der zufälligen Eingabereihenfolge.

  • Kennung von Dokument, Seite und Bereich
  • Status von OCR oder anderer Textgewinnung
  • logische Abschnitte und erhaltene Tabellenbeziehungen
  • klar getrenntes Hauptdokument und Anhänge

Verlangen Sie Wert und unterstützenden Nachweis

Das Modell gibt für jedes Feld einen normalisierten Wert, den ursprünglichen Textausschnitt und die Fundstelle zurück. Der Beleg muss tatsächlich in der verarbeiteten Quelle vorhanden sein; die Anwendung prüft dies technisch, wenn möglich. Eine Erklärung ohne Zitat ist kein Ersatz. Bei einem Wert, der aus mehreren Stellen abgeleitet ist, kennzeichnen Sie alle Quellen und die Verknüpfungsregel.

Erlauben Sie dem Modell nicht, einen offensichtlichen Tippfehler ohne Kennzeichnung zu korrigieren. Bewahren Sie den ursprünglichen Wert und den normalisierten Wert als zwei Felder auf, damit der Unterschied sichtbar bleibt. Enthält ein Dokument zwei unterschiedliche Beträge mit ähnlicher Bezeichnung, geben Sie einen Konflikt oder Kandidaten zurück. Ein einzelner Modell-Score spiegelt nicht unbedingt die tatsächliche Zuverlässigkeit wider; kombinieren Sie die Unsicherheit daher mit der Quellqualität und Validierungsregeln.

Validieren Sie Format, Beziehungen und Geschäftsregeln

Die Schemavalidierung prüft Datentyp, Pflichtfelder, Format und zulässige Werte. Eine nachgelagerte Ebene überprüft Beziehungen: Das Enddatum darf nicht vor dem Beginn liegen, die Summe sollte den Positionen entsprechen und die Kennung sollte in einem zulässigen Register enthalten sein. Halten Sie die genauen Regeln im Code, wo sie getestet, versioniert und erklärt werden können.

Die Validierung soll ein Ergebnis nicht stillschweigend ändern, nur damit es die Prüfung besteht. Zeigen Sie dem Nutzer die Abweichung zusammen mit einem Korrekturvorschlag. Geben Sie bei widersprüchlichen Quellen an, welche Regel die Priorität bestimmt hat. Ein exportbereiter Datensatz muss den Freigabestatus und den Bezug zur Dokumentversion enthalten, sonst könnte ein neuer Anhang die Bedeutung eines bereits bearbeiteten Falls verändern.

Testen Sie Felder und Betrieb getrennt

Das Testset enthält verschiedene Layouts, Scans, mehrseitige Tabellen, fehlende Felder, widersprüchliche Angaben und Dokumente außerhalb des Umfangs. Bewerten Sie jedes wichtige Feld einzeln, da ein Gesamtdurchschnitt einen gefährlichen Fehler in einem einzelnen Wert verbergen kann. Achten Sie auch auf falsche Belege, nicht nur auf die Übereinstimmung des normalisierten Textes.

Messen Sie im Betrieb Ausnahmen nach Ursache, Korrekturen durch Prüfer, OCR-Fehler, unbekannte Varianten, Wartezeiten, Kosten und Exportfehler. Vergleichen Sie eine neue Modellversion vor dem Einsatz anhand desselben Datensatzes. Originale, Arbeitsdaten und Ausgaben haben unterschiedliche Zugriffsrechte und Aufbewahrungsfristen. Bei einem Ausfall wird das Dokument sicher in den manuellen Ablauf übergeben.

Häufige Fragen

Ist valides JSON ein Beweis für eine korrekte Extraktion?

Nein. Es bestätigt nur das Format. Der Wert kann falsch oder erfunden sein, daher braucht er eine Verknüpfung zur Quelle, geschäftliche Validierungen und bei risikoreichen Feldern eine menschliche Kontrolle.

Was soll das System tun, wenn eine Angabe im Dokument fehlt?

Es sollte gemäß dem Schema einen eindeutigen Status „unbekannt“ oder „nicht zutreffend“ zurückgeben. Es sollte weder einen üblichen Wert noch eine Angabe aus einem anderen Dokument ohne transparente Regel einsetzen.

Lässt sich auch aus Tabellen und Scans extrahieren?

Ja, wenn die Aufbereitungsschicht Layout und Qualität der Quelle erhält. Schlechtere Lesbarkeit und komplexe Tabellen erfordern gesonderte Tests, Nachweise und häufigere Kontrollen.

Quellen und weiterführende Lektüre

Adam Antoni, Entwickler digitaler Lösungen
Adam Antoni · Webiant

Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.

Möchten Sie dieses Thema in Ihrem Projekt umsetzen?

Schreiben Sie, was Sie verbessern möchten, womit Sie derzeit kämpfen und welches Ergebnis Sie erwarten. In der Erstberatung besprechen wir den passenden Umfang und das weitere Vorgehen.

Wählen Sie aus, welche Cookies Sie zulassen. Ihre Auswahl können Sie jederzeit über den Link in der Fußzeile oder die Cookie-Schaltfläche ändern.

Datenschutz und Details zu Cookies