Vereinfachen Sie die Taxonomie und beschreiben Sie die Grenzen der Klassen präzise, bereiten Sie konsistent gelabelte Beispiele und ein separates Testset vor. Das Modell sollte nur zulässige Labels mit Begründung aus der Quelle zurückgeben, unsichere Fälle zur Prüfung weiterleiten, und die Qualität sollten Sie pro Klasse sowie nach Änderungen der Eingaben überwachen.
Unternehmen klassifizieren Dokumente, Anfragen, Notizen oder Produktpositionen, um sie weiterleiten, finden und verwalten zu können. KI kann die Bedeutung hinter unterschiedlichen Formulierungen erkennen, löst aber keine unklare Taxonomie. Wenn Menschen denselben Fall unterschiedlich kennzeichnen, beschleunigt das Modell lediglich die bestehende Inkonsistenz und verbirgt sie hinter einem numerischen Score.
Ein gutes Klassifizierungssystem beginnt mit dem fachlichen Zweck jeder Klasse und repräsentativen Beispielen. Es unterscheidet zwischen einer einzelnen Kategorie und mehreren Labels, lässt den Zustand „unbekannt“ zu und setzt Schwellenwerte entsprechend den Folgen eines Fehlers. Das Ergebnis wird laufend mit einer fachlichen Prüfung verglichen, da sich Produkte, Sprache und interne Regeln mit der Zeit ändern.
Verknüpfen Sie jede Klasse mit einer konkreten Verwendung
Eine Kategorie sollte den nächsten Schritt, die Berechtigung, die Aufbewahrungsdauer oder die Art der Suche beeinflussen. Wenn zwei Labels zur selben Arbeit führen und Fachleute sie nicht unterscheiden können, sollten Sie sie zusammenführen. Schreiben Sie zu jeder Klasse eine Definition, was dazugehört, was nicht, sowie einige Grenzfälle als Beispiele. Der Name muss auch außerhalb des Teams verständlich sein, das ihn geschaffen hat.
Entscheiden Sie, ob ein Datensatz ein Label, mehrere Labels oder eine Hierarchie haben kann. Thema und Sensibilität sind unterschiedliche Dimensionen und müssen nicht in einer Liste konkurrieren. Ergänzen Sie einen Zustand „unbekannt“ oder „außerhalb des Umfangs“, damit das Modell nicht immer die nächstliegende Klasse wählen muss. Versionieren Sie die Taxonomie und bestimmen Sie eine verantwortliche Person, die Änderungen und die Zuordnung der Historie freigibt.
Bereiten Sie Beispiele und Kennzeichnungsregeln vor
Die Stichprobe sollte die Sprachen, Kanäle, Zeiträume, Quellen und Grenzfälle abbilden, mit denen das System konfrontiert wird. Zufällig verfügbare alte Datensätze können eine Gruppe überrepräsentieren. Minimieren Sie sensible Daten und beschränken Sie den Zugriff auf die Annotation. Wenn Sie reale Daten verwenden, dokumentieren Sie den Zweck, die Aufbewahrungsdauer und die Art ihrer sicheren Trennung von der Entwicklung.
Annotatoren benötigen dasselbe Handbuch und die Möglichkeit, unklare Fälle zu eskalieren. Prüfen Sie abweichende Entscheidungen mit dem fachlichen Verantwortlichen; oft liegt nicht nur ein menschlicher Fehler vor, sondern eine unklare Definition. Halten Sie Testbeispiele aus dem Fine-Tuning heraus, damit die Bewertung nicht bloß das Auswendiglernen bekannter Einträge misst. Änderungen an Labels erfordern eine neue vergleichbare Ausgangsbasis.
- Definition und Zweck jeder Klasse
- positive, negative und Grenzfallbeispiele
- Vorgehen bei einem mehrdeutigen Datensatz
- separates Set für die abschließende Bewertung
Entwerfen Sie Ausgabe und Schwellenwerte nach Auswirkung
Das Modell gibt nur Kennungen zulässiger Klassen zurück, keine frei erfundenen Bezeichnungen. Legen Sie bei Mehrfachkennzeichnung Regeln für Kombinationen und eine maximale sinnvolle Anzahl fest. Eine kurze Begründung kann dem Prüfer helfen, muss aber auf der Eingabe beruhen. Kalibrieren Sie die Scores des Modells anhand eigener Daten; ein hoher Wert ist keine allgemeine Garantie für Richtigkeit.
Die Festlegung von Schwellenwerten hängt von den Folgen ab. Ein falsches internes Such-Tag lässt sich leicht korrigieren, während eine falsche Sensibilitätskategorie einen Datensatz der falschen Rolle zugänglich machen kann. Risikoklassen erfordern feste Regeln oder eine verpflichtende Prüfung. Verwerfen Sie einen Datensatz mit einem Ergebnis unter dem Schwellenwert nicht, sondern leiten Sie ihn mit sichtbarem Grund der Unsicherheit in eine Warteschlange.
Bewerten Sie jede Klasse und jeden Fehlertyp
Die Gesamtgenauigkeit kann hoch sein, wenn eine häufige, einfache Klasse dominiert, selbst wenn eine seltene, wichtige Kategorie versagt. Beobachten Sie Verwechslungen zwischen konkreten Klassen, ausgelassene Labels und unberechtigte Zuordnungen. Werten Sie die Ergebnisse nach Quelle, Sprache und Zeitraum aus, um Schwächen zu erkennen, die im Durchschnitt verborgen sind. Geben Sie bei kleinen Stichproben die Unsicherheit der Bewertung an.
Testen Sie auch leere, sehr kurze, lange, widersprüchliche und absichtlich irreführende Eingaben. Löst die Klassifizierung eine automatische Aktion aus, muss die Bewertung den gesamten nachgelagerten Ablauf abdecken. Eine Fachperson prüft kritische Fehler und entscheidet, ob Taxonomie, Daten, Regel oder Modell angepasst werden müssen. Ein einmaliger Wert vor dem Launch ersetzt keine laufende Kontrolle.
Überwachen Sie Drift und Feedback im Betrieb
Ein neues Produkt, ein geändertes Formular oder saisonaler Sprachgebrauch können die Verteilung der Eingaben verschieben. Beobachten Sie die Zunahme unbekannter Fälle, Änderungen der Klassenanteile, Korrekturen durch Menschen und Konflikte mit Regeln. Ein Alarm soll nicht auf jede natürliche Abweichung reagieren, sondern auf einen Zustand, der eine Prüfung erfordert. Stichproben manuell überprüfter Fälle decken auch stille Fehler oberhalb des Schwellenwerts auf.
Speichern Sie Korrekturen von Nutzern zusammen mit der Begründung und der Taxonomie-Version. Gehen Sie nicht davon aus, dass jeder Klick ein hochwertiges Trainingslabel ist. Freigegebene Beispiele durchlaufen eine Prüfung, die Entfernung nicht benötigter Daten und eine kontrollierte Aufnahme. Vergleichen Sie beim Deployment einer neuen Version dieselben Tests, bereiten Sie ein Rollback vor und erhalten Sie die Möglichkeit zur manuellen Klassifizierung bei einem Ausfall.
Häufige Fragen
Wie viele Kategorien darf eine KI-Klassifizierung verwenden?
Eine universelle Anzahl gibt es nicht. Kategorien sollten unterscheidbar, ausreichend vertreten und an die Nutzung gebunden sein. Eine zu feine Taxonomie sollten Sie zunächst vereinfachen oder in Schritte aufteilen.
Was bedeutet eine geringe Klassifizierungssicherheit?
Es ist ein Signal für eine weitere Prüfung, kein automatischer Fehlernachweis. Die Bedeutung des Scores muss an eigenen Daten überprüft und mit dem Risiko der Klasse sowie der Qualität der Eingabe kombiniert werden.
Dürfen Korrekturen von Nutzern das Modell automatisch trainieren?
Nicht ohne Kontrolle. Eine Korrektur kann ein Irrtum sein oder auf einer anderen Version der Regeln beruhen. Prüfen Sie sie zuerst, minimieren Sie die Daten und übernehmen Sie sie über einen gesteuerten Datenprozess.
Quellen und weiterführende Lektüre
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
