Die Amagno.AI-Dienste liefern ihre Ergebnisse auf Basis von Sprachmodellen. Anders als regelbasierte Systeme (wie die klassische Magnetisierung), können Sprachmodelle bei identischen Eingaben gelegentlich unterschiedliche Ergebnisse erzeugen. Eine regelmäßige Qualitätssicherung ist daher ein fester Bestandteil des produktiven Einsatzes und kein Zeichen für eine fehlerhafte Konfiguration.
Dieses Kapitel zeigt Ihnen, worauf Sie bei der Qualitätssicherung achten sollten und wie Sie die Ergebnisse der Amagno.AI-Dienste laufend verbessern können.
Ergebnisse regelmäßig prüfen
Insbesondere in den ersten Wochen nach der Aktivierung sollten Sie die Ergebnisse der Amagno.AI-Dienste regelmäßig stichprobenartig prüfen. Achten Sie dabei auf die folgenden Bereiche:
Chat
Der Chat erfordert keine systematische Qualitätssicherung, da er keine automatisierten Änderungen an Dokumenten vornimmt. Dennoch sollten Sie die Chat-Nutzung beobachten, um sicherzustellen, dass die Benutzer den Chat effektiv einsetzen und die Antworten als hilfreich empfinden.
Autopilot
Die vom Autopilot erkannten Basisdokumentdaten (Dokumentart, Versender, Empfänger, Dokumentdatum) sind in der Regel zuverlässig, können aber bei ungewöhnlichen Dokumentenlayouts oder mehrdeutigen Inhalten abweichen. Da der Autopilot nicht konfigurierbar ist, beschränkt sich die Qualitätssicherung auf die Beobachtung der Ergebnisse. Wenn Sie systematische Fehlerkennungen feststellen (z. B. bei einer bestimmten Dokumentart), wenden Sie sich an den Amagno Support.
Automate
Automate bietet den größten Optimierungsspielraum, erfordert aber auch die meiste Aufmerksamkeit bei der Qualitätssicherung. Prüfen Sie regelmäßig:
- Dokumenttyp-Zuweisung: Werden Dokumente dem richtigen Dokumenttyp zugeordnet? Achten Sie insbesondere auf Dokumentarten, die sich inhaltlich ähneln (z. B. Angebote und Auftragsbestätigungen), da hier die Abgrenzung über den Prompt besonders präzise formuliert sein muss.
- Merkmalwerte: Werden die erwarteten Werte korrekt ausgelesen? Prüfen Sie sowohl die inhaltliche Richtigkeit als auch das Format (z. B. Datumsformat, Zahlenformat, Groß-/Kleinschreibung).
- Platzhalter-Werte: Wenn Automate in einem Dokument keine passende Information findet, gibt das Sprachmodell einen Platzhalter-Wert zurück (z. B. „Nicht gefunden“, „N/A“ oder „0″). Prüfen Sie, ob solche Platzhalter-Werte auftreten und ob sie auf fehlende Informationen im Dokument oder auf einen unzureichenden Prompt zurückzuführen sind.
Häufige Fehlerquellen
Die folgende Übersicht zeigt typische Probleme und deren mögliche Ursachen:
| Problem | Mögliche Ursache |
|---|---|
| Dokument wird dem falschen Dokumenttyp zugeordnet | Der Dokumenttyp-Prompt grenzt zu wenig von ähnlichen Dokumentarten ab. Formulieren Sie den Prompt positiv und beschreiben Sie konkret, was das Dokument ist, statt was es nicht ist. |
| Merkmalwert ist inhaltlich falsch | Der Prompt ist zu ungenau oder lässt zu viel Interpretationsspielraum. Formulieren Sie den Prompt so klar, dass auch eine fachfremde Person ihn verstehen würde. |
| Merkmalwert hat das falsche Format | Der Prompt enthält keine oder eine widersprüchliche Formatanweisung. Ergänzen Sie eine eindeutige Formatvorgabe im Prompt (z. B. „Gib das Datum im Format TT.MM.JJJJ zurück“). |
| Platzhalter-Wert statt leerem Merkmal | Das Sprachmodell hat keinen passenden Wert gefunden und einen Platzhalter erzeugt. Ergänzen Sie im Prompt eine Anweisung, welcher Wert zurückgegeben werden soll, wenn die Information nicht im Dokument vorhanden ist. |
| Merkmal bleibt leer trotz konfiguriertem Prompt | Die Magnetisierungsform ist auf „Nicht magnetisieren“ gesetzt, das Tokenverbrauch-Kontingent ist aufgebraucht oder die Ausführungsart passt nicht zum Dokumenttyp. |
| Automate scheint nicht zu arbeiten | Prüfen Sie, ob das Token-Kontingent aufgebraucht ist. Wenn die Amagno.AI-Dienste pausiert sind, werden keine Prompts ausgeführt. |
Prompts laufend optimieren
Prompts sind keine einmalige Konfiguration, sondern sollten im laufenden Betrieb bei Bedarf angepasst werden. Typische Anlässe für eine Optimierung sind:
- Neue Dokumentenlayouts: Wenn Lieferanten, Kunden oder Geschäftspartner ihre Dokumentenlayouts ändern, kann dies die Erkennung beeinflussen. Testen Sie den betroffenen Prompt mit dem neuen Layout im Prompt-Editor und passen Sie ihn bei Bedarf an.
- Neue Dokumenttypen: Wenn neue Dokumenttypen in der Ablage hinzukommen, müssen ggf. bestehende Dokumenttyp-Prompts angepasst werden, um die Abgrenzung zu den neuen Dokumenttypen sicherzustellen.
- Veränderte Anforderungen: Wenn sich die Anforderungen an die ausgelesenen Daten ändern (z. B. ein zusätzliches Merkmal, ein anderes Format, eine neue Validierungsregel), passen Sie die betroffenen Prompts entsprechend an.
- Wiederkehrende Fehler: Wenn bei bestimmten Dokumenten oder Merkmalwerten wiederholt Fehler auftreten, deutet dies auf einen systematischen Optimierungsbedarf im Prompt hin.
Nutzen Sie für die Optimierung immer den Prompt-Editor mit der Prompt-Vorschau, um Änderungen vor dem produktiven Einsatz zu testen. Eine ausführliche Anleitung finden Sie im Kapitel Prompt-Editor verwenden. Weitere Hinweise zur Formulierung wirksamer Prompts finden Sie im Kapitel Prompting.