In diesem Unterkapitel erfahren Sie, wie Sie die Ergebnisse von Automate anhand tatsächlich importierter Dokumente prüfen und bewerten. Im Gegensatz zur Prompt-Vorschau im Prompt-Editor, die Prompts isoliert an einzelnen Dokumenten testet, prüfen Sie hier die Ergebnisse des vollständigen Import-Verarbeitungsprozesses mit allen aktiven Prompts.
Voraussetzungen
Stellen Sie sicher, dass folgende Voraussetzungen erfüllt sind, bevor Sie mit der Prüfung beginnen:
- Sie haben den Ordner mit den Testdokumenten heruntergeladen.
- Die Amagno.AI-Dienste sind in der Test-Ablage aktiviert.
- Sie haben Prompts an den Dokumenttypen, Merkmalsets und Merkmalen konfiguriert, wie im Unterkapitel Automate konfigurieren beschrieben.
- Sie haben die Prompts mit der Prompt-Vorschau getestet und optimiert, wie im Unterkapitel Prompt-Editor verwenden beschrieben.
Die Dokumente, die bereits in der Test-Ablage vorhanden sind, wurden vor der Konfiguration der Automate-Prompts importiert und daher nicht von Automate verarbeitet. Für die Prüfung der Automate-Ergebnisse müssen neue Dokumente importiert werden.
Testdokumente importieren
Nun werden weitere Testdokumente importiert. Wichtig dabei ist, dass die Testdokumente nicht per Drag and Drop auf einen Dokumenttypen gezogen werden, sondern auf die Test-Ablage. Nur so kann Automate den Dokumenttypen zuordnen.
Rechnungsdokument importieren
- Klicken Sie im Themenmenü auf das Icon Ablagen.
- Klicken Sie in der Themenleiste mit einem Doppelklick auf die Ablage Test-Ablage.
- Wählen Sie im Datei-Explorer Ihres Systems den Unterordner Rechnungen mit den heruntergeladenen Testdokumenten aus.
- Ziehen Sie ein weiteres Rechnungsdokument per Drag and Drop in die Test-Ablage.
- Warten Sie, bis das Dokument verarbeitet wurde.
Versandbestätigungsdokument importieren
- Wählen Sie im Datei-Explorer Ihres Systems den Unterordner Versandbestätigungen aus.
- Ziehen Sie eines der Versandbestätigungsdokumente per Drag and Drop in die Test-Ablage.
- Warten Sie, bis das Dokument verarbeitet wurde.
Klicken Sie in der Strukturansicht auf den Eintrag Dokumente. Falls die neu importierten Dokumente noch nicht angezeigt werden, klicken Sie ggf. oberhalb der Inhaltsansicht auf das Icon Ansicht aktualisieren, bis die Dokumente angezeigt werden.
Dokumenttyp-Zuweisung prüfen
Da es in der Test-Ablage keine klassischen Magnetisierungsprofile gibt, sollte Automate den importierten Dokumenten den richtigen Dokumenttyp zugewiesen haben. Dies können Sie nun prüfen:
- Klicken Sie in der Inhaltsansicht auf das neu importierte Rechnungsdokument.
- Prüfen Sie in der Objektleiste, ob dem Dokument der Dokumenttyp Rechnung zugeordnet wurde.
- Klicken Sie in der Inhaltsansicht auf das neu importierte Versandbestätigungsdokument.
- Prüfen Sie in der Objektleiste, ob dem Dokument der Dokumenttyp Versandbestätigung zugeordnet wurde.
Merkmalwerte prüfen
Prüfen Sie die von Automate erkannten Merkmalwerte der importierten Dokumente.
Merkmalwerte der Rechnung prüfen
- Klicken Sie in der Inhaltsansicht auf das neu importierte Rechnungsdokument.
- Klicken Sie in der Objektleiste auf die Registerkarte Merkmale.
- Öffnen Sie das Merkmalset Kunden.
Prüfen Sie die folgenden Merkmale:
- Kundenname: Wurde der Firmenname des Rechnungsempfängers korrekt ausgelesen? Wurde die Rechtsform wie im Prompt definiert entfernt?
- Kundennummer: Wurde die Kundennummer korrekt ausgelesen?
Öffnen Sie anschließend das Merkmalset Rechnungsdaten und prüfen Sie die folgenden Merkmale:
- Rechnungsnummer: Wurde die Rechnungsnummer korrekt ausgelesen?
- Rechnungsdatum: Wurde das Rechnungsdatum im Format TT.MM.JJJJ zurückgegeben?
- Bruttosumme: Wurde der Gesamtbetrag korrekt als Zahl ohne Währungszeichen zurückgegeben?
- Nettosumme: Wurde der Nettobetrag korrekt als Zahl zurückgegeben?
Merkmalwerte der Versandbestätigung prüfen
Prüfen Sie die von Automate erkannten Merkmalwerte des importierten Versandbestätigungsdokuments.
- Klicken Sie in der Inhaltsansicht auf das neu importierte Versandbestätigungsdokument.
- Klicken Sie in der Objektleiste auf die Registerkarte Merkmale.
- Öffnen Sie das Merkmalset Kunden.
Prüfen Sie die folgenden Merkmale:
- Kundenname: Wurde der Firmenname korrekt ausgelesen?
- Kundennummer: Wurde die Kundennummer korrekt ausgelesen?
Da das Merkmalset Rechnungsdaten nur mit dem Dokumenttyp Rechnung verknüpft ist, sollten bei der Versandbestätigung keine Rechnungsdaten angezeigt werden.
Ergebnisse bewerten
Vergleichen Sie die von Automate erkannten Werte mit den tatsächlichen Werten in den Dokumenten. Beachten Sie bei der Bewertung folgende Punkte:
- Korrektheit: Stimmen die erkannten Werte mit den tatsächlichen Werten im Dokument überein? Öffnen Sie bei Bedarf das Dokument in der Dokumentenansicht und vergleichen Sie die Werte manuell.
- Formatierung: Wurden die Werte im gewünschten Format zurückgegeben (z. B. Datum im Format TT.MM.JJJJ, Zahlen ohne Währungszeichen)?
- Platzhalter-Werte: Wurden bei fehlenden Informationen die im Prompt definierten Platzhalter-Werte zurückgegeben (z. B. „UNBEKANNT“ bei fehlendem Kundennamen)?
- Vollständigkeit: Wurden alle konfigurierten Merkmale befüllt oder sind einzelne Merkmale leer geblieben?
Unterschiede zwischen Prompt-Vorschau und Import-Ergebnissen
Die Ergebnisse der Prompt-Vorschau im Prompt-Editor und die Ergebnisse nach einem tatsächlichen Import können voneinander abweichen. Dies hat folgende Gründe:
- Prompt-Vorschau: Führt die Prompts isoliert aus. Jeder Prompt wird einzeln gegen das Dokument getestet, ohne Berücksichtigung der vorherigen Verarbeitungsschritte (Autopilot, klassische Magnetisierung).
- Import-Verarbeitung: Führt die Prompts im vollständigen Verarbeitungsprozess aus. Dabei werden die Ergebnisse der vorherigen Schritte berücksichtigt. Merkmale, die bereits durch den Autopilot oder die klassische Magnetisierung befüllt wurden, werden von Automate nicht überschrieben.
Wenn ein Merkmal in der Prompt-Vorschau einen Wert anzeigt, nach dem Import aber leer bleibt oder einen anderen Wert enthält, prüfen Sie, ob der Wert bereits durch einen vorherigen Verarbeitungsschritt gesetzt wurde.
Prompts bei Bedarf anpassen
Wenn die Ergebnisse nicht den Erwartungen entsprechen, können Sie die Prompts im Prompt-Editor anpassen und den Testvorgang wiederholen:
- Öffnen Sie den Prompt-Editor über den betreffenden Dokumenttyp, wie im Unterkapitel Prompt-Editor verwenden beschrieben.
- Passen Sie die betreffenden Prompts an.
- Testen Sie die geänderten Prompts zunächst mit der Prompt-Vorschau.
- Importieren Sie anschließend erneut ein Testdokument, um die Ergebnisse im vollständigen Verarbeitungsprozess zu prüfen.
Ausführliche Hinweise zur Formulierung wirksamer Prompts finden Sie im Kapitel Prompting.
Nächste Schritte
Nachdem Sie die Automate-Ergebnisse geprüft und die Prompts optimiert haben, ist das Testen von Automate abgeschlossen. Sie können nun mit dem produktiven Einsatz von Automate beginnen oder die weiteren Kapitel des Admin-Guides lesen: