Im produktiven Einsatz steigt der Tokenverbrauch mit der Anzahl der aktivierten Ablagen, der Menge an Dokumenten und der Chat-Nutzung durch die Benutzer. Eine bewusste Verwaltung des Tokenverbrauchs hilft Ihnen, das verfügbare Kontingent effizient einzusetzen und unerwartete Engpässe zu vermeiden.
Eine technische Übersicht zu Token-Paketen, Abrechnung und den Aktivitäten, die Token verbrauchen, finden Sie im Kapitel Kosten & Tokenverbrauch.
Tokenverbrauch einschätzen
Bevor Sie die Amagno.AI-Dienste in einer produktiven Ablage aktivieren, sollten Sie den zu erwartenden Tokenverbrauch einschätzen. Die folgenden Faktoren beeinflussen den Verbrauch:
- Initiale AI-Indexierung: Bei der Aktivierung werden alle vorhandenen Dokumente der Ablage indexiert. Je mehr Dokumente bereits in der Ablage vorhanden sind, desto höher ist der einmalige Verbrauch. Sie erhalten vor der Aktivierung eine Schätzung der benötigten Token. Prüfen Sie, ob Ihr aktuelles Kontingent dafür ausreicht oder ob ein einmaliges Token-Paket erforderlich ist.
- Laufender Import: Jedes neu importierte Dokument verbraucht Token für die Indexierung, die Verarbeitung durch den Autopilot und ggf. die Ausführung von Automate-Prompts. In Ablagen mit hohem Importvolumen summiert sich dieser Verbrauch.
- Anzahl und Art der Automate-Prompts: Jeder konfigurierte Prompt verbraucht bei der Ausführung Token. Prompts mit der Ausführungsart Inhaltsanalyse verbrauchen tendenziell mehr Token als Prompts mit der Ausführungsart Magnetisierung, da sie für alle importierten Dokumente ausgeführt werden, nicht nur für Dokumente eines bestimmten Dokumenttyps.
- Chat-Nutzung: Der Tokenverbrauch im Chat steigt mit der Länge der Unterhaltung und der Anzahl der Dokumente in der Unterhaltungsbasis. Je mehr Benutzer den Chat aktiv nutzen, desto höher ist der monatliche Verbrauch.
Tokenverbrauch überwachen
Überprüfen Sie den Tokenverbrauch regelmäßig, um Engpässe frühzeitig zu erkennen. In den Organisations-Einstellungen können Sie in der Registerkarte Tokenverbrauch den kumulierten Verbrauch aller Ablagen pro Abrechnungsperiode und unterteilt nach Amagno.AI-Dienst einsehen. Achten Sie dabei auf folgende Punkte:
- Verbrauchsmuster erkennen: Beobachten Sie, wie sich der Verbrauch über die ersten Wochen entwickelt. Daraus können Sie ableiten, ob Ihr aktuelles Token-Paket ausreicht oder ob eine Anpassung erforderlich ist.
- Verteilung nach Diensten prüfen: Die Aufschlüsselung nach AI-Indexierung, Chat, Autopilot und Automate zeigt Ihnen, welcher Dienst den größten Anteil am Verbrauch hat. Dies hilft Ihnen, gezielte Optimierungsmaßnahmen zu ergreifen.
- Rechtzeitig reagieren: Wenn das Token-Kontingent eines Monats aufgebraucht ist, werden alle Amagno.AI-Dienste pausiert. In diesem Fall werden Dokumente ohne die entsprechenden AI-Merkmale importiert und nicht durch die AI-Indexierung verarbeitet. Sobald wieder Token verfügbar sind, werden alle Dokumente nachträglich durch die AI-Indexierung für die Nutzung mit dem Chat verarbeitet. Da die Dokumente aber bereits importiert sind, kann nachträglich keine Verarbeitung durch Autopilot und Automate stattfinden. Behalten Sie den Verbrauch im Blick, um eine unerwartete Pausierung zu vermeiden.
Tokenverbrauch optimieren
Wenn der Tokenverbrauch höher ist als erwartet oder Sie das Kontingent effizienter nutzen möchten, können folgende Maßnahmen helfen:
Chat
- Empfehlen Sie den Benutzern, für neue Fragestellungen eine neue Unterhaltung zu starten, anstatt die bestehende Unterhaltung fortzuführen. Lange Unterhaltungen verbrauchen mit jeder Nachricht mehr Token, da der gesamte bisherige Gesprächsverlauf erneut verarbeitet wird.
- Die dynamische Suche kann deaktiviert werden, sobald keine weiteren Dokumente mehr in die Unterhaltung einbezogen werden sollen. Dies reduziert den Verbrauch für die verbleibende Unterhaltung.
- Der Chat mit einem Dokument verbraucht weniger Token als der Chat mit einer gesamten Ablage, da die Unterhaltungsbasis kleiner ist.
Automate
- Prüfen Sie, ob Prompts mit der Ausführungsart Inhaltsanalyse tatsächlich für alle Dokumente der Ablage relevant sind. Wenn ein Merkmal nur für bestimmte Dokumenttypen benötigt wird, ist die Ausführungsart Magnetisierung effizienter, da der Prompt nur für Dokumente des betreffenden Dokumenttyps ausgeführt wird.
- Formulieren Sie Prompts möglichst präzise und kompakt. Unnötig lange oder redundante Prompt-Texte verbrauchen zusätzliche Token. Weitere Hinweise zur effizienten Formulierung von Prompts finden Sie im Kapitel Prompting.
Allgemein
- Wenn Sie den Chat-Zugang auf bestimmte Benutzergruppen beschränken möchten, können Sie dies über das Recht Chat steuern. Weitere Informationen finden Sie im Kapitel Rechte und Zuständigkeiten.
- Aktivieren Sie die Amagno.AI-Dienste zunächst nur in den Ablagen, in denen der größte Nutzen zu erwarten ist. Jede zusätzliche Ablage erhöht den Gesamtverbrauch durch die Indexierung neuer Dokumente und die Ausführung von Automate-Prompts.