Zum Inhalt springen
StrikeUp Hilfe-Center
Versionshinweise

Antwortqualität prüfen und verbessern

Wenn ein Besucher Ihnen sagt, dass der Assistent falsch geantwortet hat, kann die Ursache an vier Stellen liegen: in der Wissensdatenbank, in einem Skill, im Toolkit, das Ihre API aufruft, oder in Ihren Leitplanken. Diese Anleitung nimmt eine schlechte Antwort von der Seite Feedback, verfolgt sie über die KI-Aktion, die sie geschrieben hat, und den Tool-Lauf dahinter und sagt Ihnen, wo Sie korrigieren. Jede Seite, die Sie hier nutzen, zeigt nur an; nichts, was Sie öffnen, ändert, was Besucher sehen.

Bevor Sie beginnen

Abschnitt betitelt „Bevor Sie beginnen“
Sie brauchenWo es liegt
Eingeschaltetes Feedback für Ihr Widget, damit Besucher Antworten bewerten können„Enable feedback“ unter KonfigurierenUser Interface; standardmäßig aus
Mindestens einen Daumen runter aus den letzten 14 TagenAnalysenFeedback
Die Admin-Rolle, um eine Gesprächsrunde und einen Tool-Lauf zu öffnenBitten Sie einen Admin, Ihre Rolle unter EinstellungenBenutzer zu ändern
Zugriff, um Skills, Wissensdatenbank, Toolkits oder Leitplanken für die Korrektur zu ändernKonfigurieren und Sicherheit

Verfügbarkeit: jedes Konto, ohne Tarif oder Feature-Flag. Alle angemeldeten Personen können die Listen lesen; der Dialog einer Gesprächsrunde und die Seiten der Tool-Läufe erfordern die Admin-Rolle.

Um vorher zu sehen, ob es einen Trend gibt, schauen Sie sich das Diagramm Negatives Feedback nach Grund unter DashboardLeistung an. Es zeigt, welchen Grund Besucher am häufigsten wählen.

Schritte

Abschnitt betitelt „Schritte“

  1. Eine schlechte Antwort finden. Öffnen Sie AnalysenFeedback, setzen Sie den Bewertungsfilter auf Nur negativ und wählen Sie eine Zeile. Das Detailfeld zeigt Grund und Kommentar des Besuchers und unter KI-Antwort die KI-Aktion, die die Antwort geschrieben hat, mit ihrer Chat-Sitzungs-ID und dem Zeitpunkt. Notieren Sie den Zeitpunkt.

    Schritt 1 auf der Seite „Feedback“, gefiltert auf „Nur negativ“. Die ausgewählte zweite Zeile mit dem hervorgehobenen Grund missing_context ist ein Daumen runter zur englischen Antwort „Your workspace will move to annual billing on 1 October …“ vom 14. September. Das Detailfeld rechts zeigt das Badge „Negativ“ und unter „KI-Antwort“ die KI-Aktion hinter der Antwort: Anthropic, claude-sonnet-4-5, 3.32s, HTTP 200 und die „Chat-Sitzungs-ID“ 8268684a-6ca1-bfc8-11e1-f0e239918baf, die das Gespräch kennzeichnet.Schritt 1 auf der Seite „Feedback“, gefiltert auf „Nur negativ“. Die ausgewählte zweite Zeile mit dem hervorgehobenen Grund missing_context ist ein Daumen runter zur englischen Antwort „Your workspace will move to annual billing on 1 October …“ vom 14. September. Das Detailfeld rechts zeigt das Badge „Negativ“ und unter „KI-Antwort“ die KI-Aktion hinter der Antwort: Anthropic, claude-sonnet-4-5, 3.32s, HTTP 200 und die „Chat-Sitzungs-ID“ 8268684a-6ca1-bfc8-11e1-f0e239918baf, die das Gespräch kennzeichnet.
    Beginnen Sie bei einer negativen Bewertung; das Detailfeld nennt Modell, Zeitpunkt und Chat-Sitzung der Antwort.
    Was dieser Screenshot zeigt
    Ansicht
    Feedback (/admin/feedback)
    Hervorgehoben
    cell “”, list-row-2, selected. shows the rating and its AI action in the detail panel
    Außerdem sichtbar
    Vote filter Negative only; Detail panel: Negative, AI Response with session 8268684a…
    Zweck
    step 1, find a bad answer

  2. Die Gesprächsrunde finden. Öffnen Sie AnalysenKI-Aktionen, wählen Sie den Reiter Aktivität und einen Zeitraum, der die Bewertung abdeckt. Suchen Sie die Runde, die kurz vor dem notierten Zeitpunkt begann. Ein rotes Badge „… fehlgeschlagen“ bedeutet, dass manche Versuche fehlschlugen und wiederholt wurden.

    Schritt 2 im Reiter „Aktivität“ der KI-Aktionen. Die Tabelle „Gesprächsrunden“ listet die Runden der letzten sieben Tage. Die Runde vom 14. September um 16:10, Stufe support, Modell claude-sonnet-4-5, 4 Aufrufe mit rotem Badge „1 fehlgeschlagen“, rund 38,6 s Anbieterzeit und 0,07 $ Kosten, ist das Gespräch aus dem Feedback. Die hervorgehobene Schaltfläche „Ansehen“ am Zeilenende öffnet jeden Aufruf dieser Runde.Schritt 2 im Reiter „Aktivität“ der KI-Aktionen. Die Tabelle „Gesprächsrunden“ listet die Runden der letzten sieben Tage. Die Runde vom 14. September um 16:10, Stufe support, Modell claude-sonnet-4-5, 4 Aufrufe mit rotem Badge „1 fehlgeschlagen“, rund 38,6 s Anbieterzeit und 0,07 $ Kosten, ist das Gespräch aus dem Feedback. Die hervorgehobene Schaltfläche „Ansehen“ am Zeilenende öffnet jeden Aufruf dieser Runde.
    Suchen Sie denselben Zeitpunkt im Reiter „Aktivität“ und öffnen Sie die Runde.
    Was dieser Screenshot zeigt
    Ansicht
    Aktivität (/admin/ai-logs)
    Hervorgehoben
    button “Ansehen”, table-row-2-actions, enabled. opens the Conversation turn dialog
    Außerdem sichtbar
    Turn 14/09 16:10:04, 4 calls, 1 failed
    Zweck
    step 2, locate the turn

  3. Die Runde öffnen und den antwortenden Aufruf wählen. Wählen Sie Ansehen. Der Dialog Gesprächsrunde listet jeden Aufruf der Reihe nach; der letzte Aufruf hat meist die bewertete Antwort geschrieben. Wählen Sie bei seinem letzten Versuch Aufruf anzeigen.

    Schritt 3: der Dialog „Gesprächsrunde“ für den 14. September, 16:10:04, Kosten 0,07 $. Er listet drei Aufrufe der Stufe support der Reihe nach. Der erste hatte einen fehlgeschlagenen Versuch mit HTTP 529 und eine erfolgreiche Wiederholung, der zweite gelang sofort, der dritte und letzte um 16:10:42 mit claude-sonnet-4-5 schrieb die bewertete Antwort. Die hervorgehobene Schaltfläche „Aufruf anzeigen“ dieses letzten Aufrufs öffnet seine KI-Aktion.Schritt 3: der Dialog „Gesprächsrunde“ für den 14. September, 16:10:04, Kosten 0,07 $. Er listet drei Aufrufe der Stufe support der Reihe nach. Der erste hatte einen fehlgeschlagenen Versuch mit HTTP 529 und eine erfolgreiche Wiederholung, der zweite gelang sofort, der dritte und letzte um 16:10:42 mit claude-sonnet-4-5 schrieb die bewertete Antwort. Die hervorgehobene Schaltfläche „Aufruf anzeigen“ dieses letzten Aufrufs öffnet seine KI-Aktion.
    Der letzte Aufruf einer Runde schreibt meist die Antwort; öffnen Sie ihn mit „Aufruf anzeigen“.
    Was dieser Screenshot zeigt
    Ansicht
    Gesprächsrunde (/admin/ai-logs)
    Hervorgehoben
    button “Aufruf anzeigen”, dialog-last-call, enabled. opens /admin/ai-logs/<call id>
    Außerdem sichtbar
    Three support calls, first with 529 then success
    Zweck
    step 3, pick the call that answered

  4. Vergleichen, was die KI erhielt und was sie sagte. Lesen Sie auf der Seite der KI-Aktion Wissensbasis-Kontext, Injizierte Skills und API-Ausführungsergebnisse, dann die Antwort unter Antwortdaten. Waren die richtigen Fakten da und die Antwort hat sie weggelassen, liegt die Korrektur im Skill oder im Artikel. Fehlten die Fakten, hat die Wissensdatenbank eine Lücke. Notieren Sie den Namen jedes Tools, das lief.

    Schritt 4 auf der Seite der KI-Aktion dieses Aufrufs. „Wissensbasis-Kontext“ zeigt, dass die KI Billing FAQ.pdf (Relevanz 71 %) erhielt, wonach ein Tarifwechsel anteilig mit Gutschrift für den ungenutzten Zeitraum abgerechnet wird. „Injizierte Skills“ nennt Plan changes. Der hervorgehobene Abschnitt „API-Ausführungsergebnisse“ zeigt, dass das Tool changeSubscriptionPlan direkt vor der Antwort erfolgreich lief. Die Antwort erwähnte die Gutschrift nicht; das erklärt die Beschwerde des Kunden.Schritt 4 auf der Seite der KI-Aktion dieses Aufrufs. „Wissensbasis-Kontext“ zeigt, dass die KI Billing FAQ.pdf (Relevanz 71 %) erhielt, wonach ein Tarifwechsel anteilig mit Gutschrift für den ungenutzten Zeitraum abgerechnet wird. „Injizierte Skills“ nennt Plan changes. Der hervorgehobene Abschnitt „API-Ausführungsergebnisse“ zeigt, dass das Tool changeSubscriptionPlan direkt vor der Antwort erfolgreich lief. Die Antwort erwähnte die Gutschrift nicht; das erklärt die Beschwerde des Kunden.
    Vergleichen Sie, was die KI erhielt, mit ihrer Antwort; hier war das Wissen da, die Antwort ließ die Gutschrift weg.
    Was dieser Screenshot zeigt
    Ansicht
    Protokolldetails (/admin/ai-logs/:id)
    Hervorgehoben
    “”, api-execution-results-section, changeSubscriptionPlan succeeded. lists tool results the AI received
    Außerdem sichtbar
    Knowledge Base Context: Billing FAQ.pdf 71%; Injected Skills: Plan changes
    Zweck
    step 4, inspect inputs and tool results

  5. Den Tool-Lauf finden. Öffnen Sie AnalysenTool-Läufe, geben Sie den Tool-Namen in Nach Werkzeugname, Endpunkt oder Statuscode suchen ein und wählen Sie Suchen. Der Lauf aus demselben Moment ist der API-Aufruf hinter der Antwort.

    Schritt 5 auf der Seite „Tool-Läufe“. Das hervorgehobene Suchfeld „Nach Werkzeugname, Endpunkt oder Statuscode suchen“ enthält changeSubscriptionPlan, die Liste zeigt den einen passenden Lauf: grün 200 für das Werkzeug changeSubscriptionPlan der Demo Billing API, PUT an den Endpunkt plan des Abonnements, am 14. September um 16:10:41, Sekunden vor der bewerteten Antwort. Ein Klick auf die Zeile öffnet den Lauf mit genauer Anfrage und Antwort.Schritt 5 auf der Seite „Tool-Läufe“. Das hervorgehobene Suchfeld „Nach Werkzeugname, Endpunkt oder Statuscode suchen“ enthält changeSubscriptionPlan, die Liste zeigt den einen passenden Lauf: grün 200 für das Werkzeug changeSubscriptionPlan der Demo Billing API, PUT an den Endpunkt plan des Abonnements, am 14. September um 16:10:41, Sekunden vor der bewerteten Antwort. Ein Klick auf die Zeile öffnet den Lauf mit genauer Anfrage und Antwort.
    Suchen Sie die Tool-Läufe mit dem Werkzeugnamen aus der KI-Aktion, um den genauen API-Aufruf zu finden.
    Was dieser Screenshot zeigt
    Ansicht
    Tool-Läufe (/admin/tool-execution-logs)
    Hervorgehoben
    textbox “Nach Werkzeugname, Endpunkt oder Statuscode suchen”, filter-card-left, changeSubscriptionPlan. filters runs by tool name
    Außerdem sichtbar
    One run: changeSubscriptionPlan PUT 200
    Zweck
    step 5, find the tool run

  6. Den API-Aufruf prüfen. Öffnen Sie den Lauf. Vergleichen Sie Anfragedaten mit dem, was Ihre API erwartet, und lesen Sie Antwortdaten. Hat Ihre API die richtigen Daten geliefert, liegt das Problem in der Antwort, nicht im Toolkit. Hat die KI falsche Werte gesendet oder hat Ihre API einen Fehler gemeldet, liegt die Korrektur im Toolkit.

    Schritt 6 auf der Seite des Tool-Laufs. „Anfragedaten“ zeigt, was der Assistent an den Endpunkt plan des Abonnements sub_7Q2KD9 gesendet hat: plan growth, billingPeriod annual. Die hervorgehobenen „Antwortdaten“ zeigen, was die API zurückgab: dasselbe Abonnement mit effectiveFrom 2026-10-01 und proratedInvoice INV-2026-0533. Die API hat ihre Aufgabe erfüllt; die Lücke lag in der Antwort, die Korrektur gehört also in den Skill oder die Wissensbasis, nicht ins Toolkit.Schritt 6 auf der Seite des Tool-Laufs. „Anfragedaten“ zeigt, was der Assistent an den Endpunkt plan des Abonnements sub_7Q2KD9 gesendet hat: plan growth, billingPeriod annual. Die hervorgehobenen „Antwortdaten“ zeigen, was die API zurückgab: dasselbe Abonnement mit effectiveFrom 2026-10-01 und proratedInvoice INV-2026-0533. Die API hat ihre Aufgabe erfüllt; die Lücke lag in der Antwort, die Korrektur gehört also in den Skill oder die Wissensbasis, nicht ins Toolkit.
    Anfrage und Antwort zeigen, ob der Fehler bei der API oder bei der Antwort lag.
    Was dieser Screenshot zeigt
    Ansicht
    Werkzeug-Ausführungsprotokoll Details (/admin/tool-execution-logs/:id)
    Hervorgehoben
    “”, response-data, 200 with proratedInvoice. shows the API's answer as stored (masked by your rules)
    Außerdem sichtbar
    Request: sub_7Q2KD9, growth, annual
    Zweck
    step 6, check the API call

  7. Prüfen, was Ihre Leitplanken blockiert haben (optional). Öffnen Sie AnalysenVerstöße. Gewöhnliche Fragen in dieser Liste bedeuten, dass Ihre Unternehmensrichtlinie zu streng ist und Besucher eine Ablehnung statt Hilfe bekommen. Verstöße erfassen das Gespräch nicht; vergleichen Sie daher den Zeitpunkt.

    Schritt 7 auf der Seite „Verstöße“ („Richtlinienverstöße“). Die Tabelle listet die von den Leitplanken blockierten Nachrichten; die hervorgehobene Spalte „Verstoßgründe“ zeigt rote englische Badges wie data access, prompt injection, unsafe request: tax evasion und company policy violation bei einer Bitte um ein Anschreiben. Tauchen hier gewöhnliche Fragen auf, ist die Unternehmensrichtlinie zu streng; fehlen schädliche, verschärfen Sie sie auf der Seite „Sicherheits-Leitplanken“.Schritt 7 auf der Seite „Verstöße“ („Richtlinienverstöße“). Die Tabelle listet die von den Leitplanken blockierten Nachrichten; die hervorgehobene Spalte „Verstoßgründe“ zeigt rote englische Badges wie data access, prompt injection, unsafe request: tax evasion und company policy violation bei einer Bitte um ein Anschreiben. Tauchen hier gewöhnliche Fragen auf, ist die Unternehmensrichtlinie zu streng; fehlen schädliche, verschärfen Sie sie auf der Seite „Sicherheits-Leitplanken“.
    Prüfen Sie auch die Verstöße; blockierte Alltagsfragen deuten auf eine zu strenge Leitplanken-Richtlinie hin.
    Was dieser Screenshot zeigt
    Ansicht
    Verstöße (/admin/policy-violations)
    Hervorgehoben
    “”, table-header-reasons, ten rows. shows why each message was blocked
    Außerdem sichtbar
    Ten blocked messages with reasons, blocking response, version
    Zweck
    step 7, check what was blocked

  8. Die Ursache beheben. Entscheiden Sie mit der Tabelle unter Wie es weitergeht, wohin die Änderung gehört, nehmen Sie sie vor und stellen Sie dieselbe Frage in Ihrem Widget, um die neue Antwort zu prüfen.

Die Korrektur festhalten. Ist die Änderung vorgenommen, kehren Sie zur Bewertung unter AnalysenFeedback zurück. Setzen Sie Triage-Status auf Umgesetzt, notieren Sie unter Interne Notizen, was Sie geändert haben, und wählen Sie Triage speichern. Zum Speichern der Triage brauchen Sie die Admin-Rolle.

Wie es weitergeht

Abschnitt betitelt „Wie es weitergeht“

Die Spur zeigt, wo das Problem liegt. Nehmen Sie die Änderung dort vor:

Was Sie gefunden habenWohin die Korrektur gehört
Die richtige Passage stand unter Wissensbasis-Kontext, aber die Antwort hat sie ignoriert oder verzerrtDer Skill, der diese Art von Frage behandelt, unter KonfigurierenSkills
Keine Passage oder nur schwache Treffer mit niedriger RelevanzEin Artikel unter KonfigurierenWissensdatenbank, der die Frage beantwortet
Der erwartete Skill fehlt unter Injizierte SkillsDie Einrichtung des Skills unter KonfigurierenSkills
Der Tool-Lauf zeigt falsche Werte in der Anfrage oder viele Läufe mit Vor dem Senden abgelehntParameterbeschreibungen und Beispiele des Tools unter KonfigurierenToolkits
Der Tool-Lauf zeigt Autorisierung (401/403)Die Zugangsdaten des Toolkits oder die Autorisierung des Kunden
Der Tool-Lauf zeigt 5xx-Fehler oder ZeitüberschreitungenIhre eigene API
Gewöhnliche Fragen erscheinen unter VerstößeIhre Unternehmensrichtlinie unter SicherheitLeitplanken

Eine Änderung gilt nur für neue Nachrichten. Frühere Antworten, Bewertungen und Protokolle bleiben, wie sie waren; der alte Daumen runter bleibt also in der Liste. Um die Korrektur zu prüfen, stellen Sie dieselbe Frage in Ihrem Widget und öffnen die neue KI-Aktion unter AnalysenKI-Aktionen. In den folgenden Tagen sollte das Diagramm Negatives Feedback nach Grund unter DashboardLeistung weniger Beschwerden dieser Art zeigen.

Eine Bewertung ändert den Assistenten nicht von selbst: Nichts wird besser, bis Sie die Änderung vornehmen.

Wenn etwas schiefgeht

Abschnitt betitelt „Wenn etwas schiefgeht“
SymptomWas Sie prüfen sollten
Die Feedback-Liste ist leerFeedback ist standardmäßig aus; schalten Sie „Enable feedback“ für das Widget unter KonfigurierenUser Interface ein. Die Liste reicht höchstens 14 Tage zurück.
Das Detailfeld zeigt nur den Antworttext, nicht die KI-AktionZu dieser Antwort wurde keine passende KI-Aktion gefunden. Suchen Sie die Runde anhand des Zeitpunkts der Bewertung unter Aktivität.
Diese Runde ist nicht mehr verfügbar. beim Öffnen der RundeSie brauchen die Admin-Rolle. Ohne sie öffnen Sie die Aufrufe stattdessen über den Reiter KI-Aktionen.
Die Runde fehlt unter AktivitätWählen Sie einen längeren Zeitraum; der Reiter reicht höchstens 30 Tage zurück.
Protokoll nicht gefunden beim Öffnen eines Tool-LaufsTool-Läufe zu öffnen, erfordert die Admin-Rolle.
Die Suche unter Tool-Läufe findet nichtsDie Suche nutzt Tool-Namen, Adressen und Status-Codes, keinen Nachrichtentext. Übernehmen Sie den Tool-Namen exakt aus der KI-Aktion.

Verwandte Seiten

Abschnitt betitelt „Verwandte Seiten“