ABM-Agenten mit Werkzeugen: einen begrenzten Rechercheablauf gestalten

Definieren Sie die Aktion, bevor Sie das Modell auswählen

Ein Tool-Use-Agent kann Informationen anfordern, das Ergebnis beobachten und entscheiden, ob ein weiterer Schritt erforderlich ist. Für ABM könnte eine begrenzte Aufgabe darin bestehen, eine Unternehmensankündigung zu lokalisieren, die CRM-Entität zu überprüfen und einen aus der Quelle stammenden Brief vorzuschlagen. Der Workflow sollte definieren, welche Schritte erlaubt sind, bevor die Ausführung beginnt.

Separater Lesezugriff vom Schreibzugriff. Die Suche nach genehmigten Dokumenten unterscheidet sich von der Änderung einer Gelegenheit oder der Kontaktaufnahme mit einem Interessenten. Die Fähigkeit eines Modells, eine Aktion zu beschreiben, erteilt ihm keine Berechtigung, diese Aktion auszuführen. Machen Sie den Vertrag für jedes Tool explizit.

Was ReAct dazu beiträgt

Yao und Kollegen untersuchten die Verflechtung von Argumentation und Aktionen in ReAct. Das ICLR 2023-Papier bewertete Fragenbeantwortung, Faktenverifizierung und interaktive Aufgaben und berichtete über Verbesserungen seiner Benchmarks. Diese Ergebnisse unterstützen die Untersuchung der strukturierten Tool-Interaktion; sie validieren keine unbeaufsichtigte Unternehmenskontaktaufnahme.

Unsere ABM-Interpretation soll die beobachtbare Schleife aufdecken: die gestellte Frage, das aufgerufene Tool, die zurückgegebenen Ergebnisse, die Auswahl von Beweisen und die Entscheidung. Überprüfen Sie diese Aufzeichnungen, anstatt eine eloquente Erklärung als vollständige Darstellung dessen zu behandeln, was passiert ist.

Die ursprünglichen Methoden und Ergebnisse finden Sie in ReAct: Synergizing Reasoning and Acting in Language Models.

Der praktische Workflow

1. Definieren Sie die Account Task
2. Enger Werkzeugzugang
3. Ergebnisse und Ausnahmen beachten
4. Validierung der vorgeschlagenen Ausgabe
5. Stop oder Hand off explizit

Vergleichen Sie die Ansätze

Geben Sie den Werkzeugvertrag an

Ein Tool für die Unternehmenssuche sollte eine Organisationskennung und eine begrenzte Abfrage akzeptieren. Seine Ausgabe sollte abgerufene Dokumente von verifizierten Fakten unterscheiden. Ein CRM-Lese-Tool sollte Datensatzberechtigungen erzwingen und die für die Aufgabe erforderlichen Felder zurückgeben. Ein Entwurfstool kann Inhalte vorschlagen, ohne sie zu senden.

Limit Retries, Ausführungszeit und Kosten. Definieren Sie, was passiert, wenn ein Tool ausfällt, mehrere übereinstimmende Entitäten zurückgibt oder früheren Beweisen widerspricht. Bewahren Sie den letzten akzeptierten Zustand. Ein unterbrochener Workflow sollte von einem bekannten Checkpoint aus fortgesetzt werden, anstatt jeden Nebeneffekt zu wiederholen.

Verwenden Sie eine fiktive Expansionsuntersuchung

Der Agent erhält eine Frage zum neuen Distributionszentrum von Northbridge Components. Es ruft eine Ankündigung ab, bestätigt die Organisationskennung und stellt fest, dass kein Stakeholder-Gespräch aufgezeichnet wird. Es kann eine Hypothese und eine Entdeckungsfrage entwerfen. Es kann kein Projekt erfinden oder ein Meeting buchen.

Wenn das Tool für die Unternehmenssuche ein ähnlich benanntes Logistikunternehmen findet, sollte der Agent für die Entitätslösung aufhören. Wenn eine Seite Anweisungen zum Exportieren von CRM-Datensätzen enthält, bleibt der abgerufene Text nicht vertrauenswürdiges Quellmaterial. Die Tool Policy sollte diese Aktion unabhängig vom Wortlaut des Entwurfs verhindern.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Not what you have signed up for: Indirect Prompt Injection.

Bewertung vollständiger Trajektorien

Testen Sie normale Arbeit, mehrdeutige Einheiten, fehlende Beweise und Werkzeugfehler. Zählen Sie akzeptierte Schriftsätze, nicht unterstützte Behauptungen, unnötige Werkzeuganrufe, verstrichene Gesamtzeit und Korrekturkosten. Überprüfen Sie, ob der Workflow an der richtigen Grenze endet. Eine hohe Rate erfolgreicher API-Aufrufe kann mit schlechten Kontoentscheidungen koexistieren.

Halten Sie eine kleine Reihe von wiederspielbaren Fällen mit erwarteten Ergebnissen. Führen Sie nach dem Ändern eines Werkzeugschemas, einer Berechtigung oder eines Modells diese Fälle aus, bevor Sie die Arbeitslast erweitern. Fügen Sie Fehler hinzu, die in der Produktion entdeckt wurden, ohne schwierige Beispiele zu entfernen, um die gemeldete Punktzahl zu verbessern.

Erweitern von Berechtigungen nach Beweisen

Beginnen Sie mit Read-Only Retrieval und Entwürfen von Vorschlägen. Erweitern Sie eine Berechtigung nur, wenn die zugehörige Aufgabe nützlich ist, die Fehlerpfade verstanden werden und ein Eigentümer Fehler rückgängig machen oder abgleichen kann. Halten Sie die ausgehende Aktivierung als separate Entscheidung mit ihren eigenen Bedingungen.

Der praktische Vorteil eines Agenten besteht darin, eine begrenzte Sequenz mit rückverfolgbaren Beweisen zu behandeln. Wenn eine feste Regel die Aufgabe bereits zuverlässig löst, kann ein einfacher deterministischer Schritt die bessere Betriebswahl sein. Verwenden Sie die Komplexität, die die Entscheidung erfordert.

Für den nächsten Teil dieser Entscheidung lesen Sie Agentische Workflows und Marketingautomatisierung.

Ihre Next-Action-Checkliste

• Read-only Agent: Überprüfen Sie Entity und Support. Überprüfen Sie die Einschränkung: Quellen können mehrdeutig sein.
• Vorschlagsentwurf: Überprüfung vor der Aktivierung. Überprüfen Sie die Einschränkung: Die Ausgabe kann falsch sein.
• Deterministische Regel: Verwenden Sie explizite Bedingungen. Überprüfen Sie die Einschränkung: kann keine neuartige Mehrdeutigkeit lösen.
• Write-Capable Agent: Erfordern Erlaubnis und Wiederherstellung. Überprüfen Sie die Einschränkung: Fehler können Datensätze beeinflussen.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet