RAG für die Account-Recherche: Briefings mit überprüfbaren Belegen

Getrennter Abruf vom Schreiben

Retrieval-augmented generation, oder RAG, kombiniert ein Sprachmodell mit Material, das aus einer externen Sammlung abgerufen wurde. In einem Account-Workflow kann diese Sammlung autorisierte CRM-Notizen, Jahresberichte und genehmigte Produktdokumentation enthalten. Der Retrieval-Schritt findet Kandidatenbeweise; der Generationsschritt verwandelt ausgewählte Beweise in eine Antwort. Keiner der beiden Schritte stellt fest, dass die Antwort von selbst wahr ist.

Beginnen Sie mit einer Frage, die der Kontoinhaber beantworten muss: Welche öffentlich dokumentierte Betriebsänderung könnte ein Integrationsgespräch relevant machen? Vermeiden Sie es, eine unbegrenzte Firmenbiografie anzufordern. Eine fokussierte Frage macht fehlende Beweise sichtbar und gibt dem Rezensenten einen Grund, die Ausgabe zu akzeptieren oder abzulehnen.

Was die ursprüngliche RAG-Forschung gefunden hat

Lewis und Kollegen bewerteten Retrieval-erweiterte Modelle zu wissensintensiven Aufgaben. Ihre NeurIPS 2020-Arbeit berichtete von mehr Faktengenerierung als die getestete Basislinie nur für Parameter. Die Evidenz bezieht sich auf Benchmark-Aufgaben, bei denen abgerufenes Wissen verwendet wird, anstatt Marketing-Konvertierung oder eine bestimmte kommerzielle Datenbank.

Unsere vorgeschlagene ABM-Anwendung soll eine kurze inspizierbare machen. Eine abgerufene Passage sollte die eigentliche Frage beantworten, sich auf das richtige Unternehmen beziehen und das Veröffentlichungsdatum tragen. Eine Passage über die Muttergesellschaft darf keine Änderung bei der Tochtergesellschaft bewirken. Mehr abgerufener Text kann diesen Identitätsfehler nicht beheben.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

Der praktische Workflow

1. Definieren Sie die Kontofrage
2. Berechtigte Passagen abrufen
3. Identität und Daten überprüfen
4. Entwurf der unterstützten Anträge
5. Unbekannte vor der Aktivierung überprüfen

Vergleichen Sie die Ansätze

Erstellen Sie einen Beweisvertrag

Für jedes Dokument, Speicherorganisationskennung, Quell-URL, Titel, Veröffentlichungsdatum, Erfassungsdatum, Zugriffsberechtigungen und die verwendete Passage. Speichern Sie für jede Behauptung, welche Passage sie unterstützt und ob es sich um eine gemeldete Tatsache oder Ihre Interpretation handelt. Halten Sie Kundennotizen durch die Berechtigungen getrennt, unter denen sie gesammelt wurden.

Definieren Sie Retrieval Failure explizit. Wenn der Sammlung die jüngsten Beweise fehlen, kann der Agent eine Forschungsfrage statt einer Nachricht erstellen. Wenn zwei Quellen nicht übereinstimmen, zeigen Sie beide Daten und den ungelösten Unterschied an. Retrieval-Vertrauen ist ein Suchsystemsignal; es sollte nicht als die Wahrscheinlichkeit dargestellt werden, dass ein Account kaufen möchte.

Die ursprünglichen Methoden und Ergebnisse finden Sie in PROV-Overview.

Arbeiten Sie durch einen fiktiven Account

Angenommen, ein fiktiver Hersteller, Northbridge Components, kündigt ein neues Distributionszentrum an. Der Bericht unterstützt die Erweiterung, sagt aber nichts über ein Integrationsprojekt aus. Ein nützlicher Brief zeichnet die Erweiterung auf, identifiziert eine plausible Koordinationsfrage und markiert die Projekthypothese als unbestätigt.

Eine vertretbare Öffnung fragt, ob das erweiterte Netzwerk die Koordination von Auftragsdaten verändert. Eine unhaltbare Eröffnung behauptet, dass der Operations Director bereits Ihr Produkt evaluiert. Ersteres verwendet Beweise, um eine nützliche Frage zu stellen. Letzteres verwandelt ein Firmenereignis in eine erfundene persönliche Absicht. Halten Sie die genaue unterstützende Passage für den Verkauf verfügbar.

Bewerten Sie beide Phasen der Pipeline

Erstellen Sie Testfragen mit bekannten Antworten, fehlenden Antworten, ähnlichen Firmennamen und widersprüchlichen Daten. Messen Sie, ob Retrieval die benötigte Passage zurückgibt, bevor Sie den Entwurf bewerten. Überprüfen Sie dann die Identitätsgenauigkeit, die Unterstützung von Materialansprüchen, unbeantwortete Fragen und die Gesamtkorrekturzeit.

Wenn der Entwurf fehlschlägt, weil die richtige Passage nie angekommen ist, wird die falsche Komponente durch Änderung der Schreibaufforderung angesprochen. Wenn das Abrufen erfolgreich ist, der Entwurf jedoch nicht unterstützte Details einführt, passen Sie den Erzeugungs- und Annahmeschritt an. Behalten Sie die Sammlungsversion und Modellkonfiguration bei jeder Auswertung, damit eine spätere Regression verfolgt werden kann.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Enabling Large Language Models to Generate Text with Citations.

Beginnen Sie mit einer kleinen Beweissammlung

Wählen Sie eine Kontokohorte, einen kleinen genehmigten Dokumentsatz und eine wiederkehrende Entscheidung. Geben Sie dem Kontoinhaber eine Möglichkeit, Entitäten zu korrigieren und veraltete Beweise zu kennzeichnen. Benötigen Sie eine Quelle für jeden Materialanspruch, bevor Sie Nachrichten aktivieren. Erweitern Sie nach der gleichen Akzeptanz-Rubrike funktioniert auf neuen Accounts.

Der nützliche Output ist ein kurzer Briefing, der das verifizierte Ereignis, seine Quelle, die Geschäftshypothese, die zu validierende Frage und die nächste Aktion enthält. Leser, die eine tiefere Überprüfung benötigen, können die Quelle öffnen; Verkäufer, die ein Gespräch benötigen, können die Frage verwenden.

Für den nächsten Teil dieser Entscheidung lesen Sie KI-Zitate im Marketing: die Aussage hinter dem Link prüfen.

Ihre Next-Action-Checkliste

• Öffentliche Dokumente: Speicherdatum und genaue Passage. Überprüfen Sie die Einschränkung: kann abgestanden oder unvollständig sein.
• CRM-Anmerkungen: Aufzeichnen von Berechtigungen anwenden. Überprüfen Sie die Einschränkung: Der Zugang kann eingeschränkt sein.
• Abgerufen: Überprüfung der materiellen Angaben. Überprüfen Sie die Einschränkung: Generation kann nicht unterstützte Details hinzufügen.
• Ungelöste Frage: Stellen Sie eine begrenzte Entdeckung Frage. Überprüfen Sie die Einschränkung: kann einen Kaufanspruch nicht rechtfertigen.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet