Langer Kontext: prüfen, welche Informationen das Modell tatsächlich nutzt

Unterscheidung der Fähigkeit von brauchbaren Beweisen

Ein Kontextfenster beschreibt, wie viel Input ein Modell erhalten kann. Es sagt Ihnen nicht, ob das Modell jedes Detail genau verwenden wird. Ein Kontopaket kann Jahresberichte, Verkäuferhinweise, alte Chancen und aktuelle Produktbeschränkungen enthalten. Die Bereitstellung von allem kann es schwieriger machen, zu prüfen, warum eine bestimmte Schlussfolgerung gezogen wurde.

Beginnen Sie mit der Entscheidung, den erforderlichen Beweisen und den Ausschlussregeln. Ein Brief über ein Tochterunternehmen sollte das Unternehmen angeben, bevor es Mutterunternehmensmaterial vorstellt. Ein Account mit einer aktuellen Nicht-Kontaktanweisung sollte diese Einschränkung klar in die Aktionsphase einbringen.

Was die Long-Context-Studie getestet hat

Liu und Kollegen untersuchten Multi-Dokument-Fragebeantwortung und Key-Value-Abruf. Ihr TACL-Papier von 2024 ergab, dass sich die Leistung mit der Position relevanter Informationen änderte, wobei die Mitte in den getesteten Kontexten oft schwieriger zu verwenden war. Dies beschreibt die in dieser Forschung bewerteten Systeme und nicht eine universelle Grenze für jedes spätere Modell.

Unsere Anwendung ist ein einfacher lokaler Test: Verschieben Sie die gleiche wichtige Tatsache zwischen Anfang, Mitte und Ende eines repräsentativen Kontopakets. Halten Sie die Frage und die Modellkonfiguration fest. Vergleichen Sie, was der Output tatsächlich bewahrt.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Lost in the Middle: How Language Models Use Long Contexts.

Der praktische Workflow

1. Nennen Sie die kritische Tatsache
2. Erstellen Sie ein repräsentatives Paket
3. Variieren Sie die Position der Tatsache
4. Vergleich der akzeptierten Aktionen
5. Reduzieren oder Splitten des Kontexts

Vergleichen Sie die Ansätze

Erstellen Sie ein entscheidungsspezifisches Paket

Fügen Sie einen kurzen Kontoausweis, die aktuelle Frage, einige relevante Passagen, deren Daten und genehmigte Produktnachweise hinzu. Halten Sie ungelöste Widersprüche sichtbar. Separate Anweisungen, die von Ihrem Workflow bereitgestellt werden, aus Zitaten, die von externen Seiten abgerufen wurden.

Vermeiden Sie es, jede Quelle in einem unauffindbaren Absatz zusammenzufassen. Ein prägnantes Paket benötigt noch Quellkennungen, damit ein Rezensent die ursprüngliche Passage öffnen kann. Wenn die erforderlichen Beweise fehlen, sollte das Paket dies sagen. Es sollte das Modell nicht auffordern, mit einer wahrscheinlich klingenden Schlussfolgerung zu kompensieren.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks.

Testen Sie einen Ausschluss, nicht nur eine erinnerte Tatsache

In einer fiktiven Expansionskampagne hat die regionale Einheit des Kontos die Öffentlichkeitsarbeit während einer Überprüfung der Beschaffung unterbrochen. Platzieren Sie diese Anweisung in mehreren Positionen unter ansonsten gültigen öffentlichen Expansionsberichten. Bitte den Workflow, die nächste Aktion zu empfehlen. Eine erfolgreiche Antwort sollte die Pause beibehalten und interne Vorbereitung vorschlagen.

Dieser Test ist relevanter als die Frage, ob das Modell das Gründungsjahr eines Unternehmens wiederholt. Geben Sie kritische numerische Einschränkungen, Tochtergesellschaften mit ähnlichen Namen und aktualisierte Entscheidungen an, die ältere Schuldverschreibungen ersetzen. Beurteilen Sie die Aktion, nicht nur, ob die Ausgabe die Einschränkung irgendwo erwähnt.

Diagnose des Fehlerpfades

Wenn eine kritische Passage nicht abgerufen wurde, suchen Sie die Adresssuche oder Indizierung. Wenn es geliefert, aber ignoriert wurde, untersuchen Sie die Paketstruktur und das Modellverhalten. Wenn das Modell es beibehalten hat, aber ein nachgelagertes Tool noch gehandelt hat, untersuchen Sie die Aktionspolitik. Dies sind unterschiedliche Ausfälle mit verschiedenen Eigentümern.

Paketgröße, Dokumentenreihenfolge, Modellversion, Ergebnis und Korrektur aufzeichnen. Wiederholen Sie den Test nach einem Materialmodell oder einer Änderung des Abrufs. Ein bestandener Test auf einem sorgfältig geordneten Paket kann keine Zuverlässigkeit in einer anderen Sammlung feststellen.

Wählen Sie einen kompakten Produktionsstandard

Bevorzugen Sie das kleinste Beweispaket, das die Frage beantwortet, während Sie relevante Ausnahmen beibehalten. Lassen Sie den Workflow mehr Material abrufen, wenn eine benannte Lücke angezeigt wird. Halten Sie wichtige Handlungseinschränkungen in der Software durchgesetzt, anstatt nur von ihrer Prominenz in der Prosa abhängig zu sein.

Verwenden Sie den Positionstest, um zu entscheiden, ob ein größeres Paket hilft. Wenn es Zeit hinzufügt und Einschränkungen verfehlt, teilen Sie die Aufgabe in Abruf, Anspruchsprüfung und Erstellung auf. Das Ziel ist eine akzeptierte Kontoentscheidung mit einer nachvollziehbaren Grundlage, anstatt maximales Dokumentenvolumen.

Für den nächsten Teil dieser Entscheidung lesen Sie ABM-Agenten mit Werkzeugen: einen begrenzten Rechercheablauf gestalten.

Ihre Next-Action-Checkliste

• Großpackung: Prüfpositionsempfindlichkeit. Überprüfen Sie die Einschränkung: kann relevante Einschränkungen verschleiern.
• Fokussiertes Paket: Liste ungelöste Fragen auf. Überprüfen Sie die Einschränkung: Möglicherweise fehlen die erforderlichen Beweise.
• Stufenweiser Abruf: Log Retrieval und Selektion. Überprüfen Sie die Einschränkung: fügt Workflow-Komplexität hinzu.
• Software-Einschränkung: Erzwingen Sie vor jeder Aktion. Überprüfen Sie die Einschränkung: braucht Politik beibehalten.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet