Uplift und Propensity: Accounts finden, denen eine Maßnahme helfen kann

Zwei Fragen können zu unterschiedlichen Warteschlangen führen

Ein Neigungsmodell fragt, welche Accounts wahrscheinlich ein Ergebnis erzielen werden. Ein Behandlungs-Effekt-Modell fragt, wessen Ergebnis sich aufgrund einer Intervention ändern könnte. Ein Account, das bereits zum Kauf verpflichtet ist, kann eine hohe Neigung und wenig inkrementelle Reaktion auf eine andere Kampagne haben.

Definieren Sie, welche Frage das Programm beantworten muss. Die Kapazitätsplanung erfordert möglicherweise eine Ergebnisprognose. Die Wahl, wo eine teure Intervention hinzugefügt werden soll, erfordert möglicherweise Hinweise auf eine inkrementelle Reaktion. Beschriften Sie ein Konversionsmodell nicht als Auftrieb, da der Begriff fortgeschrittener klingt.

Was das Methodenpapier dazu beiträgt

Künzel und Kollegen 2019 PNAS Papier entwickelt Metallverdiener für die Schätzung der bedingten durchschnittlichen Behandlung Effekte. Es erklärt Ansätze, die überwachte Lernmethoden verwenden, um abzuschätzen, wie sich die Effekte über Kontexte hinweg unterscheiden.

Die Methode erstellt keine kausalen Beweise aus der willkürlichen CRM-Geschichte. Identifikationsannahmen, Behandlungszuweisung, Überlappung und angemessene Beobachtungen sind nach wie vor wichtig. Unsere ABM-Anwendung soll einen glaubwürdigen Vergleich erstellen, bevor Sie Kontofunktionen verwenden, um abzuschätzen, wo eine Intervention nützlicher ist.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Metalearners for estimating heterogeneous treatment effects using machine learning.

Der praktische Workflow

1. Wählen Sie Vorhersage oder Kausaleffekt
2. Behandlung und Baseline angeben
3. Zuordnung und Merkmale bewahren
4. Überlappung und Untergruppengröße prüfen
5. Validieren vor der Aufwandszuweisung

Vergleichen Sie die Ansätze

Definieren Sie die Behandlung und Baseline

Geben Sie genau an, was hinzugefügt wird: ein maßgeschneiderter Workshop, eine zusätzliche Sequenz oder ein koordiniertes Content Play. Halten Sie das Baseline-Programm explizit. Wenn die Intervention mehrere Änderungen kombiniert, schätzt das Experiment die kombinierte Änderung und nicht den separaten Beitrag jeder Komponente.

Bewahren Sie die Zuordnung auf Kontoebene bei, wenn Kontakte dieselbe Käufergruppe beeinflussen können. Andere Verkäuferaktivitäten und Kontolaufzeiten aufzeichnen. Verwenden Sie die vor der Behandlung verfügbaren Funktionen. Eine nach der Intervention aktualisierte Phase der Gelegenheit sollte nicht zu einem Input werden, der vorgibt, die anfängliche Wirkung vorherzusagen.

Lesen Sie eine illustrative Untergruppe sorgfältig

Angenommen, ein fiktionaler randomisierter Pilot schlägt einen größeren Meeting-Rate-Unterschied zwischen Accounts mit einer kürzlichen öffentlichen Erweiterung vor. Bevor Sie dies als Targeting-Regel behandeln, prüfen Sie die Untergruppengröße, ob die Analyse geplant wurde und ob sich das Muster in neuen Daten wiederholt.

Eine kleine Untergruppe mit einem großen scheinbaren Auftrieb kann durch Zufall entstehen. Eine Geschäftserzählung, die das Ergebnis erklärt, beseitigt diese Unsicherheit nicht. Behalten Sie den Befund als Hypothese, bis die Bewertung ihn unterstützt. Suchen Sie nicht wiederholt Segmente, bis man beeindruckend aussieht und melden Sie nur dieses Segment.

Bewahren Sie die kontrafaktischen Beweise

Ghost-Ad-Forschung zeigt, wie sorgfältige Belichtung und Steuerung Design kann die Bewertung der Werbung zu verbessern. Es ist eine plattformspezifische Methode, aber die breitere Lektion für ABM besteht darin, die Zuweisung und die Förderfähigkeit zu erhalten, bevor das Engagement interpretiert wird.

Wenn der einzige Beweis dafür ist, dass engagierte Accounts häufiger konvertiert werden, kann das Ergebnis eher die Auswahl als den inkrementellen Effekt beschreiben. Ein erhebendes Modell, das auf dieser Geschichte aufbaut, kann lernen, wer bereits aktiv war. Überprüfen Sie das kausale Design mit einem qualifizierten Analysten, bevor Sie das Modell verwenden, um einen erheblichen Programmaufwand zuzuweisen.

Die ursprünglichen Methoden und Ergebnisse finden Sie in Ghost Ads: Improving the Economics of Measuring Online Ad Effectiveness.

Wählen Sie bei Bedarf eine einfachere Bewertung

Für ein kleines Unternehmenskontouniversum kann ein klares Experiment und ein interpretierbarer Untergruppenbericht nützlicher sein als ein komplexes Behandlungseffektmodell. Beginnen Sie mit der Entscheidung, die die Probe unterstützen kann. Halten Sie das operative Lernen von unsicheren kommerziellen Schätzungen getrennt.

Verwenden Sie die Neigung für einen benannten Prognose- oder Priorisierungszweck. Verwenden Sie die Behandlung-Effekt-Analyse, wenn ein vertretbarer Vergleich und ausreichende Daten die Frage unterstützen. Überprüfen Sie die Kosten pro inkrementellem akzeptiertem Ergebnis, bevor Sie eine teure Intervention erweitern.

Für den nächsten Teil dieser Entscheidung lesen Sie Werbe-Kontrollgruppen und ABM: den Vergleich erhalten.

Ihre Next-Action-Checkliste

• Neigung: Beschriften Sie das vorhergesagte Ereignis. Überprüfen Sie die Einschränkung: schätzt den Kontakteffekt nicht ab.
• Durchschnittliche Behandlungswirkung: Beginnen Sie mit einem glaubwürdigen Vergleich. Überprüfen Sie die Einschränkung: Kann nützliche Variationen verbergen.
• Bedingte Wirkung: Validieren Sie in neuen Accounts. Überprüfen Sie die Einschränkung: Benötigt mehr Daten und Annahmen.
• Engagement-Korrelation: Vermeiden Sie kausale Formulierungen. Überprüfen Sie die Einschränkung: Auswahl kann es erklären.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet