ABM-Experimente mit wenigen unabhängigen Accounts durchführen

Die Entscheidung

ABM-Programme können viele Berührungen erzeugen, während sie wenige unabhängig zugewiesene Accounts enthalten. Das Zählen von Kontakten oder E-Mail-Sendungen als unabhängige Proben überschätzt die Informationen, wenn die Behandlung einem Account oder einer Familie zugewiesen wird. Ungleicher Transaktionswert und lange Ergebnisverzögerungen erhöhen die Unsicherheit. Ein kleines Experiment kann immer noch eine begrenzte Betriebsentscheidung treffen, aber sein Anspruch muss der Zuordnungseinheit, der Lieferkonsistenz und der erwarteten Präzision entsprechen. Die erste Frage ist, ob die verfügbare Population einen Effekt unterscheiden kann, der groß genug ist, um die beabsichtigte Entscheidung zu ändern.

Bauen Sie den praktischen Ansatz

Wählen Sie eine operative Entscheidung und ein primäres Ergebnis vor dem Start. Identifizieren Sie die unabhängige Zuweisungseinheit unter Verwendung von Kontofamilien, wenn die Behandlung oder Beschaffung geteilt wird. Definieren Sie berechtigte Accounts vor der Zuweisung und zeichnen Sie Basis-Chance-Status, Ebene und relevante frühere Aktivitäten auf. Blockieren Sie die Randomisierung bei einigen wichtigen bereits vorhandenen Faktoren, wenn dies möglich ist, während Sie den Allokationsdatensatz beibehalten. Geben Sie die Behandlung, den gewöhnlichen Vergleichsprozess, die Expositionskriterien, das Folgefenster, Ausschlüsse und die Stoppregel an. Schätzung der erwarteten Präzision unter Verwendung einer vertretbaren Baseline und des kleinsten Effekts, der die Entscheidung ändern würde; keine willkürlich große Verbesserung annehmen, um ein unzureichendes Design zu rechtfertigen. Wenn die Bevölkerung eine nützliche Wirksamkeitsschlussfolgerung nicht unterstützen kann, beschränken Sie die Frage auf die Lieferdurchführbarkeit oder ein näheres operatives Ereignis. Bewahren Sie zugewiesene Accounts in der Primäranalyse, einschließlich Lieferausfällen. Aufzeichnung von Kontamination, parallelen Verkäuferaktionen und verpasster Exposition. Behalten Sie die sekundären Ergebnisse diagnostizieren und dokumentieren Sie sie im Voraus. Lassen Sie einen qualifizierten Analysten eine Schlussfolgerungsmethode wählen, die zu spärlichen Ereignissen, Zuordnungsstrukturen und wiederholten oder geclusterten Beobachtungen passt.

NIST warnt davor, dass die Vertrauensgrenzen für die normale Approximation ungenügend genau sein können, wenn die Stichprobengröße oder die Fehlerzahl gering ist. NIST: Exact binomial confidence limits.

Der praktische Workflow

1. Wählen Sie eine primäre Entscheidung
2. Unabhängige Kontoeinheiten verwenden
3. Planzuweisung und -präzision
4. Gleiszustellung und Spillover
5. Anzahl der Meldungen und Unsicherheit

Vergleichen Sie die Ansätze

Arbeiten Sie sich durch ein illustratives Szenario

Illustratives Szenario: Ein Team testet eine erleichterte Business-Case-Sitzung gegen seine übliche Nachverfolgung. Accounts werden in vergleichbaren Startsegmenten zugewiesen, aber ein strategischer Verkäufer liefert eine ähnliche Sitzung zu einem Vergleichskonto, und ein anderes zugewiesenes Account erhält niemals seine Einladung. Das Team muss entscheiden, ob beide Fälle entfernt werden sollen, um ein saubereres Ergebnis zu erzielen. Es behält sie in der zuweisungsbasierten Analyse, zeichnet Kontamination und Lieferausfall auf und präsentiert expositionsbasierte Beobachtungen separat. Ein richtungsweisender Ergebnisunterschied mit großer Unsicherheit begründet kein universelles Gewinnspiel. Das Team nutzt die Lieferergebnisse, um zu entscheiden, ob eine andere Kohorte die Ausführung und Präzision verbessern würde, bevor das Programm erweitert wird.

Messen Sie, ob die Arbeit nützlich ist

Melden Sie unabhängige Kontoeinheiten, die jeder Gruppe zugeordnet sind, risikogewichtete Einheiten, Ergebniszählungen, ausgereifte Folgezählungen und Basislinienverteilungen. Definieren Sie die binäre Ergebnisrate als Einheiten, die das vorher festgelegte Ereignis innerhalb des Fensters erfüllen, geteilt durch alle zugewiesenen förderfähigen Einheiten, deren Follow-up abgeschlossen ist, unter der angegebenen Behandlung mit fehlendem Ergebnis. Die absolute beobachtete Differenz ist die Behandlungsrate minus Vergleichsrate; sie wird mit einem Unsicherheitsintervall mit einer geeigneten Methode begleitet. Die Einhaltung der Exposition wird Behandlungseinheiten zugewiesen, die die Lieferregel erfüllen, geteilt durch zugeordnete Behandlungseinheiten. Kontamination sind Vergleichseinheiten, die eine behandlungsäquivalente Exposition erhalten, geteilt durch Vergleichseinheiten. Melden Sie Machbarkeitsmaßnahmen separat, wie z. B. den Aufwand der Moderatoren pro gelieferter Sitzung und die akzeptierte Sitzungsrate. Zeigen Sie für Betragsergebnisse individuelle Kontoverteilungen, so dass eine einzelne große Sache nicht innerhalb des Mittelwerts verschwindet.

NIST behandelt randomisierte Blockexperimente als randomisierte Vergleiche, die innerhalb von Blöcken durchgeführt werden, die ausgewählte Störfaktoren berücksichtigen. NIST: Randomized block designs.

Vermeiden Sie die gemeinsamen Fehlerpunkte

Ein winziger prozentualer Unterschied ohne Zählungen und Unsicherheit kann einen zuversichtlichen Gewinner nicht unterstützen. Wiederholtes ungeplantes Peeking, die Auswahl des besten Ergebnisses nach dem Start oder das Entfernen unbequemer Accounts ändert die Interpretation. Keine festgestellte Differenz kann eine unzureichende Präzision anstelle einer Äquivalenz widerspiegeln. Randomisierung löst keine gemeinsame Exposition der Familie oder inkonsistente Behandlung Lieferung. Genaue Intervalle für einen binären Anteil liefern nicht automatisch das geeignete Intervall für einen Zwischengruppeneffekt. Qualitatives Verkäufer-Feedback kann die Ausführung erklären, sollte sich jedoch von der Behandlungsschätzung unterscheiden. Vermeiden Sie es, den Test nur so lange zu verlängern, bis das gewünschte Ergebnis erscheint.

Ihre Next-Action-Checkliste

• Randomisierter Kontotest: Planpräzision und Exposition. Überprüfen Sie die Einschränkung: Kann eine große Unsicherheit haben.
• Abgestimmter Beobachtungspilot: State Limited Inferenz. Überprüfen Sie die Einschränkung: Auswahlunterschiede bleiben bestehen.
• Durchführbarkeitspilot: Testdurchführung und Messung. Überprüfen Sie die Einschränkung: stellt keine Wirksamkeit fest.

Verwenden Sie den Vergleich, um einen begrenzten nächsten Schritt auszuwählen. Notieren Sie die Beweise, den verantwortlichen Eigentümer und die Überprüfungsentscheidung, bevor Sie das Spiel auf zusätzliche Accounts ausdehnen.

Fragen, die dieser Leitfaden beantwortet