LA PENSION
Un score de classement et une probabilité calibrée servent des objectifs différents. Définissez l’événement et la période, puis comparez les probabilités prédites aux résultats observés plus tard.
La décision que ce guide vous aide à prendre
Comment les ventes peuvent-elles indiquer si un score de compte représente une probabilité réelle?
Vous partirez avec : Un examen de calibrage qui sépare les décisions de classement, de probabilité et de routage.
Commencez ici : Définissez score par rapport à probabilité.
Télécharger ce guide Fiche de décisionNommer ce que représente le score
Un pointage de compte peut combiner ajustement, activité et réactivité pour commander une file d'attente. Cela ne fait pas un score de 80 une chance de 80% d'une réunion. Une probabilité nécessite un événement défini, une population et une fenêtre d'observation.
Commencez par demander si le score est destiné au classement ou à la prévision. Un vendeur ayant une capacité de vingt comptes peut avoir besoin d'une commande utile. Une capacité de planification d'équipe peut nécessiter une estimation fiable du nombre de résultats qualifiés à prévoir. Évitez d'utiliser le même numéro non marqué pour les deux tâches.
Ce que la recherche d'étalonnage a trouvé
Guo et ses collègues ont étudié l'étalonnage de la confiance dans les réseaux neuronaux à l'aide d'ensembles de données de classification des images et des documents. Leur document de 2017 du CIML a révélé que la confiance prédite pourrait différer de l'exactitude réelle et a évalué les approches post-traitement, y compris l'échelle de température.
La recherche ne valide pas un modèle particulier de GAB. Notre application est de vérifier si un modèle de confiance numérique correspond aux résultats de compte observés. Un modèle peut classer les comptes de façon raisonnable tout en surstatant la probabilité attribuée à son groupe supérieur.
Consultez les méthodes et les résultats originaux dans On Calibration of Modern Neural Networks.
Le flux de travail pratique
- Définir le score par rapport à la probabilité
- Spécifier le résultat et la fenêtre
- Congeler les fonctionnalités avant le résultat
- Bandes de révision et classement
- Surveiller les cohortes ultérieures
Comparer les approches
| Approche | Utile quand | Limitation | Action suivante |
|---|---|---|---|
| Classement | Commande d'une file d'attente de travail | N'implique pas de probabilité | Évaluer à la capacité disponible |
| Probabilité calibrée | Planification des résultats escomptés | Selon l'événement et la population | Comparer les bandes avec les résultats ultérieurs |
| Seuil | Attribution des actions | Capacités et coûts | Documenter la règle de routage |
| Dépassement | Le contexte du compte modifie la décision | Peut introduire la sélection | Enregistrer la raison et le résultat |
Définir la cohorte d'événement et d'évaluation
Choisissez un événement, comme une réunion qualifiée à laquelle vous assisterez dans une fenêtre indiquée. Écrire les critères de qualification et les exclusions avant l'évaluation. Utilisez une cohorte plus tard pour la validation, en préservant l'état du compte qui existait lorsque la prédiction a été faite.
Ne pas inclure les futures notes de vendeur ou les étapes d'opportunité dans les caractéristiques originales. Ces champs peuvent échapper au résultat dans le prédicteur. Suivre les comptes dont la fenêtre d'observation est incomplète séparément, plutôt que de les classer prématurément comme des conversions ratées.
Inspecter une bande de probabilité illustrative
Supposons qu'un modèle fictif attribue trente comptes à une probabilité moyenne prévue de 0,8. Si seulement douze atteignent l'événement défini après la fenêtre complète, le taux observé est de 0,4. Cet exemple suggère un problème d'étalonnage dans cette bande, mais trente comptes sont un échantillon limité.
Examiner plusieurs bandes et en indiquer la taille. Vérifier si la population a changé ou si la définition de résultat a été appliquée de façon incohérente. Si le score n'a jamais été conçu comme une probabilité, supprimer l'interprétation du pourcentage et évaluer le classement à la capacité réelle de l'équipe.
Classement des rapports parallèlement à la fiabilité
La recherche de précision-rappel aide à expliquer pourquoi les prédictions positives utiles comptent lorsque les résultats sont peu fréquents. Pour les ventes, vérifier combien de résultats pertinents apparaissent parmi les comptes que l'équipe peut réellement travailler. Gardez la prévalence de l'événement avec ce rapport.
L'étalonnage, le classement et la valeur de fonctionnement sont des dimensions différentes. Un modèle étalonné peut offrir peu de valeur de priorisation si chaque compte obtient la même probabilité. Un classement fort peut encore nécessiter un recalibrage avant d'informer les prévisions de capacité.
Consultez les méthodes et les résultats originaux dans The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets.
Utiliser les scores comme entrées de routage inspectables
Montrez la raison de la priorité, les signaux d'appui et les questions non résolues. Fixer des seuils en fonction de la capacité et du coût de l'absence ou de la hiérarchisation incorrecte d'un compte. Records les remplace avec des raisons pour qu'ils puissent être étudiés.
Revérifier l'étalonnage sur les cohortes ultérieures et après les changements importants dans les canaux, la qualification ou la combinaison de comptes. La route est inachevée ou des preuves incomplètes à la recherche au lieu de laisser un score numérique impressionnant le cacher.
Votre prochaine liste de contrôle
- Classement : Évaluer à la capacité disponible. Vérifier la limitation: n'implique pas de probabilité.
- Probabilité calibrée: Comparer les bandes avec les résultats ultérieurs. Vérifier la limite : dépend de l'événement et de la population.
- Seuil: Documenter la règle de routage. Vérifiez la limitation: la capacité et les coûts comptent.
- Dépassement : Enregistrez la raison et le résultat. Vérifiez la limitation : peut introduire la sélection.
Utilisez la comparaison pour choisir une étape suivante délimitée. Consigner la preuve, le propriétaire responsable et la décision de révision avant d'étendre le jeu à des comptes supplémentaires.
Comment interpréter les sources
Lisez chaque référence en regard de la revendication qu'elle soutient. La documentation de la plate-forme décrit les capacités; les cas publics rapportent l'expérience d'un éditeur; les résultats de la recherche s'appliquent à la tâche étudiée et à la population. Le workflow de ce guide est une proposition opérationnelle à évaluer dans votre propre contexte de compte.
Inspecter la bibliothèque de recherche et relier ce guide aux opérations de mesure et de revenus.
Les questions auxquelles ce guide répond
Comment les ventes peuvent-elles indiquer si un score de compte représente une probabilité réelle?
Un score de classement et une probabilité calibrée servent des objectifs différents. Définissez l’événement et la période, puis comparez les probabilités prédites aux résultats observés plus tard.
Par quoi commencer ?
Définissez score par rapport à probabilité. Consigner les éléments de preuve et les critères d'acceptation avant de poursuivre. Utilisez la feuille de travail de décision pour documenter le propriétaire, la date d'examen et la prochaine mesure.
Lisez la recherche originale
Le guide explique les constatations ci-dessus. Ouvrir une publication pour inspecter ses méthodes, son établissement et ses qualifications.
On Calibration of Modern Neural Networks. Ces ensembles de données ne valident pas un modèle de propension ABM particulier.
The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. La précision dépend de la prévalence; les comparaisons nécessitent la même population d'évaluation.
Relier ce guide à la prochaine décision
Conversions rares : évaluer la file de comptes réellement exploitable — Pourquoi une précision élevée de prédiction peut - elle encore produire une mauvaise file d'attente?
Concevoir un score d’intention qui explique les priorités — Comment un score de compte peut-il aider à répartir le travail sans prétendre prédire un achat?
Expliquer la maturité d’un compte avec une grille d’engagement — Comment une carte de pointage d'engagement de compte peut-elle prioriser l'action utile sans égaler l'activité répétée avec l'état de préparation à l'achat?
METTRE LE TEMPS EN PRATIQUE
Commencez par les priorités de votre compte.
Comparer la focalisation des comptes, la personnalisation, les produits livrables et la mesure.
Découvrir Momentum