L'évaluation du modèle est une partie importante d'un projet de science des données et c'est exactement cette partie qui quantifie la qualité de votre modèle, son amélioration par rapport à la version précédente. Dans cet article, nous examinons l’AUC Precision-Recall pour la classification, la prédiction numérique, les ensembles de données déséquilibrés et d'autres problèmes d'évaluation de modèle similaires, plus ou moins difficiles.
À quoi sert un modèle de classification ?
La matrice de chauffage et les statistiques de classe résument les performances d'un modèle de classification : la distribution réelle et prévue des classes cibles, la précision de l'affectation dans la classe positive et la capacité à détecter les événements de classe positifs. Cependant, ces statistiques ne tiennent pas compte du coût d'une erreur, c'est-à-dire d'une prédiction dans la mauvaise audience.
L’AUC precision recall est un modèle de classification qui prédit un score de classe positif pour chaque événement dans les données. Par défaut, les événements sont affectés à la classe positive si leur score est supérieur à 0,5, et à la classe négative sinon. Si vous modifiez le seuil de classification, vous modifiez l'affectation à la classe positive et négative. Par conséquent, les valeurs de précision et de profit attendu changent également.
Si la distribution des classes cibles est déséquilibrée, la prédiction correcte des événements dans la classe minoritaire nécessite des performances élevées du modèle, tandis que la prédiction des événements dans la classe majoritaire peut facilement se produire par hasard.
En fin de compte, l'objectif ultime de la classification détermine s'il est logique d'entrer des coûts pour certains types de résultats de classification. Les coûts sont utiles lorsque des prédictions incorrectes dans une classe cible ont des conséquences plus graves que des prédictions incorrectes dans les autres classes.
De la précision du modèle au profit espéré
En plus des statistiques de précision, la performance d'un modèle de classification peut être mesurée par les gains attendus. Le profit est mesuré dans une unité concrète déterminée par le but ultime de la classification.
Lorsque vous utilisez les résultats de la classification dans la pratique, vous attribuez un traitement différent à chaque classe prédite : les passagers criminels sont détenus, les passagers non menaçants sont laissés passer. Les clients à risque n'obtiennent pas de crédit, mais les clients solvables oui. Et ainsi de suite. Les résultats de classement les plus souhaitables rapportent des gains, tels que la sécurité des aéroports ou l'argent gagné par un établissement de crédit.
Similaire
