J'aime cette question parce qu'elle touche à la politique qui existe dans chaque organisation. À mon avis, et dans une large mesure, les attentes concernant les performances du modèle sont fonction de la culture organisationnelle et du degré de compétence technique d'une organisation. Une façon de clarifier ce que je veux dire est de considérer les différences entre les 4 grandes entités de "science des données" - Google, FB, Amazon et Yahoo - par rapport aux 4 grandes entités détenant des agences - WPP, Omnicon, Interbrand et Publicis. Google, et al, sont très compétents sur le plan technique. Les agences, d'autre part, sont connues pour pencher vers la phobie technologique. Quelle est la preuve de cela? Tout d'abord, le groupe possédant des compétences techniques a été fondé ou est dirigé par des ingénieurs, des informaticiens, des geeks et des personnes ayant une solide expérience en technologie. Qui dirige les sociétés d'analphabètes technologiques? Les marketeurs qui ont pris de l'importance grâce à leur communication douce et leurs compétences relationnelles. Et non seulement cela, après avoir travaillé dans certains de ces magasins à New York, je peux témoigner que ces organisations punissent et / ou expulsent systématiquement les types hautement qualifiés techniquement comme ne correspondant pas à la culture. Ensuite, considérons leur capitalisation boursière globale (actions), le groupe des alphabétisés technologiques s'élève à environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? ayant travaillé dans certains de ces magasins à New York, je peux témoigner que ces organisations punissent et / ou repoussent systématiquement les types hautement qualifiés techniquement comme n'étant pas "adaptés" à la culture. Ensuite, considérons leur capitalisation boursière globale (actions), le groupe des alphabétisés technologiques s'élève à environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? ayant travaillé dans certains de ces magasins à New York, je peux témoigner que ces organisations punissent et / ou repoussent systématiquement les types hautement qualifiés techniquement comme n'étant pas "adaptés" à la culture. Ensuite, considérons leur capitalisation boursière globale (actions), le groupe des alphabétisés technologiques s'élève à environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? compte tenu de leurs capitalisations boursières (boursières) globales, le groupe des alphabétisés technologiques totalise environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? compte tenu de leurs capitalisations boursières (boursières) globales, le groupe des alphabétisés technologiques totalise environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci?
Donc, compte tenu de cette percée culturelle et selon l'endroit où vous tombez, vous devriez avoir des attentes plus ou moins réalistes. Bien sûr, différentes entités "analphabètes technologiques" auront des managers qui savent ce qu'ils font, mais pour la plupart, ces entités sont dominées par l'idiotie du plus petit dénominateur commun dans les compétences technologiques, c'est-à-dire des personnes au mieux techniques semi-alphabètes (et dangereux) ou, plus communément, totalement innombrables mais ne le savent pas. Par exemple, j'ai travaillé pour un gars qui voulait des mots comme «corrélation» nettoyés des decks c-suite. C'est un cas extrême: après tout, chaque secrétaire sait ce qu'est une "corrélation".
Cela soulève la question de savoir comment on traite les incroyablement naïfs et les innombrables quand ils posent une question vraiment stupide comme: "Pourquoi n'obtenez-vous pas une précision prédictive de 99%?" Une bonne réponse est de répondre avec une question comme: "Pourquoi supposeriez-vous qu'une telle PA irréaliste est même possible?" Un autre pourrait être, "Parce que si j'avais réellement 99% d'AP, j'aurais supposé que je faisais quelque chose de mal." Ce qui est très probablement vrai, même avec 90% d'AP.
Il y a la question la plus fondamentale de l'insistance sur l'AP comme seul critère de valeur du modèle. Le regretté Leo Breiman a laissé de nombreuses empreintes sur la communauté de modélisation statistique et prédictive dont l'AP fait partie. Sa principale préoccupation avec PA était de répondre aux nombreuses critiques formulées dans les années 90 concernant l'instabilité et l'erreur inhérentes à l'exécution d'un seul arbre CART. Sa solution était de motiver les «forêts aléatoires» comme une méthode approximative et provisoire qui maximiserait la précision et réduirait l'instabilité en éliminant la structure des arbres. Il a comparé le MSE inférieur d'environ 1 000 «mini-modèles» RF itératifs à l'erreur d'un modèle de régression logistique unique. Le seul problème était qu'il n'avait jamais pris la peine de mentionner la comparaison des pommes aux oranges:
Le prix Netflix 2008 a offert une récompense monétaire appréciable à tout statisticien ou équipe capable d'améliorer le MSE de son système de recommandation. À l'époque, Netflix dépensait 150 millions de dollars par an sur ce système, convaincu que les coûts étaient plus que récupérés dans la fidélité des clients et l'achat de films qui autrement n'auraient jamais été choisis. Les gagnants éventuels ont utilisé un ensemble complexe de 107 modèles différents.
Cependant, comme Netflix l'a appris, le vrai problème était que, du point de vue des coûts complets, l'amélioration réelle des erreurs par rapport à leur modèle actuel était une simple réduction de 0,005% des notes de 5 points. Sans oublier que les coûts informatiques en temps, en levage et en maintenance de l'ensemble gagnant de 107 modèles ont plus qu'annulé les gains de la réduction des erreurs. Compte tenu de cela, Netflix a finalement abandonné la poursuite de MSE et aucun autre prix Netflix n'a été décerné
Et c'est le point: minimiser l'erreur prédictive peut être facilement joué ou piraté et est sujet à la fraude d'analyste (c.-à-d., Trouver une solution qui glorifie les compétences de modélisation de l'analyste, impactant positivement son bonus de fin d'année potentiel). De plus, il s'agit d'une solution et d'un objectif entièrement statistiques fixés dans un vide économique et commercial. La mesure fournit peu ou pas de considération des coûts accessoires et collatéraux - les conséquences opérationnelles très réelles évaluées de A à Z qui devraient faire partie intégrante de tout processus de prise de décision basé sur un arbitrage complet.
C'est devenu l'un de ces problèmes qui fait partie intégrante des organisations et qui est très, très difficile à changer. En d'autres termes, je suis pleinement conscient que je penche sur les moulins à vent avec cette diatribe sur les mises en garde avec l'utilisation de PA.