Bonne pratique pour l'analyse statistique dans un environnement commercial

(Bien que je réalise que cela ne concerne pas strictement les statistiques, il s'agit de la diffusion de statistiques dans un environnement commercial, j'ai donc supposé que cela se situe toujours dans la gamme de sujets de CV)

Un bref aperçu:

Notre environnement commercial (et je soupçonne d'autres environnements) a une fonction de support spécialisée dans l'analyse statistique et la recherche. Nous travaillons en étroite collaboration avec la Business Intelligence et sommes mandatés par d'autres départements pour réaliser des travaux. En effet, les données, analyses et conclusions ne nous appartiennent pas: nous collectons des données, effectuons des analyses et tirons des conclusions à l'usage du commissaire dans le cadre de son travail.

Ce que je veux faire:

Actuellement, nous appliquons une approche assez laissez-faire. Une personne de la fonction de support est affectée lors de la commande du travail, les données sont collectées (ou extraites, le cas échéant, par la Business Intelligence), analysées et l'ensemble final des conclusions est transmis au commissaire. Cela a été vaguement justifié au motif qu'il n'appartient pas au commissaire de lire l'analyse; c'est notre rôle en tant que fonction de soutien de veiller à ce que nous fournissions la bonne analyse pour les questions / sujets que le commissaire veut explorer.

Je veux invoquer un peu plus de structure sur l'approche à faire

a) notre analyse d'une qualité supérieure;

b) assurer la défendabilité lorsque notre analyse peut conduire à de mauvaises décisions; et fais

c) notre analyse est plus transparente afin que nous ne soyons pas considérés comme une «boîte noire» qui prend des données et crache des résultats.

Mes premières pensées ont été:

1. Produire un document technique avec chaque travail qui justifie l'approche adoptée, les hypothèses formulées, les problèmes rencontrés, les incertitudes qui existent, etc. Bien qu'il ne soit pas nécessairement lu par tout le monde, il doit être utilisé comme un moyen le commissaire les conséquences de l'utilisation des conclusions tirées. Cela transfère une partie du risque là où il semble devoir appartenir: avec le commissaire.

2. Restreignez toutes les analyses à un package tel que Stata, SPSS ou R et exigez qu'un ensemble complet de code soit produit avec le document technique. Nous avons tous l'habitude d'utiliser Microsoft Excel pour certains types d'analyse (mauvaise habitude plus que tout). Cependant, Excel ne favorise pas la reproductibilité facile de l'analyse. Cela permet de défendre la fonction support lorsque notre analyse est remise en cause, crée de la transparence dans notre approche mais facilite également le rôle de (3):

3. Attribuez un réviseur à chaque travail qui doit «contresigner» le travail avant qu'il ne soit envoyé au commissaire. En contresignant, il répartit l'intégrité de l'analyse entre 2 personnes et les encourage à travailler ensemble (2 têtes valent mieux qu'une). Cela devrait améliorer la qualité de l'analyse et fournir également une certaine défensibilité.

Y a-t-il d'autres facettes de bonnes pratiques qui peuvent être appliquées dans un environnement commercial de ce type?

Mon conseil en deux mots ( TL; mode DR ): recherche reproductible .

Pour plus de détails - en grande partie pour ne pas me répéter - permettez-moi de vous référer à mes réponses pertinentes ailleurs sur StackExchange. Ces réponses représentent mes réflexions (et mon expérience) sur les sujets:

• nettoyage des données: /datascience//a/722/2452
• recherche reproductible: /datascience//a/759/2452
• rapports vs tableaux de bord: /datascience//a/907/2452
• workflows d'analyse de données et EDA: /datascience//a/1006/2452
• Big Data et R: /datascience//a/780/2452

Note finale (désolé, si vous le trouvez évident): quel que soit le type de votre environnement commercial (qui n'est pas clair, en passant), je recommanderais de commencer du côté commercial et de créer une architecture d'analyse de données , qui (comme tous liés à l'informatique) doivent être alignés sur l'architecture d'entreprise, notamment les processus métier, les unités organisationnelles, la culture et les personnes. J'espère que cela vous sera utile.

MISE À JOUR: En ce qui concerne la création d'une nouvelle architecture d' amélioration des données ou l'amélioration d'une architecture existante (également appelée architecture de données , dans la terminologie de l' architecture d'entreprise ), j'ai pensé que ces deux ensembles de diapositives de présentation pourraient également être utiles: ceci et cela .

Dans le secteur bancaire, la modélisation doit être conforme aux modèles de directives de gestion des risques, tels que OCC 2011-12 . Je pense que c'est un document intéressant même si vous n'êtes pas dans le secteur bancaire.

MathWorks a cet article sur les normes de modélisation.

Étant donné que la modélisation implique l'écriture de logiciels sous une forme ou une autre, j'utilise des éléments de méthodologie de développement logiciel , en particulier en ce qui concerne les tests et les tests unitaires . J'utilise également des outils de gestion de configuration logicielle tels que SVN. Les équipes de modélisation peuvent apprendre beaucoup des programmeurs en termes de gestion de projets logiciels complexes, tels que les systèmes de suivi des problèmes et les CMS .

L'une des choses les plus importantes est la méthodologie et le processus, le cycle de vie du développement du modèle. Créez des lignes directrices sur la façon de développer les modèles et testez-les, répertoriez les outils standard et testez etc. Par exemple, choisissez un ou deux tests d'adéquation et utilisez-les partout.

Créez des modèles de tout: modèles de scripts, livres blancs, présentations, etc. Par exemple, j'ai les modèles dans LaTeX pour toute la documentation, donc nos livres blancs sont très similaires et tout le monde sait où chercher des informations. Nous avons des sections standard, telles que des statistiques descriptives et des colonnes standard, telles que kurtosis, première et dernière date d'observation, etc.

Ayez le journal de laboratoire. C'est une chose que les chercheurs en sciences dures auraient dû apprendre en doctorat: tenir un journal de toutes les recherches, idées et surtout décisions. Lorsque vous avez décidé d'utiliser ARIMA au lieu de GARCH, enregistrez-le dans le journal de laboratoire et décrivez pourquoi vous avez pris la décision. En fin de compte, les gens ont tendance à oublier la justification des décisions, il est donc important de les enregistrer. Malheureusement, les gens issus des sciences sociales n'ont pas l'habitude de tenir les journaux de laboratoire, c'est un problème.

Un autre aspect des bonnes pratiques est la discipline au stade initial de la mise en service. Cela peut inclure des éléments de base, comme convenir par écrit de ce qui est requis par le commissaire (pour éviter les malentendus et les différends ultérieurs) et clarifier qui, dans l'entreprise, a le pouvoir de commander le travail (une première étape pour s'assurer que la fonction répond aux besoins réels de l'entreprise et non en faisant plaisir à quiconque a une idée lumineuse).

La discipline dans la mise en service devrait également favoriser un dialogue constructif avant de convenir des travaux à entreprendre. Ces commissionnaires peuvent avoir une vague idée de ce dont ils ont besoin mais ont du mal à le formuler avec précision, ou s'ils proposent une formulation précise, ce n'est peut-être pas celle qui correspond le mieux à leurs besoins commerciaux (par exemple, ils peuvent demander une enquête sur les raisons d'une baisse à court terme des ventes, alors que ce qui les intéresse vraiment, ce sont les facteurs à plus long terme qui poussent les ventes). Les statisticiens et les chercheurs peuvent être capables de formuler des questions précises ou des plans de travail, mais moins capables d'identifier ce qui sera utile à l'entreprise. Il y a, je suggère un parallèle avec les bonnes pratiques dans la recherche universitaire qui fait une distinction entre les questions de rechercheidentifier des sujets d'intérêt assez larges et des hypothèses de recherche et des objectifs au sein de ces sujets qui sont suffisamment spécifiques pour conduire à des études de recherche bien définies. Ainsi, il peut être utile de penser que les commissaires génèrent l'équivalent des questions de recherche et que les statisticiens et chercheurs les aident à identifier des programmes de travail plus spécifiques en rapport avec ces questions.

Je pense que vous avez obtenu une partie de votre réponse dans la question - une "bonne structure" est la clé.

Je suis ingénieur et j'ai travaillé dans des rôles qui mettent l'accent sur une application similaire - où vous êtes présenté à des problèmes pour fournir une assistance à l'analyse et à l'amélioration des résultats, mais dans un rôle de conseil plutôt que de mise en œuvre.

Les meilleures approches, que j'ai vues, sont celles qui ne sont pas trop normatives ou trop vagues pour garantir la bonne quantité de preuves que le travail a été fait avec diligence - c'est ce que je pense que vous recherchez.

Six Sigma (qui est un peu un terme sale dans certains endroits où j'ai travaillé) et d'autres méthodologies fournissent un cadre pour aborder, résoudre et intégrer une solution. Parce qu'ils sont basés sur un cadre, ils peuvent être audités. La clé est de s'assurer que tout le monde est formé à la méthodologie ET d'avoir un bon modèle qui est vérifiable.

Par exemple, vous voulez probablement que les solutions soient d'un standard - cela n'est pas défini par le programme utilisé mais plutôt si vous pouvez auditer les étapes d'analyse utilisées à une date ultérieure et être convaincu que la tâche a été accomplie selon un standard. Fournir des jalons - par exemple, les points de contrôle où vous pouvez auditer seront plus faciles que d'essayer d'auditer à la fin du projet.

Pour en revenir à Six Sigma, certaines approches pourraient consister à auditer au stade de la définition, après la mesure et l'analyse, et enfin à la conclusion (après l'amélioration et le contrôle).

Six Sigma n'est certainement pas le meilleur dans toutes les situations, mais je peux le recommander comme point de départ potentiel.