Comment dissuader les laïcs de tirer des conclusions inexactes sur leurs données?

Je travaille en tant qu'analyste de données, principalement en SQL, fournissant des données d'exploitation aux clients internes. Je fais rarement des analyses statistiques.

Récemment, des clients internes sont venus me voir avec des données de projets mal conçus (pas de groupe de contrôle, pas de méthodologie planifiée, etc.) et me demandent de faire une analyse des données sur leurs résultats afin de pouvoir les utiliser pour façonner leurs pratiques commerciales.

Les «études» sont très rudimentaires, exécutées par des personnes sans connaissance des méthodes de recherche ou des statistiques, et tentent d'influencer d'importantes pratiques commerciales. Je ne peux pas faire d'analyse statistique à ce sujet, car il n'a pas été conçu dès le départ.

Quelles ressources pourrais-je leur indiquer pour leur faire savoir que leurs «études» ne peuvent être généralisées au-delà de la population concernée? Quelle langue dois-je utiliser pour cela?

Je souhaite que vous ayez fourni plus de détails dans votre question, mais je vais juste y répondre avec toutes les informations que vous avez fournies.

Je pense qu'il est peu probable qu'ils reviennent en arrière et parcourent réellement les "ressources" que vous suggérez, donc vous pourriez être mieux en lisant vous-même et en essayant de les expliquer avec des exemples. Vous pouvez leur expliquer comment ils auraient pu concevoir l'expérience en premier lieu, peut-être avec un exemple de test A / B (consultez-le sur wikipedia), et comment il est impératif que l'échantillon soit représentatif de la population. Liens: https://en.wikipedia.org/wiki/Design_of_experiments

En outre, la liste de certains pièges possibles pour tirer des conclusions d'expériences statistiquement non fiables devrait les aider à comprendre votre point. Lien: http://www.ch.embnet.org/CoursEMBnet/Arrays06/files/arrays06_ExpDes2.pdf