Manuels / lectures sur quoi faire lorsque vous ne pouvez pas créer une expérience idéale?

Ma formation statistique est ancrée dans les statistiques mathématiques, et prendre ces classes de méthodes dans ma SEP est un peu un choc pour le moment; il m'est actuellement difficile de comprendre certaines de ces méthodes "appliquées" car je manque d'expérience dans l'industrie.

L'un des sujets dont nous avons parlé dans mes classes de méthodes est l'idée de la conception expérimentale.

Disons, par exemple, que je veux réaliser une expérience sur l'efficacité d'un programme éducatif qui prétend augmenter les scores aux tests des élèves de la maternelle à la 12e année.

Dans les classes de méthodes, ils ont enseigné ce qui suit pour résoudre un tel problème: assurez-vous d'avoir une bonne question de recherche, une bonne méthode de collecte de données, une expérience randomisée, des groupes de traitement homogènes (c.-à-d. Un traité avec ce programme, un peut-être non) idéalement de taille égale, puis exécutez un test (ou une sorte de test d'hypothèse non paramétrique), et tout est fin et dandy, non?$t$

J'ai peu de foi que c'est ainsi que cela fonctionne dans la réalité.

J'ai appris que, bien sûr, vous pourriez avoir à faire un échantillonnage pratique. Mais à part cela, je n'ai aucune idée de la façon de mettre en œuvre une conception expérimentale autre que ce que j'ai appris d'un manuel.

Y a-t-il des manuels, des lectures, etc. qui explorent ces questions dans la pratique (et idéalement, ne passez pas sous silence les mathématiques - je n'ai pas besoin de preuves détaillées de tout, mais je ne veux pas qu'on me dise que tout est " évident, "par exemple)?

Il y a deux domaines où les expériences randomisées sont presque toujours impossibles: ce sont les sciences sociales et l'économie. Dans ces cas, vous ne pouvez faire que des "quasi-expériences". Essayez de rechercher avec des mots-clés quasi-expériences, études observationnelles et sciences sociales ; vous obtiendrez de bons manuels. Je peux recommander deux excellents livres sur ce sujet: le deuxième livre de Shadish et Cook est un classique:

1. Contrefactuels et inférence causale: méthodes et principes pour la recherche sociale par Morgan et Winship
2. Plans expérimentaux et quasi-expérimentaux pour l'inférence causale généralisée par William R. Shadish et Thomas D. Cook

Un article classique qui utilise une technique appelée "correspondance de score de propension" dans un cadre non expérimental pour l'inférence causale par Dehejia et Wahba est également fortement recommandé.

Recommandations supplémentaires:

1. Conception d'études d'observation par Paul R. Rosenbaum.
2. Inférence causale pour les statistiques, les sciences sociales et biomédicales: une introduction par Imbens et Rubin.

SI vous regardez des quasi-expériences de séries chronologiques, les livres ci-dessus ont des chapitres qui leur sont consacrés, mais un livre dédié est de Gene v.Green Design and Analysis of Time-Series Experiments et je voudrais vérifier son article Interrupted time series .

Anecdote: Gene V Glass a inventé le terme « méta-analyse ».

C'est là que les conceptions quasi expérimentales peuvent être utiles. Dans de nombreuses situations en pratique, les plans expérimentaux ne sont pas pratiques car, bien que vous ayez un traitement, vous ne pouvez pas effectuer d'assignation aléatoire à des groupes ou peut-être n'avez-vous qu'un seul groupe.

Dans votre exemple d'éducation, vous ne pouvez pas contrôler qui reçoit le traitement parce que vous avez l'intention de réaliser l'intervention auprès de tous les enfants d'une école. Cependant, vous pouvez peut-être comparer leurs scores aux scores des années précédentes, ou randomiser les salles de classe afin que certaines classes reçoivent l'intervention avant d'autres, ou comparer plusieurs écoles, y compris celles qui n'ont pas reçu l'intervention.

Il peut être judicieux de faire une conception de séries chronologiques interrompues où vous n'avez qu'un seul groupe, mais de prendre des mesures en permanence et d'administrer le traitement au milieu de la durée de votre étude. De cette façon, vous pouvez voir si la pente de la variable dépendante au fil du temps a changé juste après le traitement, par rapport à la pente globale sur l'ensemble de l'étude. Le nombre de mesures peut être aussi faible que 3, mais mieux c'est.

Donc, ma suggestion est de lire sur les plans d'étude quasi-expérimentaux.

Le traitement le plus complet, le plus général et le plus précis de la causalité est Judea Pearl 2009, "Causality", 2e éd., Cambridge University Press.

Surtout, il est clair que la causalité n'est pas vraiment un problème statistique - même des données illimitées ne le résolvent pas. Il introduit un langage précis pour exprimer les connaissances qualitatives et théoriques nécessaires à l'inférence causale lorsque quelque chose au sujet des données n'est pas optimal. Vous verrez que l'échec de la randomisation n'est qu'un problème parmi tant d'autres. Il englobe également tous les autres cadres mathématiques, par exemple ceux d'Imbens, Rubin et Rosenbaum. Je ne saurais trop souligner à quel point son approche est accessible, élégante et puissante.

Je le recommande fortement. Cependant, vous devez le lire de manière non linéaire (les chapitres 5 et 11 sont plus accessibles, puis vous pouvez revenir en arrière dans les chapitres 1, 3 et 7 pour comprendre la théorie générale).

Une fois que vous avez compris les bases, vous pouvez facilement examiner les avancées les plus récentes, par exemple sur le moment où il est possible de «transporter» les résultats causaux d'un contexte à un autre, ce qui n'est pas nécessairement possible même avec la randomisation (Pearl, Judea et Elias Bareinboim 2014, "Validité externe: du do-calcul à la transportabilité à travers les populations." Science statistique).

C'est peut-être ce que vous cherchez ...

Statistiques pour les expérimentateurs

Conception et analyse d'expériences

Conception et analyse d'expériences avec R (sans rapport avec le titre précédent)

Amélioration des processus à l'aide des données (gratuit en ligne ou au format PDF, le chapitre 5 couvre le DoE)