Quel est le meilleur manuel d'introduction à la statistique bayésienne?


192

Quel est le meilleur manuel d'introduction aux statistiques bayésiennes?

Un livre par réponse, s'il vous plaît.


36
Dans les réponses, veuillez expliquer pourquoi vous recommandez un livre comme "le meilleur".
whuber

3
Comment peut-il y avoir plus d'une réponse à une question posée ainsi?
naught101

7
C'est un vieux fil maintenant, mais je suis revenu à +1 un nouveau livre "Repenser la statistique. Et en cherchant les réponses les plus importantes dans le fil, je pense qu'une distinction clé n'a pas été faite:" introductif "pour qui? Un premier cours de statistique (avec une approche bayésienne), une introduction aux méthodes bayésiennes pour les cours de statistiques de base de premier cycle (non bayésien) ou une introduction à la statistique bayésienne pour un praticien de la statistique non bayésienne qui a finalement Nous avons été persuadés que cette affaire bayésienne n'était pas une mode, des introductions très différentes.
Wayne,

Réponses:


79

Au milieu de 2011, John Kruschke a publié un livre intitulé Doing Bayesian Data Analysis: un didacticiel avec R et BUGS . (Une deuxième édition est sortie en novembre 2014: Doing Bayesian Data Analysis, Deuxième édition: didacticiel avec R, JAGS et Stan .) C'est vraiment une introduction. Cependant, si vous voulez vous rendre des statistiques fréquentistes à Bayes, en particulier avec la modélisation à plusieurs niveaux, je vous recommande Gelman et Hill.

John Kruschke a également un site Web pour le livre qui contient tous les exemples du livre dans BUGS and JAGS. Son blog sur les statistiques bayésiennes est également lié au livre.


La suggestion de @ Amir est une copie de ceci. (Le titre complet du livre est "Réalisation d'une analyse bayésienne des données: un didacticiel avec R et BOGUES".) En tant que véritable livre d'introduction, je me suis plus un.
Wayne

mis à jour le titre et ajouté quelques liens connexes.
Jeromy Anglim

4
Je vote aussi pour le livre de Kruschke. J'ai parcouru la plupart des livres énumérés dans les réponses et c'est celui que j'ai trouvé le plus clair. OMI, c'est le livre de statistiques le plus clair que j'ai lu. Il est très utile que le code R soit disponible pour faire correspondre les formules avec le code. L'auteur commence avec des exemples très simples et les construit. Très peu de fond est nécessaire. Tous les commentaires sur Amazon sont très favorables. Le livre de Hoff est mon deuxième favori.
Julieth

Haha, j'aime bien la couverture du livre: "Pourquoi les chiots heureux? (Comme si les chiots heureux avaient besoin d'une justification!)"
Zhubarb Le

Mon vote va également au livre 2010 de Kruschke. En essayant d'apprendre les statistiques bayésiennes, j'ai essayé plusieurs d'entre elles, et celle-ci a frappé. Dur.
Patrick Coulombe

55

Mon préféré est "Bayesian Data Analysis" de Gelman, et al.


28
Il s’agit d’un livre d’introduction pour les personnes qui possèdent déjà suffisamment de connaissances statistiques.
John Salvatier

38
J'ai commencé un doctorat en statistique il y a 9 mois et, pour être honnête, le BDA de Gelman est toujours au dessus de moi, je ne l'appellerais donc pas un texte d'introduction!
Sean

5
-1, car selon plusieurs commentaires et autres réponses, ceci n'est pas une introduction.
naught101

6
@ naught101 donc vous downvote sans connaître le livre?
conjectures

5
Les quatre ou cinq premiers chapitres sont véritablement introductifs! ainsi appartient ici.
kjetil b halvorsen le

33

Statistique Repenser , a été publié il y a quelques semaines à peine et par conséquent, je le lis toujours, mais je pense que c'est un ajout très agréable et frais aux livres vraiment d'introduction sur la statistique bayésienne. L'auteur utilise une approche similaire à celle utilisée par John Kruschke dans ses livres pour chiots ; Explications très verbeuses, détaillées, exemples pédagogiques intéressants, il utilise également une approche informatique plutôt que mathématique.

Les conférences sur Youtube et d'autres documents sont également disponibles ici .

Code porté en Python / PyMC3


4
+1 J'écoute à travers les conférences maintenant. Il est très amusant et a une bonne approche. Le livre est excellent et vous emmène des bases aux modèles hiérarchiques. Cela suppose seulement que le lecteur est un peu scientifique, a une connaissance raisonnable des mathématiques (sans compter le calcul) et a entendu parler de statistiques. C'est le livre que j'aurais aimé avoir. L’ordre dans lequel il présente les choses et son système d’aides est brillant.
Wayne

1
J'ai heurté un mur en essayant de parcourir le livre de Kruschke dans lequel il commençait à faire de grands sauts dans la logique que je ne pouvais tout simplement pas suivre. Heureusement, je suis tombé sur Statistique Repenser, qui est le seul livre que j'ai trouvé à ce jour qui vous donne une compréhension véritablement intuitive du sujet.
Brideau

Après avoir parcouru le fil, j’ai essayé de lire le premier chapitre de ce livre, et j’ai trouvé cela très difficile en tant que non-anglophone et non scientifique . Je devais d’abord passer par des mots comme épistémologie , idiosyncrasique , puis il y avait de longues phrases, que je devais lire deux fois / trois fois pour comprendre littéralement ce qu’elles parlaient (oubliez la conclusion de ces phrases). Ensuite, le tout premier exemple concerne l’évolution naturelle, ce qui m’a semblé grec: nombre de sites, nombre d’allèles, neutralité . Le livre pourrait être facile pour beaucoup, mais pour beaucoup
Gaurav Singhal

30

Un autre vote pour Gelman et al., Mais une seconde proche pour moi - étant de la persuasion de l'apprentissage par la pratique - est le "Bayesian Computation with R" de Jim Albert .


5
Fortement d'accord. Les deux grands livres. Commencez par le calcul bayésien avec R, puis obtenez Gelman et al.
PeterR

26

Sivia and Skilling, Analyse des données: un didacticiel bayésien (2ed) 2006 246p 0198568320 books.goo :

Les conférences de statistiques ont été une source de grande confusion et de frustration pour des générations d’étudiants. Ce livre tente de remédier à la situation en exposant une approche logique et unifiée de l’ensemble du sujet de l’analyse des données. Ce texte est destiné à servir de guide pour les étudiants de premier cycle et les étudiants en recherche en sciences et en génie ...

Je ne connais pas les autres recommandations cependant.


3
Ce livre est excellent. C'est court et pratique.
John Salvatier

2
Je pense que c'est un texte d' introduction bien meilleur que Gelman.
Sean

21

Pour une introduction, je recommanderais la programmation probabiliste et les méthodes bayésiennes pour les pirates informatiques de Cam Davidson-Pilon, disponible gratuitement en ligne.

De sa description:

Une introduction aux méthodes bayésiennes et à la programmation probabiliste d'un point de vue calcul / compréhension d'abord, mathématiques ensuite.

Il est très visuel, coupe droit à la valeur et compense les détails, plus tard, a de nombreux exemples, a un code interactif (dans IPython Notebook).


4
Je pensais que ce livre en ligne était difficile à suivre / mal écrit.
captain_ahab

2
Je pense que le livre va bien.
SmallChess

1
Je pense que ce livre est une introduction fantastique pour que les programmeurs aient une première expérience fantastique avec les statistiques bayésiennes
SARose

19

Je recommande vivement la polémique divertissante "Théorie des probabilités: la logique de la science" de ET Jaynes.

Il s’agit d’un texte d’introduction dans le sens où il n’est pas nécessaire (et préfère en fait) de ne pas avoir une connaissance préalable de la statistique, mais il utilise finalement des mathématiques assez sophistiquées. Comparé à la plupart des autres réponses fournies, ce livre n’est pas aussi pratique ni aussi facile à digérer, il fournit plutôt le fondement philosophique de la raison pour laquelle vous voudriez employer des méthodes bayésiennes et pourquoi ne pas utiliser des approches fréquentistes. C'est une introduction d'une manière historique et philosophique, mais pas pédagogique.


8
C'est un livre brillant sur la pensée bayésienne plutôt que d'appliquer les méthodes bayésiennes. Je pense que c'est un bon texte d'accompagnement pour quelque chose qui va plus loin dans la façon de faire les calculs bayésiens
probabilityislogic

3
C'est une bonne façon de le dire. Je pense que Sivia and Skilling est un texte d'accompagnement idéal pour introduire les méthodes dans la pratique (ce qui a déjà été suggéré dans une autre réponse).
Bogdanovist

2
Divertissement, polémique et original, certes, mais ce n’est certainement pas un livre d’introduction.
Xi'an

19

Je suis un ingénieur électricien et non un statisticien. J'ai passé beaucoup de temps à passer par Gelman, mais je ne pense pas que l'on puisse parler de Gelman d'introduction. Mon professeur guru bayésien de Carnegie Mellon est d'accord avec moi sur ce point. avoir le minimum de connaissances en statistiques et en R et bogues (moyen facile de faire quelque chose avec la statistique bayésienne) Analyse en bayésienne des données: un tutoriel avec R et BOGU est un début incroyable. Vous pouvez comparer tous les livres proposés facilement par leur couverture de livre!

Mise à jour 5 ans plus tard: je voudrais ajouter que peut-être un autre moyen important d’apprendre rapidement (40 minutes) est de consulter la documentation d’un outil basé sur une interface graphique Bayesian, tel que Netica 2 . Il commence par les bases, vous explique les étapes de la création d’un réseau basé sur une situation et des données, et vous explique comment poser vos propres questions pour "l’obtenir!".


1
Ceci est une copie de la réponse de @ rosser ci-dessus. En tant que véritable livre d'introduction, j'ai +1 chacun.
Wayne

16

Son objectif n'est pas strictement basé sur les statistiques bayésiennes, il manque donc une certaine méthodologie, mais les algorithmes de théorie de l'information, d'inférence et d'apprentissage de David MacKay m'ont permis de saisir intuitivement les statistiques bayésiennes mieux que les autres. mieux.


6
Et il est disponible en téléchargement gratuit sur la page des auteurs: inference.phy.cam.ac.uk/mackay/itila/book.html
PeterR

5
Comme Sivia, c’est très bien si vous avez des connaissances en physique et peut être rude sinon. Ce n'est pas un bon guide pour toutes les statistiques sociales appliquées (pour cette utilisation, Gelman et Hill, ou Gelman et al. Ci-dessus), mais vraiment un excellent moyen de vous inciter à réellement réfléchir aux problèmes fondamentaux.
conjugateprior

16

Les livres de Gelman sont tous excellents, mais pas nécessairement introductifs, car ils supposent que vous connaissez déjà certaines statistiques. Par conséquent, ils constituent une introduction à la méthode bayésienne de statistique plutôt qu’à la statistique en général. Je leur donnerais quand même le pouce, cependant.

En tant que livre d'introduction aux statistiques et à l'économétrie qui adopte une perspective bayésienne, je recommanderais l'économétrie bayésienne de Gary Koop .


15

" Noyau bayésien: une approche pratique des statistiques computationnelles bayésiennes " de Marin et Robert, Springer-Verlag (2007).

"Pourquoi?": L'auteur explique le pourquoi du choix bayésien et le comment très bien. C'est un livre pratique, mais écrit par l'un des meilleurs penseurs bayésiens du monde. Ce n'est pas exhaustif. D'autres livres ont cet objectif. Il aborde quelques sujets pertinents, utiles et éclairant les fondements.

À propos du "choix": si vous voulez vraiment vous plonger dans les fondations bayésiennes, Xi'an '"Le choix bayésien" est clair, profond, essentiel.


7
@ Xi'an et Gappy, expliquez pourquoi ce livre peut être recommandé. Pour qui convient-il? En quel sens est-il "meilleur"?
whuber

4
Je ne veux pas tomber dans l'auto-promotion. Bayesian Core est une entrée autonome dans l'inférence bayésienne pour les modèles les plus courants et les méthodes de calcul (codes R fournis). Cela nécessite quelques connaissances en théorie des probabilités, ce qui est peut-être trop pour certains lecteurs ... (Cela fonctionne bien avec nos étudiants de 4ème et 5ème années en France.)
Xi'an le

14

Mon premier texte de premier cycle préféré pour les statistiques bayésiennes est de Bolstad, Introduction to Bayesian Statistics . Si vous recherchez quelque chose de niveau universitaire, ce sera trop élémentaire, mais pour quelqu'un de novice en statistiques, c'est l'idéal.


13

Je ne sais pas pourquoi personne n'a mentionné le livre très introductif sur le bayésien:

entrez la description de l'image ici

Il existe une version PDF gratuite pour le livre. Le livre offre assez de matériel pour quiconque a très peu d'expérience en bayésien. Il introduit le concept de distribution préalable, distribution postérieure, distribution bêta, etc.

Essayez, c'est gratuit.

http://greenteapress.com/thinkbayes/






9

Jetez un oeil à "Le choix bayésien" . Il contient le package complet: fondations, applications et calcul. Clairement écrit.


Ce ne serait pas seulement un «bayésien», mais plutôt un «excellent choix» si le manuel de la solution était disponible pour l'auto-étude. Il semble que cela soit uniquement destiné à une utilisation universitaire ...
gwr

9

J'ai au moins jeté un coup d'œil à la plupart de ceux-ci sur cette liste et aucun n'est aussi bon que le nouveau Bayesian Ideas and Data Analysis à mon avis.

Edit: Il est facile de commencer immédiatement l’analyse bayésienne en lisant ce livre. Ne modélisez pas simplement la moyenne à partir d'une distribution normale avec une variance connue, mais analysez les données réelles après les deux premiers chapitres. Tous les exemples de code et les données se trouvent sur le site Web du livre. Couvre une quantité décente de théorie mais l’accent est mis sur les applications. Beaucoup d'exemples sur un large éventail de modèles. Beau chapitre sur les non paramétriques bayésiennes. Winbugs, exemples R et SAS. Je le préfère à l'analyse bayésienne des données (j'ai les deux). La plupart des livres ici (Gelman, Robert, ...) ne sont pas des introductions à mon avis et à moins que vous n'ayez quelqu'un avec qui vous parler, il restera probablement plus de questions que de réponses. Le livre d'Albert ne couvre pas suffisamment de matériel pour se sentir à l'aise d'analyser des données différentes de ce qui est présenté dans le livre (encore une fois, selon moi).


2
"Bien" dans quel sens?
whuber

Bon point. Bon comme dans le meilleur manuel d'introduction bayésien. Je pense que cela est "meilleur" que l'analyse bayésienne de données avec R par Albert et moi avons trouvé l'analyse de données bayésienne de Gelman et al. ne pas suffire en introduction. Après avoir appris certains documents bayésiens, c’est une bonne référence.
Glen



7

Je dois simplement inclure MCMC dans la pratique . Il fournit une excellente introduction à MCMC, peut-être pas aussi générale que d'autres ouvrages mentionnés, mais excellent pour gagner en perspicacité et en intuition. Je recommande la lecture après (ou en parallèle avec) Calcul bayesien avec R .


Mcmc ne devrait pas faire l’objet d’une introduction à la statistique bayésienne, à mon avis. Je pense que l'échantillonnage de rejet est plus attrayant pour comprendre le fonctionnement de l'apprentissage bayésien. De plus, les moindres carrés sont bayésiens (comme leur maximum), ce qui représente également une introduction plus douce à la statistique bayésienne, par rapport à mcmc.
Probistislogic

2
Mon point de vue est que mcmc devrait être évité et utilisé en dernier recours - cela prend simplement trop de temps dans la plupart des cas (même si je traite avec des ensembles de données volumineuses où tout est essentiellement mle). MMCC est un "marteau de traîneau" dans une certaine mesure. Aussi mcmc est un algorithme d'intégration numérique. Ni plus ni moins. Il devrait recevoir le même traitement d’introduction que d’autres algorithmes, tels que la méthode de Laplace et le quadratre. Sinon, les gens développeront une vision étroite de ce que sont les "statistiques bayésiennes".
probabilitéislogique

6

Si vous venez des sciences physiques (physique / astronomie), je vous recommanderais l’analyse bayésienne de données logiques pour les sciences physiques: approche comparative avec le support de Mathematica® par Gregory (2006).

Bien que la partie du titre intitulée «with Mathematica® Support» (Support avec Mathematica®) soit réservée aux problèmes commerciaux (les utilisations du code Mathematica sont très médiocres), l’avantage de ce livre est qu’il s’agit vraiment d’une introduction au sujet des probabilités et des statistiques. Il y a même des chapitres sur les statistiques fréquentistes. Cependant, une fois que vous avez essayé, optez pour le livre de Gelman et. al que beaucoup de gens vous ont recommandé. La plupart des documents du livre de Gregory sont pris à la légère (sinon, ce ne serait pas une introduction): le livre de Gelman a été un véritable réveil de celui de Gregory pour moi.


Le livre de Phil Gregory est une très bonne introduction, un peu comme l’introduction de Bolstad pour les personnes ayant une formation avancée en mathématiques. Vous trouverez plus de ressources sur le site Web de Phil Gregory et vous trouverez également un supplément qui traite des modèles hiérarchiques et du traitement des données manquantes.
gwr

6

Je lis:

Gelman et al. (2013). Analyse bayésienne des données. CRC Press LLC. 3ème éd.

Hoff, Peter D (2009). Un premier cours de méthodes statistiques bayésiennes. Textes Springer dans les statistiques.

Kruschke, Analyse Bayesian de données: Un tutoriel avec R et Bugs, 2011. Academic Press / Elsevier.

et je pense que le meilleur pour commencer est le livre de Kruschke. C'est parfait pour une première approche de la pensée bayésienne: les concepts sont expliqués très clairement, il n'y a pas trop de mathématiques, et il y a plein de beaux exemples!

Gelman et al. est un excellent livre, mais il est plus avancé et je suggère de le lire après celui de Kruschke.

Inversement, je n’ai pas aimé le livre de Hoff, car c’est un livre d’introduction, mais les concepts (et la pensée bayésienne) ne sont pas expliqués clairement. Je suggère de passer.


6

Si je devais choisir un seul texte pour un débutant, ce serait

              Sivia DS and Skilling J (2006) book (see below). 

Parmi tous les livres énumérés ci-dessous, il s’efforce le plus de donner une compréhension intuitive des idées essentielles, mais il nécessite tout de même une certaine sophistication mathématique à partir de la page 1.

Vous trouverez ci-dessous une liste de lectures supplémentaires de mon livre, accompagnées de commentaires sur chaque publication.

Bernardo, JM et Smith, A, (2000) 4. Théorie bayésienne Récit rigoureux des méthodes bayésiennes, avec de nombreux exemples concrets.

Bishop, C (2006) 5. Pattern Recognition et Machine Learning. Comme le titre l'indique, il s'agit principalement de l'apprentissage automatique, mais il fournit un compte rendu lucide et complet des méthodes bayésiennes.

Cowan G (1998) 6. Analyse de données statistiques. Une excellente introduction non bayésienne à l'analyse statistique.

Dienes, Z (2008) 8. Comprendre la psychologie en tant que science: Introduction à l'inférence scientifique et statistique. Fournit du matériel didactique sur la règle de Bayes et une analyse lucide de la distinction entre statistiques bayésiennes et fréquentistes.

Gelman A, Carlin J, Stern H et Rubin D. (2003) 14. Analyse bayésienne des données. Un compte rendu rigoureux et complet de l'analyse bayésienne, avec de nombreux exemples concrets.

Jaynes E et Bretthorst G (2003) 18. Théorie des probabilités: la logique de la science. Le classique moderne de l'analyse bayésienne. C'est complet et sage. Son style discursif le rend long (600 pages) mais jamais ennuyeux, et il regorge de connaissances.

Khan, S, 2012, Introduction au théorème de Bayes. Les vidéos de mathématiques en ligne de Salman Khan constituent une bonne introduction à divers sujets, y compris la règle de Bayes.

Lee PM (2004) 27. Statistiques bayésiennes: une introduction. Un texte rigoureux et complet avec un style bayésien strident.

MacKay DJC (2003) 28. Théorie de l'information, inférence et algorithmes d'apprentissage. Le classique moderne sur la théorie de l'information. Un texte très lisible qui couvre de nombreux sujets, qui utilisent presque tous la règle de Bayes.

Migon, HS et Gamerman, D (1999) 30. Inférence statistique: une approche intégrée. Un compte-rendu simple (et clairement défini) de l'inférence, qui compare les approches bayésienne et non bayésienne. Bien qu’il soit assez avancé, le style d’écriture est de type tutoriel.

Pierce JR (1980) 34 2e édition. Une introduction à la théorie de l'information: symboles, signaux et bruit. Pierce écrit avec un style d'écriture informel et didactique, mais ne manque pas de présenter les théorèmes fondamentaux de la théorie de l'information.

Reza, FM (1961) 35. Une introduction à la théorie de l'information. Un livre plus complet et mathématiquement plus rigoureux que le livre de Pierce ci-dessus, et ne devrait idéalement être lu qu'après la première lecture du texte plus informel de Pierce.

Sivia DS et Skilling J (2006) 38. Analyse de données: un didacticiel bayésien. Ceci est une excellente introduction de style tutoriel aux méthodes bayésiennes.

Spiegelhalter, D et Rice, K (2009) 36. Statistiques bayésiennes. Scholarpedia, 4 (8): 5230. http://www.scholarpedia.org/article/Bayesian_statistics Un résumé fiable et complet de l'état actuel des statistiques bayésiennes.

Et, voici mon livre, publié en juin 2013.

La règle de Bayes: introduction à l'analyse bayésienne, Dr James V Stone, ISBN 978-0956372840

Le chapitre 1 peut être téléchargé à partir de: http://jim-stone.staff.shef.ac.uk/BookBayes2012/BayesRuleBookMain.html

Description: Découverte par un mathématicien et prédicateur du XVIIIe siècle, la règle de Bayes est une pierre angulaire de la théorie des probabilités moderne. Dans ce livre richement illustré, une série d'exemples accessibles sont utilisés pour montrer que la règle de Bayes est en réalité une conséquence naturelle du raisonnement de bon sens. La règle de Bayes est dérivée à l'aide de représentations graphiques intuitives de probabilité, et l'analyse bayésienne est appliquée à l'estimation de paramètres à l'aide des programmes MatLab fournis. Le style d'écriture didactique, combiné à un glossaire complet, en fait un guide idéal pour le novice qui souhaite se familiariser avec les principes de base de l'analyse bayésienne.

entrez la description de l'image ici


4

Ce n'est pas strictement statistique bayésienne en tant que telle, mais je peux fortement recommander "Un premier cours sur l'apprentissage automatique" de Rogers et Girolami, qui est essentiellement une introduction aux approches bayésiennes de l'apprentissage automatique. Il est très bien structuré et clair et s’adresse aux étudiants sans solide bagage mathématique. Cela signifie que c'est une bonne première introduction aux idées bayésiennes. Il y a aussi le code MATLAB / OCTAVE qui est une fonctionnalité intéressante.


4

Statistiques bayésiennes pour les spécialistes des sciences sociales . Phillips, Lawrence D. (1973), Thomas Crowell & Co. C'est très clair, très accessible, ne suppose pas la connaissance des statistiques et, contrairement à Bolstad que j'ai trouvé sec, a quelque personnalité.


3

Ce livre suggère qu'il est destiné aux étudiants de premier cycle.

Biostatistique: une introduction bayésienne. Par George G Woodsworth.

Edité par John Wiley & Sons



2

Comme le type de débutant n’est pas précisé dans la question, voici mon conseil pour les statisticiens débutants:

Andrew B. Lawson et Emmanuel Lesaffre (2012): Biostatistique bayésienne

Ce livre a été utilisé pendant la première année de notre master en sciences statistiques et je l’ai trouvé relativement facile à comprendre pour un sujet aussi difficile. Comme pour la majorité des ouvrages de «biostatistique», les exemples sont principalement de la biologie clinique, mais les méthodes ne se limitent pas à celles utiles en science clinique. Avant cela, nous avions suivi une formation statistique d'environ six mois et, outre le théorème de Bayes, la statistique bayésienne n'avait pas encore été introduite.

Ce qui est également intéressant, c’est que les 649 diapositives des présentations sont disponibles en ligne .

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.