Non, ce n'est pas vrai. Les méthodes bayésiennes satureront certainement les données. Il y a quelques choses qui rendent les méthodes bayésiennes plus robustes contre le sur-ajustement et vous pouvez également les rendre plus fragiles.
La nature combinatoire des hypothèses bayésiennes, plutôt que des hypothèses binaires, permet des comparaisons multiples lorsque quelqu'un n'a pas le «vrai» modèle pour les méthodes d'hypothèse nulle. Un postérieur bayésien pénalise efficacement une augmentation de la structure du modèle telle que l'ajout de variables tout en récompensant les améliorations d'ajustement. Les pénalités et les gains ne sont pas des optimisations comme ce serait le cas dans les méthodes non bayésiennes, mais des changements de probabilités à partir de nouvelles informations.
Bien que cela donne généralement une méthodologie plus robuste, il existe une contrainte importante et qui utilise des distributions préalables appropriées. Bien qu'il y ait une tendance à vouloir imiter les méthodes fréquentistes en utilisant des prieurs plats, cela n'assure pas une solution appropriée. Il y a des articles sur le surapprentissage dans les méthodes bayésiennes et il me semble que le péché semble être d'essayer d'être "juste" avec les méthodes non bayésiennes en commençant par des prieurs strictement plats. La difficulté est que le prieur est important pour normaliser la probabilité.
Les modèles bayésiens sont des modèles intrinsèquement optimaux dans le sens de la recevabilité du terme de Wald, mais il y a un bogeyman caché là-dedans. Wald suppose que le prieur est votre vrai prieur et non pas un prieur que vous utilisez, afin que les rdacteurs ne vous dingent pas de mettre trop d'informations dedans. Ils ne sont pas optimaux au même sens que les modèles Frequentist. Les méthodes fréquentistes commencent par l'optimisation de la minimisation de la variance tout en restant non biaisées.
Il s'agit d'une optimisation coûteuse dans la mesure où elle rejette les informations et n'est pas intrinsèquement admissible au sens de Wald, bien qu'elle soit fréquemment admissible. Les modèles Frequentist fournissent donc un ajustement optimal aux données, étant donné l'impartialité. Les modèles bayésiens ne sont ni ajustés sans biais ni optimaux aux données. C'est le métier que vous faites pour minimiser le sur-ajustement.
Les modèles bayésiens sont des modèles intrinsèquement biaisés, à moins que des mesures spéciales ne soient prises pour les rendre non biaisés, qui correspondent généralement le moins bien aux données. Leur vertu est qu'ils n'utilisent jamais moins d'informations qu'une méthode alternative pour trouver le "vrai modèle" et cette information supplémentaire rend les modèles bayésiens jamais moins risqués que les modèles alternatifs, en particulier lorsqu'ils travaillent hors échantillon. Cela dit, il existera toujours un échantillon qui aurait pu être tiré au hasard et qui "tromperait" systématiquement la méthode bayésienne.
En ce qui concerne la deuxième partie de votre question, si vous deviez analyser un seul échantillon, la partie postérieure serait à jamais modifiée dans toutes ses parties et ne reviendrait pas à la précédente à moins qu'il n'y ait un deuxième échantillon qui annule exactement toutes les informations dans le premier échantillon. Du moins théoriquement, cela est vrai. En pratique, si le prieur est suffisamment informatif et l'observation suffisamment non informative, l'impact pourrait être si faible qu'un ordinateur ne pourrait pas mesurer les différences en raison de la limitation du nombre de chiffres significatifs. Il est possible qu'un effet soit trop petit pour qu'un ordinateur traite un changement dans le postérieur.
Donc, la réponse est «oui», vous pouvez suréquiper un échantillon en utilisant une méthode bayésienne, en particulier si vous avez un petit échantillon et des antécédents incorrects. La deuxième réponse est «non». Le théorème de Bayes n'oublie jamais l'impact des données antérieures, bien que l'effet puisse être si petit que vous le manquez par calcul.