L'ajustement de Bonferroni fournira toujours un contrôle fort du taux d'erreur familial. Cela signifie que, quels que soient la nature et le nombre des tests, ou les relations entre eux, si leurs hypothèses sont remplies, cela garantira que la probabilité d'avoir un seul résultat significatif erroné parmi tous les tests est au maximum , votre erreur d'origine niveau. Il est donc toujours disponible .α
Qu'il soit approprié de l'utiliser (par opposition à une autre méthode ou peut-être pas d'ajustement du tout) dépend de vos objectifs, des normes de votre discipline et de la disponibilité de meilleures méthodes pour votre situation spécifique. À tout le moins, vous devriez probablement envisager la méthode Holm-Bonferroni, qui est tout aussi générale mais moins conservatrice.
En ce qui concerne votre exemple, puisque vous effectuez plusieurs tests, vous êtes augmenter le taux d'erreur sage famille (la probabilité de rejeter au moins une hypothèse nulle par erreur). Si vous effectuez un seul test sur chaque moitié, de nombreux ajustements seraient possibles, y compris la méthode de Hommel ou les méthodes contrôlant le taux de fausses découvertes (qui est différent du taux d'erreur familial). Si vous effectuez un test sur l'ensemble des données suivi de plusieurs sous-tests, les tests ne sont plus indépendants et certaines méthodes ne sont plus appropriées. Comme je l'ai déjà dit, Bonferroni est en tout cas toujours disponible et garanti de fonctionner comme annoncé (mais aussi d'être très conservateur…).
Vous pouvez également ignorer tout le problème. Formellement, le taux d'erreur familial est plus élevé, mais avec seulement deux tests, il n'est toujours pas si mauvais. Vous pouvez également commencer par un test sur l'ensemble des données, traité comme le résultat principal, suivi de sous-tests pour différents groupes, non corrigés car ils sont compris comme des résultats secondaires ou des hypothèses auxiliaires.
Si vous considérez de nombreuses variables démographiques de cette manière (au lieu de simplement planifier de tester les différences entre les sexes dès le départ ou peut-être une approche de modélisation plus systématique), le problème devient plus grave avec un risque important de «dragage de données» (une différence sort significativement par hasard vous permettant de sauver une expérience non concluante avec une belle histoire sur la variable démographique à démarrer alors qu'en fait rien ne s'est vraiment passé) et vous devriez certainement envisager une forme d'ajustement pour plusieurs tests. La logique reste la même avec X hypothèses différentes (tester X hypothèses deux fois - une sur chaque moitié de l'ensemble de données - entraîne un taux d'erreur familial plus élevé que tester X hypothèses une seule fois et vous devriez probablement vous y adapter).