La littérature distingue deux types de tests de permutations: (1) le test de randomisation est le test de permutation où l'échangeabilité est satisfaite par l'assignation aléatoire d'unités expérimentales aux conditions; (2) le test de permutation est exactement le même test mais appliqué à une situation où d'autres hypothèses (c.-à-d. Autres que l'assignation aléatoire) sont nécessaires pour justifier l'échangeabilité.
Quelques références concernant les conventions de dénomination (ie, randomisation vs permutation): Kempthorne & Doerfler, Biometrika, 1969; Edgington & Onghena, Randomization Tests, 4e éd., 2007
Pour les hypothèses, le test de randomisation (c'est-à-dire le test de randomisation de Fisher pour les données expérimentales) ne requiert que ce que Donald Rubin appelle l'hypothèse de la valeur unitaire de traitement stable (SUTVA). Voir le commentaire de Rubin de 1980 sur l'article de Basu dans JASA. SUTVA est également l'une des hypothèses fondamentales (avec une forte ignorabilité) pour l'inférence causale dans le modèle de résultats potentiels de Neyman-Rubin (cf. le document JASA de Paul Holland, 1986). Essentiellement, SUTVA dit qu'il n'y a pas d'interférence entre les unités et que les conditions de traitement sont les mêmes pour tous les bénéficiaires. Plus formellement, SUTVA suppose l'indépendance entre les résultats potentiels et le mécanisme d'affectation.
Considérez le problème à deux échantillons avec des participants assignés au hasard à un groupe témoin ou à un groupe de traitement. SUTVA serait violé si, par exemple, deux participants à l'étude étaient au courant et que le statut d'affectation de l'un d'eux exerçait une certaine influence sur le résultat de l'autre. C'est ce que l'on entend par aucune interférence entre les unités.
La discussion ci-dessus s'applique au test de randomisation dans lequel les participants ont été assignés au hasard à des groupes. Dans le cadre d'un test de permutation, SUTVA est également nécessaire, mais il peut ne pas reposer sur la randomisation car il n'y en avait pas.
En l'absence d'assignation aléatoire, la validité des tests de permutation peut s'appuyer sur des hypothèses de distribution comme une forme de distribution identique ou des distributions symétriques (selon le test) pour satisfaire à l'interchangeabilité (voir Box et Anderson, JRSSB, 1955).
Dans un article intéressant, Hayes, Psych Methods, 1996, montre par simulation comment les taux d'erreur de type I peuvent devenir gonflés si des tests de permutation sont utilisés avec des données non randomisées.