Comment quantifier l'insignifiance statistique?

Je suis relativement nouveau dans les statistiques et je comprends que ma question est peut-être complètement erronée. Je teste mon propre algorithme contre un autre. Bien que les sorties ne soient pas identiques, je veux montrer que les différences sont "statistiquement insignifiantes". Comment puis-je quantifier cela, pour faire valoir mon point de vue?

correlation statistical-significance dataset

— Adam_G
source

Cela dépendra du type de données que vous traitez et de la taille de vos échantillons. Pouvez-vous modifier votre message pour inclure une réponse plus détaillée?

— naught101

Le test d'équivalence est mis en place pour rejeter aucune équivalence. Cela vous oblige à choisir une taille d'échantillon suffisamment grande pour avoir de la puissance. Sans inverser l'hypothèse nulle et alternative dans de petits échantillons, vous auriez très peu de chance de rejeter l'hypothèse nulle de non différence. Mais ne pas rejeter n'est pas la même chose qu'accepter en raison du manque de pouvoir.C'est pourquoi Blackwelder fait de la non-équivalence l'hypothèse nulle et montrer l'équivalence nécessite de rejeter le nul.

— Michael R. Chernick

Notez que l'hypothèse nulle est que la différence de moyennes est supérieure à un delta spécifié (la fenêtre d'équivalence).

— Michael R. Chernick

Si vous comparez deux groupes et ne voulez montrer aucune différence significative, cela s'appelle un test d'équivalence. Il renverse essentiellement les hypothèses nulles et alternatives. L'idée est de définir un intervalle d'insignifiance appelé fenêtre d'équivalence. Ceci est beaucoup utilisé lorsque l'on essaie de montrer qu'un médicament générique est un substitut approprié à un médicament commercialisé. Une bonne source à lire à ce sujet est l'article de William Blackwelder intitulé «Prouver l'hypothèse nulle» dans les essais cliniques .

— Michael R. Chernick
source

Merci Michael. Je suppose que je dois faire un peu plus de travail avant de pouvoir déclarer les données «significatives» ou «insignifiantes». Je vais commencer à examiner la question et je vous ferai savoir si j'ai des questions complémentaires, ce que je suis sûr que je vais faire.

— Adam_G

Juste un dernier commentaire. La version unilatérale de l'équivalence est appelée non-infériorité. Souvent, les fabricants de médicaments peuvent commercialiser un soi-disant «moi aussi» qui n'a même pas à être aussi efficace que le concurrent commercial tant qu'il n'est pas bien pire (défini par un delta qui est une fenêtre pour la non-infériorité). Cela peut être fait parce que le produit offre un autre avantage au consommateur, comme moins de doses par jour ou comme dans le cas d'un anticoagulant ne nécessitant pas de surveillance de l'INR.

— Michael R. Chernick