Que dire à un client qui pense que les intervalles de confiance sont trop larges pour être utiles?

22

Supposons que je suis consultant et que je souhaite expliquer à mon client l'utilité de l'intervalle de confiance. Le client me dit que mes intervalles sont trop larges pour être utiles et il préférerait en utiliser des moitié moins larges.

Comment dois-je répondre?

confidence-interval interpretation

— student_diversified
source

15

facturez-les pour collecter plus de données.

— shabbychef

2

Cela me rappelle un article incontournable sur les types de clients en conseil statistique.

@Procrastinator Pourriez-vous publier un lien vers une version PDF du document?

— supposé normal

1

@Max, il ne semble évidemment être disponible que via JSTOR; publier un PDF constituerait une violation des conditions de service (tout à fait raisonnables) de JSTOR ...

— Ben Bolker

@shabbychef - il s'agit souvent d'une manière très inefficace d'augmenter la précision, surtout si l'échantillon est déjà volumineux. par exemple, pour diviser par deux la largeur du ci d'un ci moyen normal, vous devez quadrupler la taille de l'échantillon. mieux vaut passer un peu de temps à améliorer le modèle avant de partir et multiplier par quatre votre coût le plus élevé!

— probabilityislogic

16

Cela dépend de ce que le client entend par «utile». La suggestion de votre client selon laquelle vous réduisez arbitrairement les intervalles semble refléter un malentendu selon lequel, en rétrécissant les intervalles, vous avez en quelque sorte magiquement diminué la marge d'erreur. En supposant que l'ensemble de données a déjà été collecté et corrigé (si ce n'est pas le cas, la blague de @ shabbychef dans les commentaires vous donne votre réponse), toute réponse à votre client doit souligner et décrire pourquoi il n'y a pas de "déjeuner gratuit" et que vous êtes sacrifier quelque chose en réduisant les intervalles.

$100 \%$ $0 \%$

$95 \%$ $60\%$

— Macro
source

6

Vous ne pouvez pas simplement réduire l'intervalle de confiance sans abandonner quelque chose, mais il y a un peu de flexibilité analogue à la différence entre un test unilatéral et un test bilatéral. De plus, il est possible qu'un meilleur modèle des mêmes données produise des intervalles de confiance différents (et peut-être plus petits).

— Douglas Zare

3

Je pense que vous vendez la dernière partie un peu courte. L'omniprésence de l' IC à 95 % est un phénomène culturel. Dans certains contextes, d'autres valeurs sont courantes, par exemple lors du traçage, les barres d'erreur sont souvent des erreurs standard (c'est-à-dire 68% CI), comme je suis sûr que vous êtes familier. (+1, btw)

— gung - Reinstate Monica

2

Dans l'esprit, cette réponse est bonne, mais je pense que le deuxième paragraphe est trop limitatif. Un énorme avantage que le statisticien apporte à cette partie est la connaissance de procédures alternatives qui peuvent mieux répondre aux besoins du client. Dans de nombreux cas, on peut réduire la largeur d'un CI en sélectionnant une procédure CI différente. Cela ne nécessite ni de collecter plus de données (-1 à @shabbychef, je le crains) ni de diminuer le niveau de confiance. La partie vraiment difficile est d' interpréter un IC où la procédure a été sélectionnée post hoc. C'est pourquoi nous voulons avoir cette conversation avant d'analyser (ou même de collecter) les données!

— whuber

7

Je réagis à cela, Macro, car dans la pratique, cela ne fonctionne pas bien d'être si rigide. Le risque est que le client ignore vos conseils et se tourne vers l'aide de quelqu'un qui ne connaît pas mieux (mais qui revendique une expertise statistique suffisante). Le scénario du PO est familier et commun: il est préférable de le voir comme une opportunité d'informer et d'éduquer le client ainsi que de lui proposer des alternatives (avec une discussion franche de leurs avantages et inconvénients). Nous devons dire «oui, l'IC peut être réduit, mais voici certaines des conséquences de cela» plutôt que «non, vous êtes foutu».

— whuber

2

C'est un bon point @whuber (+1) dans les situations où des alternatives plus efficaces peuvent être disponibles - encore une autre raison de consulter un statisticien avant de collecter / analyser les données.

— Macro

2

Je dirais que cela dépend entièrement de la raison pour laquelle votre client souhaite utiliser les intervalles de confiance.

Une sorte de rapport / publication / etc. où 95% des IC sont normalement signalés. Je pourrais très bien lui dire "Ce n'est pas statistiquement justifié" et le laisser là, selon que le client a tendance ou non à s'en remettre à votre expertise. S'ils ne le font pas, vous devez porter un jugement sur votre propre confort professionnel avec ce qu'ils veulent.
Une sorte de document interne - je préciserais que vous n'êtes pas d'accord et précisez le type d'intervalle de confiance que le lecteur examine actuellement, car ce n'est pas 95%.
Pour mesurer l'incertitude de l'estimation, par exemple, pour déterminer la quantité d'analyse de sensibilité que l'on pourrait avoir à faire? Je leur donnerais un chiffre montrant la distribution complète avec à la fois l'IC à 95% et quelque chose comme un IC à 68% marqué et je leur ferais comprendre.

Je serais très fier de moi si je réussissais à éviter que "Alors lancez une étude plus importante" ne soit la première chose que je vous dise.

— Fomite
source

1

+1. Je pense que les commentaires que vous avez faits au point (2) seraient probablement pertinents dans la situation décrite par (1) également.

— Macro

0

Utilisez l'écart-type, comme le font la plupart des gens. L'IC à 95% peut être effrayant lorsque les gens sont habitués à l'IC à 68%.

— Geoph Twombly
source

4

Il me semble que dans ce cas, nous voulons simplement montrer l'exactitude de la moyenne de l'échantillon, et non la variabilité des valeurs individuelles. Pourquoi recommanderiez-vous l' écart-type , en particulier?

— chl

Fisher a initialement suggéré des IC à 95% comme approximation de 2 écarts-types.

— Patrick Caldon

1

@Patrick, on dirait que vous avez manqué le point de chl (ainsi que Fisher mal représenté, qui n'a pas commis une telle erreur) ou bien vous avez écrit "écart-type" là où vous vouliez " erreur standard ". La plupart des IC sont basés sur des erreurs standard, bien sûr, pas sur des écarts standard. 2 SDs ne se rapproche ni d'un CI ni vice versa.

— whuber

Bien sûr, l'erreur-type n'est que l'écart-type de la moyenne, donc c'est juste de la terminologie. Autrement dit, dire que les IC ne sont pas basés sur des écarts-types n'est pas vraiment vrai. Ils ne sont pas basés sur l'écart-type de l'échantillon, mais plutôt sur l'écart-type de la moyenne.

— Aaron - Rétablir Monica le

2

Toutes les estimations ne sont pas des moyens. Il existe des erreurs-types pour les estimations autres que les moyennes et c'est l'erreur-type de l'estimation qui est utilisée pour générer des intervalles de confiance pour un paramètre en fonction de la variabilité d'une estimation, comme le suggère Whuber.

— Michael R. Chernick

0

Vous fournissez un intervalle de confiance à un certain niveau standard tel que 90% ou 95%. Le client peut juger si l'intervalle est trop large ou non pour être utile. Mais bien sûr, cela ne signifie pas que vous pouvez le raccourcir pour le rendre utile. Vous pouvez suggérer que l'augmentation de la taille de l'échantillon diminuera la largeur d'un intervalle à un niveau de confiance donné car elle diminue grossièrement d'un facteur de la racine carrée de la taille de l'échantillon.

— Michael R. Chernick
source