Existe-t-il des recherches formelles sur l'efficacité des questions FizzBuzz? [fermé]

Après avoir vu cette question aujourd'hui sur la variation de la question d'entrevue de FizzBuzz, ainsi que vu d'autres questions liées à celle-ci, je dois demander: y a-t-il une recherche formelle sur son efficacité en tant que technique d'entrevue? Il y a beaucoup de gens qui disent que cela filtre un certain pourcentage de candidats fous (95% + dans certains cas), mais à quel point est-ce bon de trouver de bons programmeurs / développeurs?

Certaines recherches montrent que les compétences générales pourraient être de meilleurs indicateurs que les compétences techniques pour choisir un bon candidat pour un poste. De même, il pourrait y avoir des raisons intermédiaires pour lesquelles tant de candidats ont échoué à ce test (nervosité, penser "c'est un truc", etc.).

Sur la base des commentaires jusqu'à présent, il semble que l'idée derrière les questions FizzBuzz est de déterminer si la personne a de bonnes (assez) compétences en codage pour être davantage prise en compte. Je ne suis pas totalement convaincu que FizzBuzz le fasse réellement. Rappelez-vous également que FizzBuzz filtre un très grand pourcentage de candidats très tôt dans le processus d'embauche, ce qui pourrait signifier qu'un nombre important de bons candidats sont supprimés tôt car ils ne peuvent pas résoudre assez rapidement des problèmes stupides.

De plus, je soulignerai que regarder l'efficacité de FizzBuzz est quelque chose qui peut être complètement fait de manière quantitative. Cela ne ressemble pas à la recherche de la «forme» ou de la «passion», qui sont très variables et très peu scientifiques (mais toujours très importantes pour les nouvelles décisions d'embauche).

Cela fait longtemps que je n'ai pas lu les recherches sur les entretiens d'embauche (donc je ne peux pas les détails du site, pour lesquels je m'excuse), mais la règle générale est que les gens embauchent sur la base de compétences générales, mais il n'y a pas de corrélation entre cela et performance. Le test de compétences spécifiques peut fonctionner, mais pas la personnalité (selon des données mesurables).

Presque tout le monde pense que leurs techniques d'entretien spéciales fonctionnent, les données indiquent que vous ne devriez probablement pas déranger l'entretien (la partie "parlez-moi de vous" de l'entretien, par opposition aux tests objectifs) car les candidats sélectionnés par les enquêteurs ne sont pas meilleurs mais les enquêteurs montrent des préjugés à l'égard des extravertis, des personnes démographiquement similaires à l'intervieweur, des personnes de grande taille, des personnes attrayantes, etc. il peut être plus difficile de quitter votre entreprise).

Je m'attends à être flambé pour cela, généralement tous ceux à qui je dis ceci disent "mais nous utilisons la méthode X et cela fonctionne vraiment pour nous", mais à moins que vous

1. embaucher des personnes qui ne réussissent pas votre entrevue,

2. ne dites pas à leurs collègues qui ont réussi ou non, et

3. comparer les performances de ceux qui ont réussi avec ceux qui n'ont pas réussi, en utilisant des critères objectifs préalablement convenus

vous avez vraiment très peu d'idée si votre processus fonctionne. Malheureusement, l'efficacité des entretiens est intrinsèquement difficile à évaluer.

Si vous vous demandez, les expériences font des choses comme demander aux gens d'évaluer les candidats sur la base des transcriptions des entretiens, à partir de candidats qui ont déjà été embauchés (parmi de nombreuses autres techniques). Idéalement, les expérimentateurs demanderaient aux gens de faire des entretiens, de sélectionner des candidats, d'effacer la mémoire de l'intervieweur, de sélectionner au hasard qui recruter parmi les candidats et de comparer les performances des candidats en utilisant des critères précis et objectifs par rapport aux notes données par les enquêteurs, mais cette expérience est difficile à retirer.

Donc, même si je n'ai pas vu de recherches spécifiques à FizzBuzz, c'est le genre de chose qui peut montrer son efficacité dans les tests scientifiques. S'il exclut 95% des candidats, je serais curieux de savoir pourquoi - il a été inventé pour être si absurdement facile que seul un programmeur incompétent pourrait ne pas le réussir, et il est difficile de voir comment abrutir FizzBuzz. Je me demande quel pourcentage réussit le test "Hello world"? Le test "faire faire quelque chose, n'importe quoi" à l'ordinateur?

Le but de fizzbuzz n'est pas de trouver de bons programmeurs, c'est de trouver une certaine classe de mauvais programmeurs, qui sont des gens qui ne peuvent pas implémenter un algorithme simple. Votre question revient à demander combien de champions Nascar sont identifiés lors de leurs examens de permis de conduire. Il y a beaucoup de compromis entre quelqu'un que vous ne voulez certainement pas embaucher et quelqu'un que vous faites définitivement.

Il existe d'autres classes de "mauvais" programmeurs qui nécessitent différentes méthodes d'identification, comme ceux qui ne maîtrisent pas une langue donnée ou qui ont des problèmes de comportement. Cependant, les programmeurs "fizzbuzz-bad" sont presque universellement indésirables, c'est pourquoi le test est si fréquemment recommandé. Le fait qu'un programmeur trop territorial ou qui doive transférer des compétences dans une nouvelle langue soit "bon" ou "mauvais" dépend beaucoup plus des besoins et des préférences de l'employeur individuel.

FizzBuzz ne consiste pas à identifier les bons programmeurs, il s'agit d'éliminer les mauvais / faux. Si un candidat ne peut pas réussir le test FizzBuzz, il ne sait pas comment programmer et ne devrait pas postuler pour un poste de programmation.