Comment réussir un test bêta avec une petite équipe?

J'ai fait beaucoup de travail (pro-bono) sur un patch pour un jeu commercial d'il y a ~ 11 ans qui nécessite des tests bêta. Des tas de gens l'attendent.

Quels sont les moyens d'obtenir de bons commentaires (j'entends par là utiles) pendant la phase de test bêta d'un jeu? J'ai beaucoup de gens qui veulent jouer avec, mais je suis soucieux d'obtenir de bons commentaires sans être embourbé dans le développement. Je suis également préoccupé par le fait que les gens seront plus préoccupés par l'ajout des modifications qu'ils souhaitent voir ajoutées au correctif que par le fait de vraiment tester le travail qui a été fait.

• Offrez-vous la possibilité de consigner les bogues directement dans un outil de suivi des bogues ou de les envoyer tous à une personne de l'équipe de développement?
• Comment vous assurez-vous de couvrir toutes les plates-formes que vous prenez en charge (dans mon cas: Mac OSX (x86 / ppc), Windows (plusieurs versions), Linux (plusieurs versions)?

Existe-t-il de bons progiciels (comme un portail Web) pour exécuter un test bêta pour un projet comme celui-ci? De bons documents avec des conseils?

Je suggère fortement d'avoir une option de dépôt de bogues dans le jeu, de préférence un gros bouton qui dit "FILE BUG HERE". Les joueurs qui sont engagés, surtout si votre jeu est vraiment bon, ne se souviendront jamais des bugs qui se sont produits s'ils doivent sortir du moteur pour les classer. Vous pouvez les envoyer au traqueur de bogues, ou vous pouvez tout simplement l'envoyer par e-mail à une adresse de titulaire. L'objectif principal est de faciliter le classement des fichiers, bien que cela ne soit pas possible pour un jeu de 11 ans. Dans ce cas, je prendrais en charge à la fois le courrier électronique direct et un lien vers un site Web, et je forcerais peut-être les testeurs à passer par une interface frontale triviale qui expose un bouton "classer un bogue" afin qu'ils se souviennent qu'il existe.

Une bonne façon de le faire pourrait être d'exposer semi-publiquement votre logiciel de suivi des bogues lui-même. La plupart des logiciels de suivi des bogues (Trac est un bon logiciel gratuit si vous n'en avez pas déjà un) ont déjà une bonne interface Web, et vous pouvez l'ouvrir directement à tout le monde dans la version bêta. De cette façon, vos bêta-testeurs peuvent littéralement faire de l'AQ pour vous.

Pour obtenir la couverture de la plateforme, vous pouvez essayer d'aller directement dans ces communautés. Assurez-vous de discuter de votre version bêta sur PC, mac et forums axés sur Linux. De cette façon, vous vous assurerez d'en obtenir quelques-uns de chaque groupe. Vous devez également demander aux joueurs de spécifier les plates-formes dont ils disposent dans l'application bêta.

Enfin, vous pouvez envisager d'envoyer périodiquement une sorte d'e-mail "état du test". Quelque chose comme "Hé, nous venons de changer l'équilibre des armes, pouvez-vous vous concentrer sur les niveaux 4 à 7 pour aujourd'hui? Les niveaux 8 à 10 sont toujours en cours d'élaboration et seront un peu meilleurs la semaine prochaine." Tout ce que vous pouvez faire pour concentrer le processus de test fonctionnera à votre avantage.

En ce qui concerne l'obtention de bonnes informations quantitatives, si vous avez le temps de développement, ajoutez autant de journalisation que possible.

• Quel% de vos bêta-testeurs sont revenus?
• Combien de temps a duré leur session de jeu (la plus longue, en moyenne)?
• Où ont-ils arrêté de jouer (quelle a été la dernière action enregistrée)
• Quel pourcentage de personnes a rencontré le nouveau contenu?

etc

En ce qui concerne la collecte de données, ( http://docs.google.com ) dispose d'un outil d'enquête assez facile à utiliser - il suffit d'utiliser l'élément de menu Formulaire -> Créer un formulaire.

Si vous utilisez Flash ou Silverlight, je recommanderais d'intégrer Google Analytics ou quelque chose de similaire. En utilisant Analytics, il est facile d'instrumenter votre jeu et de mesurer des choses telles que le temps de jeu, l'endroit où les joueurs arrêtent, etc.

De plus, je recommanderais d'utiliser un service tel que "First Impressions" de la licence de jeu Flash ou d'aller directement à Mechanical Turk d'Amazon. J'ai trouvé pour 1 $ que vous pouvez demander à un joueur d'essayer votre jeu pendant quelques minutes et de fournir des commentaires sur un certain nombre de catégories. Si vous utilisez Mechanical Turk, vous pouvez concevoir votre propre formulaire et poser les questions qui vous intéressent.

Si vous combinez les deux méthodes, vous pouvez obtenir beaucoup d'informations pour un prix relativement bas. Bien sûr, assurez-vous de savoir ce que vous voulez mesurer avant de commencer à dépenser de l'argent. Enfin, j'ai entendu dire que certaines personnes publieraient leurs jeux sur un portail tel que Newgrounds en utilisant un alias, puis utiliseraient Analytics ainsi qu'un formulaire intégré pour collecter les commentaires des joueurs.