Quelle est la meilleure façon de remodeler / restructurer les données?

Je suis assistante de recherche pour un laboratoire (bénévole). Moi et un petit groupe avons été chargés de l'analyse des données pour un ensemble de données tirées d'une grande étude. Malheureusement, les données ont été collectées avec une application en ligne, et elle n'était pas programmée pour produire les données sous la forme la plus utilisable.

Les images ci-dessous illustrent le problème de base. On m'a dit que cela s'appelait une «refonte» ou une «restructuration».

Question: Quel est le meilleur processus pour passer de l'image 1 à l'image 2 avec un grand ensemble de données avec plus de 10 000 entrées?

Comme je l'ai noté dans mon commentaire , la question ne contient pas suffisamment de détails pour qu'une véritable réponse puisse être formulée. Puisque vous avez besoin d'aide même pour trouver les bons termes et formuler votre question, je peux parler brièvement de généralités.

$\rightarrow 2$

Dans un certain sens, le nettoyage des données peut être effectué dans n'importe quel logiciel et peut être effectué avec Excel ou avec R. Il y aura des avantages et des inconvénients aux deux choix:

• Excel: Excel est presque certainement le choix le plus courant pour le nettoyage des données (voir R fortunes # 59 pdf ). Il est également considéré comme un mauvais choix par les statisticiens. La raison principale est qu'il est difficile de s'assurer que vous avez tout attrapé ou que vous avez tout traité de manière identique, et il n'y a aucun enregistrement des modifications que vous avez apportées, vous ne pouvez donc pas revoir ces modifications plus tard. L'avantage d'utiliser Excel est qu'il sera plus facile de voir ce que vous faites et que vous n'avez pas besoin d'en savoir beaucoup pour apporter des modifications. (Les statisticiens considéreront ce dernier comme un con supplémentaire .)

• R: R nécessitera une courbe d'apprentissage abrupte. Si vous n'êtes pas très familier avec la R ou la programmation, les choses qui peuvent être faites assez rapidement et facilement dans Excel seront frustrantes à essayer dans R. D'un autre côté, si jamais vous devez recommencer, cet apprentissage aura été temps bien dépensé. De plus, la possibilité d'écrire et d'enregistrer votre code pour nettoyer les données dans R atténuera les inconvénients énumérés ci-dessus. Voici quelques liens qui vous aideront à démarrer avec ces tâches dans R:

  Vous pouvez obtenir beaucoup de bonnes informations sur Stack Overflow :

  • Comment réorganiser les colonnes dans R?
  • R: Comment puis-je réorganiser les lignes d'une matrice, d'un data.frame ou d'un vecteur selon un autre?

  Quick-R est également une ressource précieuse:

  • tri

  Mettre les nombres en mode numérique:

  • Convertir un nombre écrit en nombre en R
  • ? strtoi est une fonction spécialisée pour la conversion d'hexidicimal, etc., si nécessaire

  Une autre source inestimable pour en savoir plus sur R est le site Web d'aide aux statistiques de l'UCLA :

  • travailler avec des variables factorielles (pour votre "majorité d'accord", etc.)

  Enfin, vous pouvez toujours trouver beaucoup d'informations avec le bon vieux Google:

  • Cette recherche: nettoyage des données dans r , fait apparaître un certain nombre de tutoriels (dont aucun sur lequel j'ai travaillé, FTR).

Mise à jour: il s'agit d'un problème courant concernant la structure de votre ensemble de données lorsque vous avez plusieurs mesures par «unité d'étude» (dans votre cas, une personne). Si vous avez une ligne pour chaque personne, vos données sont dites sous forme `` large '', mais alors vous aurez nécessairement plusieurs colonnes pour votre variable de réponse, par exemple. D'un autre côté, vous ne pouvez avoir qu'une seule colonne pour votre variable de réponse (mais avoir plusieurs lignes par personne, par conséquent), auquel cas vos données sont dites sous une forme `` longue ''. Passer d'un format à l'autre est souvent appelé «remodeler» vos données, en particulier dans le monde R.

• La fonction R standard pour cela est ? Remodeler . Il existe un guide d'utilisation reshape()sur le site Web d'aide aux statistiques de l'UCLA.
• Beaucoup de gens pensent qu'il reshapeest difficile de travailler avec. Hadley Wickham a contribué à un package appelé reshape2 , qui vise à simplifier le processus. Le site Web personnel de Hadley pour reshape2 est ici , l'aperçu de Quick-R est ici , et il y a un joli tutoriel ici .
• Il y a de nombreuses questions sur SO sur la façon de remodeler les données. La plupart d'entre eux consistent à passer du large au long, car c'est généralement ce à quoi les analystes de données sont confrontés. Votre question concerne le passage du long au large, ce qui est beaucoup moins courant, mais il existe encore de nombreux sujets à ce sujet, vous pouvez les parcourir avec cette recherche .
• Si vous avez l'intention d'essayer de le faire avec Excel, il existe un fil de discussion sur l'écriture d'une macro VBA pour Excel pour répliquer la fonctionnalité de remodelage ici: fondre / reformer dans Excel en utilisant VBA?

Essayez de suivre en utilisant R:

> ddf
   sess_id user_id     quest  response
1        1       a       age        29
2        1       a satisfied  st_agree
3        1       a    gender      male
4        1       a     phone    iphone
5        2       a       age        29
6        2       a satisfied not_agree
7        2       a    gender    female
8        2       a     phone    iphone
9        3       b       age        29
10       3       b satisfied     agree
11       3       b    gender      male
12       3       b     phone   android
> 
> library(reshape2)
> dcast(ddf, sess_id+user_id ~ quest, value.var='response')
  sess_id user_id age gender   phone satisfied
1       1       a  29   male  iphone  st_agree
2       2       a  29 female  iphone not_agree
3       3       b  29   male android     agree

Dans scala, cela s'appelle une opération "exploser" et peut être effectuée sur un dataFrame. Si vos données sont un rdd, vous devez d'abord convertir en dataFrame via la toDFcommande, puis utiliser la .explodeméthode.