Automatiser le flux de travail (Excel / CSV)


0

Je recherche un outil ou un processus permettant d'automatiser les tâches de flux de travail répétitives nécessitant l'utilisation d'un fichier Excel ou CSV dans un format spécifique.

Par exemple, nous travaillons avec des fournisseurs qui nous envoient une liste de clients. Les données du tableur que nous recevons sont les mêmes, mais leur forme peut être légèrement différente. Par exemple, nous pouvons recevoir un fichier avec ces colonnes:

[ID][FName][LName][Birthday]

Cependant, supposons que notre système en ait besoin pour avoir la forme suivante:

[ID][FirstName][LastName][Birthdate]

De plus, les données peuvent être dans un format légèrement différent de celui de notre système. Par exemple, supposons que la colonne de date de naissance doit être dans un format spécifique (MM / JJ / AAAA) où le fournisseur peut la fournir sous la forme (AAAA-MM-JJ).

En supposant que le fichier que nous recevons du fournisseur soit toujours envoyé dans le même format, nous aimerions transformer rapidement ces fichiers pour qu'ils soient compatibles avec notre système.

Dans mon esprit, ce serait idéalement une application avec les fonctionnalités suivantes:

  • Capacité à travailler avec des fichiers Excel ou CSV
  • Définir comment renommer les colonnes
  • Définir le format de données pour chaque colonne
  • Nettoyez les données incorrectes (parfois, les clients ont la chaîne # N / A dans un champ, ce qui doit être traité comme un blanc dans notre système)
  • Sortie en format CSV
  • Fusionner les lignes en faisant correspondre les colonnes (parfois, nous avons plusieurs fichiers qui doivent être fusionnés par ID)
  • Une interface graphique serait utile pour définir les règles, puis son utilisation à l'aide d'une CLI serait probablement utile pour l'automatisation / les exécutions futures.
  • La possibilité de sauvegarder ces paramètres pour pouvoir les réexécuter rapidement à l'avenir en chargeant de nouvelles données avec les paramètres définis précédemment.

Existe-t-il un outil ou un flux de travail permettant de réaliser cela avec très peu de friction? Nous pouvons développer quelque chose en interne si nécessaire, mais s'il existe déjà un outil qui facilite cette tâche, ce serait l'idéal.


Malheureusement, les questions qui demandent des recommandations en matière de produits, de services ou de matériel d'apprentissage ne relèvent pas du sujet, car elles ont tendance à devenir rapidement obsolètes et à attirer des réponses subjectives. Pour des conseils sur la manière de poser une question pouvant nécessiter des recommandations de logiciel, consultez cet article du méta super utilisateur .
bwDraco

1
La question demande un outil ou un processus . Les réponses peuvent bien inclure du code ou des techniques de gestion de données, pas seulement des produits. En l'occurrence, la pile Microsoft Power BI a une approche appropriée. Power Query ne disparaîtra pas de si tôt.
Teylyn

Réponses:


2

Votre question se lit comme une description du produit de Power Query. Il s'agit d'un complément gratuit de Microsoft qui fonctionne avec Excel 2010 et 2013.

Obtenez-le ici: https://www.microsoft.com/en-us/download/details.aspx?id=39379

Vous pouvez ouvrir un fichier CSV, renommer des colonnes, remplacer des valeurs, définir des formats de données, etc. Chaque activité est enregistrée et peut être modifiée. La requête peut être sauvegardée et répétée à tout moment. La sortie peut être placée dans une feuille Excel et enregistrée au format CSV.

Édition: Power Query est désormais disponible pour toutes les éditions d'Office 2013. Citant la configuration requise du système sur la page de téléchargement

Les versions Office suivantes sont prises en charge:

  • Microsoft Office 2010 Professional Plus avec Software Assurance
  • Microsoft Office 2013:
  • Power Query Premium: toutes les fonctionnalités de Power Query disponibles pour: Professional Plus, Office 365 ProPlus ou Excel 2013 autonome
  • Power Query Public: Disponible pour toutes les autres SKU d'Office 2013 Desktop. Inclut toutes les fonctionnalités de Power Query, à l'exception des suivantes: catalogue de données d'entreprise Power BI, sources de données Azure, Active Directory, HDFS, listes SharePoint, Oracle, DB2, MySQL, PostgreSQL, Sybase, Teradata, Exchange, Dynamics CRM, SAP BusinessObjects. , Salesforce.

Microsoft Power Query pour Excel nécessite Internet Explorer 9 ou une version ultérieure.


Remarque: PQ est uniquement pris en charge pour les versions d'Office suivantes: Office 2010 Professionnel Plus avec Software Assurance, Office 2013 Professionnel Plus, Office 365 ProPlus ou Excel 2013 autonome.
Karan

Vérifié et je pense qu'il peut probablement faire tout ce que je veux. Maintenant, il ne reste plus qu'à prendre le temps de l'apprendre. Merci pour l'aide! Je ne me souviens pas d’être tombé dessus en utilisant tous les mots-clés que j’ai essayés.
user949286

@Karan, Power Query est maintenant disponible pour toutes les éditions de 2013. Détails sur la page de téléchargement de Power Query
teylyn

On dirait qu'ils se sont séparés en Power Query Premium et Public. Merci pour la mise à jour @teylyn.
Karan

@ Karan, oui, ça y ressemble. Les fonctionnalités "Premium" semblent inclure des éléments généralement utilisés par les entreprises, comme Active Directory. Mais même l'utilisateur à domicile peut désormais bénéficier de toutes les qualités de Power Query pour les requêtes SQL, Web, Excel, etc. C'est un vrai régal. Essayez de faire un Univote, alors vous saurez à quel point Power Query est bon.
Teylyn
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.