Regex avec la commande sed pour analyser le texte json

J'ai ce texte json:

{
    "buildStatus" : {
        "status" : "ERROR",
        "conditions" : [{
                "status" : "OK",
                "metricKey" : "bugs"
            }, {
                "status" : "ERROR",
                "metricKey" : "test_success_density"
            }, {
                "status" : "OK",
                "metricKey" : "vulnerabilities"
            }
        ],
        "periods" : []
    }
}

Je veux extraire l'état général du buildStatus, c'est-à-dire que la sortie attendue était "ERREUR"

"buildStatus" : {
    "status" : "ERROR",
    ....
}

J'ai essayé l'expression sed ci-dessous, mais ça ne marche pas, ça revient OK:

status= sed -E 's/.*\"buildStatus\":.*\"status\":\"([^\"]*)\",.*/\1/' jsonfile

Qu'est-ce que je fais mal?

N'analysez pas les structures de données imbriquées complexes comme JSON ou XML avec des expressions régulières, utilisez un analyseur JSON approprié, comme jshon.

Vous devez d'abord l'installer:

sudo apt-get install jshon

Ensuite, vous devez lui fournir les données JSON à analyser via une entrée standard, afin que vous puissiez rediriger la sortie d'une autre commande là-bas avec un tube ( |) ou rediriger un fichier vers elle ( < filename).

Les arguments dont il a besoin pour extraire les données souhaitées ressemblent à ceci:

jshon -e "buildStatus" -e "status" -u

• -e "buildStatus" sélectionne l'élément avec l'index "buildStatus" dans le dictionnaire de niveau supérieur.
• -e "status" sélectionne l'élément avec l'index "status" dans le dictionnaire de second niveau choisi ci-dessus.
• -u convertit les données sélectionnées de JSON en données simples (c.-à-d. ici, il supprime les guillemets autour de la chaîne)

Ainsi, la commande que vous exécutez, selon l'endroit où vous obtenez les données, ressemble à l'une de celles-ci:

jshon -e "buildStatus" -e "status" -u < YOUR_INPUT_FILE
YOUR_JSON_PRODUCING_COMMAND | jshon -e "buildStatus" -e "status" -u

Pour en savoir plus jshon, vous pouvez lire sa page de manuel accessible en ligne ici ou en tapant simplement man jshon.

Emploi pour jq:

jq -r '.["buildStatus"]["status"]' file.json

Peut être raccourci à:

jq -r '.buildStatus.status' file.json

-r( --raw-output) génère la chaîne sans jsonformatage de chaîne, c'est-à-dire sans guillemets.

Exemple:

% cat file.json                   
{
    "buildStatus" : {
        "status" : "ERROR",
        "conditions" : [{
                "status" : "OK",
                "metricKey" : "bugs"
            }, {
                "status" : "ERROR",
                "metricKey" : "test_success_density"
            }, {
                "status" : "OK",
                "metricKey" : "vulnerabilities"
            }
        ],
        "periods" : []
    }
}

% jq -r '.["buildStatus"]["status"]' file.json
ERROR

% jq -r '.buildStatus.status' file.json       
ERROR

S'il n'est pas déjà installé, installez-le par (disponible dans le référentiel Universe):

sudo apt-get install jq 

Comme cela a été mentionné, l'analyse des données structurées complexes est préférable avec une API appropriée. Python a un jsonmodule pour cela, que j'utilise personnellement beaucoup dans mes scripts, et il est assez facile d'extraire les champs souhaités comme vous le souhaitez:

$ python -c 'import sys,json;print json.load(sys.stdin)["buildStatus"]["status"]' <  input.txt
ERROR

Ce qui se passe ici, c'est que nous redirigeons le fichier d'entrée vers stdin de python, et lisons cela avec json.load(). Cela devient un dictionnaire python avec la clé "buildStatus", et il contient un autre dictionnaire python avec la clé "status". Ainsi, nous imprimons simplement la valeur d'une clé dans un dictionnaire stocké dans un autre dictionnaire. Assez simple.

Mis à part la simplicité, un autre avantage est que python et cette API sont tous préinstallés et livrés avec Ubuntu par défaut.

Vous pouvez réellement le faire dans sed, mais je vous invite fortement à utiliser un langage plus sophistiqué qui a des outils écrits pour gérer les données JSON. Vous pouvez essayer perl ou python, par exemple.

Maintenant, dans votre exemple simple, tout ce que vous voulez, c'est la première occurrence de "status", vous pouvez donc faire:

$ sed -nE '/status/{s/.*:\s*"(.*)",/\1/p;q}' file.json 
ERROR

L'astuce est d'utiliser -npour éviter d'imprimer, puis si la ligne correspond à status( /status/), vous supprimez tout sauf la partie que vous voulez s/.*:\s*"(.*)",/\1/, pimprimez la ligne et quit.

Personnellement, je trouve cette commande grep équivalente beaucoup plus simple:

$ grep -m1 -oP '"status"\s*:\s*"\K[^"]+' file.json 
ERROR

Ou celui-ci:

$ perl -ne 'if(s/.*"status"\s*:\s*"([^"]+).*/$1/){print;exit}' file.json 
ERROR

Sérieusement, si vous prévoyez d'analyser des fichiers JSON, n'essayez pas de le faire manuellement. Utilisez un analyseur JSON approprié.

Je ne dis pas que vous devriez utiliser sed(je pense que quelqu'un m'a déçu juste pour ne pas avoir écrit de mise en garde obligatoire) mais, si vous devez rechercher quelque chose sur la ligne suivantebuildStatus comme vous semblez essayer dans votre propre tentative, vous devez dire sedà lire la ligne suivante avec la Ncommande

$ sed -rn '/buildStatus/N;s/.*buildStatus.*\n.*: "(.*)",/\1/p' file
ERROR

Remarques:

• -n n'imprimez rien avant de le demander
• -rutiliser ERE (identique à -E)
• /buildStatus/N trouver ce modèle et lire la ligne suivante aussi
• s/old/new/remplacer oldparnew
• .* un nombre quelconque de caractères sur la ligne
• \n nouvelle ligne
• : "(.*)",enregistrer tous les caractères apparaissant entre : "et",
• \1 référence arrière au motif enregistré
• p imprimer la partie sur laquelle nous avons travaillé

Il existe une explication typique de la raison sedpour laquelle des outils de traitement de flux de texte similaires ne sont pas bien équipés pour analyser des données structurées telles que JSON et XML. Je ne l'ai pas sous la main, mais cela existe, et je pense que le fait est que les expressions nécessaires dans toutes les situations, mais probablement le moins, deviennent rapidement très complexes, tandis que les outils alternatifs conçus spécifiquement pour analyser la structure sont plus élégant, lisible et efficace dans la même analyse.

Comme muru l' a fait dans un commentaire , jqdevrait être le bon outil pour le travail. Je peux également en témoigner personnellement étant très excité de le voir remplacer plusieurs fois où j'ai essayé d'analyser les mêmes données sans succès ou sans succès. Il contient même une grande capacité de formatage et de contrôle de la sortie. Je le préfère à jsontoolune raison ou plus que j'oublie actuellement.

Byte Commander semble recommander jshondans une autre réponse . Je n'ai pas utilisé cet outil, mais il me rappelle xmlstarletet sa syntaxe, également avec une présentation personnalisable pour la sortie.

Juste un autre outil Json appelé json ( https://github.com/trentm/json )

$ json buildStatus.status < file.json
ERROR

Cette étude de cas est trompeuse: il semble que les outils ne fonctionnent pas. Vous pouvez également utiliser jsonpour changer les fichiers json:

$ json -e 'this.buildStatus.status="not error"' < file.json > new.json

ou même...

$ json -e 'this.buildStatus.status="no errors"' < file.json | json -e 'this.buildStatus.status
no errors

documentation dans: http://trentm.com/json/

s'il n'est pas installé:

• installer le nœud
• et sudo npm install -g json