Comment puis-je trouver des caractères non ASCII dans MySQL?

Je travaille avec une base de données MySQL qui contient des données importées d' Excel . Les données contiennent des caractères non ASCII (tirets em, etc.) ainsi que des retours chariot masqués ou des sauts de ligne. Existe-t-il un moyen de trouver ces enregistrements en utilisant MySQL?

Cela dépend exactement de ce que vous définissez comme "ASCII", mais je suggérerais d'essayer une variante d'une requête comme celle-ci:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9]';

Cette requête renverra toutes les lignes où columnToCheck contient des caractères non alphanumériques. Si vous avez d'autres caractères acceptables, ajoutez-les à la classe de caractères de l'expression régulière. Par exemple, si les points, les virgules et les traits d'union sont corrects, remplacez la requête par:

SELECT * FROM tableName WHERE columnToCheck NOT REGEXP '[A-Za-z0-9.,-]';

La page la plus pertinente de la documentation MySQL est probablement 12.5.2 Expressions régulières .

MySQL fournit une gestion complète des jeux de caractères qui peut aider à résoudre ce genre de problème.

SELECT whatever
  FROM tableName 
 WHERE columnToCheck <> CONVERT(columnToCheck USING ASCII)

La CONVERT(col USING charset)fonction transforme les caractères non convertibles en caractères de remplacement. Ensuite, le texte converti et non converti sera inégal.

Voir ceci pour plus de discussion. https://dev.mysql.com/doc/refman/8.0/en/charset-repertoire.html

Vous pouvez utiliser n'importe quel nom de jeu de caractères que vous souhaitez à la place de ASCII. Par exemple, si vous voulez savoir quels caractères ne s'afficheront pas correctement dans la page de codes 1257 (lituanien, letton, estonien), utilisezCONVERT(columnToCheck USING cp1257)

Vous pouvez définir ASCII comme tous les caractères ayant une valeur décimale de 0 à 127 (0x00 - 0x7F) et rechercher des colonnes avec des caractères non ASCII à l'aide de la requête suivante

SELECT * FROM TABLE WHERE NOT HEX(COLUMN) REGEXP '^([0-7][0-9A-F])*$';

C'était la requête la plus complète que je puisse proposer.

C'est probablement ce que vous recherchez:

select * from TABLE where COLUMN regexp '[^ -~]';

Il doit renvoyer toutes les lignes où COLUMN contient des caractères non ASCII (ou des caractères ASCII non imprimables tels que le saut de ligne).

Un caractère manquant dans tous les exemples ci-dessus est le caractère de fin (\ 0). Ceci est invisible pour la sortie de la console MySQL et ne peut être découvert par aucune des requêtes mentionnées ci-dessus. La requête pour le trouver est simplement:

select * from TABLE where COLUMN like '%\0%';

Sur la base de la bonne réponse, mais en tenant également compte des caractères de contrôle ASCII, la solution qui a fonctionné pour moi est la suivante:

SELECT * FROM `table` WHERE NOT `field` REGEXP  "[\\x00-\\xFF]|^$";

Il fait la même chose: recherche les violations de la plage ASCII dans une colonne, mais vous permet également de rechercher des caractères de contrôle, car il utilise la notation hexadécimale pour les points de code. Comme il n'y a pas de comparaison ou de conversion (contrairement à la réponse de @ Ollie), cela devrait également être beaucoup plus rapide. (Surtout si MySQL effectue une résiliation anticipée de la requête regex, ce qu'il devrait certainement.)

Cela évite également de renvoyer des champs de longueur nulle. Si vous voulez une version légèrement plus longue qui pourrait fonctionner mieux, vous pouvez utiliser ceci à la place:

SELECT * FROM `table` WHERE `field` <> "" AND NOT `field` REGEXP  "[\\x00-\\xFF]";

Il effectue une vérification séparée de la longueur pour éviter les résultats de longueur nulle, sans les considérer pour une passe d'expression régulière. Selon le nombre d'entrées de longueur nulle que vous avez, cela pourrait être beaucoup plus rapide.

Notez que si votre jeu de caractères par défaut est quelque chose de bizarre où 0x00-0xFF ne correspond pas aux mêmes valeurs que ASCII (existe-t-il un tel jeu de caractères quelque part?), Cela renverrait un faux positif. Sinon, profitez-en!

Essayez d'utiliser cette requête pour rechercher des enregistrements de caractères spéciaux

SELECT *
FROM tableName
WHERE fieldName REGEXP '[^a-zA-Z0-9@:. \'\-`,\&]'

La réponse de @ zende était la seule qui couvrait les colonnes avec un mélange de caractères ascii et non ascii, mais il y avait aussi ce problème hexadécimal. J'ai utilisé ceci:

SELECT * FROM `table` WHERE NOT `column` REGEXP '^[ -~]+$' AND `column` !=''

Dans Oracle, nous pouvons utiliser ci-dessous.

SELECT * FROM TABLE_A WHERE ASCIISTR(COLUMN_A) <> COLUMN_A;

pour cette question, nous pouvons également utiliser cette méthode:

Question de sql zoo:
Retrouvez tous les détails du prix remporté par PETER GRÜNBERG

Caractères non ASCII

ans: sélectionnez * de nobel où gagnant comme «P% GR% _% berg»;