MySQL charge les valeurs NULL à partir des données CSV

J'ai un fichier qui peut contenir de 3 à 4 colonnes de valeurs numériques séparées par des virgules. Les champs vides sont définis à l'exception lorsqu'ils se trouvent à la fin de la ligne:

1,2,3,4,5
1,2,3,,5
1,2,3

Le tableau suivant a été créé dans MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| Champ | Type | Null | Clé | Par défaut | Extra |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| un | int (1) | OUI | | NULL | |
| deux | int (1) | OUI | | NULL | |
| trois | int (1) | OUI | | NULL | |
| quatre | int (1) | OUI | | NULL | |
| cinq | int (1) | OUI | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

J'essaie de charger les données à l'aide de la commande MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

Le tableau résultant:

+ ------ + ------ + ------- + ------ + ------ +
| un | deux | trois | quatre | cinq |
+ ------ + ------ + ------- + ------ + ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ ------ + ------ + ------- + ------ + ------ +

Le problème réside dans le fait que lorsqu'un champ est vide dans les données brutes et n'est pas défini, MySQL pour une raison quelconque n'utilise pas la valeur par défaut des colonnes (qui est NULL) et utilise zéro. NULL est utilisé correctement lorsque le champ est totalement absent.

Malheureusement, je dois être capable de faire la distinction entre NULL et 0 à ce stade, donc toute aide serait appréciée.

Merci S.

Éditer

La sortie de SHOW WARNINGS:

+ --------- + ------ + -------------------------------- ------------------------ +
| Niveau | Code | Message |
+ --------- + ------ + -------------------------------- ------------------------ +
| Avertissement | 1366 | Valeur entière incorrecte: «» pour la colonne «quatre» à la ligne 2 |
| Avertissement | 1261 | La ligne 3 ne contient pas de données pour toutes les colonnes |
| Avertissement | 1261 | La ligne 3 ne contient pas de données pour toutes les colonnes |
+ --------- + ------ + -------------------------------- ------------------------ +

Cela fera ce que vous voulez. Il lit le quatrième champ dans une variable locale, puis définit la valeur réelle du champ sur NULL, si la variable locale finit par contenir une chaîne vide:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

S'ils sont tous éventuellement vides, vous les liriez tous dans des variables et auriez plusieurs instructions SET, comme ceci:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

Le manuel MySQL dit:

Lors de la lecture de données avec LOAD DATA INFILE, les colonnes vides ou manquantes sont mises à jour avec ''. Si vous voulez une valeur NULL dans une colonne, vous devez utiliser \ N dans le fichier de données. Le mot littéral «NULL» peut également être utilisé dans certaines circonstances.

Vous devez donc remplacer les blancs par \ N comme ceci:

1,2,3,4,5
1,2,3,\N,5
1,2,3

Le comportement est différent selon la configuration de la base de données. En mode strict, cela lèverait une erreur ou un avertissement. La requête suivante peut être utilisée pour identifier la configuration de la base de données.

mysql> show variables like 'sql_mode';

Prétraitez votre CSV d'entrée pour remplacer les entrées vides par \ N.

Tentative sur une expression régulière: s / ,, /, \ n, / g et s /, $ /, \ N / g

Bonne chance.

(variable1, @ variable2, ..) SET variable2 = nullif (@ variable2, '' ou '') >> vous pouvez mettre n'importe quelle condition

afficher les variables

Show variables like "`secure_file_priv`";

Remarque: conservez votre fichier csv à l'emplacement indiqué par la commande ci-dessus.

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

Remarque: ici, la datecolonne « » contient des valeurs vides dans le fichier csv.

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);