Comment importer un fichier CSV dans une table MySQL?

J'ai un journal d'événements CSV non normalisé d'un client que j'essaie de charger dans une table MySQL afin de pouvoir le refactoriser dans un format sain. J'ai créé une table appelée «CSVImport» qui a un champ pour chaque colonne du fichier CSV. Le CSV contient 99 colonnes, donc c'était une tâche assez difficile en soi:

CREATE TABLE 'CSVImport' (id INT);
ALTER TABLE CSVImport ADD COLUMN Title VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN Company VARCHAR(256);
ALTER TABLE CSVImport ADD COLUMN NumTickets VARCHAR(256);
...
ALTER TABLE CSVImport Date49 ADD COLUMN Date49 VARCHAR(256);
ALTER TABLE CSVImport Date50 ADD COLUMN Date50 VARCHAR(256);

Aucune contrainte n'est sur la table, et tous les champs contiennent des valeurs VARCHAR (256), à l'exception des colonnes qui contiennent les nombres (représentés par INT), oui / non (représentés par BIT), les prix (représentés par DECIMAL) et les textes textuels ( représenté par TEXT).

J'ai essayé de charger des données dans le fichier:

LOAD DATA INFILE '/home/paul/clientdata.csv' INTO TABLE CSVImport;
Query OK, 2023 rows affected, 65535 warnings (0.08 sec)
Records: 2023  Deleted: 0  Skipped: 0  Warnings: 198256
SELECT * FROM CSVImport;
| NULL             | NULL        | NULL           | NULL | NULL               | 
...

La table entière est remplie de NULL.

Je pense que le problème est que les textes de texte contiennent plus d'une ligne, et MySQL analyse le fichier comme si chaque nouvelle ligne correspondait à une ligne de base de données. Je peux charger le fichier dans OpenOffice sans problème.

Le fichier clientdata.csv contient 2593 lignes et 570 enregistrements. La première ligne contient les noms des colonnes. Je pense qu'il est délimité par des virgules, et le texte est apparemment délimité par des guillemets doubles.

METTRE À JOUR:

En cas de doute, lisez le manuel: http://dev.mysql.com/doc/refman/5.0/en/load-data.html

J'ai ajouté quelques informations à la LOAD DATAdéclaration selon laquelle OpenOffice était suffisamment intelligent pour en déduire, et maintenant il charge le nombre correct d'enregistrements:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

Mais il y a encore beaucoup d' NULLenregistrements complets , et aucune des données chargées ne semble être au bon endroit.

Le cœur de votre problème semble correspondre aux colonnes du fichier CSV à celles du tableau.

De nombreux clients graphiques mySQL ont de très belles boîtes de dialogue d'importation pour ce genre de choses.

Mon préféré pour le travail est HeidiSQL basé sur Windows . Il vous donne une interface graphique pour construire la LOAD DATAcommande; vous pouvez le réutiliser par programme plus tard.

Capture d'écran: Boîte de dialogue "Importer un fichier texte"

Pour ouvrir la boîte de dialogue Importer un fichier texte ", accédez à Tools > Import CSV file:

Utilisez mysqlimport pour charger une table dans la base de données:

mysqlimport --ignore-lines=1 \
            --fields-terminated-by=, \
            --local -u root \
            -p Database \
             TableName.csv

Je l'ai trouvé sur http://chriseiffel.com/everything-linux/how-to-import-a-large-csv-file-to-mysql/

Pour faire du délimiteur un onglet, utilisez --fields-terminated-by='\t'

La manière la plus simple dont j'ai importé plus de 200 lignes est la commande ci-dessous dans la fenêtre sql de phpmyadmin

J'ai une simple table de pays avec deux colonnes CountryId, CountryName

voici les données .csv

voici la commande:

LOAD DATA INFILE 'c:/country.csv' 
INTO TABLE country 
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS

Gardez une chose à l'esprit, n'apparaissez jamais dans la deuxième colonne, sinon votre importation s'arrêtera

Je sais que la question est ancienne , mais je voudrais partager cette

J'ai utilisé cette méthode pour importer plus de 100 Ko d' enregistrements ( ~ 5 Mo ) en 0,046 s

Voici comment procéder:

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Il est très important d'inclure la dernière ligne, si vous avez plus d'un champ c'est-à-dire que normalement il saute le dernier champ (MySQL 5.6.17)

LINES TERMINATED BY '\n'
(field_1,field_2 , field_3);

Ensuite, en supposant que vous avez la première ligne comme titre pour vos champs, vous souhaiterez peut-être également inclure cette ligne

IGNORE 1 ROWS

Voici à quoi cela ressemble si votre fichier a une ligne d'en-tête.

LOAD DATA LOCAL INFILE  
'c:/temp/some-file.csv'
INTO TABLE your_awesome_table  
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(field_1,field_2 , field_3);

phpMyAdmin peut gérer l'importation CSV. Voici les étapes:

1. Préparez le fichier CSV pour que les champs soient dans le même ordre que les champs de la table MySQL.

2. Supprimez la ligne d'en-tête du CSV (le cas échéant), de sorte que seules les données se trouvent dans le fichier.

3. Accédez à l'interface phpMyAdmin.

4. Sélectionnez le tableau dans le menu de gauche.

5. Cliquez sur le bouton d'importation en haut.

6. Accédez au fichier CSV.

7. Sélectionnez l'option "CSV utilisant LOAD DATA".

8. Entrez "," dans les "champs terminés par".

9. Entrez les noms de colonne dans le même ordre que dans la table de base de données.

10. Cliquez sur le bouton OK et vous avez terminé.

Ceci est une note que j'ai préparée pour mon utilisation future et que je partage ici si quelqu'un d'autre peut en bénéficier.

Vous pouvez résoudre ce problème en répertoriant les colonnes de votre instruction LOAD DATA. Du manuel :

LOAD DATA INFILE 'persondata.txt' INTO TABLE persondata (col1,col2,...);

... dans votre cas, vous devez répertorier les 99 colonnes dans l'ordre dans lequel elles apparaissent dans le fichier csv.

Essayez ça, ça a marché pour moi

    LOAD DATA LOCAL INFILE 'filename.csv' INTO TABLE table_name FIELDS TERMINATED BY ',' ENCLOSED BY '"' IGNORE 1 ROWS;

IGNORE 1 ROWS ignore ici la première ligne qui contient les noms de champs. Notez que pour le nom de fichier, vous devez taper le chemin absolu du fichier.

La ligne de commande mysql est sujette à trop de problèmes lors de l'importation. Voici comment procéder:

• utilisez excel pour modifier les noms d'en-tête pour qu'ils n'aient pas d'espaces
• enregistrer sous .csv
• utiliser le navigateur gratuit Navicat Lite Sql pour importer et créer automatiquement une nouvelle table (donnez-lui un nom)
• ouvrir la nouvelle table insérer une colonne de numéro automatique principale pour l'ID
• changez le type des colonnes comme vous le souhaitez.
• terminé!

Si vous utilisez MySQL Workbench (actuellement la version 6.3), vous pouvez le faire en:

1. Faites un clic droit sur "Tables";
2. Assistant d'importation de données de table;
3. Choisissez votre fichier csv et suivez les instructions (JSON pourrait également être utilisé); La bonne chose est que vous pouvez créer une nouvelle table en fonction du fichier csv que vous souhaitez importer ou charger des données dans une table existante

Je vois quelque chose d'étrange. Vous utilisez pour ESCAPING le même caractère que vous utilisez pour ENCLOSING. Donc, le moteur ne sait pas quoi faire quand il trouve un '"' et je pense que c'est pourquoi rien ne semble être au bon endroit. Je pense que si vous supprimez la ligne de ESCAPING, devrait fonctionner très bien. Comme:

LOAD DATA INFILE "/home/paul/clientdata.csv"
INTO TABLE CSVImport
COLUMNS TERMINATED BY ','
OPTIONALLY ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

À moins d'analyser (manuellement, visuellement, ...) votre CSV et de trouver quel personnage utilise pour s'échapper. Est parfois «\». Mais si vous ne l'avez pas, ne l'utilisez pas.

Encore une autre solution consiste à utiliser l' outil csvsql de l'incroyable suite csvkit .

Exemple d'utilisation:

csvsql --db mysql://$user:$password@localhost/$database --insert --tables $tablename  $file

Cet outil peut automatiquement déduire les types de données (comportement par défaut), créer une table et insérer les données dans la table créée. --overwriteL'option peut être utilisée pour supprimer la table si elle existe déjà. --insertoption - pour remplir le tableau à partir du fichier.

Pour installer la suite

pip install csvkit

Pré - requis: python-dev , libmysqlclient-dev,MySQL-python

apt-get install python-dev libmysqlclient-dev
pip install MySQL-python

Comment importer des fichiers CSV dans des tables SQL

Fichier d'exemple: fichier Overseas_trade_indexCSV de données

Pas:

1. Besoin de créer une table pour overseas_trade_index.

2. Besoin de créer des colonnes liées au fichier csv.

   Requête SQL:

   ( id int not null primary key auto_increment,
   series_reference varchar (60),
   period varchar (60),
   data_value decimal(60,0),
   status varchar (60),
   units varchar (60),
   magnitude int(60),
   subject text(60),
   group text(60),
   series_title_1 varchar (60),
   series_title_2 varchar (60),
   series_title_3 varchar (60),
   series_title_4 varchar (60),
   series_title_5 varchar (60),
    );

3. Besoin de connecter la base de données mysql dans le terminal.

   =>show databases;
   =>use database;
   =>show tables;

4. Veuillez entrer cette commande pour importer les données csv dans les tables mysql.

   load data infile '/home/desktop/Documents/overseas.csv' into table trade_index fields terminated by ',' lines terminated by '\n' (series_reference,period,data_value,status,units,magnitude,subject,series_title1,series_title_2,series_title_3,series_title_4,series_title_5);

5. Trouvez ces données d'index du commerce extérieur sur sqldatabase:

   select * from trade_index;

Si vous utilisez une machine Windows avec une feuille de calcul Excel chargée, le nouveau plugin mySql pour Excel est phénoménal. Les gens chez Oracle ont vraiment fait du bon travail sur ce logiciel. Vous pouvez établir la connexion à la base de données directement depuis Excel. Ce plugin analysera vos données et configurera les tables pour vous dans un format cohérent avec les données. J'avais quelques gros fichiers CSV de données à convertir. Cet outil était un gros gain de temps.

http://dev.mysql.com/downloads/windows/excel/

Vous pouvez effectuer des mises à jour à partir d'Excel qui alimenteront la base de données en ligne. Cela a très bien fonctionné avec les fichiers mySql créés sur un hébergement partagé GoDaddy ultra peu coûteux. (Notez que lorsque vous créez la table sur GoDaddy, vous devez sélectionner certains paramètres hors standard pour permettre l'accès hors site à la base de données ...)

Avec ce plugin, vous avez une interactivité pure entre votre feuille de calcul XL et le stockage de données mySql en ligne.

J'utilise mysql workbench pour faire le même travail.

1. créer un nouveau schéma
2. ouvrir le schéma nouvellement créé
3. faites un clic droit sur "Tables" et sélectionnez "Assistant d'importation de données de table"
4. donnez le chemin du fichier csv et le nom de la table et enfin configurez votre type de colonne car l'assistant définit le type de colonne par défaut en fonction de leurs valeurs.

Remarque: jetez un œil au fichier journal de mysql workbench pour toute erreur en utilisant "tail -f [mysqlworkbenchpath] /log/wb*.log"

Voici un exemple de capture d'écran du fichier Excel:

Enregistrez sous et choisissez .csv.

Et vous aurez comme illustré ci-dessous une capture d'écran de données .csv si vous ouvrez en utilisant le bloc-notes ++ ou tout autre bloc-notes.

Assurez-vous de supprimer l'en-tête et d'aligner les colonnes dans .csv comme dans le tableau mysql. Remplacez nom_dossier par le nom de votre dossier

LOAD DATA LOCAL INFILE
'D: /folder_name/myfilename.csv' INTO TABLE mail FIELDS TERMINATED BY ',' (fname, lname, email, phone);

Si le big data, vous pouvez prendre du café et le charger!.

C'est tout ce dont vous avez besoin.

Si vous utilisez Intellij https://www.jetbrains.com/datagrip/features/importexport.html

Requête PHP pour importer le fichier csv dans la base de données mysql

$query = <<<EOF
            LOAD DATA LOCAL INFILE '$file'
             INTO TABLE users
             FIELDS TERMINATED BY ','
             LINES TERMINATED BY '\n'
             IGNORE 1 LINES
            (name,mobile,email)
    EOF;
if (!$result = mysqli_query($this->db, $query))
   {
        exit(mysqli_error($this->db));
   }

** Exemple de données de fichier CSV **

name,mobile,email
Christopher Gritton,570-686-3439,ChristopherKGritton@inbound.plus
Brandon Wilson,541-309-5149,BrandonMWilson@inbound.plus
Craig White,516-795-8065,CraigJWhite@inbound.plus
David Whitney,713-214-3966,DavidCWhitney@inbound.plus

Modifiez le nom du serveur, le nom d'utilisateur, le mot de passe, le nom de la base de données, le chemin de votre fichier, le nom de la table et le champ qui se trouve dans votre base de données que vous souhaitez insérer

<?php
    $servername = "localhost";
    $username = "root";
    $password = "";
    $dbname = "bd_dashboard";
    //For create connection
    $conn = new mysqli($servername, $username, $password, $dbname);

    $query = "LOAD DATA LOCAL INFILE 
                'C:/Users/lenovo/Desktop/my_data.csv'
                INTO TABLE test_tab
                FIELDS TERMINATED BY ','
                LINES TERMINATED BY '\n'
                IGNORE 1 LINES
                (name,mob)";
    if (!$result = mysqli_query($conn, $query)){
        echo '<script>alert("Oops... Some Error occured.");</script>';
        exit();
            //exit(mysqli_error());
       }else{
        echo '<script>alert("Data Inserted Successfully.");</script>'
       }
    ?>