如何让csvkit/csvsql为csv文件生成insert语句？

z5btuh9x 于 2022-12-25 发布在其他

关注(0)|答案(4)|浏览(299)

我想为一些csv文件生成sql插入语句。
我可以使用一行awk脚本来完成此操作，例如：

awk -F "\t" '{printf("INSERT INTO T_COMMON_ENUM_VALUE (id,name,category_id) values (%s, '\''%s'\'', %s, %s);\n", $1, $2, $3, $4)}'

但是这仍然需要一些努力。csvkit中的csvsql似乎会自动生成insert语句。我检查了documentation并使用了以下命令，但它不会生成insert语句。

$ cat data02.csv
db_enumvalue_id db_enumvalue_name       db_enumcategory_id
800     şirin   9

$ csvsql data02.csv
CREATE TABLE data02 (
        db_enumvalue_id INTEGER NOT NULL,
        db_enumvalue_name VARCHAR(18) NOT NULL,
        db_enumcategory_id INTEGER NOT NULL
);

它会生成create table语句，但是文档中说：

Generate SQL statements for a CSV file or execute those statements directly on a database.

我应该怎么做才能使用csvkit获得insert sql语句？

csv

来源：https://stackoverflow.com/questions/36449406/how-to-let-csvkit-csvsql-generate-insert-statements-for-csv-file

4条答案

按热度按时间

mnemlml81#

这是一个完全由数据驱动的方法，虽然有点傻，但确实有效。

#!/usr/bin/env bash

##
## ensure script stops on errors
set -eu
set -o pipefail

##
## load your data into a SQLite DB
csvsql test.csv --db=sqlite:///test.db --insert

##
## let SQLite generate the inserts
echo ".dump test" | sqlite3 test.db

运行它，你会得到这样的结果：

BEGIN TRANSACTION;
CREATE TABLE test (
    id INTEGER NOT NULL,
    month VARCHAR(5) NOT NULL,
    market FLOAT NOT NULL,
    acme FLOAT NOT NULL
);
INSERT INTO "test" VALUES(1,'1/86',-0.061134,0.03016);
INSERT INTO "test" VALUES(2,'2/86',0.00822,-0.165457);
INSERT INTO "test" VALUES(3,'3/86',-0.007381,0.080137);
...
INSERT INTO "test" VALUES(60,'12/90',-0.026401,-0.190834);
COMMIT;

将其捕获到一个文件中，你就大功告成了。如果你还想自动化插入阶段，也可以将其 Package 在Python子进程调用中，或者通过管道传输到数据库命令行客户端。
如果你要插入到一个已有的表中，这种方法适用于像MySQL这样的数据库管理系统，它可以进行隐式类型转换，因为CSV不能定义字符串和数字之后的字段的数据类型。对于像Postgres这样更严格的数据库管理系统，你需要在脚本文件中编辑数据类型。

赞(0）回复(0）举报 2022-12-25

bpzcxfmw2#

看看文档，我猜大概是这样的：
如果目标表T_COMMON_ENUM_VALUE已经存在：

$ csvsql --tables T_COMMON_ENUM_VALUE --insert --no-create data02.csv

如果目标表T_COMMON_ENUM_VALUE不存在：

$ csvsql --tables T_COMMON_ENUM_VALUE --insert data02.csv

这应该只输出脚本，如果你想执行语句到你的数据库，你需要添加--db CONNECTION_STRING，例如：

$ csvsql --db mssql://user:pass@host:port/database --tables T_COMMON_ENUM_VALUE --insert data02.csv

希望这能帮上忙

赞(0）回复(0）举报 2022-12-25

eyh26e7m3#

可能没有直接的解决方案来使用csvsql生成插入或删除SQL脚本;至少在我迫切需要的时候我自己找不到一个，但是--query选项帮助了我们，它允许我们自己准备这样的语句，当然，它需要一点努力，但是它的回报非常好。
下面是一个例子，我有一个csv文件（名为test2.csv），这就是我如何能够为csv文件中的所有行生成插入语句。

csvsql  --query "SELECT 'insert into test2  values (''' ||    
trim(ifnull(my_table.survived, 'null123')) ||''' ,''' ||     
trim(ifnull(my_table.RECORD_TYPE, 'null123')) ||''' ,''' ||     
trim(ifnull(my_table.BASE_HIN, 'null123')) ||''' ,''' ||     
trim(ifnull(my_table.SUFFIX, 'null123')) ||''',''' ||     
trim(ifnull(my_table.name, 'null123')) ||''' ,''' ||     
trim(ifnull(my_table.ADDRESS_1, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.ADDRESS_2, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.CITY, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.STATE, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.PRIMARY_ZIP, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.COUNTRY, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.TELEPHONE, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.CLASS_OF_TRADE, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.DEA, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.DATE_HIN_ASSIGNED, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.DATE_LAST_EDITED, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.STATUS, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.VERIFIED, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.LAST_ACTION_CODE, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.REASON_CODE, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.REFERBACK_CODE, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.SUBSET, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.UPIN, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.SPECIALTY, 'null123')) ||'''  ,''' ||     
trim(ifnull(my_table.FAX, 'null123')) ||''' )'FROM test2 as my_table WHERE survived='0'" test2.csv > insert.sql

确保这是一行，因为csvsql不喜欢断行。
另外，准备好insert.sql后，您需要删除标题行，删除双引号（从所有行中），还需要查找= 'null123'并将其替换为is null。

赞(0）回复(0）举报 2022-12-25

omjgkv6w4#

https://github.com/Ahmed-M-Salah/CsvToSql
一个C#项目。更新了5-7年前的一个项目的分支。

赞(0）回复(0）举报 2022-12-25