在click house中导入大文件的问题

des4xlb0  于 2021-07-15  发布在  ClickHouse
关注(0)|答案(0)|浏览(357)

下面的语句只加载部分数据(几乎是实际数据的40%),错误如下所述:

cat  dr_201604.csv | docker run -i --rm \
  --link clickhouse-server:clickhouse-server \
  yandex/clickhouse-client \
  clickhouse-client --host clickhouse-server \
    --query="INSERT INTO dlr FORMAT CSV"

代码:117。db::异常:应为行尾
read unix@->/var/run/docker.sock:read:对等端重置连接
这一定是docker的问题,因为clickhouse网站并没有提到任何数据接收量的限制。dr201604.csv文件超过4 gb。如果我只选择了10行(sample.csv),那么它将毫无问题地加载。

head dr_201604.csv > sample.csv

只有大约800MB的数据可以通过管道传输,这有什么限制吗?
更新:
我尝试将卷装入容器中,但仍然能够加载与以前完全相同的行数:

docker run -i --rm \
      --volume /home/ec2-user/:/tmp/  --entrypoint=/bin/sh \
      --link clickhouse-server:clickhouse-server \
      yandex/clickhouse-client \
       -c "cat /tmp/dr_201604.csv | clickhouse-client --host clickhouse-server --query='INSERT INTO dlr FORMAT CSV' "

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题