在Julia中为www.example.com函数添加进度条CSV.read?

cclgggtu  于 2023-04-27  发布在  其他
关注(0)|答案(1)|浏览(149)

我有一个txt文件,比如xx.txt,大约有几亿行。
当我使用CSV.read('xx.txt', DataFrame)将数据读入Julia时,大约需要10分钟。
我想知道是否有可能添加一个进度条或其他东西来显示正在进行的阅读过程?
谢谢。

2ic8powd

2ic8powd1#

感谢tamasgal提供的建议。所有荣誉都是他的。在下面的代码行中,我实现了他的想法。现在我们可以看到进度条。阅读过程也可以大大加快。用我的笔记本电脑,只需要大约两分钟,比原来的方法短五倍。

using CSV, DataFrames
using ProgressMeter

function Txt2DF(TxtDt; ntasks = 100)
    df = DataFrame()
    DataChunks = CSV.Chunks(TxtDt, ntasks = ntasks)
    @showprogress for chunk in DataChunks
        append!(df, DataFrame(chunk), promote = true)
    end
    return df
end

Txt2DF("xx.txt")

相关问题