尝试编辑大量1.5 GB CSV文件

yxyvkwin 于 2023-09-27 发布在其他

关注(0)|答案(2)|浏览(92)

我一直试图对我的公司每月得到的一张CSV发票进行更改。但是，文件大小为1.5 GB，包含超过1.500.000行，36列。虽然我可以在Microsoft Excel中打开文件，但尝试编辑数据会导致大多数行/列在我不知情的情况下被删除。尝试进入并编辑它导致我丢失了大约16 MB的数据。我写了一个PowerShell脚本将文件拆分为两个不同的文件，但问题是其中一个CSV缺少一个头，我必须手动添加它。我也有同样的问题，一些数据被删除，尽管在1，048，576行的限制下，Excel有。
我尝试在Visual Studio Code中更新CSV并使用Rainbow CSV扩展，但每次尝试打开CSV时，我都看到Visual Studio崩溃。我也试过使用Notepad++和CSV Lite插件，但它们没有过滤器选项，操作起来更简单。我想知道是否有人对编辑这么大的CSV文件有建议，或者他们是否知道如何在Excel中编辑数据而不会有数据被意外删除的风险？
谢谢你，谢谢！

在Excel中编辑文件，但未经本人同意，随机数据被删除。
在Visual Studio Code中编辑文件，但经常崩溃。
在**Notepad++**中编辑文件，但 *CSV Lite插件 * 在过滤数据方面不如Excel友好。

csv

来源：https://stackoverflow.com/questions/77106460/trying-to-edit-massive-1-5-gb-csv-file

2条答案

按热度按时间

jq6vz3qz1#

@MagineMozios有正确的想法。编写PowerShell脚本来编辑CSV数据而不删除任何内容非常容易。这是我用来编辑1.5GB CSV文件数据的PowerShell脚本。
代码：

# Define the path to the CSV file
$csvPath = "C:\Users\yourfile.csv"  # Replace 'yourfile.csv' with your actual CSV file name

# Load the CSV into a variable
$csvData = Import-Csv -Path $csvPath

# Iterate through each row in the CSV
foreach ($row in $csvData) {
    # Check if any column contains "SubscriptionName1" and update the "CostCenter" column to "####"
    if ($row.PSObject.Properties.Value -contains "SubscriptionName1") {
        $row."CostCenter" = "####"
    }
    # Check if any column contains "SubscriptionName2" and update the "CostCenter" column to "####"
    elseif ($row.PSObject.Properties.Value -contains "SubscriptionName2") {
        $row."CostCenter" = "####"
    }
    
    elseif ($row.PSObject.Properties.Value -contains "SubscriptionName3") {
        $row."CostCenter" = "####"
    }
}

# Export the updated CSV
$csvData | Export-Csv -Path $csvPath -NoTypeInform

感谢所有做出贡献的人！

赞(0）回复(0）举报 2023-09-27

uinbv5nw2#

EmEditor将是如此大的CSV文件的一个很好的选择。https://www.emeditor.com/

赞(0）回复(0）举报 2023-09-27