您应该必须使用set而不是list;* 在 * for循环之前执行：

idArray = set(idArray)

csvReadHandler = csv.reader(inputFile, delimiter=chr(1))
csvWriteHandler = csv.writer(outputFile, delimiter=chr(1), lineterminator='\n')
for fieldAry in csvReadHandler:
    lineCounts['orig'] += 1
    if fieldAry[CUSTOMER_ID] not in idArray:
        csvWriteHandler.writerow(fieldAry)
        lineCounts['mod'] += 1

看到令人难以置信的加速;仅仅因为选择了错误的数据结构就浪费了*天*的不必要的处理时间。
带有set的in运算符具有O（1）时间复杂度、而O（n）list的时间复杂度。这听起来似乎“没什么大不了的”，但实际上它是脚本中的瓶颈。即使set的常数稍高O。所以你的代码在一个in操作上比实际需要多花了30000多的时间，如果在最佳版本中需要30秒，现在你在这一行上就花了10天。
请参见以下测试：我生成了100万个ID，并将其中的10000个放入另一个列表to_remove中，然后像您一样执行for循环，对每条记录执行in操作：

import random
import timeit

all_ids = [random.randint(1, 2**63) for i in range(1000000)]
to_remove = all_ids[:10000]
random.shuffle(to_remove)
random.shuffle(all_ids)

def test_set():
    to_remove_set = set(to_remove)
    for i in all_ids:
        if i in to_remove_set:
            pass

def test_list():
    for i in all_ids:
        if i in to_remove:
            pass

print('starting')
print('testing list', timeit.timeit(test_list, number=1))
print('testing set', timeit.timeit(test_set, number=1))

结果：

testing list 227.91903045598883
testing set 0.14897623099386692

set版本花费了149毫秒; list版本需要228秒。现在这些都是很小的数字：在你的例子中，你有5000万条输入记录，而我只有100万条;因此，需要将testing set时间乘以50：用你的数据集，大概需要7.5秒。
另一方面，列表版本则需要将该时间乘以50 * 17 --不仅输入记录数增加了50倍，而且需要匹配的记录数增加了17倍，因此我们得到227 * 50 * 17 = 192950。
所以你的算法花了2.2天来完成一些事情，而使用正确的数据结构可以在7.5秒内完成。当然，这并不意味着你可以在7.5秒内扫描 * 整个50 GB的文档 *，但它可能也不会超过2.2天。所以我们从：

2 days                           2.2 days 
 |reading and writing the files||------- doing id in list ------|

变成了

2 days            7.5 seconds (doing id in set)
 |reading and writing the files||

要加快速度，最简单的方法是使用一些分布式解决方案来并行化行处理。其中最简单的方法之一是使用multiprocessing. Pool。您应该这样做（不检查语法）：

from multiprocessing import Pool

p = Pool(processes=4)
p.map(process_row, csvReadHandler)

尽管如此，python并不是进行这种批处理的最佳语言（主要是因为写入磁盘非常慢）。最好将所有磁盘写入管理（缓冲、队列等）留给linux内核，因此使用bash解决方案会更好。最有效的方法是将输入文件分成块，然后简单地执行反向grep来过滤id。

for file in $list_of_splitted_files; then
  cat $file | grep -v (id1|id2|id3|...) > $file.out
done;

如果以后需要合并，只需：

for file in $(ls *.out); then
  cat $file >> final_results.csv
done

注意事项：

• 不知道使用所有id执行单个grep是否比遍历所有id并执行单个id grep更高效/更低效。
• 在编写并行解决方案时，尝试读取/写入不同的文件，以最大限度地减少所有语言中的I/O瓶颈（所有线程尝试写入同一文件）。
• 在你的代码中为每个处理部分设置计时器。这样你就可以看到哪个部分浪费了更多的时间。我真的推荐这个因为我有一个类似的程序要写，我认为处理部分是瓶颈（类似于你对id向量的比较），但实际上是I/O拖慢了所有的执行。

我认为最好使用数据库来解决这个问题，首先创建一个像MySql或其他任何数据库，然后将文件中的数据写入2个表，最后使用一个简单的SQL查询来选择行，比如：从表1中选择 *，其中id在（从表2中选择id）