因此，当我选择Python作为我的工具时，我倾向于忽略内存管理和优化当前CPU等优化。我们当然需要look at the O of the code we're writing.但是，如果我们想深入研究，我们可能应该选择一种不同的语言。
话虽如此，我倾向于选择Python，因为当我处理大型数据集时，我是在一个网络上进行的，这个网络与为数据问题类型设计的更好的解决方案相关联。通常，Python只是绑定到不同的大数据技术。
因此，我不查看示例的RAM，而是查看数据在Redis这样的数据存储中的位置。
然后我们会问这样的问题，我们可以使用多个线程或多台机器吗？如果答案是肯定的，通常情况下，我们可以将较大的数据集分成部分并并行处理这些部分。老实说，它听起来比Python复杂得多，因为有许多基于社区任务队列的解决方案such as Celery
因此，如果我们将数据集拆分并为其排队任务，则可以将可扩展数量的工作进程放在数据集后面，以便在一组公共内存（可能是数据存储或even a NoSQL database such as MongoDB.）上进行并行处理
如果我们发现自己处于无法分割数据的情况下，并且必须在一个线程中完成这些事情，那么我们可能首先就不应该用Python编写这些东西。我喜欢Python。我用它做了很多工作。但在这种情况下，我们绝对应该使用像C这样的编译语言来实际获得赛车的性能。Python并不是一门高性能语言。基于Python的大型系统实际上通过进行网络调用or being bound to C来获得这种性能。

在我看来，要选择一个好的方法来解决你的问题，你应该问自己以下几个问题：“我需要内存中的所有数据来执行计算吗？“

**如果答案是否定的，**您可以坚持使用pandas并利用chunking分块执行计算。下面，我粘贴了一个简单的例子，说明如何使用pandas执行chunking，并向数据集添加一列，同时一次只将1/10的数据加载到内存中。在scaling上还有一个pandas用户指南。您还可以查看polars，它专门设计用于处理比可用RAM大得多的数据集。
**如果答案是肯定的，**您应该考虑在spark cluster之类的框架上执行计算，这是一个专门为大规模并行数据处理而设计的框架。另一位SO用户也寻求帮助，寻求一种处理数百万观察结果的好方法，在他的案例中，我推荐了PySpark-您可以找到答案here

如何在pandas中执行chunking的示例：

import pandas as pd
import numpy as np

# create dummy data with 1 million rows
data = {
    'col_1': [1, 2, 3, 4] * 250_000,
    'col_2': ['a', 'b', 'c', 'd'] * 250_000 
}
df = pd.DataFrame(data)
print(df.shape)  # (1000000, 2)

# save to disk
df.to_csv('my_csv.csv', index=False)
del df

# load 100'000 rows at a time, process them, and save them
for i, df in enumerate(pd.read_csv('my_csv.csv', chunksize=100_000)):
    
    # perform your calculations for individual parts of your dataframe
    df['col_3'] = df['col_1'] + 1

    if i == 0:
        df.to_csv('my_new_csv.csv', index=False)
    else:
        df.to_csv('my_new_csv.csv', index=False, mode='a', header=False)
del df    

# load entire dataframe to get shape
df = pd.read_csv('my_new_csv.csv')
print(df.shape)  # (1000000, 3)