python 多处理和pandas DataFrame

omvjsjqw  于 2023-03-28  发布在  Python
关注(0)|答案(1)|浏览(124)

我有几个excel文件,我试图处理和处理后合并到总数据库。每个excel文件可以单独处理,所以我决定使用多处理来加快这个过程。不幸的是,我得到了一个错误multiprocessing.pool.MaybeEncodingError: Error sending result: [6811 rows x 5 columns]]'. Reason: 'TypeError("cannot pickle 'dict_values' object")'
代码如下:

def process_with_deals(file):
    ###some code to process DataFrame
    int_tot = int_tot.drop(columns=['deals'])
    return int_tot

if __name__ == '__main__':
    exper = os.listdir('E:\ALLDataCourts')[:2]
    with Pool(2) as p:
        result = p.map(process_with_deals, exper)

我对多处理有点陌生,所以我很感激所有可能的帮助。

roqulrg3

roqulrg31#

我发现我的dataframe包含dct.values()。转换为list解决了这个问题。

相关问题