我有几个excel文件,我试图处理和处理后合并到总数据库。每个excel文件可以单独处理,所以我决定使用多处理来加快这个过程。不幸的是,我得到了一个错误multiprocessing.pool.MaybeEncodingError: Error sending result: [6811 rows x 5 columns]]'. Reason: 'TypeError("cannot pickle 'dict_values' object")'
代码如下:
def process_with_deals(file):
###some code to process DataFrame
int_tot = int_tot.drop(columns=['deals'])
return int_tot
if __name__ == '__main__':
exper = os.listdir('E:\ALLDataCourts')[:2]
with Pool(2) as p:
result = p.map(process_with_deals, exper)
我对多处理有点陌生,所以我很感激所有可能的帮助。
1条答案
按热度按时间roqulrg31#
我发现我的dataframe包含dct.values()。转换为list解决了这个问题。