图像处理中的python内存管理

uqxowvwt  于 2021-07-13  发布在  Java
关注(0)|答案(0)|浏览(176)

我对数据科学还比较陌生,我正试图为卡格尔黑色素瘤竞赛创建一个cnn模型。我创建了以下两个函数来将jpeg图像文件夹转换为numpy数组:

def keras_pipeline(file):
    TARGET_SIZE = (100,150)
    img = load_img(file, target_size=TARGET_SIZE)
    img_array = img_to_array(img)
    return img_array

def files_to_array(path, files_list):
    files = [path+file for file in files_list]
    with concurrent.futures.ProcessPoolExecutor() as executor:
        img_map = executor.map(keras_pipeline, files)
    return img_map

然后在卷积网络中使用这个数组。
我在华硕tufa15上运行,有八个内核,16gb内存,和一个nvidia geforce gtx1660ti gpu。我试过多次调整大小来运行这段代码 TARGET_SIZE s、 每次我让公羊超载。我可以尝试增加交换,但我认为无论我使用多少,它都会崩溃。
是否有任何文献或文档讨论图像处理中ram的使用,或计算特定大小的numpy阵列将使用多少内存的方法?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题