问题在于将数据集名称/值对加载到matrix_dict的方式，您必须创建一个字典来保存每个组的所有数据集名称/值对，然后将其分配给matrix_dict中适当的(i,j)索引。
我修改了你的代码来演示我认为你希望它如何工作。它使用了我创建的一个简单的HDF 5示例文件（每个文件有4个组/ 3个数据集）。该文件的代码在最后。
下面是我的例子的注解。

• 我将matrix_dict的名称改为arr_of_dict B/c它是一个NumPy数组。我这样做是为了清楚b/c数组和矩阵是不同的对象类型。您正在创建一个数组。矩阵是用np.matrix()创建的专用二维“类似数组”的对象。NumPy np.matrix()文档说：“* 不再建议使用此类 *"。
• 我创建了arr_dict，将每个组中的数据集名称/值对加载到一个字典中，并在循环后将其分配给组(i,j)索引。
• 我将group.items()生成的变量名从key,value更改为ds_name, ds_obj，以提高可读性（并强调它们是数据集名称和H5对象）。
  检索组/数据集并加载到字典的np.数组中的代码：

with h5py.File(loaddir, 'r') as loadedfile:
    for group in loadedfile.keys():
        print(f'working on group: {group}')
        if bool(re.match(groupname_template, group)):
            print(f'reading datasets in group: {group}')
            arr_dict = {}
            for ds_name, ds_obj in loadedfile[group].items():
                arr_dict[ds_name] = ds_obj[:]
            arr_of_dict[eval(group)[0], eval(group)[1]] = arr_dict

打印上面创建的np.数组中的值的代码：

for i in range(arr_of_dict.shape[0]):
    for j in range(arr_of_dict.shape[1]):
        arr = arr_of_dict[i,j]
        if len(arr):
            print(f'\ndatasets from group ({i}, {j})')
            [print(f'dataset {k}:\n{v}')  for k,v in arr.items() ]

创建示例文件的代码：

group_names = ['0, 0', '0, 1', '1, 0', '1, 1']
loaddir = 'test_datafile.hdf5'

with h5py.File(loaddir, 'w') as h5f:
    for group in group_names:
        grp = h5f.create_group(group)
        for i in range(3):
            arr = np.random.random(10).reshape(5,2)
            grp.create_dataset(f'ds_{i}', data=arr)