有一个很大的文本文件，不能全部加载到内润例。
现在有一个建简单的实现方式， 根据local__rank取对应的行。
请问有更好的方法吗？

class SplitedIterableDataset(IterableDataset):
    def __init__(self, ):
        self.files = ['../train_t5/300-400.txt', '300-400.txt']
        self.local_rank = dist.get_rank()
        self.word_size = dist.get_world_size()

    def __iter__(self):
        for file in self.files:
            f = open(file)
            for idx, line in enumerate(f):
                if (idx - self.local_rank) % self.word_size == 0:
                    # with open('rank_{}'.format(self.local_rank), 'a+') as f:
                    #     f.write(line)
                    try:
                        yield json.loads(line)
                    except:
                        continue