tensorflow 将pb流反序列化为特征太慢了,

1hdlvixo  于 2个月前  发布在  其他
关注(0)|答案(4)|浏览(66)

我们在A100机器上运行TensorFlow,我们的模型目前非常快地消耗TFRecord。我们发现反序列化varint64是一个热点,所以我想将其从varint64替换为fixed64。我发现:

  1. TensorFlow的feature.proto中不支持fixed64。
  2. 我有一个测试,fixed64比varint64快(10倍)。
    有没有方法可以在不修改TensorFlow代码的情况下实现fixed64?
nimxete2

nimxete21#

我们的一些机密数据需要转换为hash64,而解析varint64对hash64不友好。

nhjlsmyf

nhjlsmyf2#

现在TF不支持Fixed64,我们有没有计划在反序列化hash64时添加fixed64类型?

0pizxfdo

0pizxfdo3#

如果你认为这部分是有意义的,并且你没有计划去实现这部分,我可以贡献这部分代码。

ua4mk5z4

ua4mk5z44#

@zhaozheng09 贡献总是受欢迎的。请随意提交PR。谢谢!

相关问题