前提条件

在提交问题之前，请先为自己回答以下问题。

• [ Y] 我正在使用最新的TensorFlow Model Garden发布版和TensorFlow 2。
• [ Y] 我正在向正确的仓库报告问题(Model Garden官方或研究目录)。
• [ Y] 我检查过了，确保这个问题还没有被提交过。

1. 你正在使用的文件的整个URL

https://github.com/tensorflow/models/blob/master/official/nlp/modeling/models/bert_classifier.py

2. 描述bug

在使用FP32或FP16优化模型后，我没有得到任何速度提升。对于int8,我在优化过程中遇到了错误。

3. 重现步骤

1-使用tensorRT进行优化
2-测试新模式(推理时间没有变化)

4. 预期行为

优化后，推理时间应该会减少。

5. 其他信息

6. 系统信息

• Docker镜像：tensorflow/tensorflow:2.10.0-gpu
• OS平台和发行版(例如，Linux Ubuntu 16.04):亚马逊linux
• 如果问题发生在移动设备上，移动设备的名称：
• 从哪里安装的TensorFlow(源代码或二进制文件):二进制文件
• TensorFlow版本(使用下面的命令):2.10
• Python版本：3.X
• Bazel版本(如果从源代码编译):
• GCC/编译器版本(如果从源代码编译):
• CUDA/cuDNN版本：11.2.1/8.1.0.77-1
• GPU型号和内存：T4