问题类型

错误

来源

二进制的

tensorflow 版本

2.9

自定义代码

是的

操作系统平台和分发

Linux操作系统Ubuntu 20.04

移动的设备

• 没有回应 *

Python版本

3.9

Bazel版本

• 没有回应 *

GCC/编译器版本

• 没有回应 *

CUDA/cuDNN版本

• 没有回应 *

GPU型号和内存

TPU第3 -8版

当前行为？

Use "TF_DETERMINISTIC_OPS = 1" or "tf.config.experimental.enable_op_determinism()" can get determistic result on GPU.

But the results are nondetermistic on cloud TPU.

重现问题的独立代码

https://github.com/edwardyehuang/CAR

The code on repo above can get determistic result on GPU, but the result is nondetermistic on TPU.

相关日志输出

TPU 1st RUN (1000 steps):

1000/1000 [==============================] - 506s 395ms/step - loss: 1.6268 - IOU: 0.3178 - g_1_orl: 0.6300 - g_1_sal: 0.0168 - val_loss: 1.3395 - val_IOU: 0.2370

TPU 2nd RUN (1000 steps):

1000/1000 [==============================] - 645s 448ms/step - loss: 1.6488 - IOU: 0.3095 - g_1_orl: 0.6314 - g_1_sal: 0.0162 - val_loss: 1.7416 - val_IOU: 0.1793