问题类型

性能问题

你是否在 TF nightly 中复现了这个 bug?

是的

问题来源

二进制文件

Tensorflow 版本

v2.11.0-rc2-17-gd5b57ca93e5 2.11.0

自定义代码

无

OS 平台和发行版

操作系统平台：Linux-4.19.0-23-cloud-amd64-x86_64-with-debian-10.13 Linux 发行版：('debian', '10.13', '')

移动设备

无响应

Python 版本

Python 版本：3.7.12

Bazel 版本

无响应

GCC/编译器版本

无响应

CUDA/cuDNN 版本

NVIDIA-SMI 460.32.03 Driver Version: 460.32.03 CUDA Version: 11.2

GPU 型号和内存大小

无响应

当前行为？

String/IntegerLookup 层下使用了静态哈希表。我注意到随着词汇表大小的增加，性能会降低，因为我假设它基本上是一个具有 O(1) 查找时间的哈希表，但这不应该是这样。我的时间复杂度假设有误吗？

重现问题的独立代码

test = tf.keras.layers.StringLookup(name=f"{100000}_string_lookup", vocabulary = list(map(str, range(100000))))
%timeit test("23")
>> 75.3 ms ± 430 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

test_100 = tf.keras.layers.StringLookup(name=f"{100}_string_lookup", vocabulary = list(map(str, range(100))))
%timeit test_10("23")
>> 610 µs ± 21.1 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

testi = tf.keras.layers.IntegerLookup(name=f"{100000}_int_lookup", vocabulary = list(range(100000)))
testi_100 = tf.keras.layers.IntegerLookup(name=f"{100}_string_lookup", vocabulary = list(range(100)))

%timeit testi(23)
%timeit testi_100(23)

>>75.9 ms ± 421 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
>>816 µs ± 21.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

相关日志输出

75.3 ms ± 430 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
610 µs ± 21.1 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

75.9 ms ± 421 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
816 µs ± 21.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)