团队，感谢这个很棒的库，这帮助我们避免安装整个transformers库来使用分词器！有任何计划将Golang绑定到Rust实现或从头开始吗？另外，在Golang中从头开始编写它的地方在哪里？
hc2pp10m1#
我认为其他项目正在维护自己的：https://pkg.go.dev/github.com/gomlx/tokenizers#section-readme由于需求量较低(与Python相比),我们目前不会支持。
fafcakar2#
对不起，github.com/gomlx/tokenizers仍在建设中(我已更新README.md以反映这一点)。我最近停止了继续推进它，因为目前我正在将Gemma模型移植到GoMLX,为此我现在正在使用最新的https://github.com/eliben/go-sentencepiece,也许它能帮助你@xuxiaoxia96?
2条答案
按热度按时间hc2pp10m1#
我认为其他项目正在维护自己的：https://pkg.go.dev/github.com/gomlx/tokenizers#section-readme
由于需求量较低(与Python相比),我们目前不会支持。
fafcakar2#
对不起，github.com/gomlx/tokenizers仍在建设中(我已更新README.md以反映这一点)。
我最近停止了继续推进它，因为目前我正在将Gemma模型移植到GoMLX,为此我现在正在使用最新的https://github.com/eliben/go-sentencepiece,也许它能帮助你@xuxiaoxia96?