pickling-sparknlp-bert模型

a9wyjsp7  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(391)

我正在尝试创建一个相对快速的模型,它需要为一组文档嵌入单词,以便在分类中使用。现在在spark中,最慢的部分似乎是从spark nlp包加载到bertembeddings模型中。我知道这是因为模型非常大,但是否值得尝试在spark运行时环境(例如azure)中pickle或缓存嵌入模型,或者每次运行都需要一段时间才能完全加载?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题