我正在尝试创建一个相对快速的模型,它需要为一组文档嵌入单词,以便在分类中使用。现在在spark中,最慢的部分似乎是从spark nlp包加载到bertembeddings模型中。我知道这是因为模型非常大,但是否值得尝试在spark运行时环境(例如azure)中pickle或缓存嵌入模型,或者每次运行都需要一段时间才能完全加载?
目前还没有任何答案,快来回答吧!
暂无答案!
目前还没有任何答案,快来回答吧!