nlp中的pyspark-bert微调

neskvpey  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(452)

我看到sparknlp已经预先训练了bert,elmo嵌入,但是我还没有找到一种方法来微调嵌入。
我看到有下游任务,但我不确定bert嵌入是刚刚提取出来然后插入到这些新的下游任务中,还是下游任务构建在bert的transformer架构之上(因此允许我们微调嵌入)。
有人能解释一下这一点吗?如果有可能的话,我如何在下游任务训练后提取新的权重呢。谢谢您。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题