sparknlp示例代码在databrcks上下载900mb非常慢

ne5o7dgx  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(286)

我正在试着运行关于sparknlp的ipython笔记本https://github.com/johnsnowlabs/spark-nlp-workshop/blob/master/tutorials/certification_trainings/public/databricks_notebooks/3.sparknlp_pretrained_models.ipynb
我在数据库里运行它

6.6 ML spark 2.4.5

代码


# no need for token columns

use_embeddings = UniversalSentenceEncoder.pretrained('tfhub_use').\
setInputCols(["document"]).\
setOutputCol("sentence_embeddings")

10 minutes

下载900 mb预训练模型。
太慢了,databricks spark ui显示没有活动任务,节点是i3.8ec2。此外,databricks显示代码只运行一个作业/任务,因此没有并行计算。
我犯了些错误吗?如何加速?
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题