如何在没有internet连接的情况下安装脱机spark nlp软件包。我已经下载了软件包( recognizee_entities_dl )并上传到集群。
我已经安装了spark nlp使用 pip install spark-nlp==2.5.5 . 我正在使用pyspark，无法从集群下载包。
已经试过了；
pipeline = PretrainedPipeLine.from_disk('/path/to/recognize_entities_dl')
pipeline = PretrainedPipeLine.load('/path/to/recognize_entities_dl')错误：
'PretrainedPipeline' has no attribute 'load'
Input path does not exist:
hdfs://...../recognize_entities_dl_en_2.4.3_2.4_1584626752821/metatdata
1条答案
按热度按时间holgip5t1#
看看你的错误：
metatdata您应该通过删除一个额外的“t”来更改为元数据。
另外，您可以在“识别实体\u dl \u en \u 2.4.3 \u 2.4 \u 1584626752821”中看到2.4.3
这表明它适用于spark nlp 2.4.3
但是，在这个问题上，你提到你正在使用，
spark-nlp==2.5.5只要但有时会引起问题。
在“识别实体\u dl \u en \u 2.4.3 \u 2.4 \u 1584626752821”中也是2.4
这表明它是针对ApacheSpark2.4的
spark nlp库是针对ApacheSpark2.4.x构建和编译的。这就是为什么模型和管道只能用于2.4.x版本。