有没有办法在sparkr中加载.rdata或.model文件(使用databricks)?

ergxz8rk  于 2021-05-26  发布在  Spark
关注(0)|答案(1)|浏览(625)

我在databricks环境中使用sparkr,并尝试加载一个使用rstudio创建的xgb模型。
我将模型保存在.rdata和.model中(使用 xgb.save )类型(只是为了增加我成功的机会),然后将这两个文件上载到dbfs(databricks)中的一个文件夹中。
现在,使用databricks,我想加载模型以便将其应用于新数据,但总是收到相同的错误消息。下面是代码和错误:

%r

# Trying to load the .RData file

load(file='/FileStore/tables/folder/xgb_model.RData')

readchar中的错误(con,5l,usebytes=true):无法打开readchar中的连接错误(con,5l,usebytes=true):无法打开readchar中的连接错误(con,5l,usebytes=true):无法打开连接

%r

# Trying to load the .model file

xgb.load("/FileStore/tables/folder/xgb_model.model")

xgb.booster.handle(modelfile=modelfile)中的错误:xgb.booster.handle(modelfile=modelfile)中的错误:[23:34:59]合并/。/dmlc core/src/io/local\u filesys.cc:209:检查失败:允许\u null:localfilesystem::open“/filestore/tables/folder/xgb\u model.model”:没有这样的文件或目录
这有可能吗?

yqlxgs2m

yqlxgs2m1#

这个 FileStore 是位于dbfs上的特殊文件夹,因此要访问此数据,r代码需要了解dbfs。但在您的情况下,它只能与本地文件一起工作,这就是它失败的原因。使其在中处理文件 FileStore 作为本地文件,您需要预先设置 /dbfs/ 文件名,比如, /dbfs/FileStore/tables/folder/xgb_model.model (请注意,它可能无法在带有7.x运行时的社区版上运行)

相关问题