由于数据量巨大,我无法在pc上训练该模型,但该模型应部署为Web服务。
为了我的计划
使用spark train a模型
将该模型转换为sklearn模型或handcraft numpy模型,pickle转换为文件
安装flask Web服务器,加载该模型
服务收入需求并进行预测
问题
我不知道如何将sparkml模型转换为sklearn模型。我有谷歌这个,但没有任何有用的发现。
由于数据量巨大,我无法在pc上训练该模型,但该模型应部署为Web服务。
使用spark train a模型
将该模型转换为sklearn模型或handcraft numpy模型,pickle转换为文件
安装flask Web服务器,加载该模型
服务收入需求并进行预测
我不知道如何将sparkml模型转换为sklearn模型。我有谷歌这个,但没有任何有用的发现。
1条答案
按热度按时间brgchamk1#
你看过吗https://mleap-docs.combust.ml/? 如果你在spark中训练你的模型,尤其是在databricks上,这可能是一个很好的选择。
欢迎随时dm我(在个人资料的链接),很高兴有一个更全面的讨论,根据您的要求