我正在学习ibm的在线课程:高级机器学习课程。
我想装一个 .csv
文件,然后将其存储为 parquet
格式化我的watson项目中的云对象存储(在这里您可以找到如何访问存储对象存储watson)。
本课程的老师使用以下方法:将文件添加到对象存储中。
基本上,文档展示了如何使用 Insert SparkSession Dataframe
选项。
我根本找不到这个选项,我几乎什么都试过了,但是点击了我的输入 .csv
(如文件所示)只给我 pandas Dataframe
选项。
我做错什么了?我仔细地遵循每一步,我尝试了几乎所有可用的环境(免费cpu Python3.6,ApacheSparkPython3.6ECC…),但没有成功,选项根本不会显示。
1条答案
按热度按时间kx5bkwkv1#
我解决了这个问题。
你需要创造一个新的环境并给它添上Spark。
一旦你创建了你的笔记本,选择这个环境,加载一个虚拟的
.json
文件,您可以选择Insert SparkSession Dataframe
.