pandas 如何从你的S3桶加载数据到Sagemaker jupyter笔记本电脑来训练模型？

3lxsmp7m 于 2023-01-15 发布在其他

关注(0)|答案(2)|浏览(127)

我有csv文件在S3桶，我想用这些来训练模型在sagemaker。
使用此代码，但它给出错误（文件未找到）

import boto3
import pandas as pd
region = boto3.Session().region_name
train_data_location = 's3://taggingu-{}/train.csv'.format(region)
df=pd.read_csv(train_data_location, header = None)
print df.head

解决这个问题的办法是什么？

pandas

来源：https://stackoverflow.com/questions/53495968/how-to-load-data-from-your-s3-bucket-to-sagemaker-jupyter-notebook-to-train-the

2条答案

按热度按时间

pbpqsu0x1#

不确定，但此堆栈溢出是否可以解决此问题？Load S3 Data into AWS SageMaker Notebook
引用@Chhoser的话：

import boto3
import pandas as pd
from sagemaker import get_execution_role

role = get_execution_role()
bucket='my-bucket'
data_key = 'train.csv'
data_location = 's3://{}/{}'.format(bucket, data_key)

pd.read_csv(data_location)

赞(0）回复(0）举报 2023-01-15

gudnpqoy2#

您可以使用AWS SDK for Pandas，这是一个扩展Pandas的库，可以与AWS数据存储顺畅地工作。

import awswrangler as wr
df = wr.s3.read_csv("s3://bucket/file.csv")

大多数笔记本内核都有，如果没有，可以通过pip install awswrangler安装。

赞(0）回复(0）举报 2023-01-15

我来回答

pandas 如何从你的S3桶加载数据到Sagemaker jupyter笔记本电脑来训练模型？

2条答案

相关问题

热门标签

最新问答