我是AWS的新手,我想检查s3中的某个文件夹中是否存在特定的csv。如果存在,我想读取它,如果不存在,我想创建一个df并将其上传到s3。
到现在为止我所做的
list_of_files = []
for key in s3_client.list_objects(Bucket= 'abc',Prefix="folder/")['Contents']:
list_of_files.append(key['Key'])
个字符
事
if set(check_files) in set(list_of_files):
read_from_s3(file)
else:
pd.Dataframe()
型
2条答案
按热度按时间gupuwyp21#
使用s3_client get_object。https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Client.get_object
如果对象不存在,则抛出异常S3.Client.exceptions.NoSuchKey
检查以下样本
字符串
h79rfbju2#
除了boto 3客户端,你可以使用s3 fs包。安装:
个字符
S3_URI看起来像这样:“s3://your_bucket_name/folder/test.csv”
要读取或写入csv文件到s3,您可以使用aws wrangler。