spring云数据流使用awss3 bucket中新文件后的启动任务源码

cwdobuhd  于 2021-06-27  发布在  Java
关注(0)|答案(2)|浏览(391)

我试图在awss3中创建一个由新文件启动的批处理。
所以流程是:

1 - A new file is uploaded to AWS S3 Bucket
2 - SCDF detects
3 - SCDF launch the task (Spring Batch application)
4 - Spring Batch application process the file and stores in a DB.

与此类似,但使用s3 bucket:https://dataflow.spring.io/docs/recipes/batch/sftp-to-jdbc/
可能是对这个概念的误解,但是在sftpsource中我可以设置端口、主机、用户和pass,但是在s3source中我没有region和credentials属性。
在哪里设置aws属性?

af7jpaap

af7jpaap1#

我在这里提供了这个用例的详细示例(使用minios3)。这在最新版本的流应用程序中是现成的,但是如果您使用的是以前的版本,则需要进行一些定制。

dsekswqp

dsekswqp2#

有一个 Amazon AWS common options 自述文件中的一节(请参阅:old app/new app),其中包括可以覆盖的常见aws特定属性。
您可以在流定义中或在部署流时通过遵循deployer属性约定将它们作为内联属性传递。

相关问题