我试图在awss3中创建一个由新文件启动的批处理。
所以流程是:
1 - A new file is uploaded to AWS S3 Bucket
2 - SCDF detects
3 - SCDF launch the task (Spring Batch application)
4 - Spring Batch application process the file and stores in a DB.
与此类似,但使用s3 bucket:https://dataflow.spring.io/docs/recipes/batch/sftp-to-jdbc/
可能是对这个概念的误解,但是在sftpsource中我可以设置端口、主机、用户和pass,但是在s3source中我没有region和credentials属性。
在哪里设置aws属性?
2条答案
按热度按时间af7jpaap1#
我在这里提供了这个用例的详细示例(使用minios3)。这在最新版本的流应用程序中是现成的,但是如果您使用的是以前的版本,则需要进行一些定制。
dsekswqp2#
有一个
Amazon AWS common options
自述文件中的一节(请参阅:old app/new app),其中包括可以覆盖的常见aws特定属性。您可以在流定义中或在部署流时通过遵循deployer属性约定将它们作为内联属性传递。