我学会了通过命令行界面创建作业流。我正在使用amazonelasticmapreduce cli创建和运行作业流。我的疑问是,我想在创建作业流时使用引导操作将源文件从s3 bucket放入主节点。我在交互模式下使用pig程序来运行我的作业流。
我阅读了引导操作的文档,但这些东西对我来说并不清楚。
任何人都能告诉我如何使用引导操作将文件从s3 bucket复制到主节点吗。
我学会了通过命令行界面创建作业流。我正在使用amazonelasticmapreduce cli创建和运行作业流。我的疑问是,我想在创建作业流时使用引导操作将源文件从s3 bucket放入主节点。我在交互模式下使用pig程序来运行我的作业流。
我阅读了引导操作的文档,但这些东西对我来说并不清楚。
任何人都能告诉我如何使用引导操作将文件从s3 bucket复制到主节点吗。
1条答案
按热度按时间z5btuh9x1#
引导操作只是标准的unix脚本。确保shebang指向集群中机器上的一个解释器,您就可以开始了。
你说的源文件是指你的Pig脚本吗?这些可以直接从s3运行。如果您谈论的是数据,那么应该直接从s3中读取这些数据,除非您有一个先复制到集群的用例(比如多次扫描相同的数据)