嗨,我有一个hadoop集群,我正在考虑用r编写自己的Map器和还原器,然后使用hadoop流来做一些时间序列分析。然而,我想知道什么是跨集群安装任何类型软件的“通用”方法。可能存在一些魔法,比如:
sudo hadoop install R? # Pseudo code
谢谢!
hi3rlvi21#
使用自动化工具(如puppet和chef)跨集群自动化安装过程。另外,r周围也有一些 Package 器,比如revolution analytics和rhipe的 Package 器,可以更容易地在r中编写mr程序。
vojdkbi02#
实际上,我最终使用的是linux,希望它能自动安装。
# !/usr/bin/expect -f if {[llength $argv] != 1} { puts "usage: ssh.exp server" exit 1 } set server [lrange $argv 0 0] set timeout 60 spawn ssh -i key.pem ec2-user@$server expect "*connecting (yes/no)*" send -- "yes\r" expect "*~]$*" send -- "sudo su -c 'rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm'\r" send -- "nohup sudo su -c 'yum install -y R R-core R-core-devel R-devel' &\r" expect "*~]$*" send -- "exit\r" interact
2条答案
按热度按时间hi3rlvi21#
使用自动化工具(如puppet和chef)跨集群自动化安装过程。
另外,r周围也有一些 Package 器,比如revolution analytics和rhipe的 Package 器,可以更容易地在r中编写mr程序。
vojdkbi02#
实际上,我最终使用的是linux,希望它能自动安装。