如何在集群启动时在dataproc集群上自动安装python库？这将省去手动登录主节点和/或工作节点以手动安装所需库的麻烦。如果能知道这个自动化安装是否只能在主机上安装，而不能在工人上安装，那就太好了。
stszievb1#
初始化操作是最好的方法。初始化操作是在创建集群时运行的shell脚本。这将允许您自定义集群，例如安装python库。这些脚本必须存储在google云存储中，并且可以在通过google云sdk或google开发者控制台创建集群时使用。下面是一个示例初始化操作，用于仅在主节点上创建集群时安装python程序。
# !/bin/sh ROLE=$(/usr/share/google/get_metadata_value attributes/role) if [[ "${ROLE}" == 'Master' ]]; then apt-get install python-pandas -y fi
从这个脚本中可以看出，可以识别具有 /usr/share/google/get_metadata_value attributes/role 然后专门在主节点（或工作节点）上执行操作。您可以查看googleclouddataproc文档以了解更多详细信息
/usr/share/google/get_metadata_value attributes/role
1条答案
按热度按时间stszievb1#
初始化操作是最好的方法。初始化操作是在创建集群时运行的shell脚本。这将允许您自定义集群，例如安装python库。这些脚本必须存储在google云存储中，并且可以在通过google云sdk或google开发者控制台创建集群时使用。
下面是一个示例初始化操作，用于仅在主节点上创建集群时安装python程序。
从这个脚本中可以看出，可以识别具有
/usr/share/google/get_metadata_value attributes/role然后专门在主节点（或工作节点）上执行操作。您可以查看googleclouddataproc文档以了解更多详细信息