scalaspark/shark：如何访问hortonworks中现有的配置单元表？

72qzrwbm 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(321)

我想找一些关于这个问题的文档/描述，请帮忙。我已经从hortonworks安装了hadoop2.2.0和一些需要查询的现有配置单元表。配置单元sql在单节点和集群上的运行速度非常慢，而且速度也不合理。我希望鲨鱼能快点。
从spark/shark文档中，我不知道如何使shark与现有的配置单元表一起工作。有什么办法可以做到这一点吗？谢谢！

hadoop Hive scala apache-spark shark-sql

来源：https://stackoverflow.com/questions/23302260/scala-spark-shark-how-to-access-existing-hive-tables-in-hortonworks

1条答案

按热度按时间

pkbketx91#

您需要在特定于shark的配置单元目录中配置元存储。我在这里回答的一个类似问题提供了细节。
总之，您需要将hive-default.xml复制到hive-site.xml。然后确保设置了metastore属性。
以下是hive-site.xml中的基本信息

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://myhost/metastore</value>
  <description>the URL of the MySQL database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>mypassword</value>
</property>

您可以在这里获得更多详细信息：配置配置单元元存储

赞(0）回复(0）举报 2021-06-08

我来回答

scalaspark/shark：如何访问hortonworks中现有的配置单元表？

1条答案

相关问题

热门标签

最新问答