我想用spark读取hbase中的表。我添加了以下依赖项:
libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"
如hbase网站中所述,但无法解决依赖关系!!我也试过不同的版本(1.2.0,1.1.2),但都没用。
piok6c0g1#
在pom.xml中使用hbase spark依赖时,我也遇到了同样的问题
<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark --> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-spark</artifactId> <version>2.0.0-alpha4</version> </dependency>
我使用以下步骤解决上述问题:单击下图中的蓝色标记区域,从maven存储库下载hbase spark依赖jar。根据所附的图像在/src/main/resources中创建一个lib文件夹。将下载的jar复制到lib文件夹中,并在pom.xml中添加jar文件的系统路径.
<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark --> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-spark</artifactId> <version>2.0.0-alpha4</version> <scope>system</scope> <systemPath>${project.basedir}/src/main/resources/lib/hbase-spark-2.0.0-alpha4.jar</systemPath> </dependency>
希望对你有帮助。
l7wslrjt2#
看起来不像 hbase-spark 位于maven central中,这是将从中检索依赖项的默认存储库。您需要配置构建管理工具(不清楚您是使用maven还是sbt)来使用正确的存储库。从项目页面可以使用https://repository.apache.org/content/repositories/snapshots 对于快照https://repository.apache.org/content/repositories/releases 发布不过,目前看来只有快照可用。此外,正如作者在下面的评论中提到的,这行
hbase-spark
实际上应该是
libraryDependencies += "org.apache.hbase" % "hbase-spark" % "2.0.0-SNAPSHOT"
在这种情况下不需要双精度%因为您不想将scala版本附加到工件名称。
p4tfgftt3#
添加此存储库cloudera公司https://repository.cloudera.com/artifactory/cloudera-repos/然后你可以通过maven下载:org.apache.hbase hbase spark 1.2.0-cdh5.7.0
3条答案
按热度按时间piok6c0g1#
在pom.xml中使用hbase spark依赖时,我也遇到了同样的问题
我使用以下步骤解决上述问题:
单击下图中的蓝色标记区域,从maven存储库下载hbase spark依赖jar。
根据所附的图像在/src/main/resources中创建一个lib文件夹。
将下载的jar复制到lib文件夹中,并在pom.xml中添加jar文件的系统路径
.
希望对你有帮助。
l7wslrjt2#
看起来不像
hbase-spark
位于maven central中,这是将从中检索依赖项的默认存储库。您需要配置构建管理工具(不清楚您是使用maven还是sbt)来使用正确的存储库。
从项目页面可以使用
https://repository.apache.org/content/repositories/snapshots 对于快照
https://repository.apache.org/content/repositories/releases 发布
不过,目前看来只有快照可用。
此外,正如作者在下面的评论中提到的,这行
实际上应该是
在这种情况下不需要双精度%因为您不想将scala版本附加到工件名称。
p4tfgftt3#
添加此存储库
cloudera公司https://repository.cloudera.com/artifactory/cloudera-repos/
然后你可以通过maven下载:
org.apache.hbase hbase spark 1.2.0-cdh5.7.0