如何使用python连接hbase和spark？

我有一个尴尬的并行任务，我用spark来分配计算。这些计算是用python进行的，我使用pyspark读取和预处理数据。任务的输入数据存储在hbase中。不幸的是，我还没有找到一种令人满意的（即易于使用和可扩展的）方法来使用python从spark读写hbase数据。
我之前探讨过：
在python进程中使用 happybase . 这个包允许使用hbase的thriftapi从python连接到hbase。这样，我基本上跳过了spark进行数据读/写，错过了潜在的hbase spark优化。读速度似乎相当快，但写速度很慢。这是目前我最好的解决方案。
使用sparkcontext的 newAPIHadoopRDD 以及 saveAsNewAPIHadoopDataset 利用hbase的mapreduce接口。这方面的例子曾经包含在spark代码库中（参见这里）。然而，现在这些被认为是过时的hbase的spark绑定（参见这里）。我还发现这个方法很慢而且很麻烦（对于读写来说效果很好），例如从 newAPIHadoopRDD 必须以各种方式进行解析和转换，最终得到我想要的python对象。它一次也只支持一个列。
我知道的备选方案：
我目前正在使用cloudera的cdh和5.7.0版本 hbase-spark （cdh发行说明和一篇详细的博客文章）。此模块（以前称为 SparkOnHBase )将正式成为hbase 2.0的一部分。不幸的是，这个极好的解决方案似乎只适用于scala/java。
华为在hbase/astro上的sparksql（我看不出两者有什么区别……）。它看起来不像我希望的解决方案那样健壮和支持良好。

我发现这个评论是由一个 hbase-spark ，这似乎表明有一种方法可以使用pyspark使用sparksql查询hbase。
实际上，这里描述的模式可以应用于使用pyspark使用spark sql查询hbase，如下例所示：

from pyspark import SparkContext
from pyspark.sql import SQLContext

sc = SparkContext()
sqlc = SQLContext(sc)

data_source_format = 'org.apache.hadoop.hbase.spark'

df = sc.parallelize([('a', '1.0'), ('b', '2.0')]).toDF(schema=['col0', 'col1'])

# ''.join(string.split()) in order to write a multi-line JSON string here.

catalog = ''.join("""{
    "table":{"namespace":"default", "name":"testtable"},
    "rowkey":"key",
    "columns":{
        "col0":{"cf":"rowkey", "col":"key", "type":"string"},
        "col1":{"cf":"cf", "col":"col1", "type":"string"}
    }
}""".split())

# Writing

df.write\
.options(catalog=catalog)\  # alternatively: .option('catalog', catalog)
.format(data_source_format)\
.save()

# Reading

df = sqlc.read\
.options(catalog=catalog)\
.format(data_source_format)\
.load()

我试过了 hbase-spark-1.2.0-cdh5.7.0.jar （由cloudera发布）但是遇到了麻烦( org.apache.hadoop.hbase.spark.DefaultSource does not allow create table as select 写作时， java.util.NoSuchElementException: None.get 阅读时）。事实证明，目前版本的cdh不包括 hbase-spark 允许spark sql hbase集成。
对我有用的是 shc Spark包，在这里找到的。我对上述脚本所做的唯一更改是：

data_source_format = 'org.apache.spark.sql.execution.datasources.hbase'

下面是我在cdh集群上提交上述脚本的方式，遵循 shc 自述文件：

spark-submit --packages com.hortonworks:shc:1.0.0-1.6-s_2.10 --repositories http://repo.hortonworks.com/content/groups/public/ --files /opt/cloudera/parcels/CDH/lib/hbase/conf/hbase-site.xml example.py

大部分的工作 shc 似乎已经融入了 hbase-spark hbase模块，2.0版发行。这样，就可以使用上述模式对hbase进行spark sql查询（请参见：https://hbase.apache.org/book.html#_sparksql_dataframes 详细信息）。我上面的例子展示了pyspark用户的情况。
最后，需要注意的是：我上面的示例数据只有字符串。不支持python数据转换 shc ，所以我遇到了整数和浮点数在hbase中没有出现的问题，或者出现了奇怪的值。

如何使用python连接hbase和spark？

1条答案

相关问题

热门标签

最新问答