在scala中读取spark rdd(从hbase表创建)

dl5txlt9  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(350)

我们已经从hbase表中创建了一个sparkrdd,现在想要访问它的元素。这是我们所做的。已创建rdd var hBaseRDD2 = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result]) 通过以下方式获取第一个条目: val type2 = hBaseRDD2.take(1) 输出 (hBaseRDD2.take(1).foreach(println))
(31,键值={1/pubentity:abstract/1476537886382/put/vlen=9/mvcc=0, 1/pubentity:affiliations/1476537886382/put/vlen=2/mvcc=0, 1/pubentity:article_title/1476537886382/put/vlen=64/mvcc=0,1/pubentity:author/1476537886382/put/vlen=497/mvcc=0, 1/pubentity:journal_title/1476537886382/put/vlen=20/mvcc=0,1/pubentity:pmid/1476537886382/put/vlen=1/mvcc=0,1/酒吧remaining:countries/1476537886382/put/vlen=2/mvcc=0,1/发布remaining:created_at/1476537886382/put/vlen=11/mvcc=0,1/pubremaining:doi/1476537886382/put/vlen=9/mvcc=0,1/发布remaining:date_created/1476537886382/put/vlen=8/mvcc=0,1/pubremaining:iso_abbreviation/1476537886382/put/vlen=11/mvcc=0,1/pubremaining:issn/1476537886382/put/vlen=9/mvcc=0,1/酒吧remaining:pub_date/1476537886382/put/vlen=12/mvcc=0,1/pubremaining:year/1476537886382/put/vlen=4/mvcc=0})
打印“type2”类型 println(type2.getClass) 哪些输出
类[lscala.tuple2;
因为它显示type2是元组,所以我试着这样做
println(type2.\u 1)输出错误如下:
错误:值\u 1不是数组[(org.apache.hadoop.hbase.io.immutablebyteswritable,org.apache.hadoop.hbase.client.result)的成员]
怎么能读说“例如”pubentity:article_title“从条目中。参见上面#3的输出中的条目示例。谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题