您可以使用两个选项：
在每个分区（mappartition或foreachpartition内）上设置hbase连接。如果希望每个执行器有一个连接，则必须在mappartition/foreachpartition中实现一种单例连接对象/池，并在该执行器执行的所有任务之间共享它（请注意，某些hbase客户端api不是线程安全的，最后完成的任务必须关闭连接，客户端缓冲区可能会快速增长）。
使用spark hbase connector（shc）：您可以在非常原始的级别（put、get、scan、delete、mutuation等）与hbase交互，而不仅仅是通过结构化的Dataframe

问题1：您可以使用hortonworks spark hbase连接器（在3个可用的连接器中，它支持spark 2.x）
这将简化上面的q2和q3。您将能够以rdd的形式从hbase加载数据，然后按照您喜欢的方式对其进行操作（转换为dataframe并在此处进行操作，或者转换为tmp表im内存并在顶部写入sql查询等）
按照上面链接上的设置，您可以。。
要加载表：

def catalog = s"""{
        |"table":{"namespace":"default", "name":"table1"},
        |"rowkey":"key",
        |"columns":{
          |"col0":{"cf":"rowkey", "col":"key", "type":"string"},
          |"col1":{"cf":"cf1", "col":"col1", "type":"boolean"},
          |"col2":{"cf":"cf2", "col":"col2", "type":"double"},
          |"col3":{"cf":"cf3", "col":"col3", "type":"float"},
          |"col4":{"cf":"cf4", "col":"col4", "type":"int"},
          |"col5":{"cf":"cf5", "col":"col5", "type":"bigint"},
          |"col6":{"cf":"cf6", "col":"col6", "type":"smallint"},
          |"col7":{"cf":"cf7", "col":"col7", "type":"string"},
          |"col8":{"cf":"cf8", "col":"col8", "type":"tinyint"}
        |}
      |}""".stripMargin

  sqlContext
  .read
  .options(Map(HBaseTableCatalog.tableCatalog->catalog))
  .format("org.apache.spark.sql.execution.datasources.hbase")
  .load()
}

要编写表格：

sc.parallelize(data).toDF.write.options(
  Map(HBaseTableCatalog.tableCatalog -> catalog, HBaseTableCatalog.newTable -> "5"))
  .format("org.apache.spark.sql.execution.datasources.hbase")
  .save()