spark无法使用audience项目将Dataframe写入dynamo

gfttwv5a  于 2021-05-17  发布在  Spark
关注(0)|答案(0)|浏览(321)

我正在编写一个spark代码,使用audience项目[1.1.0]从dynamodb读写数据。读取成功。写不出话来 Resource not found . 该表存在于我尝试写入的aws帐户中。知道为什么会有例外吗?

import com.amazonaws.regions.Regions
    import com.audienceproject.spark.dynamodb.implicits._
    import org.apache.spark.sql.SparkSession

    val tableName = "source-table"
    val spark = SparkSession.builder().getOrCreate()

    val dynamoDf = spark.read
      .option("region", Regions.US_WEST_2.getName)
//      .option("aws.dynamodb.endpoint", "http://localhost:8000")
      .dynamodb(tableName)

    dynamoDf.show(100)
    dynamoDf.printSchema()

    dynamoDf.write.dynamodb("target-table")

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题