如何从json对象生成structtype

snz8szmq 于 2021-05-22 发布在 Spark

关注(0)|答案(1)|浏览(502)

如何从java中的json对象创建结构类型？在我的例子中，json对象是一个avro模式（我在下面截断了它）。

{\"type\":\"record\",\"name\":\"DataRecord\",\"namespace\":\"com.mycode\",\"fields\":[{\"name\":\"data\",\"type\":{\"type\":\"record\",\"name\":\"Data\",
\"fields\":[{\"name\":\"COUNT\",\"type\":[{\"type\":\"null\"},{\"type\":\"int\"}],\"default\":null},{\"name\":\"VALUE\",\"type\":[{\"type\":\"null\"},{\"type\":\"int\"}],\"default\":null}] }

我不喜欢手动创建structtype对象。我在scala中见过很多方法，但在java中没有类似的方法。

Java avro apache-spark apache-spark-sql

来源：https://stackoverflow.com/questions/64348144/java-spark-how-to-generate-structtype-from-a-json-object

1条答案

按热度按时间

jdzmm42g1#

与 "org.apache.spark" %% "spark-core" % "2.4.5" , "com.databricks" %% "spark-avro" % "3.2.0" 我能够将json字符串模式转换为avro模式，然后转换为struct类型。

import org.apache.avro.Schema;
import org.apache.spark.sql.types.StructType;
import com.databricks.spark.avro.SchemaConverters;

String schemaStr ="{ \"type\" : \"record\", \"name\" : \"test_schema\", \"namespace\" : \"com.test.avro\", \"fields\" : [ { \"name\" : \"username\", \"type\" : \"string\", \"doc\"  : \"blah blah\" }, { \"name\" : \"tweet\", \"type\" : \"string\", \"doc\"  : \"test\" }, { \"name\" : \"timestamp\", \"type\" : \"long\", \"doc\"  : \"test\" } ], \"doc:\" : \"test\" }";
Schema schema = Schema.parse(schemaStr);    
StructType requiredType = (StructType) SchemaConverters.toSqlType(schema).dataType();

注：spark/scala的较新版本包括 "com.databricks" %% "spark-avro" 默认情况下

赞(0）回复(0）举报 2021-05-23

我来回答

如何从json对象生成structtype

1条答案

相关问题

热门标签

最新问答