调用rdd.savetocassandra时无法将rdd保存到cassandra。它导致以下异常。
Exception:Failed to get converter for field "actionsData" of type Option[sparkinterface.messages.ActionsData] in sparkinterface.messages.NotificationEvent mapped to column "actionsData" of "graph.notification_events"
下面是case类、cassandra表定义和使用的软件版本。
case class NotificationEvent(
userId:String,
eventId
day
event
actionsData:Option[ActionsData]
)
create table notification_events(
"userId" text ,
"eventId" text ,
"day" text,
"event" text ,
"actionsData" FROZEN<"ActionsData"> )
scala 2.12.10
apache-cassandra-3.11.4
apache spark 3.0.0
spark-cassandra-connector_2.12-3.0.0-beta
问题可能是因为case类中的option字段。cassandra中选项[actionsdata]和actionsdata udt之间的Map是否正确?
建议如何克服异常。我还没有检查读取流。
暂无答案!
目前还没有任何答案,快来回答吧!