我试图将cacerts文件作为--file参数传递给dataprocsparkooperator中的dag,但失败了,出现以下异常
原因:org.elasticsearch.hadoop.eshadopillegalargumentexception:应在[location]找到密钥库文件,但无法找到。请确保它在类路径上可用,如果不可用,请确保指定了有效的uri。位于org.elasticsearch.hadoop.rest.commonhttp.sslsocketfactory.loadkeystore(sslsocketfactory)。java:195)在org.elasticsearch.hadoop.rest.commonhttp.sslsocketfactory.loadtrustmanagers(sslsocketfactory)上。java:226)在org.elasticsearch.hadoop.rest.commonhttp.sslsocketfactory.createsslcontext(sslsocketfactory。java:173)
这里是dag操作符,我在其中传递cacerts作为文件参数
submit_spark = DataProcSparkOperator(
task_id='XXXXXXXXX',
job_name=XXXXXXXX",
dataproc_spark_jars=XXXXXXX,
cluster_name=XXXXXXXXXX,
service_account=XXXXXXXXX,
region=XXXXXXXXX,
zone=XXXXXXXXX,
gcp_conn_id=XXXXXXXX,
files=['XXXXXXXXXXX/cacerts'],
main_class=XXXXXXXXXXX,
arguments=XXXXXXXXXXXx,
dag=XXXXXXXXXXX,
)
它与spark submit命令一起工作,并用--file参数传递cacerts文件
暂无答案!
目前还没有任何答案,快来回答吧!