结果与sqoop不一致

pgky5nke 于 2021-06-03 发布在 Sqoop

关注(0)|答案(1)|浏览(460)

使用sqoop从mysql数据库获取数据，无论是从shell还是从python子进程运行，结果都不一致。但是，在访问oracledb时，即使是从同一个python会话，我也不会遇到这种问题。
以下将按预期从shell运行：

export username="user1"

URI="jdbc:mysql://$host/dbname"
URI="${URI}?verifyServerCertificate=false"
URI="${URI}&useSSL=true"
URI="${URI}&requireSSL=false"

## List Tables

sqoop list-tables  \
    --connect ${URI} \
    --username ${username} \
    --password-file password.file

但是，在python子进程中不会运行完全相同的操作：

import subprocess

## List Tables

subprocess.Popen(
    'sqoop list-tables --connect jdbc:mysql://$host/dbname?verifyServerCertificate=false&useSSL=true&requireSSL=false --username user1 --password-file password.file',
shell=True)

出现以下错误：

ERROR [main] manager.CatalogQueryManager (LoggingUtils.java:logAll(43)) - Failed to list tables
java.sql.SQLException: Access denied for user ''@'100.100.100.100' (using password: NO)

要通过python子进程使用sqoop连接到mysql数据库，我还需要做些什么吗？

hdfs shell sqoop python python-2.7

来源：https://stackoverflow.com/questions/55857463/inconsistent-result-with-sqoop

1条答案

按热度按时间

jaql4c8m1#

发帖后马上就发现了。也许它能帮助别人。
我需要把连接字符串包起来 "" .
下面是一个更整洁的python表示。

import subprocess

with open('lbaDevUsername.file', 'r') as f:
    username = f.read()

URI = "jdbc:mysql://$host/dbname"
URI = "{}?verifyServerCertificate=false".format(URI)
URI = "{}&useSSL=true".format(URI)
URI = "{}&requireSSL=false".format(URI)

## List Tables

subprocess.Popen("""
sqoop list-tables \
--connect "{}" \
--username {} \
--password-file password.file 
""".format(URI, username), shell=True)

赞(0）回复(0）举报 2021-06-03

我来回答

结果与sqoop不一致

1条答案

相关问题

热门标签

最新问答