在azuredatabricks上使用python将数据写入azuresql

ttygqcqt  于 2021-05-17  发布在  Spark
关注(0)|答案(1)|浏览(506)

我是databricks的新手,我需要安排一些代码来使用python将数据转换和写入azuresql数据库。
我得到以下错误: DBAPIError: (pyodbc.Error) ('01000', "[01000] [unixODBC][Driver Manager]Can't open lib 'ODBC Driver 17 for SQL Server' : file not found (0) (SQLDriverConnect)") 在本地运行代码可以正常工作,并将数据写入azuresqldb。
下面是我的代码示例

server = "example.database.windows.net"
database = ""
username = ""
password = ""

driver = '{ODBC Driver 17 for SQL Server}'

odbc_str = 'DRIVER='+driver+';SERVER='+server+';PORT=1433;UID='+username+';DATABASE='+ database + ';PWD='+ password
connect_str = 'mssql+pyodbc:///?odbc_connect=' + urllib.parse.quote_plus(odbc_str)
engine = create_engine(connect_str)

df = pd.DataFrame({"Def": [1,2,3,4,5]})

def to_sql(df, table):
    df.to_sql(table, engine, if_exists = "replace", index=False, chunksize = 100)

to_sql(df, "Def")
zvokhttg

zvokhttg1#

默认情况下,azure databricks没有安装odbc驱动程序。
在运行上述命令之前,请确保已安装我的sql odbc驱动程序。
在单个单元格中运行以下命令以在azuredatabricks集群上安装我的sqlodbc驱动程序。

%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17

相关问题