如何从hive2将数据加载到blaze中

mgdq6dx1  于 2021-06-28  发布在  Hive
关注(0)|答案(2)|浏览(456)

全部,
我正试图从hive2旧版服务器将数据加载到blaze中。我想做一些类似的分析张贴在这里。这是我目前的流程。

import blaze as bz
import sqlalchemy
import impala

conn = connect(host='myhost.url.com', port=10000, database='mydb', user='hive', auth_mechanism='PLAIN')
engine = sqlalchemy.create_engine('hive://', creator=conn) 
data = bz.data(engine)

我能够建立连接并生成引擎,但是当我运行bz.data时,它会失败并出现错误

TypeError: 'HiveServer2Connection' object is not callable

感谢您的帮助。
回答

from pyhive import import hive
import sqlalchemy
from impala.dbapi import import connect

def conn():                                               
    return connect(host='myhost.com', port=10000, database='database',        user='username', auth_mechanism='PLAIN')

engine = sqlalchemy.create_engine('hive://', creator=conn)

# Workaround

import blaze as bz

data = bz.data(engine)
csbfibhn

csbfibhn1#

from pyhive import import hive
import sqlalchemy
from impala.dbapi import import connect

def conn():                                               
    return connect(host='myhost.com', port=10000, database='database', user='username', auth_mechanism='PLAIN')

engine = sqlalchemy.create_engine('hive://', creator=conn)

# Workaround

import blaze as bz

data = bz.data(engine)
wnavrhmk

wnavrhmk2#

我在使用impyla连接到具有sqlalchemy的 Impala 时遇到了同样的问题。使conn成为一个函数,而不是将它赋给一个变量。

相关问题