如何在clickhouse的远程服务器上保存从python控制台接收的数据?

9jyewag0  于 2021-06-15  发布在  ClickHouse
关注(0)|答案(0)|浏览(360)

如何保存数据https://docs.google.com/spreadsheets/ 使用gspread(例如,如果您有更好的方法,请告诉我们)将其传输到clickhouse数据库(我使用气流中的dag来控制etl)?
文档中的答案对新手来说不是很清楚,有没有分步指南?
只需在控制台python中获取数据-我可以,但下面是如何保存它们,因为您需要每天定期提取一次数据(间歇性只是气流的工作-我知道如何)
我假设您需要连接到clickhouse,这将是来自一个文件的数据流,该文件每天在airflow端生成一个python脚本,将来通过https发送到clickhouse。你有一个循序渐进的教程吗?
或者什么是用于此目的的最佳技术?
实际上,我的代码看起来是这样的(我认为首先要学习如何在语言环境中获取它,然后将它 Package 在dag气流中以自动启动脚本)

import gspread
    from oauth2client.service_account import ServiceAccountCredentials
    import pprint

    scope = ['https://spreadsheets.google.com/feeds']
    creds = ServiceAccountCredentials.from_json_keyfile_name('client_secret.json',scope)
    client = gspread.authorize(creds)

    sheet = client.open('Data base').sheet4

    result = sheet.get_all_records()
    print(result)

# in advance I apologize to the elders for the question from a novice

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题