我想从云存储创建bigquery表。Kafka蒸汽作为文本文件上传到云存储每5分钟。我想创建bigquery表使用的是每5分钟更新一次，从更新的文件到bigquery。最好的方法是什么？请给我一些建议
zqdjd7g91#
您可以使用googlecloud函数来检测文件何时上载，然后执行一些代码来索引该文件。或者，我相信已经存在一个bigquery-kafka连接器，所以您可以跳过gcs，除非您需要原始数据(注意：二进制文件的存储成本比纯文本低，而且bigquery支持读取各种格式）
1条答案
按热度按时间zqdjd7g91#
您可以使用googlecloud函数来检测文件何时上载，然后执行一些代码来索引该文件。
或者，我相信已经存在一个bigquery-kafka连接器，所以您可以跳过gcs，除非您需要原始数据(注意：二进制文件的存储成本比纯文本低，而且bigquery支持读取各种格式）