我已经能够使用pandas-gbq
package从Pandas框架中附加/创建一个表。特别是使用to_gbq
method。然而,当我想使用BigQuery Web UI检查表时,我看到以下消息:
此表在流缓冲区中包含在预览中可能不可见的记录。
我不是唯一一个问,似乎there's no solution to this yet。
所以我的问题是:
1.是否有解决上述问题的方法(即数据在Web UI中不可见)。
2.如果(1)没有解决方案,是否有其他方法可以使用Python BigQuery API将数据追加到现有表中?(注意,文档说我可以通过运行异步查询并使用writeDisposition=WRITE_APPEND
来实现这一点,但它提供的链接并没有解释如何使用它,我无法解决这个问题)。
2条答案
按热度按时间nx7onnlm1#
该消息只是一个UI通知,它不应该阻止你。
要检查数据,运行一个简单的查询,看看它是否在那里。
要只读取仍在流缓冲区中的数据,请使用此查询:
puruo6ea2#
写入表时,您可以使用:用途:
这个作业配置是一个bigquery.LoadJobConfig类。您可以示例化它并将其传递给
load_table_from_dataframe
方法。