Google Big Query表无法使用JSON文件创建

jobtbby3  于 2023-08-08  发布在  Go
关注(0)|答案(1)|浏览(121)

在Google BigQuery中使用json文件创建表时,上传到云存储中,出现以下错误。

Failed to create table: Error while reading data, error message: Failed to parse JSON: Unexpected end of string; Unexpected end of string; Expected key File: GCP_Cloud_Storage_HR_Analytics_POC-Changed_data_14-07[1].json

字符串
我知道我们BQ需要新的分隔JSON文件,但是否有一种方法将JSON转换为新的分隔JSON,因为记录计数更多,我不能手动更改它
任何帮助都是非常感谢的
使用云存储中上传的JSON文件在BigQuery中成功创建表

kr98yfug

kr98yfug1#

试试这个代码。
它使用ndjson python包,您可以按照https://pypi.org/project/ndjson/0.3.1/的说明安装

import ndjson
import json

    # with open('your_input_path_to_json_file/ndjson.json') as f:
    #     data = json.loads(f)
    input = '[{"a":1,"b":2,"c":3},{"x":4,"y":5,"z":6}]'
    data = json.loads(input)
    with open('your_output_path_to_newline_delimted/backup.ndjson', 'w') as f:
        ndjson.dump(data, f)

字符串
如果你不想写代码,试试这个在线转换器https://www.json-to-ndjson.app/

相关问题