**背景:**想要从mongo读取数据并写入GCP bucket中的文件。我不想将从mongo检索到的数据保留到内存中,而是在检索到第一个数据块后,将其写入/刷新到GCP bucket中的文件,然后从mongo获取另一个数据块并再次写入同一文件。
注:我不希望数据在内存中缓冲,并在结束时/从mongo检索数据完成后将其写入文件。
如何才能做到这一点?
**背景:**想要从mongo读取数据并写入GCP bucket中的文件。我不想将从mongo检索到的数据保留到内存中,而是在检索到第一个数据块后,将其写入/刷新到GCP bucket中的文件,然后从mongo获取另一个数据块并再次写入同一文件。
注:我不希望数据在内存中缓冲,并在结束时/从mongo检索数据完成后将其写入文件。
如何才能做到这一点?
1条答案
按热度按时间fjaof16o1#
如果您已经在GCP上的VM中部署了mongodb,您需要使用“Cloud Storage Fuse”。Cloud Storage Fuse是一个用Go语言编写的插件,它可以帮助您将云存储桶挂载到Linux或Macos文件系统中(来源:你只需要挂载你的gcs存储器,在其中创建一个csv文件,然后使用文件操作更新它。