pymongo.errors.BulkWriteError:发生批处理操作错误(MongoDB 3.4.2，pymongo 3.4.0，Python 2.7.13)

sqserrrh 于 2022-11-22 发布在 Go

关注(0)|答案(3)|浏览(244)

我正在使用pymongo将数亿条{'id_str': , 'created_at': , 'text': }的tweet从文本文件迁移到MongoDB。为每个用户创建一个集合来存储他/她的tweet。我使用的插入方法是insert_many()。它经常运行到BulkWriteError。

Traceback (most recent call last):
  File "pipeline.py", line 105, in <module>
    timeline_db, meta_db, negative_db, log_col, dir_path)
  File "/media/haitao/Storage/twitter_pipeline/migrate_old.py", line 134, in migrate_dir
    timeline_db[user_id].insert_many(utility.temporal_sort(statuses))
  File "/home/haitao/anaconda3/envs/py27/lib/python2.7/site-packages/pymongo/collection.py", line 711, in insert_many
    blk.execute(self.write_concern.document)
  File "/home/haitao/anaconda3/envs/py27/lib/python2.7/site-packages/pymongo/bulk.py", line 493, in execute
    return self.execute_command(sock_info, generator, write_concern)
  File "/home/haitao/anaconda3/envs/py27/lib/python2.7/site-packages/pymongo/bulk.py", line 331, in execute_command
    raise BulkWriteError(full_result)
pymongo.errors.BulkWriteError: batch op errors occurred

这个错误似乎发生在有重复的键时，这不应该是这里的情况。有没有其他的东西，我可以检查来解决这个问题？
提前感谢！

mongodb

来源：https://stackoverflow.com/questions/43073956/pymongo-errors-bulkwriteerror-batch-op-errors-occurred-mongodb-3-4-2-pymongo

3条答案

按热度按时间

qc6wkl3g1#

抱歉耽搁了。
1)我复制了这个错误。下面是接近mongod.log结尾的部分。

I -        [ftdc] Assertion: 13538:couldn't open [/proc/5774/stat] errno:24 Too many open
files
W FTDC     [ftdc] Uncaught exception in 'Location13538: couldn't open [/proc/5774/stat] 
errno:24 Too many open files' in full-time diagnostic data capture subsystem. Shutting down 
the full-time diagnostic data capture subsystem.
E STORAGE  [conn2] WiredTiger (24) [1491020356:127332][5774:0x7f6f30e9d700], WT_SESSION
.create: /var/lib/mongodb/: directory-sync: open: Too many open files
I COMMAND  [conn2] command timeline_db.231731006 command: insert { insert: "231731006", 
ordered: true, documents: 1000 } ninserted:0 keyUpdates:0 writeConflicts:0 exception: 24: 
Too many open files code:8 numYields:0 reslen:123 locks:{ Global: { acquireCount: { r: 2, 
w: 2 } }, Database: { acquireCount: { w: 1, W: 1 } }, Collection: { acquireCount: { w: 1, 
W: 1 } } } protocol:op_query 511ms```

2)是的，只传递MongoClient()的一个示例。
3)未运行多处理。
在我发布了第一个问题后，我开始使用insert_one()，它明确地引发了打开文件限制错误。我改变了数据库的设计（主要是减少了集合的数量），并解决了关于打开文件限制的问题。我不确定，但日志似乎表明，BulkWriteError的实际原因也是打开文件限制。

赞(0）回复(0）举报 2022-11-22

o8x7eapl2#

对我来说，发生错误是因为第二次在**_id中复制。
因此，如果我使用sayitems在Mongo中添加，pymongo会自动插入object_id aka _id**，然后如果items是全局的，它将具有来自上一个操作的**_id**，这将导致冗余，并最终导致BulkWriteError。
清除该高速缓存解决了这个问题。

赞(0）回复(0）举报 2022-11-22

mzmfm0qo3#

您是否可以使用以下代码调试错误详细信息：

try: 
    # pymongo process here
    pass
except BulkWriteError as error
    print(error.details)

中的每一个
你还可以完善上面的代码，使用 pdb 在终端上进行调试：

try: 
    # pymongo process here
    pass
except BulkWriteError as error
    import pdb; pdb.set_trace()

格式
然后打印 error.details 或您想要的任何内容：

(Pdb) error.details

格式

赞(0）回复(0）举报 2022-11-22

我来回答

pymongo.errors.BulkWriteError:发生批处理操作错误(MongoDB 3.4.2，pymongo 3.4.0，Python 2.7.13)

3条答案

相关问题

热门标签

最新问答