ArangoDB中UPDATE的奇怪性能问题

h79rfbju  于 2022-12-09  发布在  Go
关注(0)|答案(1)|浏览(176)

我正在创建一个Node.js应用程序,它使用ArangoDB作为数据存储。基本上,我拥有的数据结构是两个表,一个用于管理所谓的instances,另一个用于entities。我所做的如下:

  • 对于我拥有的每个instanceinstances集合中都有一个文档。
  • 每当我向entities集合添加实体时,我还希望跟踪属于特定示例的实体。
  • 因此,每个instance文档都有一个entities的数组字段,我将实体的ID推入该数组。

下面的代码显示了一般大纲:

// Connect to ArangoDB.
db = new Database(...);
db.useBasicAuth(user, password);

// Use the database.
await db.createDatabase(database);
db.useDatabase(database);

// Create the instance collection.
instanceCollection = db.collection(`instances-${uuid()}`);
await instanceCollection.create();

// Create the entities collection.
entityCollection = db.collection(`entities-${uuid()}`);
await entityCollection.create();

// Setup an instance.
instance = {
  id: uuid(),
  entities: []
};

// Create the instance in the database.
await db.query(aql`
  INSERT ${instance} INTO ${instanceCollection}
`);

// Add lots of entities.
for (let i = 0; i < scale; i++) {
  // Setup an entity.
  const entity = {
    id: uuid()
  };

  // Update the instance.
  instance.entities.push(entity);

  // Insert the entity in the database.
  await db.query(aql`
    INSERT ${entity} INTO ${entityCollection}
  `);

  // Update the instance in the database.
  await db.query(aql`
    FOR i IN ${instanceCollection}
      FILTER i.id == ${instance.id}
      UPDATE i WITH ${instance} IN ${instanceCollection} OPTIONS { mergeObjects: false }
  `);
}

现在的问题是,我添加的实体越多,速度就变得越慢。它基本上是指数增长,尽管我预计它是线性增长的:

Running benchmark 'add and update'
  100 Entities:   348.80ms [+0.00%]
 1000 Entities:  3113.55ms [-10.74%]
10000 Entities: 90180.18ms [+158.54%]

添加索引会产生影响,但不会改变整个问题:

Running benchmark 'add and update with index'
  100 Entities:   194.30ms [+0.00%]
 1000 Entities:  2090.15ms [+7.57%]
10000 Entities: 89673.52ms [+361.52%]

问题可以追溯到UPDATE语句。如果不使用它而只使用数据库的INSERT语句,事情会线性扩展。因此,更新本身似乎有问题。但是,我不明白问题出在哪里。
这就是我想了解的:为什么UPDATE语句会随着时间的推移变得非常慢?我用错了吗?这是ArangoDB中的已知问题吗?...?
我 * 不 * 感兴趣的是讨论这种方法:请将is视为给定。让我们关注UPDATE语句的性能。有什么想法吗?
更新
根据评论中的要求,以下是关于系统设置的一些信息:

  • ArangoDB 3.4.6、3.6.2.1和3.7.0-alpha.2(均在MacOS和Linux上的Docker中运行)
  • 单服务器设置
  • ArangoJS 6.14.0(我们在早期版本中也有这个,虽然我不能告诉确切的版本)
ndasle7k

ndasle7k1#

发现问题

您是否尝试过explaining or profiling查询?
Arango的explan计划描述非常出色。您可以使用内置的Aardvark web管理界面访问explain,或者使用db._explain(query)。以下是您的explan计划描述:

Execution plan:
 Id   NodeType                  Est.   Comment
  1   SingletonNode                1   * ROOT
  5   CalculationNode              1     - LET #5 = { "_key" : "123", "_id" : "collection/123", "_rev" : "_aQcjewq---", ...instance }   /* json expression */   /* const assignment */
  2   EnumerateCollectionNode      2     - FOR i IN collection   /* full collection scan, projections: `_key`, `id` */   FILTER (i.`id` == "1")   /* early pruning */
  6   UpdateNode                   0       - UPDATE i WITH #5 IN pickups 

Indexes used:
 By   Name      Type      Collection   Unique   Sparse   Selectivity   Fields       Ranges
  6   primary   primary   pickups      true     false       100.00 %   [ `_key` ]   i

问题

计划中的关键部分是- FOR i IN collection /***full collection scan**全集合扫描将......很慢。它应该随着集合的大小线性增长。因此,对于scale迭代的for循环,这绝对意味着随着集合的大小呈指数增长。

溶液

索引id应该会有帮助,但我认为这取决于您如何创建索引。
使用_key而不是index会将计划更改为显示primary

- FOR i IN pickups   /* primary index scan, index only, projections: `_key` */

这应该是常数时间,所以对于scale迭代的for循环,这应该意味着线性时间。

相关问题