我正在创建一个Node.js应用程序,它使用ArangoDB作为数据存储。基本上,我拥有的数据结构是两个表,一个用于管理所谓的instances
,另一个用于entities
。我所做的如下:
- 对于我拥有的每个
instance
,instances
集合中都有一个文档。 - 每当我向
entities
集合添加实体时,我还希望跟踪属于特定示例的实体。 - 因此,每个
instance
文档都有一个entities
的数组字段,我将实体的ID推入该数组。
下面的代码显示了一般大纲:
// Connect to ArangoDB.
db = new Database(...);
db.useBasicAuth(user, password);
// Use the database.
await db.createDatabase(database);
db.useDatabase(database);
// Create the instance collection.
instanceCollection = db.collection(`instances-${uuid()}`);
await instanceCollection.create();
// Create the entities collection.
entityCollection = db.collection(`entities-${uuid()}`);
await entityCollection.create();
// Setup an instance.
instance = {
id: uuid(),
entities: []
};
// Create the instance in the database.
await db.query(aql`
INSERT ${instance} INTO ${instanceCollection}
`);
// Add lots of entities.
for (let i = 0; i < scale; i++) {
// Setup an entity.
const entity = {
id: uuid()
};
// Update the instance.
instance.entities.push(entity);
// Insert the entity in the database.
await db.query(aql`
INSERT ${entity} INTO ${entityCollection}
`);
// Update the instance in the database.
await db.query(aql`
FOR i IN ${instanceCollection}
FILTER i.id == ${instance.id}
UPDATE i WITH ${instance} IN ${instanceCollection} OPTIONS { mergeObjects: false }
`);
}
现在的问题是,我添加的实体越多,速度就变得越慢。它基本上是指数增长,尽管我预计它是线性增长的:
Running benchmark 'add and update'
100 Entities: 348.80ms [+0.00%]
1000 Entities: 3113.55ms [-10.74%]
10000 Entities: 90180.18ms [+158.54%]
添加索引会产生影响,但不会改变整个问题:
Running benchmark 'add and update with index'
100 Entities: 194.30ms [+0.00%]
1000 Entities: 2090.15ms [+7.57%]
10000 Entities: 89673.52ms [+361.52%]
问题可以追溯到UPDATE
语句。如果不使用它而只使用数据库的INSERT
语句,事情会线性扩展。因此,更新本身似乎有问题。但是,我不明白问题出在哪里。
这就是我想了解的:为什么UPDATE
语句会随着时间的推移变得非常慢?我用错了吗?这是ArangoDB中的已知问题吗?...?
我 * 不 * 感兴趣的是讨论这种方法:请将is视为给定。让我们关注UPDATE
语句的性能。有什么想法吗?
更新
根据评论中的要求,以下是关于系统设置的一些信息:
- ArangoDB 3.4.6、3.6.2.1和3.7.0-alpha.2(均在MacOS和Linux上的Docker中运行)
- 单服务器设置
- ArangoJS 6.14.0(我们在早期版本中也有这个,虽然我不能告诉确切的版本)
1条答案
按热度按时间ndasle7k1#
发现问题
您是否尝试过explaining or profiling查询?
Arango的explan计划描述非常出色。您可以使用内置的Aardvark web管理界面访问
explain
,或者使用db._explain(query)
。以下是您的explan计划描述:问题
计划中的关键部分是
- FOR i IN collection /*
**full collection scan
**全集合扫描将......很慢。它应该随着集合的大小线性增长。因此,对于scale
迭代的for
循环,这绝对意味着随着集合的大小呈指数增长。溶液
索引
id
应该会有帮助,但我认为这取决于您如何创建索引。使用
_key
而不是index会将计划更改为显示primary
这应该是常数时间,所以对于
scale
迭代的for
循环,这应该意味着线性时间。