使用brianc/node-postgres批量插入Postgres

pinkon5k  于 2023-06-29  发布在  Node.js
关注(0)|答案(6)|浏览(185)

我在nodejs中有以下代码,它使用pg(https://github.com/brianc/node-postgres)我为员工创建订阅的代码就是这样。

client.query(
      'INSERT INTO subscriptions (subscription_guid, employer_guid, employee_guid) 
       values ($1,$2,$3)', [
        datasetArr[0].subscription_guid,
        datasetArr[0].employer_guid,
        datasetArr[0].employee_guid
      ],

      function(err, result) {
        done();

        if (err) {
          set_response(500, err, res);
          logger.error('error running query', err);
          return console.error('error running query', err);
        }

        logger.info('subscription with created');
        set_response(201);

      });

正如你已经注意到的,datasetArr是一个数组。我想一次为多个员工创建批量订阅。但是我不想在数组中循环。有没有办法用pg开箱即用?

epfja78i

epfja78i1#

我搜索了同样的问题,但还没有找到答案。使用async库,多次使用查询并执行必要的错误处理非常简单。
可能这个代码变体有帮助。(将10.000个小JSON对象插入到空数据库需要6秒)。
克里斯托夫

function insertData(item,callback) {
  client.query('INSERT INTO subscriptions (subscription_guid, employer_guid, employee_guid)
       values ($1,$2,$3)', [
        item.subscription_guid,
        item.employer_guid,
        item.employee_guid
       ], 
  function(err,result) {
    // return any err to async.each iterator
    callback(err);
  })
}
async.each(datasetArr,insertData,function(err) {
  // Release the client to the pg module
  done();
  if (err) {
    set_response(500, err, res);
    logger.error('error running query', err);
    return console.error('error running query', err);
  }
  logger.info('subscription with created');
  set_response(201);
})
42fyovps

42fyovps2#

在我看来,最好的方法是使用PostgreSQL json函数:

client.query('INSERT INTO table (columns) ' +
        'SELECT m.* FROM json_populate_recordset(null::your_custom_type, $1) AS m',
        [JSON.stringify(your_json_object_array)], function(err, result) {
      if(err) {
            console.log(err);
      } else {
            console.log(result);
      }
});
im9ewurl

im9ewurl3#

要从NodeJS批量插入PostgreSQL,更好的选择是使用Postgres和pg-copy-streams提供的'COPY'命令。
代码片段来自:https://gist.github.com/sairamkrish/477d20980611202f46a2d44648f7b14b

/*
  Pseudo code - to serve as a help guide. 
*/
const copyFrom = require('pg-copy-streams').from;
const Readable = require('stream').Readable;
const { Pool,Client } = require('pg');
const fs = require('fs');
const path = require('path');
const datasourcesConfigFilePath = path.join(__dirname,'..','..','server','datasources.json');
const datasources = JSON.parse(fs.readFileSync(datasourcesConfigFilePath, 'utf8'));

const pool = new Pool({
    user: datasources.PG.user,
    host: datasources.PG.host,
    database: datasources.PG.database,
    password: datasources.PG.password,
    port: datasources.PG.port,
});

export const bulkInsert = (employees) => {
  pool.connect().then(client=>{
    let done = () => {
      client.release();
    }
    var stream = client.query(copyFrom('COPY employee (name,age,salary) FROM STDIN'));
    var rs = new Readable;
    let currentIndex = 0;
    rs._read = function () {
      if (currentIndex === employees.length) {
        rs.push(null);
      } else {
        let employee = employees[currentIndex];
        rs.push(employee.name + '\t' + employee.age + '\t' + employee.salary + '\n');
        currentIndex = currentIndex+1;
      }
    };
    let onError = strErr => {
      console.error('Something went wrong:', strErr);
      done();
    };
    rs.on('error', onError);
    stream.on('error', onError);
    stream.on('end',done);
    rs.pipe(stream);
  });
}

更精细的细节explained in this link

iibxawm4

iibxawm44#

将数据结构创建为:

[ [val1,val2],[val1,val2] ...]

然后将其转换为字符串:

JSON.stringify([['a','b'],['c']]).replace(/\[/g,"(").replace(/\]/g,")").replace(/"/g,'\'').slice(1,-1)

将其附加到查询中,就完成了!
同意它有字符串解析成本,但它的方式比单一插入便宜。

ep6jt1vc

ep6jt1vc5#

您可以使用json_to_recordset在Postgresql中解析json

client.query(
  'SELECT col1, col2
   FROM json_to_recordset($1) AS x("col1" int, "col2" VARCHAR(255));'
  , [JSON.stringify(your_json_object_array)]
)

这与使用json_populate_recordsetSergey Okatov's answer非常相似。
我不知道这两种方法有什么区别,但是使用这种方法在处理多列时语法更清晰

56lgkhnf

56lgkhnf6#

使用ORM;例如:反对
此外,根据数据库服务器和所需的活动连接数增加连接池大小。

someMovie
  .$relatedQuery('actors')
  .insert([
    {firstName: 'Jennifer', lastName: 'Lawrence'},
    {firstName: 'Bradley', lastName: 'Cooper'}
  ])
  .then(function (actors) {
    console.log(actors[0].firstName);
    console.log(actors[1].firstName);
  });

相关问题