我必须循环通过几个数据集分别存储在单个csv文件-约1500个文件。每个文件代表一天的活动量，每个文件中的数据量从基本上没有变化到很大。
我的过程是将数据加载到r中，进行预处理和清理，然后插入到本地mysql表中。作为一个单循环运行，它可以很好地工作。
为了提高加载速度，我尝试将循环移动到一个并行进程中，在这个进程中，我让几个工作人员预处理单独的文件，然后每个工作人员将它们加载到数据库中。
当一些文件很大，并且dbwritetable调用需要一些时间来处理时，我遇到了一个错误。这似乎在表上设置了锁，不允许其他进程完成写入，从而导致超时错误。
我对mysql还相当陌生，我隐约知道我可以在数据库级别更改mysql超时时间（我相信使用conf文件）。这是最好的/唯一的解决方案吗？我更喜欢将所有控件保持在r级别，这样我就可以更轻松地在不同的机器上运行此代码。我想知道是否有另一种方法来保持进程在队列中，并在表可用时按顺序写入负载。
更新：
我以为这是一个关于如何处理超时的简单问题，但听起来需要更多的信息。这里有一个例子——并不复杂。

Bluetooth.loadloop <- foreach(i=jump:LoopLength, .inorder=TRUE) %dopar% {

    Start.Time <- Sys.time()
    x <- filenames[i]  

    if(!length(readLines(x))) {
      Stats <- data.frame(
        i=i, 
        time=difftime(Sys.time(),Start.Time,units='secs'),
        DataList= 0 )

      source("/Shared_Functions/MYSQL_LOGIN.r" )
      invisible(dbWriteTable(con, name="RawData_Loadloop_Stats_Bluetooth",value=Stats, append=TRUE, row.names=FALSE))
      dbDisconnect(con)
      print( "Zero length");

      return("Zero length")
    } else {

      ### Loads Data from CSV
      print(paste(i,"Start"))
      datalist <-readLines(x,encoding="UTF-8")
      filelocation <- (paste(i,x))
      datalist.length <- length(datalist)
      print(datalist.length)

      ### Proceses the individual fields 
      deviceID <- v1 <- gsub("([0-9]+),.*", "\\1", datalist)
      Time <- v2 <- gsub("[0-9]+,([0-9]+),.*", "\\1", datalist)
      Label <- v3 <- gsub("^[0-9]+,[0-9]+,(.*),([a-zA-Z0-9:]+),([^,]+)$", "\\1", datalist)
      MacAddress <- v4 <- gsub("^[0-9]+,[0-9]+,(.*),([a-zA-Z0-9:]+),([^,]+)$", "\\2", datalist)
      Strength <- v5 <- gsub("^[0-9]+,[0-9]+,(.*),([a-zA-Z0-9:]+),([^,]+)$", "\\3", datalist)

      Label <- BlueToothFilterRules(Label)
      Encoding(Label) <- 'UTF-8'
      BlueToothTable <- data.frame(i=i, DeviceID = deviceID, Time= Time, Label= Label, Mac = MacAddress, Strength= Strength, stringsAsFactors = FALSE)

      Stats <- data.frame(
        i=i, 
        time=difftime(Sys.time(),Start.Time,units='secs'),
        DataList= datalist.length
      )

      ### Writes to the Database
      source("/Shared_Functions/MYSQL_LOGIN.r" )
      dbSendQuery(con, 'set character set "utf8"')
      invisible(dbWriteTable(con, name="RawData_Events_Bluetooth",value=BlueToothTable, append=TRUE, row.names=FALSE))
      invisible(dbWriteTable(con, name="RawData_Loadloop_Stats_Bluetooth",value=Stats, append=TRUE, row.names=FALSE))
      dbDisconnect(con)
      print(paste(i,"END"));

      return("Finished")
    }
  }

所以，当这是并行运行，如我所说，它在写瓶颈，导致超时。
我不知道该如何处理用户3666197所说的话，否则最好是为这些错误做好准备，并在处理这些错误时精心设计。
将readin和write分开也不是一个现实的选择，因为结果对象太大，无法很好地处理。
我知道并行运行这个程序将提供有限的改进，因为存在瓶颈，但是它将减少总的处理时间，因为它允许其他工作人员在加载所有数据时加载并处理原始数据。
所以我最初的问题仍然是-如何最好地处理mysql写队列，以便并行运行时不会产生超时错误？
谢谢您