保持连接处于活动状态,以便从.csv文件中读取批量数据

3j86kqsm  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(339)

我有一个包含200万条记录的.csv文件,我的目标是将其写入hbase数据库。
代码:

try { using (FileStream reader = File.OpenRead(@"C:\Data.csv")) 
            using (TextFieldParser parser = new TextFieldParser(reader))
            {
                parser.TrimWhiteSpace = true; // if you want
                parser.Delimiters = new[] { " " };
                parser.HasFieldsEnclosedInQuotes = true;

                while (!parser.EndOfData)
                {
                    //Process the data
                       hbaseClient.StoreCells(hbaseTableName, set);
                 }
             } } catch(Exception e) {

}

在上传了多达800k条记录的数据之后,我得到了一个超时异常。我能做些什么来避免这个暂停吗?

ifmq2ha2

ifmq2ha21#

你每次做这个手术都会这样。试2-3次,看看是否重复。事实上,它发生在一些记录被添加之后,这意味着除了数据问题之外还发生了一些事情。超时异常意味着服务器可能已关闭或由于网络问题。请尝试重复相同的操作多次,如果错误仍然存在,则应该有另一个原因。另外,请添加整个异常堆栈跟踪,以获得更好的理解

相关问题