我有一个包含200万条记录的.csv文件,我的目标是将其写入hbase数据库。
代码:
try { using (FileStream reader = File.OpenRead(@"C:\Data.csv"))
using (TextFieldParser parser = new TextFieldParser(reader))
{
parser.TrimWhiteSpace = true; // if you want
parser.Delimiters = new[] { " " };
parser.HasFieldsEnclosedInQuotes = true;
while (!parser.EndOfData)
{
//Process the data
hbaseClient.StoreCells(hbaseTableName, set);
}
} } catch(Exception e) {
}
在上传了多达800k条记录的数据之后,我得到了一个超时异常。我能做些什么来避免这个暂停吗?
1条答案
按热度按时间ifmq2ha21#
你每次做这个手术都会这样。试2-3次,看看是否重复。事实上,它发生在一些记录被添加之后,这意味着除了数据问题之外还发生了一些事情。超时异常意味着服务器可能已关闭或由于网络问题。请尝试重复相同的操作多次,如果错误仍然存在,则应该有另一个原因。另外,请添加整个异常堆栈跟踪,以获得更好的理解