SSIS中的Excel:当DT_NTEXT导致失败时,如何导入可能超过255个字符的列?

bq8i3lrv  于 2023-01-06  发布在  其他
关注(0)|答案(2)|浏览(216)

好的,我最近的项目需要将Excel 2007电子表格加载到SQL Server表中。我正在使用SSIS 2008R2。根据我在互联网上找到的一些东西,我在高级编辑器中打开了Excel源代码,并将长列的数据类型更改为DT_NTEXT。这样它就不会被截断,然后我创建了数据库列VARCHAR(MAX),这在我的笔记本电脑上的调试模式下可以正常运行。
然后我将其部署到开发服务器并尝试加载相同的测试文件,但失败了,并显示以下错误消息:

Error: Code: 0xC0208265
       Source: Main Data Flow Task Get Main Data [1]
       Description: Failed to retrieve long data for column "DESCR".
End Error
Error: Code: 0xC020901C
       Source: Main Data Flow Task Get Main Data [1]
       Description: There was an error with output column "DESCR" (72) on output "Excel Source Output" (9). The column status returned was: "DBSTATUS_UNAVAILABLE".
End Error
Error: Code: 0xC0209029
       Source: Main Data Flow Task Get Main Data [1]
       Description: SSIS Error Code DTS_E_INDUCEDTRANSFORMFAILUREONERROR.  The "output column "DESCR" (72)" failed because error code 0xC0209071 occurred, and the error row disposition on "output column "DESCR" (72)" specifies failure on error. An error occurred on the specified object of the specified component.  There may be error messages posted before this with more information about the failure.
End Error

在搜索关于这个错误的信息时,我发现大约有一百万个网站提供了同样的三个建议解决方案:
1.将"IMEX = 1"添加到连接字符串的扩展属性中。
它本来就在那儿。
1.更改注册表中的TypeGuessRows项。
在服务器上这个值被设置为零,我知道这意味着它应该查看整个文件。然而,我将它改为8以匹配我的笔记本电脑。当我再次运行它时,出现了同样的错误。然后我将它改为1,763,这比电子表格中的行数多。它仍然给出同样的错误。所以,我将它放回零。(在我的测试文件的第一行中有一个1,900个字符的值,所以在本例中,它检查多少字符并不重要。)
1.在源中将数据类型更改为DT_WSTR(4000)。
该列最多应该有10,000个字符,所以我不确定这是否是一个好主意,即使它工作。但是,我还是尝试了它。这次它给了我一个截断错误。我将截断错误处理改为"忽略失败",它加载了数据。但是将值截断为255个字符。我已经验证了长度为4000,并且在保存文件时不会更改,但是它仍然在255个字符处截断。
我不知道还能看什么。任何帮助都将不胜感激。
更新日期1/29:该包在没有任何更改的情况下,在预生产服务器上运行时可以正常工作。在开发服务器上运行时仍然失败。两台服务器都有相同版本的SSIS(包括次要版本号)以及相同版本的Windows、Access和Excel。我不知道如何解释这一点,也不知道如何判断它在生产中是否可以工作。

toe95027

toe950271#

我创建了一个具有类似非功能性需求的新包(Excel 2007文件、SSIS 2008、SQL Server 2008 R2、VARCHAR(MAX)目标列),部署到数据库服务器后运行良好。

  1. Excel源组件输出中的元数据(使用高级编辑器检查):DT_NTEXT
    1.源和目标之间的派生列组件使用(DT_TEXT,1252)从Unicode转换为非Unicode
  2. OLE DB目标组件输入处的元数据(使用高级编辑器检查):DT_文本
    1.目标列数据类型:变量字符(最大值)
    1.我没有在连接中显式使用扩展属性IMEX
    通过右键单击数据库服务器上的包来执行,并将每条记录包含几千个字符的文件加载到表中,而不进行截断。
1bqhqjot

1bqhqjot2#

我在导入一个字段包含超过255个字符的Excel文件时遇到过这个问题。我使用Python解决了这个问题。
只需将excel导入Pandas数据框,然后计算每行中每个字符串值的长度。
然后,按降序对 Dataframe 进行排序。这将使SSIS能够在扫描前3行以分配存储时为该字段分配最大空间:

df = pd.read_excel(f,sheet_name=0,skiprows = 1)
df = df.drop(df.columns[[0]], axis = 1)
df['length'] = df['Item Description'].str.len()
df.sort_values('length', ascending=False, inplace=True)
writer = ExcelWriter('Clean/Cleaned_'+f[5:])
df.to_excel(writer,sheet_name='Billing',index=False)
writer.save()

相关问题