azure 阅读巨大的excel文件和获取元数据活动失败,内存不足

2uluyalo  于 2023-06-24  发布在  其他
关注(0)|答案(1)|浏览(146)

ystem.OutOfMemoryException:引发了类型为“System.OutOfMemoryException”的异常。位于Microsoft.DataTransfer.Common. Tasks Coordinator. CheckTaskFailureOrCancel()位于Microsoft.DataTransfer.Runtime.PartitionParallelStageProcessor 1.Process(IEnumerable 1个数据)位于Microsoft.DataTransfer.Runtime.PipelineProcessStageProcessor 2.Process(TInput data) at Microsoft.DataTransfer.Runtime.Provider.HybridRuntimeDataReader..ctor(HybridRuntimeCommand command, String commandBehavior, IMemoryLimit memoryLimit, Int32 previewCount) at Microsoft.DataTransfer.Runtime.Provider.HybridRuntimeCommand.ExecuteReaderInternal(String commandBehavior, Int32 rowCount) at Microsoft.DataTransfer.Execution.GetMetadataWorker.HandleStructureFields(IList 1个字段列表、InnerPropertyBags innerPropertyBags、HybridRuntimeConnection连接、IDiction2 metadata) at Microsoft.DataTransfer.Execution.GetMetadataWorker.<>c__DisplayClass3_0.<GetMetadata>b__1() at Microsoft.DataTransfer.Execution.GetMetadataWorker.HybridDeliveryExceptionToExecutionException(Action action) at Microsoft.DataTransfer.Execution.GetMetadataWorker.GetMetadata(InnerPropertyBags innerPropertyBags, GetMetadataProperties getMetadataProperties) at Microsoft.DataTransfer.Execution.GetMetadataWorker.ExecuteAsync(ExecutionParameters executionParameters, IProgress 1个progress、CancellationToken令牌)位于Microsoft.DataTransfer.Execution.RuntimeTask. Execution()
请问如何解决这个问题???

hzbexzde

hzbexzde1#

根据文件,
ADF中的“获取元数据”活动返回的输出 meta数据限制为4 MB。如果数据限制超过此数值,则可能会给予内存不足错误。
正如您提到的,您的excel fie是巨大的,这可能是原因的内存不足错误,其中structure输出超过了4 MB的限制。
在这里,你可以看到,我能够得到的结构,当我的excel文件大小是更小。

因此,如果excel文件大小很大,则无法使用 meta数据活动获取excel文件的结构。尝试使用数据块或Azure函数来获取Excel文件的模式或结构,这可能是这里的解决方案。

相关问题