我有大量的数据，正在将它从teradata导入hdfs。执行此操作时，通常spool空间不足，因此作业失败。有什么解决办法吗？是否可以根据数据大小动态分配假脱机空间？或者我们可以将sqoop导入的数据加载到一个临时缓冲区，然后将其写入hdfs吗？
wn9m85ua1#
如果spool用完了，可能是以下任何一种情况：错误编写的查询（即意外的交叉连接）对您的查询做一个解释，并检查产品加入或任何看起来需要很长时间的东西低效查询计划做一个解释，看看是否有长期的估计。你也可以试试 DIAGNOSTIC HELPSTATS ON FOR SESSION . 当您启用这个标志时，任何时候运行explain时，在底部您都会得到一堆推荐的统计信息来收集。其中一些建议可能有用海量数据你在这里做不了什么。也许可以试着分批导入。此外，还可以检查运行查询的用户的maxspool参数。您可以尝试增加maxspool值，看看是否有帮助。请记住，实际可用的spool将被未分配的烫发空间量所限制。
DIAGNOSTIC HELPSTATS ON FOR SESSION
1条答案
按热度按时间wn9m85ua1#
如果spool用完了，可能是以下任何一种情况：
错误编写的查询（即意外的交叉连接）
对您的查询做一个解释，并检查产品加入或任何看起来需要很长时间的东西
低效查询计划
做一个解释，看看是否有长期的估计。你也可以试试
DIAGNOSTIC HELPSTATS ON FOR SESSION. 当您启用这个标志时，任何时候运行explain时，在底部您都会得到一堆推荐的统计信息来收集。其中一些建议可能有用海量数据
你在这里做不了什么。也许可以试着分批导入。
此外，还可以检查运行查询的用户的maxspool参数。您可以尝试增加maxspool值，看看是否有帮助。请记住，实际可用的spool将被未分配的烫发空间量所限制。