我现在正在学习pig，我正在hortonworks沙盒中执行我的脚本。从一开始就困扰我的是，pig脚本的最短执行时间似乎至少是30-40秒。这是因为我使用的是hortonworks沙盒还是pig脚本的正常使用？有没有办法减少执行时间，因为这真的会减慢我的学习进度？如果这个执行时间是正常的，你能告诉我是怎么回事，为什么？
ps公司
我已经为hortonworks虚拟机分配了2gb内存。我现在只在小数据集上执行简单的脚本。
我现在正在学习pig，我正在hortonworks沙盒中执行我的脚本。从一开始就困扰我的是，pig脚本的最短执行时间似乎至少是30-40秒。这是因为我使用的是hortonworks沙盒还是pig脚本的正常使用？有没有办法减少执行时间，因为这真的会减慢我的学习进度？如果这个执行时间是正常的，你能告诉我是怎么回事，为什么？
ps公司
我已经为hortonworks虚拟机分配了2gb内存。我现在只在小数据集上执行简单的脚本。
2条答案
按热度按时间j7dteeu81#
如果在本地模式（pig-x local）下执行pig，那么它的运行速度会快很多，但不会执行map reduce，也不会访问hdfs，不过这对学习是有好处的！
kqhtkvqz2#
是的，30-40秒对于pig来说是绝对正常的，因为它在编译作业、启动jvm等方面有很大的开销。正如在另一个答案中所说的，您可以尝试在本地模式下运行。对于一个只包含几行数据的简单工作，我通常需要15秒钟。顺便说一句，我的cloudera虚拟机分配了4g内存。