我是新来的Pig脚本，想知道我能做什么用它。我知道pig更像sql，它可以帮助您获取数据并对其进行操作，但是我是否可以调用外部服务或api来获取数据并将其与从pigstorage（）或cassandrastorage（）获取的数据一起处理？
ttp71kqs1#
pig与其说是sql的对等体，不如说是一种脚本语言，它悄悄地为许多常见的mapreduce模式提供抽象。。。但那真是令人毛骨悚然。如果您想做一些事情，比如调用外部服务，那么方法就是编写（或重用）eval udf函数。有几种类型的udf，它们本质上是java的出口，允许您以任何合适的方式编写函数。不过，要小心。对于每个元组执行一次对外部服务的调用可能会花费太多时间。如果外部调用的数量很少，那么eval udf函数可能会起作用。如果您想对大量元组进行这些调用，那么可以考虑使用inputformatype和load udf一次读取所有外部数据，然后使用常规pig运算符和语句将其与原始数据连接起来。
1条答案
按热度按时间ttp71kqs1#
pig与其说是sql的对等体，不如说是一种脚本语言，它悄悄地为许多常见的mapreduce模式提供抽象。。。但那真是令人毛骨悚然。如果您想做一些事情，比如调用外部服务，那么方法就是编写（或重用）eval udf函数。有几种类型的udf，它们本质上是java的出口，允许您以任何合适的方式编写函数。
不过，要小心。对于每个元组执行一次对外部服务的调用可能会花费太多时间。如果外部调用的数量很少，那么eval udf函数可能会起作用。如果您想对大量元组进行这些调用，那么可以考虑使用inputformatype和load udf一次读取所有外部数据，然后使用常规pig运算符和语句将其与原始数据连接起来。