我的任务是编写一个基于java的web应用程序，它将生成各种图表，如wafermap、histogram、overlay chart等。前端是extjs，图表生成部分由jfreechart负责。图表的数据将存储在文件系统中的多个.csv文件中。我的问题是：.csv文件大小将以gb为单位。我是否可以将这些文件存储在hdfs中，并在运行时查询它们，并在前端显示数据？使用hadoop生态系统对我的上述要求是可行的解决方案吗？我是否应该考虑使用apachepig或hive来查询csv文件？
xxe27gdn1#
是的，你可以（apache hive）这要看情况，但Hive似乎是你要找的。它的设计有一种类似sql的感觉，可以包含sql子句。它被广泛应用于facebook、netflix、finra等大型公司。在您的情况下，支持sql语法还意味着您可以非常轻松地与java的jdbc驱动程序集成，并从csv文件中查询数据。http://www.tutorialspoint.com/hive/如果您不太熟悉hadoop环境，那么一开始设置配置单元可能有点困难。上面的链接是一个很好的参考链接，以更好地了解Hive，让你在正确的方向。希望这有帮助！
1条答案
按热度按时间xxe27gdn1#
是的，你可以（apache hive）
这要看情况，但Hive似乎是你要找的。它的设计有一种类似sql的感觉，可以包含sql子句。它被广泛应用于facebook、netflix、finra等大型公司。在您的情况下，支持sql语法还意味着您可以非常轻松地与java的jdbc驱动程序集成，并从csv文件中查询数据。
http://www.tutorialspoint.com/hive/
如果您不太熟悉hadoop环境，那么一开始设置配置单元可能有点困难。上面的链接是一个很好的参考链接，以更好地了解Hive，让你在正确的方向。
希望这有帮助！