关闭。这个问题是基于意见的。它目前不接受答案。
**想改进这个问题吗？**更新这个问题，这样就可以通过编辑这篇文章用事实和引文来回答。
四年前关门了。
改进这个问题
我们正在尝试使用bigdata创建一个 Jmeter 板。数据当前在sqlserver中处理，前端在mvc中。由于使用sqlserver本身分析的数据流非常高，因此决定使用bigdata。我选择了clouderamanager cdh、sqoop将数据从sqlserver导入到hive，并使用impala运行分析程序。决定用微策略对结果进行升级，为客户端提供移动平台下的图表。欢迎您提出任何意见或建议来改进流程？
2条答案
按热度按时间2ledvvac1#
我会考虑使用两个阶段。数据分析和数据可视化。使用两个阶段使解决方案更加灵活，并将责任分离。
数据分析
接收数据（包括清理），sqoop可以执行接收步骤，可能需要额外的步骤来清理数据。
探索/分析数据，apachespark是一个非常灵活和强大的工具。
以指定格式存储分析结果
数据可视化
从数据分析阶段加载数据
想象一下。使用highcharts/kibana/dashing。或使用d3创建定制 Jmeter 板。
jc3wubiy2#
看来你有个好的开始。记住，你的分析可以用多种工具来完成，而不仅仅是 Impala 。
一旦你使用了hadoop，hive和pig就提供了大量的功能（udf提供了更多的功能），并且具有简单的学习曲线。
如果您最终想要做一些迭代用例（并利用机器学习），您可能想要检查spark（这两个东西在它的控制室中），它不受（to？）mapreduce的约束。
有很多很好的工具。祝你旅途愉快。