我已经在azure上的hdinsight中设置了一个spark集群，我有一个服务thaqt定期将数据推送到hdinsight blob存储中，我已经在上面创建了一个hive外部表。我能够使用jupyter执行一些sparksql查询并查看结果。
现在我有一个asp.net网站，需要根据用户请求执行类似的spark sql查询作业，并在网页上显示结果。
有没有什么图书馆可以庆幸这一点，或者有人可以分享一些如何做到这一点的例子？
我看到了livy附带了hdinsight spark cluster，但我没有看到任何示例向我们展示如何在dotnet环境中使用它。顺便说一句，我想这是我们需要采取的途径来解决我的问题。
我对这一切都很陌生，任何指点都会很有帮助。
谢谢，基兰
1条答案
按热度按时间kcrjzv8t1#
很抱歉，我们当前没有hdinsight spark sdk。您可以始终向API发送rest调用，如下所述：https://azure.microsoft.com/en-us/documentation/articles/hdinsight-apache-spark-livy-rest-interface/.
但是，如果您想从livyapi获得结果，您需要做一些变通方法来实现这一点。原因是我们在hdinsight中以集群模式使用spark-on-yarn，结果不会写回livyapi。您需要查看spark驱动程序的容器日志并手动获取stdout/stderr。
如果你有更多的问题，你可以给我一个电子邮件在微软网站上的晓竹，我可以帮助路由到正确的所有者。
来自微软hdinsight的朱小勇