用c连接hadoop#

9vw9lbht  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(363)

我想用hdinsight连接c中的hadoop。我已在azure中创建了一个群集,并已成功创建。我还启用了远程桌面连接。当我在c#中输入凭据并执行作业时,我得到连接错误。我对提供参数感到困惑。请帮助我。

var hadoop = Hadoop.Connect(new Uri("https://clustername.azurehdinsight.net"), "admin", "");
//I have set remote desktop password

var config = new HadoopJobConfiguration();

                config.InputPath = "input/CodeFiles";
                config.OutputFolder = "output/CodeFiles";
                var result = hadoop.MapReduceJob.ExecuteJob<NamespaceCounterJob>();

最后一行给出了例外。异常消息是:
发生了一个或多个错误
这是内在的例外:
无法连接到远程服务器

wnavrhmk

wnavrhmk1#

uri应该是您的群集名称,而不是用户名,例如:

var hadoop = Hadoop.Connect(new Uri("https://clustername.azurehdinsight.net"), "username", "password");
var config = new HadoopJobConfiguration();

            config.InputPath = "input/CodeFiles";
            config.OutputFolder = "output/CodeFiles";
            var result = hadoop.MapReduceJob.ExecuteJob<NamespaceCounterJob>();

集群名称显示在集群的azure门户的详细信息页面顶部。另外,您不需要启用rdp来使用此方法,它实际上是在集群的配置选项卡中为“hadoop服务”设置的用户名。以这种方式启动作业将使用webhcat/templeton端点,因此不需要rdp。

相关问题