sql server连接到hadoop—实现的思路和挑战

8ftvxx2r  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(298)

我想讨论SQLServer的hadoop发行版hdinsight的问题。
假设提供了一个到hadoop的连接,有没有人有过hdinsight的经验,特别是从实际的dtp场景或个人1节点安装中比较hadoop/sqlserver连接器和hdilight/sqlserver的经验?
http://sqlmag.com/blog/use-ssis-etl-hadoop
http://www.microsoft.com/en-us/download/details.aspx?id=27584
http://www.microsoft.com/en-us/sqlserver/solutions-technologies/business-intelligence/big-data.aspx

xjreopfe

xjreopfe1#

hdinsight是微软为在azure中使用而维护的hadoop发行版。您可以粗略地将其与amazon elastic mapreduce进行比较。它们都是一个托管hadoop服务,几乎没有管理开销。
hortonworks windows数据平台包含了hortonworks和微软合作的开源变更,以使hadoop在windows上运行良好。hdp不是hdinsight。
简而言之,如果你想在windows环境下运行hadoop,你不需要使用hdinsight。
虽然我不能直接谈论使用hdinsight和在sqlserver之间来回移动数据,但我已经使用sqlserver、hadoop和elasticmapreduce实现了一个数据处理解决方案。排除一些数据质量问题和 BULK INSERT 奇怪的是,这个过程毫无痛苦。
最后,您会问“我们真的想在windows服务器上运行hadoop大小的数据集吗?”——windows的性能很好,而且有可靠的工具。我对在windows上运行hadoop和其他java平台软件有些怀疑,因为遗留的javai/o问题和缺乏社区支持,而不是因为任何性能问题。
windows公司在迁移到hadoop时会发现的最大问题是,当问题变成hadoop+windows问题时,社区论坛和频道的支持将是有限的。人们很容易举手说“不,不帮忙,没有Windows。”随着时间的推移和采用,这个问题消失了。此外,没有什么说你必须在同一个平台上完成你开始。您可以很容易地在windows上使用hdp进行部署,并在以后的某个时候迁移到linux上的hdp。
我已经为dba准备了一些sqlserver和hadoop的基础知识,这应该会很有帮助。

相关问题