我正在使用 HBase version 1.3.1 安装在amazon上，并试图使用sqoop版本将我的mssql rdbms数据库“导入”到hdfs。 1.4.6 . 不幸的是，试验没有成功。sqoop版本1.4.6是否与hbase 1.3.1兼容？它会成功执行导入吗？
下面是我用来导入mssqldb“version1.4.6”的命令
sqoop-import --connect "jdbc:sqlserver://SMSSQLDBSerevrname:Port; database=DBName;"
--username MSSQLDBUserName --P
--table MSSQLTableName
--hbase-table HBaseTableName
--column-family MyColFamilyName
--hbase-row-key MSSQLTablePrimaryId
1条答案
按热度按时间agyaoht71#
嗯..主要的问题是hbase jar文件中存在冲突，解决方案是添加一个使用sqoop bin目录的指令，因此我在上面记录的命令结构中添加了以下内容：
--bindir/usr/lib/sqoop文件/
--目标目录/usr/lib/sqoop/bin/tempd8/media
-冗长的
请注意1。bindir是sqoop“bin”目录所在的目录2。目标目录是存储源表数据的位置。3. -冗长只是为了提供更多的调试信息。
此外，我还遇到了内存管理问题，我可以通过以下链接解决这些问题：https://community.cloudera.com/t5/data-ingestion-integration/jpb-submitted-to-mapreduce-in-yarn-is-stuck-while-ingesting-data/td-p/57410/page/2https://community.cloudera.com/t5/cloudera-manager-installation/map-reduce-jobs-not-starting-on-local-cdh-5-7-0-installation/td-p/39563
=============要验证sqoop导入，请运行以下命令转到/usr/lib/hadoop/directory hadoop fs-cat/usr/lib/sqoop/bin/tempd8/media/part-m-*其中“/usr/lib/sqoop/bin/tempd8/media”是sqoop导入命令中的目标目录。
注：献给关心以上职位有用性的工程师