将sqoop连接到mysql

bqujaahr  于 2021-06-03  发布在  Hadoop
关注(0)|答案(7)|浏览(440)

我已经安装了sqoop,但现在的问题是如何使用sqoop与mysql交互我是sqoop新手,在使用sqoop时是否需要安装hbase。任何帮助都将受到感谢。

bxjv4tth

bxjv4tth1#

将数据从mysql导入hdfs(基本):

sqoop import --connect jdbc:mysql://mysqlhost/dbName --username user --password 123 --table tableName

将数据从hdfs导出到mysql(基本):

sqoop export --connect jdbc:mysql://mysqlhost/dbName --username user --password 123 --table tableName --exportDir dir/with/data

更多信息:https://sqoop.apache.org/docs/1.4.5/sqoopuserguide.html

g0czyy6m

g0czyy6m2#

不需要hbase,您只需要相应数据库的sqoop和jdbc驱动程序,放置lib目录并运行sqoop

iovurdzv

iovurdzv3#

在这个论坛上提问之前,你得先做好功课。sqoop是将数据从rdbms获取到hdfs。

bybem2ql

bybem2ql4#

将mysql下载到hdfsjar文件中。如果您使用oracledb作为feed文件,那么必须获取oracle的相关jar文件,然后将其放在下面提到的路径中
然后把它放在usr/bin/lib/sqoop中。
现在尝试使用sqoop命令,它将为您工作。。

ffx8fchx

ffx8fchx5#

不需要hbase。当您执行任何sqoop命令时,您可能会得到“hbase\u home”未设置的警告,但它只是一个警告。你可以忽略它。
使用sqoop帮助查看导入或导出数据的可用选项。

hadoop@master:~$ sqoop help
usage: sqoop COMMAND [ARGS]

Available commands:
  codegen            Generate code to interact with database records
  create-hive-table  Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables  Import tables from a database to HDFS
  job                Work with saved jobs
  list-databases     List available databases on a server
  list-tables        List available tables in a database
  merge              Merge results of incremental imports
  metastore          Run a standalone Sqoop metastore
  version            Display version information

您可以进一步获得特定的命令用法,例如“import”

sqoop import --help

每个命令都有多个自定义操作的选项。

gv8xihay

gv8xihay6#

请在交互式shell中按照以下步骤操作。
sudo mysql(启动mysql)
显示数据库;
使用databasename(选择数据库的命令)
显示表格(查看上述数据库中的表列表,记下要在hdfs中导入的表名,并确保列中有主键)
出口;
sqoop导入--连接jdbc:mysql://mysqlhost/表所在的数据库名--username root--表名--m1

dgsult0t

dgsult0t7#

所有你需要的mysql“jdbc”连接器。下载它并存储在sqoop/lib文件中

sqoop import --connect jdbc:mysql://localhost:3306/databasename --username mysqlusername --password mysqlpassword --table employees --target-dir /databasesqoop/sqoop/

从此处下载jdbc连接器/驱动程序:https://dev.mysql.com/downloads/connector/j/5.1.html

相关问题