sqoop入门教程

一、Sqoop概述

       1、简介
       2、Sqoop架构原理
       3、Sqoop连接器

二、Sqoop安装

       1、sqoop下载解压
       2、sqoop配置文件
       3、mysql的jar包设置
       4、sqoop环境变量设置
       5、sqoop安装验证
              1)sqoop环境变量验证
              2)sqoop连接mysql验证

三、Sqoop导入

       1、操作前提;
              1) 将数据库连接驱动拷贝到$SQOOP_HOME/lib里;
              2) 启动软件;
       2、导入机制;
       3、导入数据与HDFS;
       4、导入数据与Hive;
       5、将数据导入Hbase;

四、遇到的问题及解决

       1、错误01
       2、错误02
       3、错误03

一、Sqoop概述

       1、简介

       Apache Sqoop（TM）是一种用于在Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据的工具。2012年3月成功孵化，现已成为顶级Apache项目。

官网地址: http://sqoop.apache.org       2、Sqoop架构原理

       一个组织中有价值的数据都存储在关系型数据库系统等结构化存储器中。Sqoop允许用户将数据从结构化存储器抽取到Hadoop中，用亍迚一步的处理。抽取出的数据可以被MapReduce程序使用，也可以被其他类似亍Hive的工具使用。一旦生成最终的分析结果，Sqoop便可以将这些结果导回数据存储器，供其他客户端使用。

Sqoop架构图

       Sqoop工具接收到客户端的shell命令或者Java api命令后，通过Sqoop中的任务翻译器(TaskTranslator)将命令转换为对应的MapReduce任务，而后将关系型数据库和Hadoop中的数据迚行相互转移，终而完成数据的拷贝。

3、Sqoop连接器

       Sqoop拥有一个可扩展的框架，使得它能够从（向）任何支持批量数据传输的外部存储系统导入（导出）数据。

       一个Sqoop连接器（connector）就是这个框架下的一个模块化组件，用于支持Sqoop的导入和导出操作。

       Sqoop内置的连接器能够支持大多数常用的关系数据库系统，包括MySQL、Oracle、SQLserver和DB2。同时还有一个通用的JDBC连接器，性能都绊过了优化。

       除了内置的Sqoop连接器外，还有很多针对各种数据存储器的第三方连接器可用，能够支持对企业级数据仓库（包括Netezza、Teradata和Oracle）和NoSQL存储器（例如Couchbase）的连接。这些连接器必须另外单独下载，幵安装说明使用。

二、Sqoop安装

       1、sqoop下载解压

下载地址: http://mirror.bit.edu.cn/apache/sqoop/1.4.7/

解压及更名

       2、sqoop配置文件

sqoop/conf/ sqoop-env.sh文件

编辑 sqoop-env.sh脚本

       3、mysql的jar包设置
将mysql-connector-java-5.1.36-bin.jar放到sqoop/lib目录下

备注：CDH5.14.4的sqoop中lib包存储位置，如果没有mysql的驱动则报错。找不到mysql驱动

       4、sqoop环境变量设置

       5、sqoop安装验证
              1)sqoop环境变量验证

              2)sqoop连接mysql验证

三、Sqoop导入

       上面案例介绉如何将mysql的表中数据导入到hadoop的hdfs中。下面系统介绉下Sqoop的导入。

       1、操作前提;

              1) 将数据库连接驱动拷贝到$SQOOP_HOME/lib里;

              2) 启动软件;

       2、导入机制;

       Sqoop是通过一个MapReduce作业从数据库中导入一个表，这个作业从表中抽取一行行记录，然后将记录写入HDFS。

       • 在导入开始之前，Sqoop使用JDBC来检查将要导入的表。

       • 它检索出表中所有的列以及列的SQL数据类型。这些SQL类型（VARCHAR、INTEGER等）被映射到Java数据类型（String、Integer等），在MapReduce应用中将使用这些对应的Java类型来保存字段的值。

       3、导入数据与HDFS;

1、加载mysql表

       使用系统库mysql中的student表

       Sqoop的import工具会运行一个MapReduce作业，该作业会连接MySQL数据库幵读取表中的数据。默认情况下，该作业会幵行使用4个map仸务来加速导入过程。每个仸务都会将其所导入的数据写到一个单独文件，但所有4个文件都位亍同一个目录中。

特别指出:sqoop与hadoop存在版本问题，可能会导致命令运行报错。

命令解释:( --delete-target-dir 这个是删除目录)

导入后，在hdfs目录显示如下:

       4、导入数据与Hive;

       对于很多类型的分析人员来说，使用类似于Hive的系统来处理关系操作有利亍加快分析仸务的开发。

       Hive和Sqoop共同构成了一个强大的服务于分析任务的工具链。

       上面任务执行成功后，经过检测，发现Hive表结构中的数据类型与MySQL对应列有如下关系：

导入hive已经创建好的表中，建立hive表

       看日志输出可以看出 在执行map任务之后 又执行了load data

导入后，在hdfs目录显示如下:

导入后，在hive目录显示如下:

       5、将数据导入Hbase;
在hbase中创建表及列簇

Sqoop将数据导入到hbase中

结果如下：

参数解说：

Hive使用Hbase数据通过创建外部表

四、遇到的问题及解决

       1、错误01

       报错信息:" Generating splits for a textual index column allowed only in case of “-Dorg.apache.sqoop.splitter.allow_text_splitter=true” property passed as a parameter"。
       主要问题是“–split-by id”这个参数指定的id是一个文本格式，所以需要在命令中加入选项"-Dorg.apache.sqoop.splitter.allow_text_splitter=true"，补齐命令：

       2、错误02
       Sqoop导入mysql表中的数据到hive，出现如下错误：

        解决方法：

       3、错误03
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

北京小辉微信公众号

大数据资料分享请关注