https://blog.csdn.net/EricLeiy/article/details/121037128

https://sqoop.apache.org/docs/1.99.7/

Sqoop简介

Sqoop全称是 Apache Sqoop,是一个开源工具,能够将数据从数据存储空间(数据仓库,系统文档存储空间,关系型数据库)导入 Hadoop 的 HDFS或列式数据库HBase,供 MapReduce 分析数据使用。

数据传输的过程大部分是通过 MapReduce 过程来实现,只需要依赖数据库的Schema信息。Sqoop所执行的操作是并行的,数据传输性能高,具备较好的容错性,并且能够自动转换数据类型。

Sqoop是一个为高效传输海量数据而设计的工具,一般用在从关系型数据库同步数据到非关系型数据库中。

Sqoop专门是为大数据集设计的。Sqoop支持增量更新,将新记录添加到最近一次的导出的数据源上,或者指定上次修改的时间戳。

Sqoop架构

Sqoop架构主要有三部分组成:Sqoop客户端,数据存储与挖掘、数据存储空间。

其中数据存储与挖掘主要为HDFS、Hbase、Hive等工具。

Datax与Sqoop的对比

https://blog.csdn.net/lzhcoder/article/details/107902791

作者:Jeebiz  创建时间:2022-06-01 22:31
 更新时间:2024-07-10 22:56