https://blog.csdn.net/EricLeiy/article/details/121037128
https://sqoop.apache.org/docs/1.99.7/
Sqoop简介
Sqoop全称是 Apache Sqoop,是一个开源工具,能够将数据从数据存储空间(数据仓库,系统文档存储空间,关系型数据库)导入 Hadoop 的 HDFS或列式数据库HBase,供 MapReduce 分析数据使用。
数据传输的过程大部分是通过 MapReduce 过程来实现,只需要依赖数据库的Schema信息。Sqoop所执行的操作是并行的,数据传输性能高,具备较好的容错性,并且能够自动转换数据类型。
Sqoop是一个为高效传输海量数据而设计的工具,一般用在从关系型数据库同步数据到非关系型数据库中。
Sqoop专门是为大数据集设计的。Sqoop支持增量更新,将新记录添加到最近一次的导出的数据源上,或者指定上次修改的时间戳。
Sqoop架构
Sqoop架构主要有三部分组成:Sqoop客户端,数据存储与挖掘、数据存储空间。
其中数据存储与挖掘主要为HDFS、Hbase、Hive等工具。
Datax与Sqoop的对比
https://blog.csdn.net/lzhcoder/article/details/107902791
作者:Jeebiz 创建时间:2022-06-01 22:31
更新时间:2024-07-10 22:56
更新时间:2024-07-10 22:56