2.2、Apache Hadoop

Apache® Hadoop® 项目开发用于可靠、可扩展、分布式计算的开源软件。

Apache Hadoop 软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。该库本身不是依靠硬件来提供高可用性，而是旨在检测和处理应用程序层的故障，以便在计算机集群之上提供高可用性服务，而每台计算机都可能容易出现故障。

该项目包括以下模块：

• Hadoop Common：支持其他 Hadoop 模块的通用实用程序。
• Hadoop 分布式文件系统 (HDFS™)：一种分布式文件系统，提供对应用程序数据的高吞吐量访问。
• Hadoop YARN：作业调度和集群资源管理的框架。
• Hadoop MapReduce：一种基于 YARN 的系统，用于并行处理大型数据集。

Apache 的其他 Hadoop 相关项目包括：

• Ambari™：一种基于 Web 的工具，用于配置、管理和监控 Apache Hadoop 集群，包括对 Hadoop HDFS、Hadoop MapReduce、Hive、HCatalog、HBase、ZooKeeper、Oozie、Pig 和 Sqoop 的支持。Ambari 还提供了一个仪表板，用于查看集群运行状况（例如热图），能够直观地查看 MapReduce、Pig 和 Hive 应用程序，以及以用户友好的方式诊断其性能特征的功能。
• Avro™：数据序列化系统。
• Cassandra™：一个可扩展的多主数据库，无单点故障。
• Chukwa™：用于管理大型分布式系统的数据收集系统。
• HBase™：一种可扩展的分布式数据库，支持大型表的结构化数据存储。
• Hive™：提供数据汇总和即席查询的数据仓库基础设施。
• Mahout™：可扩展的机器学习和数据挖掘库。
• Ozone™：适用于 Hadoop 的可扩展、冗余和分布式对象存储。
• Pig™：一种用于并行计算的高级数据流语言和执行框架。
• Spark™：用于 Hadoop 数据的快速通用计算引擎。Spark 提供了简单而富有表现力的编程模型，支持广泛的应用程序，包括 ETL、机器学习、流处理和图计算。
• Submarine：一个统一的人工智能平台，允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。
• Tez™：一个基于 Hadoop YARN 构建的通用数据流编程框架，它提供了强大而灵活的引擎来执行任意 DAG 任务，以处理批处理和交互式用例的数据。Tez 正在被 Hive™、Pig™ 和 Hadoop 生态系统中的其他框架以及其他商业软件（例如 ETL 工具）采用，以取代 Hadoop™ MapReduce 作为底层执行引擎。
• ZooKeeper™：分布式应用程序的高性能协调服务。

部署 Hadoop Common

https://zhuanlan.zhihu.com/p/435622257

1）下载 hadoop-2.7.3.tar.gz 并解压

http://archive.apache.org/dist/hadoop/common/

（2）配置 HADOOP_HOME 环境变量

创建一个“HADOOP_HOME”环境变量，其值指向“D:\code\hadoop-2.7.3”。