hadoop的特性包括哪些：适配大数据离线计算

hadoop的特性包括高可靠、高扩展、高效、低成本、支持容错、数据本地化、一次写入多次读取、跨平台运行，这套组件适合TB至PB级离线数据存储与批量计算场景，不适合低延迟实时查询、高频随机写入的业务，如果你需要毫秒级响应的在线业务，优先选择专门的实时引擎，不要直接部署hadoop承担这类任务。高可靠依靠多副本存储机制保障，节点故障时集群可以自动调度副本，高扩展支持横向新增服务器节点扩容存储和算力，高效依托数据本地化减少网络传输开销，低成本可以运行在普通x86服务器组成的集群上，容错机制会自动重新分配失败任务，数据本地化把计算任务调度到数据所在节点，一次写入多次读取契合日志、归档类数据的访问模式，跨平台意味着主流Linux系统都可以部署运行。

hadoop存储层相关特性

HDFS作为hadoop的分布式文件系统，会把大文件切分成固定大小的数据块，默认块大小为128MB，每个数据块会在集群不同节点保存副本，副本数量默认3份，副本策略可以根据业务存储预算和可靠性要求调整。文件写入完成后不能随意修改，仅支持追加写入，这个设计简化了一致性逻辑，降低集群同步开销，也让它更适配日志采集、离线归档这类数据不会频繁变更的场景。NameNode负责维护文件目录和块位置元数据，DataNode负责实际存储数据块，元数据会持久化保存，搭配SecondaryNameNode辅助做元数据检查点，降低主节点故障带来的恢复成本。

存储层不适合小文件密集场景。

hadoop计算层相关特性

MapReduce是hadoop原生的计算框架，采用分而治之的思路，计算流程分为map阶段和reduce阶段，map负责分片数据的读取和初步处理，reduce负责汇总map输出的中间结果，任务调度由ResourceManager和NodeManager协同完成，任务失败后调度器会自动重试，不需要人工介入重启作业。计算任务优先调度到存有目标数据的节点，也就是数据本地化，大量减少跨节点的数据传输，在数据量很大的时候，网络带宽不会轻易成为瓶颈。整个计算过程是磁盘IO主导，中间结果会落盘，这让它稳定性较强，但延迟偏高，无法支撑交互式查询。

hadoop集群运维与使用特性

hadoop具备良好的横向扩展能力，集群容量不足时，你只需要新增服务器，配置对应环境后加入集群，不需要改动原有业务代码，存储和计算能力可以同步提升，集群规模可以从几个节点扩展到上千节点。它对硬件没有严苛的定制要求，不需要高端小型机，普通商用服务器就能搭建集群，硬件故障被当成常态来设计，单个节点硬盘、内存故障不会造成整体作业失败，集群自动识别故障节点并使用副本继续提供服务。

hadoop生态开放，兼容大量大数据组件。

很多大数据组件都可以和hadoop配合使用，Hive用来做类SQL离线分析，HBase可以基于HDFS搭建分布式数据库，Sqoop用于关系型数据库和HDFS之间的数据导入导出，Flume负责日志数据实时采集写入HDFS，丰富的生态降低了离线数据链路的搭建成本，你可以根据业务需求组合组件，不用从零开发整套存储计算体系。

hadoop的适用边界是面向离线批量处理，单任务的执行延迟通常在分钟级别，如果你需要实时统计、高频更新、随机查询，使用hadoop会出现资源利用率偏低、响应达不到预期的情况，这类场景更适合选择Flink、Redis这类专门面向实时或者在线读写的工具。集群的运维复杂度会随着节点数量上升而增加，大规模集群需要专人监控元数据、副本状态、磁盘使用率，避免小文件堆积挤占NameNode内存。

学习和部署门槛可控，社区文档资源充足。