hive colease：如何提高数据访问速度

Hive性能优化利器：coalesce如何通过合并文件提升数据访问速度

在实际的Hive调优工作中，有一个看似不起眼却威力十足的技术——coalesce（也叫合并）。它的本质很简单：减少MapReduce作业输出的文件数量，从而让数据访问速度上一个台阶。但很多人容易忽略的是，文件数量过多带来的性能损失，往往比数据量大本身更致命。

小文件问题如何拖慢系统

Hive表里如果积攒了成千上万个细碎的文件，每次查询时NameNode要处理大量元数据请求，MapReduce启动的任务数也会跟着膨胀，最终导致集群资源空转、查询响应变慢。而coalesce的优化价值，正好体现在四个关键维度上：

1. 合并小文件，减少文件数量——这是最直接的作用。把零散的小文件聚合成大文件，NameNode的压力骤降，读取时的I/O效率也能明显提升。
2. 提高MapReduce任务的并行度——coalesce会根据实际数据量和集群资源情况，动态调整reducer的数量。说白了，就是让任务数跟数据规模匹配起来，避免因reducer太少导致资源闲置，也避免太多reducer产生过多小文件。
3. 降低元数据开销——Hive的元数据存在HDFS上，一旦表的数据量极大，元数据本身也会膨胀成一堵墙。输出文件少了，元数据自然变轻，查询时解析路径、定位块的速度也就更快。
4. 提高缓存利用率——文件越整，缓存越友好。大文件块更容易被底层缓存系统命中，数据从内存读取而不是反复落盘，这背后的性能收益比很多人想象的要大。

如何在Hive中启用coalesce

其实就是在建表或运行查询之前，设置两个关键参数：

SET hive.exec.reducers.bytes.per.reducer = ;
SET hive.exec.reducers.max = ;

第一个参数控制每个reducer处理的数据量（字节数），第二个参数限制reducer的最大数量。实际调优时，需要根据数据总量和集群内存、CPU资源来反复测试。比如数据量很大但集群算力有限，就可以适当调大bytes.per.reducer，减少reducer数量；反之，如果集群资源充裕，可以调小这个值，用更多reducer并行处理来加速。

参数搭配使用的注意事项

有一点值得留意：这两个参数需要搭配使用，不能只设其中一个。如果只设了最大数量而没设每个reducer的处理量，结果可能还是大量小文件；反之亦然。经验的做法是先估算数据总量，让理想reducer数 = 总数据量 / bytes.per.reducer，再把这个值约束在max以内，效果通常比较理想。