Hive内置函数数据转换实用指南

在数据开发中，Hive内置函数堪称数据清洗与转换的“瑞士军刀”。无论是字符串清洗、数值计算，还是日期处理、集合操作，这些函数都能大幅减少手写UDF的工作量。本文按实际使用频率，梳理几类核心函数，并介绍其典型应用场景。

字符串处理函数：数据清洗的常用工具

字符串处理几乎是每个ETL脚本中的常见环节。建议牢记以下函数，因为它们几乎每天都会用到。

• UPPER(string str) / LOWER(string str)：大小写转换，适用于模糊匹配前的预处理。
• TRIM(string str) / LTRIM(string str) / RTRIM(string str)：去除两端或单侧空白，常用于清理脏数据。
• SUBSTR(string str, int start, int length)：提取子字符串，适合解析字段中嵌入的结构化信息（如编码规则）。
• INSTR(string str, string pattern)：返回模式首次出现的位置，用于判断字段是否包含特定关键词。
• REPLACE(string str, string pattern, string replacement)：替换操作，在清洗特殊字符或统一格式时高频使用。

数值处理函数：不止四舍五入那么简单

数值场景常涉及类型转换、舍入和数学运算。以下重点列举容易出细节的用法。

• CAST(value AS data_type)：显式类型转换。需要注意隐式转换可能带来的精度问题，建议手动指定类型。
• ADD_MONTHS(date date, int months)：日期加月数（虽归入数值类，实为日期函数），适用于账期或到期日计算。
• DATEDIFF(date date1, date date2) / MONTHS_BETWEEN(date date1, date date2)：计算日期差和时间差。注意DATEDIFF仅返回天数，MONTHS_BETWEEN返回带小数的月数。
• ROUND(double value, int scale) / CEIL(double value) / FLOOR(double value)：四舍五入、向上取整、向下取整，常用于金额统计和分桶操作。
• EXP(double number) / LN(double number) / LOG10(double number)：指数、自然对数、常用对数，用于特定分析场景（如增长率建模）。
• RAND() / RAND(int seed)：生成0~1随机数。带种子值的版本可重现结果，在抽样或数据打散时非常实用。

日期时间处理函数：时间维度分析的基石

时间字段在业务分析中广泛存在，Hive提供的这套函数基本覆盖了常见需求。

• CURRENT_DATE() / CURRENT_TIMESTAMP()：获取系统当前日期/时间。不同Hive版本行为略有差异，生产环境建议先测试。
• FROM_UNIXTIME(int timestamp) / TO_UNIXTIME(date date)：时间戳与标准日期格式互转，处理日志系统数据时尤为常用。
• DATE_ADD(date date, int interval) / DATE_SUB(date date, int interval)：日期加减操作，比手动计算更安全。
• DAYOFWEEK(date date)（周日=1） / WEEK(date date)（周一=1）：两种星期几的返回模式。需根据业务对“第一天”的定义选择。
• DAYOFMONTH(date date) / DAYOFYEAR(date date) / WEEKOFYEAR(date date)：返回日、年中的第几天、年中的第几周。
• YEAR(date date) / QUARTER(date date) / MONTH(date date)：提取年份、季度、月份，用于时间维度下钻。

集合处理函数：搞定复杂聚合

简单COUNT、SUM无需集合函数；但当需要将分组多个值变为列表或去重集合时，它们便发挥作用。

• COLLECT_LIST(expression)：将所有值收集为列表。注意顺序不可靠，多次运行结果可能不同。
• COLLECT_SET(expression)：收集唯一值集合（去重），常用于计算每组独立元素。
• SIZE(collection)：返回集合元素个数，常与COLLECT_SET搭配统计每组不同值数量。
• UNION_ALL(collection1, collection2, ...) / INTERSECT_ALL(collection1, collection2, ...) / EXCEPT_ALL(collection1, collection2, ...)：并集、交集、差集。这些函数会保留重复元素（ALL后缀），去重可用UNION等变体，但Hive支持度有限，实际使用较少。

以上内置函数足以覆盖大部分数据转换需求。实际应用中，常需组合使用，例如先TRIM再LOWER，或CAST后ROUND。多次实践后，你便能构建起自己的函数工具箱。遇到数据清洗需求时，不妨先查阅内置函数，或许一行代码即可解决。