Hive Mapper能否处理嵌套数据？

先说一个核心事实：Hive Mapper 本身并不直接处理嵌套数据。它的本职工作是接收输入数据（通常是文本文件），把它们映射成 Map 类型的键值对，供后续的 MapReduce 作业使用。但这不代表拿嵌套数据没办法——你完全可以自己在 Mapper 里动手脚，把 JSON、XML 这类嵌套格式先解析出来，再拍平成扁平化的键值对。

Hive Mapper 处理嵌套数据的实现方法

具体怎么做？需要你写一个自定义的 Mapper 类。Java、Python 都行，写得好了之后，把它和 Hive 查询绑定在一起，就能在 Mapper 阶段把嵌套数据拆解开。下面用一个 JSON 嵌套的例子演示完整流程。

第一步：搭建基础环境

先把基础环境搭好，确保 Hive 和需要的依赖包都在。

第二步：准备嵌套结构的 JSON 示例文件

准备一个带嵌套结构的 JSON 示例文件，比如 data.json：

{"id": 1,"name": "John Doe","address": {"street": "123 Main St","city": "New York","state": "NY","zip": "10001"}}

第三步：编写自定义 Mapper 类

写一个自定义 Mapper 类，比如 NestedJsonMapper.java，专门用来解析嵌套的 JSON 字段：

import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import org.json.simple.JSONObject;import org.json.simple.parser.JSONParser;public class NestedJsonMapper extends Mapper {private JSONParser jsonParser = new JSONParser();private Text outputKey = new Text();private Text outputValue = new Text();@Overrideprotected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {JSONObject jsonObject = (JSONObject) jsonParser.parse(value.toString());String id = (String) jsonObject.get("id");String name = (String) jsonObject.get("name");String street = (String) ((JSONObject) jsonObject.get("address")).get("street");String city = (String) ((JSONObject) jsonObject.get("address")).get("city");String state = (String) ((JSONObject) jsonObject.get("address")).get("state");String zip = (String) ((JSONObject) jsonObject.get("address")).get("zip");outputKey.set(id);outputValue.set(name + "," + street + "," + city + "," + state + "," + zip);context.write(outputKey, outputValue);}}

第四步：在 Hive 中调用自定义 Mapper

在 Hive 里把自定义 Mapper 用起来，处理那份嵌套 JSON 文件：

CREATE TABLE nested_json_data (id STRING,address STRING)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE;INSERT OVERWRITE TABLE nested_json_dataSELECTid,CONCAT_WS(',', street, city, state, zip) AS addressFROM(SELECT CAST(get_json_object(line, '$.id') AS STRING) AS id, CAST(get_json_object(line, '$.address') AS STRING) AS address FROM input_file.json)LATERAL VIEWexplode(split(address, ',')) exploded_address AS address;SELECT * FROM nested_json_data;

整个流程其实很直接：先建一张表来收解析后的数据，然后用 INSERT OVERWRITE 把 input_file.json 经过自定义 Mapper 处理的结果塞进去，最后查一下表就对了。说到底，Hive Mapper 不是不能处理嵌套数据，只是它不会帮你自动拆，你需要自己写代码告诉它怎么拆。