Hive数据加载去重方法

Hive数据去重：DISTINCT关键字实用指南

处理海量数据时，重复记录是常见问题。Hive提供了高效的解决方案，其中DISTINCT关键字是最直接的去重工具之一。本文将详细介绍其具体用法。

数据去重实例演示

为直观理解，假设有一个名为my_table的用户表，包含id、name和age三个字段。下面通过完整示例展示从建表到去重的全过程。

创建示例表

首先创建示例表结构：

CREATE TABLE my_table (
  id INT,
  name STRING,
  age INT
);

插入测试数据

插入数据时特意安排一条完全重复的记录：

INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 30);
INSERT INTO my_table (id, name, age) VALUES (2, 'Bob', 25);
INSERT INTO my_table (id, name, age) VALUES (1, 'Alice', 30); -- 这是一条重复数据
INSERT INTO my_table (id, name, age) VALUES (3, 'Charlie', 22);

使用DISTINCT进行数据去重

表中现有四条记录，其中id为1、名字是Alice、年龄30的记录出现两次。此时DISTINCT关键字即可发挥作用：

SELECT DISTINCT id, name, age
FROM my_table;

执行查询后，结果将去除重复行，仅返回三条唯一记录：

id  name    age
1   Alice   30
2   Bob     25
3   Charlie 22

DISTINCT使用注意事项

DISTINCT关键字作用于SELECT语句中所有指定列，比较的是这些列值的组合是否完全相同。实际应用中，有时只需针对部分关键列去重。例如，仅根据id和name判断唯一性：

SELECT DISTINCT id, name
FROM my_table;

此时即使两条记录的age不同，只要id和name相同，仍会被视为重复项而只保留一条。理解这一细微差别，有助于在实际工作中更精准地控制去重逻辑。