Java BufferedReader逐行解析大型JSON行协议数据

处理大型 JSON 行协议（JSON Lines / NDJSON）数据时，Java 中 BufferedReader 配合 Jackson 的逐行解析方案，是很多开发者优先考虑的做法。核心思路简单：文件里每一行是一个独立的 JSON 对象，不能将整个文件当作一个大 JSON 一次性解析，而应按行切割后再逐个处理。

首先说明几个关键点。这种做法的前提是数据格式必须严格符合 JSON Lines 规范，即每行一个完整的 JSON 对象，行与行之间没有逗号分隔，也不需要用数组包裹起来。

第一步，确认文件格式是否为 JSON Lines

数据格式是基础，格式不对一切白费。一个典型的 JSON Lines 文件如下所示：

{ "id": 1, "name": "Alice"}{"id": 2, "name": "Bob"}{"id": 3, "name": "Charlie"}

正确示例（每行独立、合法 JSON）：

{"user":"u1","event":"login","ts":1712345678}
{"user":"u2","event":"logout","ts":1712345689}
{"user":"u3","event":"click","ts":1712345695}

错误示例（整体是 JSON 数组或含多行对象）：
[{"id":1},{"id":2}] 或跨行未闭合的 JSON —— 这种格式自然无法逐行解析。

用 BufferedReader + Jackson 逐行解析

确认格式无误后，实践中推荐搭配 Jackson 的 ObjectMapper。它支持将单个 JSON 字符串直接解析为 Java 对象，整个过程分四步：

• 用 Files.newBufferedReader() 或 new BufferedReader(new FileReader()) 打开文件
• 循环调用 readLine()，跳过空行和纯空白行
• 对每行非空字符串，使用 ObjectMapper.readValue(line, YourClass.class) 解析
• 捕获 JsonProcessingException 处理格式错误的行（例如记录日志并跳过）

一段高效的代码可这样编写：

ObjectMapper mapper = new ObjectMapper();
try (BufferedReader reader = Files.newBufferedReader(Paths.get("data.jsonl"))) {
    String line;
    while ((line = reader.readLine()) != null) {
        line = line.trim();
        if (line.isEmpty()) continue;
        try {
            MyEvent event = mapper.readValue(line, MyEvent.class);
            // 处理 event...
        } catch (JsonProcessingException e) {
            System.err.println("Invalid JSON line: " + line);
        }
    }
}

处理超大文件时的注意事项

逐行读取本身对内存很友好，但有几个细节会影响稳定性，需要特别留意：

• 设置合适的缓冲区大小：默认 8KB 通常够用；如果单行极长（例如嵌套深、字段多），可以显式指定更大的缓冲区，避免 readLine() 内部扩容开销
• 避免累积行内容：不要用 StringBuilder 拼接所有行——这等于将文件全量加载到内存，失去了流式处理的意义
• 及时释放资源：务必使用 try-with-resources 确保 BufferedReader 关闭，防止文件句柄泄漏
• 考虑反序列化性能：如果每行结构固定，可以预编译 ObjectReader（mapper.readerFor(MyEvent.class)）来提升速度

替代方案：Gson 或自定义轻量解析

如果项目已使用 Gson，也可以：

Gson gson = new Gson();
MyEvent event = gson.fromJson(line, MyEvent.class);

另一种情况：如果只需要提取个别字段（例如只取 "id" 和 "ts"），不想引入完整的 POJO 类，可以用 Jackson 的 JsonNode 或 Gson 的 JsonObject 进行轻量解析：

JsonNode node = mapper.readTree(line);
long id = node.get("id").asLong();
String user = node.get("user").asText();

这种方案省去编写类定义的过程，灵活性很高，特别适合 ETL 或日志分析场景。