基于ShareGPT的LoRA微调：低成本高质量对话模型完整流程

在消费级显卡上使用ShareGPT数据集进行LoRA微调时，原始JSONL文件常出现角色字段混乱、中英文混杂、多轮对话结构未对齐等问题。若不事先清理，训练出的模型要么损失函数直接产生NaN，要么输出大量乱码。其实无需从头搭建数据流水线，只需完成以下三个关键改造：字段标准化、中文强过滤、单轮指令对重构。

清洗ShareGPT原始JSONL并统一角色标签

原始ShareGPT数据中，每一轮对话的from字段写法各异，常见的有human、gpt、system等，而Hugging Face的标准训练器只识别user、assistant、system。若不修改，apply_chat_template会直接报错，或导致attention mask错位，损失函数无法正确计算。

具体操作分为四步：
第一步，用Python打开sharegpt_cleaned.jsonl，逐行读取每条记录中的conversations数组。
第二步，遍历每轮消息，将"from": "human"替换为"role": "user"，"from": "gpt"替换为"role": "assistant"，"from": "system"保留为"role": "system"；其余不合法的from值（如"bing"、"bard"）直接丢弃整条消息。
第三步，检查每条记录至少包含一轮user和一轮assistant，缺少任一个则跳过该样本——缺少user→assistant配对的对话无法构造有效的监督信号。
第四步，将修正后的字典以JSONL格式写入new_sharegpt_standard.jsonl，确保每行只有一个合法的JSON对象，无逗号分隔，无方括号包裹。

强制筛选纯中文对话样本

Langdetect对短文本的误判率较高，仅靠detect()过滤会误杀大量包含中文标点或数字的合理样本，需结合字符分布进行二次校验。

有效做法是三种手段配合使用：
方法一，调用langdetect.detect_langs(content)获取概率分布，仅当zh置信度≥0.95且排名第一时才标记为中文。
方法二，对每一轮content统计\u4e00-\u9fff区间的Unicode码点数量，若占比低于40%且该轮不是system提示，则剔除整条对话——这样能精准捕获“Hello world 我想问…”这类中英混杂样本。
方法三，用正则匹配去掉包含连续7个以上ASCII字母、URL协议头（http://、https://）、代码块标识（```）的content，避免模型学到非自然语言模式。

重构为LoRA训练可用的单轮instruction-output格式

LoRA微调要求输入严格对齐tokenizer的chat template，且损失只计算assistant回复部分。ShareGPT原有的多轮结构必须压缩为单轮的强映射对，否则梯度更新会污染user输入区域。

具体操作五步：
① 提取每段对话中第一条user消息作为instruction，紧随其后的assistant消息作为output；若中间夹有system，则将其content拼接到instruction开头，用两个换行分隔。
② 对instruction做轻量包装：若原文已包含明确动词（如“解释”“列出”“改写”），则保留原句；否则在前面添加通用指令“请根据以下输入提供准确、简洁、专业的回答：”。
③ output截断至512字符，移除末尾的省略号、重复感叹号以及孤立的emoji——特别提醒：output过长或带噪声会导致attention mask越界，进而触发CUDA illegal memory access。
④ 将instruction与output拼接为字符串："User: {instruction}\n\nAssistant: {output}"，传入tokenizer.encode()，并设置add_special_tokens=True、truncation=True。
⑤ 保存为新JSONL，每行格式为{"text": "User: ...\n\nAssistant: ..."}，删除其他所有字段。

配置Axolotl YAML使ShareGPT数据真正被识别

最后一步是让Axolotl正确识别处理好的数据。Axolotl默认不读取text字段，若data_config未显式声明，它会扫描字段名中带input/output的列，找不到则直接报“No samples found in dataset”。

解决方式：打开axolotl/config/qlora.yaml，在dataset_config下添加两行：

text_field: "text"
input_format: "chat"

同时删掉原配置中形如input_field: "instruction"或data_source: "alpaca"的冗余行——它们会覆盖text_field的绑定。还需确认pad_to_max_length: false和truncation: true同时开启，防止对话被截断后丢失<|eot_id|>等关键分隔符。