应用接入 Hy4 flash 时,指令版、FP8 和 base 能互换吗?

作者:资源驿站时间:2026-11-18 13:44:09浏览:437

解释Hy4 flash三个仓库的用途区别,核对后端框架、硬件预算、图文加载及对外服务授权。

为应用选择 Hy4 flash 后端时,对话与图文问答应评估指令版或 FP8 量化指令版;base 是预训练基础模型。客户端接入之前,服务端仍需完成框架兼容、设备容量与授权条件核对,不能用一个模型名称替代部署验证。

Tencent Hy 官方品牌封面

三个仓库为什么不能直接互换?

Hy4 flash 的官方用途是指令模型,Hy4 flash-FP8 是经过 FP8 量化的指令模型,Hy4 flash-base 则提供预训练基础权重。官方特别说明,聊天和推理样例适用于前两个版本;base 不是指令微调聊天模型。

因此,应用要得到对话式回答,首先应选对训练用途。FP8 是否适配目标推理框架与硬件需要另外确认,不能只看名称就认定吞吐提升或容量一定满足。base 更适合结合后续训练与研究目标评估。

Hy4 flash 官方模型卡中的三种权重用途与适用范围

下列指令版示例所参照的仓库文档固定在提交 d88c9dfd96ba4f2e6b92adba0b8e8f1c8696f959。这个提交标识用于定位资料,不代表独立的软件发行版本号。

2026年11月17日是可核对的官方 Hugging Face 仓库创建及这批权重分发记录,不能扩写为所有渠道的全球首发时刻。官方模型卡同时列出 ModelScope、GitCode 作为分发渠道。

应用侧应怎样看待参数和上下文?

官方介绍将 Hy4 flash 描述为总参数约220B,其中约64B来自 Engram,每个 token 激活约12B,支持文本和图片输入、文本输出。标称1M上下文在规格表中对应1,048,576 tokens。这些数据属于官方说明,实际性能与容量需在目标环境验证。

激活参数量并不等价于完整权重占用,长上下文还涉及缓存资源。官方部署示例使用八路张量并行,表明阅读样例时应连同资源配置一起看;这不是通用最低配置,也没有证明单卡能够承担相同任务。应用的超时、成本和容量预算最终都要建立在目标环境的验证上。

运行样例前先确认 Transformers 支持

所核验模型卡指出对应支持尚待合入主分支,给出指向拉取请求50903开发引用的安装命令。以下保持官方写法,供具备计算资源的独立 Python 评估环境使用;执行会安装开发代码及相关 torch、vision 依赖,不能把普通发行版的存在视作已兼容。开发引用可能更新,生产使用需锁定自己实际验证的提交与依赖组合。

pip install "transformers[torch,vision] @ git+https://github.com/huggingface/transformers.git@refs/pull/50903/head"

安装成功对应的是依赖准备阶段,不包含权重加载和推理成功。遇到无法识别架构时,应核对安装来源;换成基础模型并不能证明原来的兼容问题已解决。

如何用官方图文示例理解输入与输出?

这段代码来自模型卡的 Transformers 样例,指定 Hy4 flash,使用示例图片和一句话描述请求。处理器负责组织输入,生成调用结束后才解码新增文本。运行前应确认硬件、存储和框架就绪,因为加载可能下载大规模权重;自动设备映射不是容量保证。这段官方用法示例不构成本地下载和推理成功的证明。

from transformers import AutoModelForImageTextToText, AutoProcessor

model_id = "tencent/Hy4-flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(model_id, device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg",
            },
            {"type": "text", "text": "Describe this image in one sentence."},
        ],
    }
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    reasoning_effort="no_think",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0, inputs["input_ids"].shape[1] :], skip_special_tokens=True))

正常执行的结果是输出图片描述,而不是固定某句文字。no_think 表示直接响应,high 是官方默认的思考设置,二者通过 reasoning_effort 选择,适用对象为指令模型。max_new_tokens=256 是新增输出上限,不是整个对话窗口大小。

官方推荐采样值还有 temperature=0.9、top_p=1.0;这段原始代码未显式填写它们。实际排查回答差异时,要把生成参数、思考设置、模型变体分别核对。资源不足时需重新评估设备与受支持配置,而非直接假定量化版一定能运行。

对外开放模型能力有哪些许可边界?

权重使用 Tencent Hy License, Version 1.0。它虽然由 Apache License 2.0 衍生,但许可证明确说明自身不是 Apache License 2.0。对外服务需特别阅读第10节的 MaaS 定义与商业要求。

向第三方开放模型推理或微调的远程访问,使其提交输入、指定参数或训练数据,属于条款描述的 MaaS;只在特定功能或工作流中使用能力、不给通用模型访问的终端产品,以及仅转发请求至独立第三方模型服务的情况被排除。

对经营 MaaS 的主体,任一连续12个月全球总收入超过5,000万美元时,无论收入来源是否关联该模型,使用或继续使用前需要单独书面许可;若要在任一自然月月活超过1亿的自有产品或服务中使用模型或衍生作品,也应在使用前取得该许可。第10.2节不适用于符合第10.3节的纯内部使用,其前提是模型、衍生作品及输出都不向第三方提供。是否满足这些条件应回到完整条款与实际业务。

作者最新文章