异常识别
关注各类异常的 Precision、Recall 与多标签 F1，分别观察误报和漏检。
MULTIMODAL LEARNING / 多模态学习
理解交通标志。
识别异常状态。
基于 Qwen3-VL 的多模态异常识别与后训练研究。
从指令微调到可验证奖励，让视觉理解服务于具体的巡检任务。
VISUAL INSPECTION概念示意
视觉输入语义理解异常标签
01 多模态指令数据02 参数高效微调03 可验证奖励设计
01 / TRAINING RECIPE
从视觉能力，
到任务适配。
保留预训练模型的视觉语言能力，
用任务指令与轻量适配参数学习异常识别。
QLoRA 微调路径基座量化 · 低秩适配
INPUT图像与任务指令
→BASE MODELQwen3-VL / NF4量化基座参数冻结
＋TRAINABLELoRA 适配参数Q / K / V / O 投影
→OUTPUT结构化异常标签
02 / POST-TRAINING RESEARCH
把任务要求，
变成奖励信号。
围绕 GRPO 探索可验证奖励。
让语义正确性与输出约束共同参与评价。
同一任务采样多组候选→规则与标签校验→组内相对奖励→策略更新
后训练方案展示 · 奖励组合与权重通过后续实验验证。
03 / EVALUATION DESIGN
评估识别，也评估可用性。
输出可靠性
检查 JSON 可解析率、标签合法性与字段一致性，验证输出能否被下游流程使用。
训练与推理资源
以显存占用、可训练参数和推理耗时为评测维度，分析任务性能与资源开销。
实验对比设计
基座模型 → QLoRA / SFT → SFT + GRPO
保持测试集与解码配置一致，分析微调和奖励设计的独立贡献。04 / TASK EXPLORER
五类异常，一个识别任务。
点击标签，查看任务关注点与输出结构。
图像和 JSON 均为任务示意，不是模型实测结果。
任务示意 / ILLUSTRATION
ANOMALY / 01
结构化输出示例JSON
ALGORITHM → TRAINING → APPLICATION
研究方法，走向可用的模型。
薛语林 · 多模态学习与视觉语言理解