新智元报道

编辑：艾伦

针对OpenAI最新开源的GPT-OSS，这一篇面向零基础小白用户的手把手式的详细训练教程或许能帮助你完成你的第一个GPT训练项目。

新一年的最难秋招季又来了！

2025年，随着AI Agent的铺开，各类岗位都开始逐渐要求候选人具有AI能力。

你是否也想在简历上拥有训练GPT的高大上的项目经历，增强自己在AI时代求职的竞争力？

解决方案现在有了。

今年8月5日，自从几年前GPT-2发布后，再无新开源模型的终于发布了新开源大模型GPT-OSS，引发社区热议。

模型分为120B和20B两个版本，其中20B的版本理论上可以在消费级的16GB以上显存的显卡上运行，从而允许我们以较低的成本使用消费级显卡训练GPT。

近日，博主Lorentz Yeung发表的一篇博客，就对本地部署和微调训练GPT-OSS进行了手把手的详尽教学，小白友好值Max。

博客地址：https://pub.towardsai.net/teaching-openais-gpt-oss-20b-model-multilingual-reasoning-ability-a-hands-on-guide-with-rtx-4090-0835ba121ee7

微调GPT-OSS-20B

RTX 4090本地实操指南

本文会详细介绍如何对OpenAI最新开源的GPT-OSS-20B模型（https://huggingface.co/unsloth/gpt-oss-20b-GGUF）进行微调，以提升它的多语言推理能力。

我们将涵盖目标设定、基于RTX 4090和WSL2的本地环境搭建、代码来源、详细操作流程、训练前后效果对比，以及为何即便只训练60步也能有显著提升。

如果你喜欢鼓捣AI，这份教程可以帮助你在本地复现整个流程。

你将学到什么：解锁多语言思维链推理

看完这篇教程后，你就能动手为OpenAI发布的GPT-OSS-20B模型进行多语言思维链推理的微调。

GPT-OSS模型本身已经可以胜任数学、编程、常识问答等任务，并且具备一定的多语言能力，但它的推理过程天然偏向英文。

比如，即使你用法语提问，模型内部思考时还是优先用英文，而且你无法像设置「推理语言：法语」那样切换它的思考语言。

通过在HuggingFaceH4/Multilingual-Thinking数据集（包含1000条多语言推理样本，涵盖法语、西班牙语、德语、意大利语等）上微调，可以让模型具备以下能力：

能用OpenAI的Harmony格式生成结构化响应（例如把「分析」和「最终答案」分开）。

可以根据需要切换推理语言（比如用法语分析、用英语作答）。

能在非英语环境下，更灵活地调整推理的详细程度（低、中、高）。

按需切换推理语言和详细程度。此处示例为：法语，中等详细程度

微调后的模型能根据需求自由切换推理语言和细节程度——例如用法语进行中等细节分析。

对于教学、内容创作或AI助手等场景，这点非常实用，尤其是当用户的母语不是英文时。

环境搭建：RTX 4090+WSL2本地高效微调

训练脚本主要基于Unsloth提供的训练脚本，并针对RTX4090做了一些参数调整。

硬件环境是：NVIDIA RTX 4090 GPU（24GB显存），操作系统是Windows，通过WSL2运行。

为什么要用本地环境？

我们一开始尝试用Google Colab免费的Tesla T4显卡，但由于显存限制（即使用了4bit量化，20B模型还是需要12–23GB显存），很快就出现AcceleratorError错误并崩溃。

使用Google Colab报错：AcceleratorError

Colab的付费高级版可能可以跑，但本地环境显然在控制能力和速度上更胜一筹。

搭建流程如下：

1. 在WSL2终端，创建虚拟环境并安装pytorch和unsloth，命令如下（见Unsloth文档：https://docs.unsloth.ai/basics/gpt-oss-how-to-run-and-fine-tune 安装最新版Torch、Triton、Transformers和Unsloth！!pip install --upgrade -qqq uvtry: import numpy; install_numpy = f"numpy=={numpy.__version__}"except: install_numpy = "numpy"!uv pip install -qqq "torch>=2.8.0" "triton>=3.4.0" {install_numpy} "unsloth_zoo[base] @ git+https://github.com/unslothai/unsloth-zoo" "unsloth[base] @ git+https://github.com/unslothai/unsloth" torchvision bitsandbytes git+https://github.com/huggingface/transformers git+https://github.com/triton-lang/triton.git@main 支持4bit预量化的模型，下载速度快且显存友好。fourbit_models = [ "unsloth/gpt-oss-20b-unsloth-bnb-4bit", MXFP4格式 "unsloth/gpt-oss-120b",] None表示自动识别 max_seq_length = max_seq_length, load_in_4bit = True, token = "hf_...", 可选8,16,32,64,128等 target_modules = ["q_proj","k_proj","v_proj","o_proj", "gate_proj","up_proj","down_proj",], lora_alpha = 16, lora_dropout = 0, bias = "none", use_gradient_checkpointing = "unsloth", num_train_epochs = 1, 可接入WandB等日志平台 ),)

这一大段代码其实只是在：

使用SFTTrainer，训练步数设置为60，等效batch size为16，学习率2e-4。

在RTX 4090上训练大约34分钟，损失从1.62降到1.07。如果有条件可以训练更久，欢迎留言告诉我们你是否能降到0.5附近。

训练采样时会不会重复抽样？

Hugging Face的TRL SFTTrainer默认是「无放回采样」，即每轮迭代按顺序遍历数据集（可选shuffle），直到达到指定步数或epoch数。

如果训练步数不足一轮（比如这里的60步，等效batch size16，约采样960/1000条数据），一般不会重复抽样。

当然，也可以用dataloader_sampler等参数自定义采样方式。

训练前后对比

效果一目了然

微调前，基座模型在面对类似「解方程x⁵ + 3x⁴ - 10 = 3」的问题时，推理过程都是用英文进行：

Low（低）：用英文给出粗略估算（比如根约为1.36）。

Medium（中）：用英文做更深入的分析。

High（高）：英文详细步骤，精确计算根约为1.32。

没有多语言分析，也没有Harmony格式的结构化输出。

微调60步之后：

微调后使用法语进行推理

推理过程能自动切换到法语「分析」通道（比如：「Très bien, commençons…」），而且格式结构清晰。

数学结论依然准确，但每一步用法语表达，符合数据集设定。

这样的变化说明，模型从单一英文推理转变为可以根据需要灵活切换思考语言，证明了微调的巨大作用。

为什么只训练60步就有巨大提升？

你可能会好奇：为什么只训练60步，模型推理风格就发生这么大转变？

我们认为的一种可能的解释是：

LoRA的高效性：实际更新的参数只有大约400万（占209亿总参数的0.02%），主要集中在注意力层。这其实是在快速「换风格」，而不是重新学逻辑或功能。

高质量数据集：模型这60步能看到960条样本（几乎全量），直接学习多语言链式推理的表达方式。

SFT对齐：监督微调优化输出，loss下降很快，效率远高于RLHF。

强大预训练基础：模型本身已具备推理和多语言能力，我们只是微调表达方式。

优化器和学习率：较高的学习率（2e-4）让模型能迅速适应新风格。NVIDIA文档里也常把这种训练称为「激进」。

本质上，这是在强大基座模型上进行风格微调——只需60步，多语言表现立竿见影。

接下来轮到您来亲自微调了！

看完这篇文章，你应该已经学会如何把类似GPT-OSS-20B这样的大模型，调整成支持多语言思维链推理的版本，把它从英文「内心独白」变成可按需切换思考语言（比如法语）的多面手。

这也包括了对Harmony格式结构化响应的理解，以及解决模型默认英文推理的限制。

如果遇到问题，可以优先去Unsloth的Discord社区（https://discord.com/invite/unsloth）寻求解决方案。

以上Notebook文件包含完整运行结果，可以在GitHub下载（https://github.com/entzyeung/towardsai/tree/main/Teaching%20OpenAI's%20GPT-OSS%2020B%20Model%20Multilingual%20Reasoning%20Ability）。

微调GPT-OSS，就像为AI打开了定制化大门，只需要以低成本临时在云端租用一张4090即可完成微调。

建议你也亲自试试，有问题欢迎在评论区讨论。

参考资料：

https://entzyeung.medium.com/0835ba121ee7?source=friends_link&sk=ca02110337755c9c27c11049f466f891