Copyright 2005-2025 王晨云 版权所有 京ICP备20051637号-1
10月14日消息，昨夜，前特斯拉人工智能与自动驾驶视觉总监、OpenAI研究员安德烈·卡帕西（Andrej Karpathy）开源nanochat，号称可以只用不到100美元（约合人民币711.5元）训练出“简易版ChatGPT”，一经发布在GitHub上就获得了5.6k星。
▲nanochat Github主页（来源：Github）
与其早期只涵盖预训练的nanoGPT不同，nanochat是一个极简的、从零构建的全栈训练/推理流程，用最精简的依赖代码库实现了“简易版ChatGPT”。
▲安德烈·卡帕西（Andrej Karpathy）推文截图（来源：X）
卡帕西在评论区中回复称，nanochat的基本架构类似Meta的Llama，但有所简化，并吸收了modded-nanoGPT的一些改进。
他还透露，截至指令微调（SFT）阶段，整个训练耗时3小时51分钟，总成本为92.4美元（约合人民币657.4元），“这样我们甚至还能剩下8美元买个冰淇淋犒劳自己。”他开玩笑道。
值得注意的是，由于目前对强化学习（RL）的支持尚不完善，卡帕西称他并未将其计入总运行时间。
也就是说，开发者只需启动云GPU实例，运行单个脚本，只需不到100美元（约合人民币711.5元），最快4小时，就能训练出可进行简单对话、创作故事诗歌、回答基础问题的“简易版ChatGPT”。
训练约12小时，模型即可在评估模型推理能力、知识基础等基础能力的CORE指标上超越GPT-2。卡帕西还透露，当投入提升至约1000美元（约合人民币7114.7元），训练41.6小时后，模型表现还将显著提升，能够解决基础数学/编程问题并通过选择题测试。
例如，深度为30的模型训练24小时（相当于GPT-3 Small 125M的计算量，约为GPT-3的千分之一）后，在多任务的语言理解基准MMLU得分超40分，在简单常识推理任务ARC-Easy超70分，在数学推理能力基准测试GSM8K中获得超20分的成绩。