新模型发布后,怎么用半小时摸底一款 LLM
XPoet 自由程序猿

打开群聊,又被新模型发布的消息刷屏了。

官方海报、跑分截图、博主速览,一条接一条。某某基准刷新纪录,某某榜单登顶第一,评论区一水儿的”AI 又进化了”。

大多数人的反应就两种:赶紧冲去试,或者直接当没看见。

其实还有第三种,也是我更推荐的:花半小时,按一套固定流程摸个底,判断它值不值得进入你的工作流。

这套流程不需要你懂算法,也不用写评测脚本。一个聊天窗口,加一份任务清单,就够了。

跑分越来越不能信了

先说一个可能反直觉的判断:今天一张跑分截图的信息量,已经不足以支撑你做任何决定。

原因不是”跑分造假”这么简单,而是整个基准体系出了三个问题。

第一,题库泄漏。

公开基准的题目是固定的,而这些题大概率已经混进了训练数据。模型可能没学会推理,只是背过这道题。

业内管这叫基准污染(benchmark contamination)。有评测机构复盘过,把污染因素剔除之后,部分模型的分数能掉两三成。

这就好比考试前学生拿到了原题。考了 95 分,你能说他水平就是 95 吗?

第二,题目失效。

MMLU、HumanEval 这些曾经的主流基准,头部模型早就刷到 85% 甚至 95% 以上,全都挤在顶部,拉不开差距。

一个所有学生都考 95 分以上的考试,已经失去了排名的意义。

第三,针对性刷分。

前两条还只是”考不准”,这一条是主动应试。

2025 年 4 月,Meta 发布 Llama 4,官方博客重点强调了它在 LMArena(一个大模型匿名对打的竞技场榜单)上的高分。

后来有人发现,Meta 提交给 LMArena 的版本叫 Llama-4-Maverick-03-26-Experimental,是专门针对人类评委偏好调优过的特供版。

而真正开放下载的公开版,是另一个模型。

特供版一度冲到总榜第二,公开版的实测表现却明显差一截。这事在社区炸了锅,LMArena 后来也更新了政策,禁止预发布特调版本和正式版本同榜比较。

类似的戏码不止一次。2025 年 7 月的 Grok 4,跑分全面登顶,但不少实际用过的开发者反馈,真实任务里的表现和分数对不上。有句评价很传神:考试满分,干活拉胯。

榜单分会说谎,但往往不是故意说谎——它只是在回答一个跟你无关的问题。

榜单还能看吗?能,但要会看

看到这你可能会想,那榜单是不是直接不看了?

倒也不用这么极端。榜单依然有用,前提是你搞清楚每个榜在测什么,以及它测的是不是你要的。

三个我认为值得看的榜。

LMArena,看”聊起来的体感”。

两个模型匿名对打,真人投票选出更好的回答。它测的不是客观能力,是偏好:什么样的回答让人觉得舒服。

适合回答这类问题:这个模型写东西、聊天,读起来什么感觉?

SWE-bench,看”真实修 bug 的水平”。

任务是真实 GitHub 仓库里的真实 issue,模型要读懂代码、改对地方、跑通测试。其中人工校验过的子集叫 SWE-bench Verified,一共 500 题。

2026 年的头部模型能拿到 80% 以上,它是目前最接近”实际工程能力”的公开基准。

不过要留意,围绕它刷分的声音也开始出现了,已经有论文专门分析它的问题。分数看看就好,别当圣经。

LiveBench,看”没背过题的真实力”。

说白了,它的设计思路就是反污染:题目定期换新,模型没法提前背。适合判断一个模型的裸装水平。

所以下次拿到一张跑分截图,第一件事不是看分数,是看它来自哪个榜。

对比着看你会发现:同一个模型,在不同榜上的名次可以差出十几位,因为它们测的根本不是同一件事。

你是写代码的,SWE-bench 的权重就该最高;你主要拿 AI 写文案,LMArena 的参考价值更大;想看模型的真实上限,去看 LiveBench。

榜单的正确用法是:用来排除,不用来选择。

排名垫底的可以果断排除。但前十名之间谁更适合你,榜单说了不算——答案在你自己的任务里。

半小时摸底流程

接下来是具体流程。半小时拆成三段:5 分钟读发布日信息,20 分钟跑任务集,5 分钟记日志。

image

前 5 分钟:读发布日信息,只看三样

官方博客和发布页信息量很大,但值得认真读的只有三样。

上下文窗口:决定你能把多大的东西塞给它。长文总结、大仓库分析,都卡在这。

价格:输入和输出的每百万 token 单价。性能差不多的两个模型,价格差一倍,结论就完全不同。

官方定位:它自己说擅长什么。是推理模型还是通用模型?编码特化还是全能型?这决定你后面拿什么任务去测它。

至于那张最大的跑分表格,直接跳过。你已经知道它说明不了什么了。

另外可以顺手扫一眼社区反应。Hacker News、Reddit 的发布日讨论串,重点看开发者踩到的坑,比官方博客诚实得多。

中间 20 分钟:跑自己的任务集

这是整个流程的核心,下一节会给你一份现成的清单。

先说原则:测它对你的日常有没有用,就拿你的日常去测。

任务集应该从自己真实工作里挑。我平时的任务大头是写代码、改 bug、读长文档,任务集就围绕这三件事设计,每个任务都是真实出现过的。

跑的时候有几个要点:

  • 用一样的提示词,最好原封不动从历史记录里复制
  • 每个任务跑一次就够,摸底不是精测,别恋战
  • 旁边开着你的主力模型,同样任务跑一遍做对照——摸底的核心不是”它几分”,是”和我在用的这个比,差在哪”
  • 顺手记两笔:哪里惊艳、哪里翻车,具体到任务和现象

最后 5 分钟:记一条评测日志

跑完趁热记一条日志,格式下一节直接给。

别高估自己的记忆力。两周之后,你不会记得当时哪个模型哪里好用。

一套可以直接抄走的任务清单

如果暂时没想好拿什么任务去测,可以从下面这份通用清单开始。5 个任务,覆盖最常见的使用场景,写代码的读者重点跑前两个。

任务 1:改一个真实 bug

从你的项目里找一个最近修过的 bug,把报错信息和相关代码喂给模型,让它定位并修复。

看什么:能不能找准位置,改动是否克制,会不会顺手重构不该动的地方。

任务 2:写一个边界清晰的函数

提一个你真实写过的需求,把边界条件在提示词里说清楚,让它实现。

看什么:边界处理全不全,还是只写了最顺利的那条路。

任务 3:总结一篇长文

找一篇你读过的万字左右的文章或文档,让它输出摘要。

看什么:有没有编造原文没有的内容,重点抓得准不准。长上下文能力最容易在这里露馅。

任务 4:一段真实的写作任务

拿你真实会写的场景:一段周报、一份技术方案、一个开头段落。

看什么:是不是人话,套路感重不重,有没有一堆”综上所述”。

任务 5:一条多约束指令

一句话里塞进多个约束。比如:把这段话改写成 100 字以内、口语化、保留三个关键数据、语气别太正式。

看什么:几条约束都能顾到,还是顾此失彼。这是日常用模型最常踩的坑。

任务跑完,趁热记录。日志模板直接抄:

1
2
3
4
5
6
7
## 2026-XX-XX · 模型名

- 任务结果:任务1 通过 / 任务2 部分通过(细节:...)
- 惊艳点:
- 翻车点:
- 价格与速度:
- 一句话结论:

一句话结论只有三个选项:进入主力候选、特定场景再用、不跟。

逼自己选一个,这次摸底才算完成。

让每次摸底都有积累

单个模型的摸底结论,价值有限。这套流程真正的价值在积累。

每次新模型发布都跑一遍,日志攒上几个月,你会得到一张自己的模型选择表。

哪个模型写代码稳,哪个模型文笔好,哪个又贵又慢还爱编,全在你自己的任务和数据里。

这张表比任何公开榜单都可靠。因为评测的题目来自你的真实工作,评判标准也是你的标准。

别人的评测,包括这一篇,只能帮你排除明显不合格的选项。

最终它适不适合你,只有你自己的任务集说了算。

下次新模型发布,刷完热闹,花半小时跑一遍这套流程。

比转发一张跑分截图有用得多。

 REWARD AUTHOR
 Comments
Comment plugin failed to load
Loading comment plugin