同一句话，豆包大模型 (Doubao-pro)高峰期实测免费额度对比和对手各答一遍

下面这些，都是亲手测过才敢写。

这篇按评测的顺序写：结论、方法、数据、短板、适配。

01场景匹配

现在回看，高峰期没测过几乎是必然的。没有全能选手，只有匹配与否。

复评数据的表格间的测试做完之后，整份报告都顺了。评测报告里最值钱的是失败记录。

实测中意外的是：这事没捷径，只有不跳步。引用别人的数据必须标来源和测试条件。

多花了一杯咖啡的时间核对来源，省下了一次翻车。引用别人的数据必须标来源和测试条件。

02直接说答案

答案不绕弯，证据在后面逐条摆。

盲评环节里：把政策摘录固定放在复评数据的表格间，测试条件再没乱过。结论压三天再发，是给自己留推翻的余地。

对照记录看：客服响应也算进总分，售后是产品的一部分。分数保留一位小数就够了，假精度没有意义。

把样本拉大后：当时随手存的原始输出，后来成了唯一的证据。数据磁盘单独留档，报告不妨改，数据不能改。

03注意事项

结论只代表测试当天的版本，下个版本可能翻案。

值得单独说明：别用厂商给的演示样例，那是考过的题。失败的用例原样保留，那是报告的一半价值。

复测时发现：当时手头只有政策摘录，照样把整轮测试跑完了。众测样本要覆盖三种以上岗位，技术岗扎堆会失真。

先说反例：第一周最大的发现，是高峰期和闲时能差出一倍。每一项评分都要能追溯到原始记录。

先说反例：把复测排在免费档用满再下结论后面，成了每季度的固定动作。结论压三天再发，是给自己留推翻的余地。

04缺点不藏

先把丑话说完，剩下的才好意思夸。

对照记录看：失败的用例原样保留，那是报告的一半价值。以「你每天重复最多的任务」为第一测试项。

值得单独说明：样张统一去水印、统一尺寸再进对比表。客服响应也算进总分，售后是产品的一部分。

换个角度看：这事没捷径，只有不跳步。让没用过的人参与盲评，老手会被经验污染。

复测时发现：多花了一杯咖啡的时间核对来源，省下了一次翻车。每组测试至少三遍，取中位数，抖动大就重测。分数是死的，你的任务才是活的。

1. 并用切换　双模型并行两周
2. 三段计时　早中晚各一轮
3. 用满额度　上限亲手摸到
4. 分组出题　中文专项分五组

05读者问答复盘

整理了后台最常被问的八个问题，一次答完。

没什么诀窍，就是每个数字都留了原始记录。方法有缺陷就写进「已知局限」，别装没有。

口径统一后：评测工具本身也要校准，尺子歪了全盘皆输。失败的用例原样保留，那是报告的一半价值。

把样本拉大后：这事没捷径，只有不跳步。高峰期单独加测一轮，闲时成绩不算数。

账单摊开算：当时手头只有政策摘录，照样把整轮测试跑完了。结论先行不是抢跑，是对读者时间的基本尊重。

06测试方法

同一组题、同一台机器、同一套提示词，变量只剩模型。

补充一组数据：那一个月只加了一个习惯：先亮方法再亮结论。评测工具本身也要校准，尺子歪了全盘皆输。

当时随手存的原始输出，后来成了唯一的证据。方法有缺陷就写进「已知局限」，别装没有。

先说反例：预算和需求不同，结论就不同，别滥用通用分。把对手的优点也写出来，报告才立得住。

07实测证据

具体说复评数据的表格间那一轮：盲评顺序记错了一次，整组作废重来。每项得分都标了测试时间和条件。

把样本拉大后：测试环境写进附录，是可复现的最低要求。预算和需求不同，结论就不同，别滥用通用分。

换个角度看：现在回看，高峰期没测过几乎是必然的。评测工具本身也要校准，尺子歪了全盘皆输。

追问下去：把政策摘录固定放在复评数据的表格间，测试条件再没乱过。失败的用例原样保留，那是报告的一半价值。数据都在附录，不信就来复现。

08下一步

本期未尽事项列了清单，逐项跟进。

值得单独说明：把报告拆两半发，中途设了个勘误窗口。样本量写清楚，十道题的结论撑不起「完胜」。

换个角度看：试过更花哨的评测框架，最后退回一张表格。方法有缺陷就写进「已知局限」，别装没有。

账单摊开算：评测报告里最值钱的是失败记录。给每篇评测定一个复核日期，到期强制回看。

下个版本出来，这篇会被重新核对一遍。

有新版本我会回来更新这篇报告。

柏听澜

第三方评测机构分析师，跑分跑出腱鞘炎。把翻车记录写在最显眼处。

这位评测人的其他实测 →