大狗叫 Bench

给模型发一句「叮咚鸡?」。26 个模型各答 10 次,比较谁能接上「大狗叫」,以及需要花多少钱。

查看模型

摘要

随着前沿大语言模型(LLM)在数学推理、代码生成与学术问答等传统基准上日趋饱和,模型在极简上下文文化语用暗号(minimal-context cultural-pragmatic shibboleths)——即植根于本土亚文化语境的超短对答线索——上的表征能力仍缺乏系统性量化。为此,本文提出 大狗叫 Bench(Dagoujiao-Bench),一个无工具调用、闭卷、极简提示的评测基准,用于在极端信息稀疏条件下检验模型的参数化迷因记忆、语用意图对齐与测试时计算效率。评测中,每个模型在禁用联网搜索的设定下独立接受 10 次单轮查询(输入仅为「叮咚鸡?」),并以最终可见回复中是否包含连续子串「大狗叫」作为确定性判定标准,定义 Dagoujiao Index(0–100)。

基于对海内外 26 个前沿模型(共 260 条有效回复)的实测,整体命中率仅为 47.7%(124/260),且呈现出显著的两极分化:仅有 5 款模型(gpt-6.2-astra、gpt-6.2-sol、Kimi-K3.1-Pro、gemini-4-argon、gemini-4-carbon)取得 100 分满分,另有 7 款模型在消耗大量思考 token 后仍得 0 分。实验进一步揭示了三项反直觉规律:(1)显著的代际相变,同系列模型迭代后命中率出现跃迁(如 Kimi-K3 的 10 分跃升至 Kimi-K3.1-Pro 的 100 分,gpt-6-astra 的 20 分跃升至 gpt-6.2-astra 的 100 分);(2)逆向缩放与过度思考失效,部分参数更大或推理链更长的模型倾向于编造词源或退化为字面寒暄,反而逊于轻量级版本(如 glm-5.3-flash 达 90 分,而 GLM-5.3 仅为 40 分);(3)帕累托前沿跨越近三个数量级的成本分化,glm-5.3-flash 仅耗费约 ¥0.013(4,607 tokens)即达 90 分,Kimi-K3.1-Pro 以 ¥0.273(4,728 tokens)达成满分,而部分高推理开销模型达成同等满分的成本高达 $1.31–$1.33(最高消耗 132,962 tokens)。我们开源了全部 260 条原始回复、请求协议、费用复算脚本及离线交互式榜单,为后续文化对齐与推理性价比研究提供可复现基线。

大狗叫 Bench Index

最终回复中包含「大狗叫」的比例,满分 100。按得分降序排列,同分时十轮成本较低的模型在前。

大狗叫 Bench

Cost-Efficient Frontier

横轴为十轮成本(美元,对数刻度),纵轴为 Index。折线表示给定预算下能够达到的最高实测分数。Claude 费用按 Anthropic 标准 API 价格估算,agy 未返回实扣金额。

效率前沿● 单个模型
大狗叫 Bench

Token-Efficient Frontier

横轴为十轮合计 token 数(对数刻度),纵轴为 Index。折线表示给定 token 预算下的最高实测分数。输入含缓存及 Codex、agy 的上下文,输出含已计入回执的思考 token。各模型按各自的分词器计数。

效率前沿● 单个模型
大狗叫 Bench

模型数据

每个模型展示最早命中的一轮;零命中模型展示第一轮。

模型回复样例命中次数Index十轮成本 · 原币十轮成本 · USD

轨迹分析

260 条独立回复中,5 个模型十轮全中,7 个十轮全未中,其余 14 个在相同提示下既有命中也有落空。

认出梗,也可能漏掉接词

Gemini 4 Neon 和 GLM-5.3-Flash 都是 9/10。Neon 在第 1 轮写出了「听通知」和「戴口罩」,Flash 在第 9 轮也提到「网络热梗」。这两条回复都漏掉了「大狗叫」。

同一模型,有时会换一种接法

Kimi-K3 在第 8 轮问用户是不是在玩「等通知」的谐音,第 9 轮直接回「大狗叫?😄」,第 10 轮又转去解释门铃和鸡叫。第 9 轮是它唯一命中的一次。

同样满分,回复长短相差很大

GPT-6.2 Sol 的十条回复长 9–49 个字符,Gemini 4 Argon 的十条长 236–451 个字符。前者第一轮只接了一句,后者先讲社区广播,再引出接词。两条都算一次命中。

逐轮对照