测试的由来
2024 年 10 月 25 日,Simon Willison 让一批 LLM「生成一张鹈鹕骑自行车的 SVG」。结果好笑、信息量大、又容易横向比较,这个提示词从此变成了民间基准。它用一个说起来简单、做起来很难的任务,同时考察空间推理和代码生成。
我们的变体
我们保留了核心任务,改了交付物:一个自包含的 HTML 页面,里面是鹈鹕骑自行车的 2D SVG 动画。动画把门槛抬高了:静态图可以藏住一辆永远不蹬的自行车,循环播放会暴露接触点和运动链。
流程
- 一句提示词,原文一致,不追问、不纠正。
- 每个模型一次运行,不挑结果、不重生成。
- 客户端、默认设置,测试日期 2026-10-27。
- 输出保存为自包含 HTML。八个文件均未发现外部网络请求。
- 输出原样展示,只有外层包装是我们的。
- 评分由人工按下面的标准给出,不是自动化测量。
评分标准
每项 0–5 分,总分 25 分。
| 维度 | 看什么 | 分值 |
|---|---|---|
| 语义还原 | 一眼看过去,是不是鹈鹕在骑车——不是鸭子或鹳,也不是两张互不相干的画。 | 5 |
| 解剖与接触 | 脚在踏板上,翅膀或身体连到车把,身体坐在坐垫上。 | 5 |
| 自行车结构 | 两个轮子、车架、前叉、曲柄、链条、坐垫、车把——零件要组成一辆能骑的车。 | 5 |
| 运动物理 | 轮子朝行驶方向转,曲柄转,脚跟着踏板,没有滑动或脱节。 | 5 |
| 完成度与交互 | 美术、场景细节、完整循环,以及暂停/重播这类控制。 | 5 |
局限
- 每个模型只跑一次:没有统计显著性,也会受随机波动影响。
- 客户端模型版本随时会变。分数是某一天的快照,不是模型的永久属性。
- 审美判断是主观的;标准把维度写清楚了,但不等于客观。
- 这不是通用智能基准,而是一个考察空间构图和运动的视觉烟雾测试。
- 经典的鹈鹕测试是静态 SVG。这是动画版延伸,两者都有用。
来源与致谢
「鹈鹕骑自行车」测试由 Simon Willison 创建。可以读他的原始文章、模型输出 GitHub 仓库,以及 2025 年的演讲文章。2026 年那份生成 1000+ 张 SVG 的「pelicanmaxxing」研究,见 Dylan Castillo 的分析。本站的八个 HTML 文件由对应模型生成,原样展示。
更新记录
- 2026-10-27 — v1:八次运行,中英双语站点,动画评分卡与同步对比。