最近看了论坛里、各个微信群里面，大家都会用鹈鹕骑自行车来测试模型是否降智，发现大家很多时候都是截图发完就没了，同一个模型，换一个思考档位，换一个工具，跑出来的差别也挺大的，事后想要对比，找不回原件，于是做了一个站，专门存这些作品： https://pelicanbenchmark.com/
我先说一下收什么：
- Classic SVG：Simon Willison 那句原始英文题面，一点都没有做改动。
- Animated HTML：会动的 html 版本。表单里面填你实际用的提示词就好了。
主要收 SVG 和 HTML 源码，不是截图。每一件作品都会记下模型、思考档位、实际用的提示词这些。
我在做这个站的时候想过的几个点：
- SVG 直接用图片（ img 标签）显示，里面的脚本不会执行。
- 动画作品会跑作者写的 JS ，所以放在单独的子域下，用 sandbox="allow-scripts"的 iframe 播放，作品不能往外发请求。只放行 jsdelivr 、cdnjs 、unpkg 、Google Fonts 这几个 CDN 加载资源。
- 作者的代码一个字不改
- 列表页面只显示静态封面，不会出现同时跑一堆动画的情况；手机上需要点击 play 才开始播放
- 提交时会有格式检查，是否重复检查，引用名单外的域名的时候会出提示
没做点赞、投票、排名，目前大部分作品还都是我自己跑的，缺 qwen 、minimax 等等，有的话欢迎各位补充～
不用注册，署不署名随意，想要撤回可以发邮件。怎么收、怎么查、有哪些局限都写在/methodology 了，欢迎各位挑毛病
额外说明一点啊，这个测试首先是由 Simon Willison 提出的，那我这个站和他一点关系都没有，也不会代表任何模型厂商。
Select Language