撰文 | 马雪薇
前言
GPT-4o、Claude 3.5 Sonnet 等具有视觉能力的大语言模型(LLM),是否能像人类一样感知图像?
最新研究表明,在一套人类非常容易完成的 7 项视觉任务(比如两个圆是否重叠、两条线是否相交等)中,Claude 3.5 Sonnet 等四种最先进的视觉语言模型(VLM)的平均准确率只有 56.2%。它们似乎并不是在真正地“看”,而是在做有根据的猜测。
相关研究论文以“Vision language models are blind”为题,已发表在预印本网站 arXiv 上。
然而,这是否意味着这些“视觉” AI 模型毫无用处?远非如此。VLM 在识别诸如人类行为和表情、日常物品和情境的照片等方面都表现了出很高的准确性。
正如论文作者之一 Anh Totti Nguyen 所说:“‘盲目’对人类来说就有多种不同的定义,目前还没有一个词可以描述 AI 对我们展示的图像的这种盲目性,也没有技术能够准确地可视化模型看到的东西。它们的行为是输入文本提示、输入图像和数十亿权重的复杂函数。”
VLM “眼神”到底有多“差”?
研究团队通过 7 项简单任务测试了 VLM 的视觉能力,这些任务仅涉及 2D 几何基元(例如,线、圆和正方形),对人类而言,只需要极少的知识即可完成。他们测试了四个 SOTA VLM:GPT-4o、Gemini-1.5 Pro、Claude 3 Sonnet 和 Claude 3.5 Sonnet。
任务一 识别线的交叉点数量
在两个提示和三种线宽的情况下,所有 VLM 在这个简单任务上的表现都很差。最高准确率只有 77.33%(Claude 3.5 Sonnet)。当两个图之间的距离变窄时,VLM 的表现往往会变得更差。这表明 VLM 能够识别线图的整体趋势,但无法“放大”以看到精细的细节。
图 | 四种模型在计算线的交叉点任务上的性能
图 | VLM 不能可靠地计算线的交叉点。
任务二 识别两个圆是否重叠
即使圆对于人类来说很大且清晰可见,也没有任何 VLM 能够完美解决这个问题。所有图像和提示下的最高准确率为 92.78%(Gemini-1.5)。一个常见的趋势是,当两个圆靠得很近时,VLM 的表现往往较差。这表明VLM的视觉似乎还不够清晰,无法看到两个圆之间的细微间隙或交点。
图 | 四种模型在圆圈重叠任务上的性能
图 | 距离越小,VLM 越可能判断失败。
任务三 识别被圈起来的字母
尽管有一个红色椭圆叠加在上面,所有 VLM 仍然能够准确地拼写出字符串。然而,读出哪个字母被圈出来对所有 VLM 来说竟然是一个挑战。犯错误时,VLM 经常给出的结果是被圈出字母旁边的字母。有时模型会产生幻觉,给出该词中不存在的字符(例如“9”、“n”、“©”)。
除了 GPT-4o 之外,所有模型在两个英语单词上的表现比随机字符串略好,这表明知道单词可能有助于 VLM 做出更好的有根据的猜测,从而略微提高准确度。Gemini-1.5 和 Claude 3.5 Sonnet 得分较高,分别为 92.81% 和 89.22%,比 GPT-4o 和 Claude 3 Sonnet 的准确率高出近 20 个百分点。
图 | 四种模型在识别圈出的字母任务上的性能
图 | 当犯错误时,VLM 倾向于预测与圈出的字母相邻的字母。
图 | 模型会产生幻觉,给出该词中不存在的字符(例如“9”、“n”、“©”)。
任务四 识别重叠形状的数量
无论形状是重叠的还是嵌套的,这两种情况似乎都对 VLM 构成了挑战。在计数重叠的圆和五边形的任务上,Claude 3.5 Sonnet 的表现比其他模型好得多(例如,75.83% 对应 Gemini-1.5的 9.16%)。当圆环数量超过五个且 VLM 预测的数量不正确时,Gemini-1.5 有 98.95% 的时间预测为“5”,而不管实际圆环的数量是多少。对于其他模型,这种情况的发生频率也比五边形的情况要高得多。这是因为它们都在训练数据中显著地包含了五个圆环的图像:奥运会环标志。这个标志在训练数据中重复出现,所以它们倾向于猜测“5”。
图 | 四种模型在识别重叠的圆圈/五边形数量上的性能
图 | 无论圆的颜色、线宽和分辨率如何,VLM 都不容易计数重叠的圆。
任务五 识别嵌套的正方形数量
GPT-4o 和 Claude 3 Sonnet 在计数两个或三个嵌套正方形时仍显得吃力。当计数增加到四个和五个时,所有模型的准确性都远低于 100%。结果显示,即使形状的边缘不交叉,VLM 提取形状的精确表示也并非易事。
图 | 四种模型在识别嵌套方形数量任务上的性能
图 | 只有 Claude 3.5 Sonnet能数出大多数图像中的正方形。
任务六 识别网格的行和列的数量
VLM 难以准确计算空网格中的行数和列数。具体来说,它们的计数通常会偏差 1 或 2。这一发现表明,VLM 不能清晰地看到表格的每个单元格。有趣的是,研究团队在尝试通过在每个单元格中添加一个单词来简化任务后,观察到所有VLMs的准确性都有显著提高(例如,GPT-4o 从 26.13% 提高到 53.03%)。然而,没有任何模型能够完美解决这个任务,即使是最优秀的模型(Claude 3.5 Sonnet)在包含文本的网格上表现最佳,准确率为 88.68%,而在空网格上的准确率仅为 59.84%。
图 | 四种模型在计算网格中的行和列时的性能
图 | 示例表明,模型在计算空白网格的行和列时大都失败。
图 | 当文本包含在网格单元中时,所有 VLM 的性能都得到了提高,尤其是Claude 3.5 Sonnet。
任务七 识别站点间单色路径的数量
结果表明即使在两个站点之间只有一条路径的情况下,也没有模型能够达到100% 的准确性(最高的是 Claude 3.5 Sonnet,达到 95%;最差的准确率为23.75%)。VLM 的预测通常偏差 1 到 3 条路径。随着地图复杂性的增加,从 1 条路径增加到 3 条路径,大多数 VLM 的表现变得更差。
图 | 四种模型在站点间单色路径计数任务上的性能。
图 | 一些 VLM (Gemini-1.5, Claude 3 Sonnet)甚至在非常简单的情况下也会失败。随着路径数量的增加,VLM 的性能往往会变差。
早期融合或是未来发展方向
实验结果表明,即使是最佳的 VLM 仍然在努力解决一个五岁小孩都能轻易解决的问题。这些限制可能很大程度上是由于将视觉整合到 LLM 中的晚期融合(late-fusion)方法,而早期融合(early-fusion)可能是未来的发展方向,即将视觉编码器与语言模型在更早的阶段融合,例如在 token embedding 阶段或视觉特征提取阶段进行融合。
此外,研究团队还发现,简单地使用 LORA 在提出的任务上微调一个 7B 参数的、最先进的晚期融合开源 VLM,并不能得到一个高性能的模型。也就是说,训练一个在 BlindTest 上表现良好的单一模型可能是一个有趣的未来研究方向。