「社交达人」GPT-4！解读表情、揣测心理全都会

想象一下，您正在参加一个充满活力的鸡尾酒会，局间充满了热烈的谈话声和玻璃杯碰撞的叮当声。

此时，您作为一个悠闲的观察者，怡然自得地躲在角落里。然而，就算没有处在聚会的中心，您还是可以轻松地弄清楚不同人之间的社会关系，了解正在发生的事情，甚至通过阅读人们的言语和非言语线索来读懂明里暗里的社交信息。

如果一个LLM能够复现这种水平的社交能力呢？这不，Koko Mind就是这么个东西。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

随便打开一个视频，该模型就开始分析人物表情，得出人物情绪的结论。

然后，在右侧的prompt栏还可以提出问题，让AI进一步分析视频中暗流涌动的社交谜题。

（说实话对有些人来说这都很难）

「社交达人」GPT-4！解读表情、揣测心理全都会图片

Koko Mind包含了150个复杂的多方社交互动以及自由文本问题和答案。

为了确保数据的多样性和可扩展性，并避免数据污染，所有社交互动、问题和答案均由GPT-4生成，并随后由人类专家验证。

分析数据基于三个不同的来源：

GPT-4-only：该子集仅由 GPT-4 通过提示创建。
基于电影：为了避免数据污染，这部分数据基于从2025年之后上映的电影中提取的各种场景。GPT-4负责塑造这些场景，在保留核心本质的同时添加了自己的元素。
基于 ToMi：该部分包含由模拟数据集ToMi支持的数据，其中涉及将物理对象移动到不同的地方，这是心理理论的经典测试。当然，这些社交互动还得被GPT-4修饰和扩展一下。

三种数据来源的占比如下：

「社交达人」GPT-4！解读表情、揣测心理全都会图片

对于每次社交互动，研究人员都会提出各种问题，旨在探讨以下几个和社交理解息息相关的方面。

研究人员以text-d*inci-003 作为参考，评估了AlpacaEval后的不同模型。

其中，研究人员从上下文中删除了括号中的非语言线索（例如，紧张地喝咖啡等）。

以下则是一些有趣的要点：

（一种可能的解释是，GPT-4是一种多模态模型可以更好地理解额外的非语言信息。）

在博客中，研究人员绘制了表格，可以清晰的看到各个模型的表现。

「社交达人」GPT-4！解读表情、揣测心理全都会图片

结果虽然在很多方面都令人兴奋，但也有一定的局限性。首先， Koko Mind的规模相对较小，这可能会限制研究人员结论的广泛适用性和全面性。

其次， Koko Mind中的所有交互都是由GPT-4生成的，需要人工验证，这使得数据集难以扩展。

另外，虽然Koko Mind在数据集中提供了经过人工验证的答案，研究人员在评估时没有使用这些答案作为参考，并且由于这些答案是由GPT-4生成的，因此它们可能会偏向GPT-4。

未来的研究可以集中在如何评估模型上具有经过人工验证的机器生成的参考答案。

当然，虽说存在这样或那样的限制，研究人员仍将Koko Mind视为未来与社会智能、多模态语言模型等相关的研究的跳板。

以上就是「社交达人」GPT-4！解读表情、揣测心理全都会的详细内容，更多请关注其它相关文章！

2023-07-22

了解您产品搜索量及市场趋势，制定营销计划