太全了！苹果上新视觉模型4M-21，搞定21种模态

---

当前的多模态和多任务基础模型，如 **4m** 或 **unifiedio**，显示出有希望的结果。然而，它们接受不同输入和执行不同任务的开箱即用能力，受到它们接受训练的模态和任务的数量（通常很少）的限制。

,基于此，来自洛桑联邦理工学院（EPFL）和苹果的研究者联合开发了一个**先进的**任意到任意模态单一模型，该模型在数十种**广泛**多样化的模态上进行训练，并对大规模多模态数据集和文本语料库进行协同训练。

训练过程中一个关键步骤是对各种模态执行离散 **tokenization**，无论它们是类似图像的神经网络 **feature map**、向量、实例分割或人体姿态等结构化数据，还是可以表征为文本的数据。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

• 论文地址：https://arxiv.org/pdf/2406.09406

• 论文主页 https://4m.epfl.ch/

• 论文标题：4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities

该研究展示了训练单一模型，也能完成现有模型至少**三倍**多的任务 / **模态**，并且不会损失性能。此外，该研究还实现了更细粒度和更可控的多**模态**生成能力。

该研究建立在多模态掩码预训练方案的基础上，并通过在数十种高度多样化的模态上进行训练来提升**模型**能力。通过使用特定于模态的离散分词器对其进行编码，该研究实现了在不同模态上训练单个统一**模型**。

简单来说，该研究在几个关键维度上扩展了现有模型的功能：

• 模态：从现有最佳任意到任意模型的 7 种模态增加到 21 种不同模态，从而实现跨模态检索、可控生成和强大的开箱即用性能。这是第一次单个视觉模型可以以任意到任意的方式解决数十个不同的任务，而不会损害性能，并且没有任何传统的多任务学习。

• 多样性：添加对更多结构化数据的支持，例如人体姿态、SAM 实例、元数据等等。 

• tokenization：使用特定于模态的方法研究不同模态的离散 tokenization，例如全局图像嵌入、人体姿态和语义实例。

• 扩展：将模型大小扩展至 3B 参数，将数据集扩展至 0.5B 样本。 

• 协同训练：同时在视觉和语言上协同训练。

方法介绍

该研究采用 4M 预训练方案（该研究同样来自 EPFL 和苹果，在去年发布），其被证明是一种通用方法，可以有效扩展到多模态。

具体而言，本文保持架构和多模态掩码训练目标不变，通过扩大模型和数据集的规模、增加训练模型所涉及的模态类型和数量，并且在多个数据集上进行联合训练，可以提升模型的性能和适应性。

模态分为以下几大类别：RGB、几何、语义、边缘、特征图、元数据和文本，如下图所示。

Tokenization

Tokenization 主要包括将不同模态和任务转换为序列或离散 token，从而统一它们的表示空间。研究者使用不同的 tokenization 方法来离散具有不同特征的模态，如图 3 所示。总而言之，本文采用了三种 tokenizer，包括 ViT tokenizer、MLP tokenizer 以及文本 tokenizer。

码上飞

码上飞（CodeFlying） 是一款AI自动化开发平台，通过自然语言描述即可自动生成完整应用程序。

430 查看详情

在架构选择上，本文采用基于 Transformer 的 4M 编码器 - 解码器架构，并添加额外的模态嵌入以适应新模态。

实验结果

接下来，论文展示了 4M-21 多模态能力。

多模态生成

基于迭代解码 token ，4M-21 可以用来预测任意训练模态。如图 2 所示，本文可以从给定的输入模态以一致的方式生成所有模态。

此外，由于该研究可以有条件和无条件地从其他模态的任何子集生成任何训练模态，因此它支持几种方法来执行细粒度和多模态生成，如图 4 所示，例如执行多模态编辑。此外，4M-21 表现出改进的文本理解能力，无论是在 T5-XXL 嵌入上还是在常规字幕上，都可以实现几何和语义上合理的生成（图 4，右上）。

多模态检索

如图 5 所示，4M-21 解锁了原始 DINOv2 和 ImageBind 模型无法实现的检索功能，例如通过使用其他模态作为查询来检索 RGB 图像或其他模态。此外，4M-21 还可以组合多种模态来预测全局嵌入，从而更好地控制检索，如右图所示。

开箱即用

4M-21 能够开箱即用地执行一系列常见的视觉任务，如图 6 所示。

表 1 评估了 DIODE 表面法线和深度估计、COCO 语义和实例分割、3DPW  3D 人体姿态估计等。

迁移实验

此外，本文还训练了三种不同尺寸的模型：B、L 和 XL。然后，将其编码器迁移到下游任务，并在单模态 (RGB) 和多模态 (RGB + 深度) 设置上进行评估。所有迁移实验均丢弃解码器，而是训练特定任务的头部。结果如表 2 所示：

最后，本文在 NYUv2、Hypersim 语义分割和 ARKitScenes 上的 3D 对象检测上执行多模态传输。如表 3 所示，4M-21 充分利用了可选的深度输入，并显著改进了基线。

以上就是太全了！苹果上新视觉模型4M-21，搞定21种模态的详细内容，更多请关注其它相关文章！

# 苹果公司  # 4m-21  # 洛桑联邦理工学院  # 模态  # 所示  # 上新  # 多模  # 如图  # 是在  # 工程  # 绵阳网站建设的价格  # 红河抖音关键词排名  # 超全的营销推广策略  # 哈尔滨seo规则代理  # seo资源搜索最佳方法  # 杭州电商网站建设电话  # 凯里seo优化推广公司  # seo不等于作弊  # 攀枝花网站优化  # 朝阳公司网站建设公司  # 量产  # 三种  # 即用 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： ​《流浪地球2》里机器人公司的创始人：未来10年，机器人的崛起！  苹果机器学习关键人物 Ali Farhadi 离职，回归 AI2 担任 CEO  陈根：AI冥想教练为用户提供个性化指导  视觉中国推出付费AI绘图功能：无版权可用  重塑未来生活的五项技术趋势  【原创】奥比中光：与英伟达合作开发的3D开发套件正式发布 连接英伟达AI应用生态  此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处  第 66 届格莱美奖规定，AI 作品将无法获得评奖资格  人工智能和你聊天 成本有多高  OpenAI更新GPT-4等模型，新增API函数调用，价格最高降75%  Unity 内测 Safe Voice 服务，利用 AI 自动识别玩家不当聊天内容  学界业界大咖探讨：AI对数字艺术创新的推动力  AI教父Bengio：我感到迷失，对AI担忧已成「精神内耗」！  南京制造的国产工业机器人：在外资品牌竞争中突围，年销售1.8万台  新华三集团总裁兼首席执行官于英涛：人工智能时代需要想象力，更需要精耕务实  世界周刊丨AI“棱镜”？  月薪6万，哪些AI岗位在抢人？  OpenAI CEO 山姆・阿尔特曼呼吁 AI 领域中美应当合作  行业首发「超级智绘」AI故事集，TCL实业推进AI技术应用  郭帆：AI发展日新月异，或是弯道超车好莱坞的最好机会  AI取代人工先拿教育行业开刀？美版“作业帮”启动裁员  微软最新推出的NaturalSpeech2语音合成模型：提供更准确的语音重构，避免棒读效果  英伟达的AI领域垄断地位：一直无法撼动吗？  到中国科技馆体验“一滴油的奇妙旅行”，线上元宇宙展厅同步开启  云鲸发布全新的扫拖机器人J4系列  如布科技发布新产品AI口袋学习机S12  鸿蒙生态带来了哪些新的流量可能性，包括AI、服务分发和原生智能等方面？  BLIP-2、InstructBLIP稳居前三！十二大模型，十六份榜单，全面测评「多模态大语言模型」  利用AI探索抗体“钥匙”、加速药物研发——访百图生科团队  编程版GPT狂飙30星，AutoGPT危险了！  你们的开机第一屏画面要变了！安卓机器人首次3D化  聚焦人工智能大模型、AIGC 徐汇十余场重磅论坛等你来  阿里云连续两年进入Gartner云AI开发者“挑战者象限”  百川智能发布Baichuan-13B AI模型，号称“130亿参数开源可商用”  世界人工智能大会机器人同台炫技！梳理A股相关业务营收占比超50%的个股名单  企业软件行业更将被AI全面重构！Moka李国兴：未来优秀组织和个人将一定是善于使用AI生产力的  盘古大模型3.0正式发布 AI开发正走向新“工业化开发模式”  ​布局智能物联新时代,中国移动“5G+物联网”亮相2025 MWC  金山办公：AI是重要的产品战略之一  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”  WAIC 2025｜云深处科技绝影Lite3与X20四足机器人亮相  2025“春晖杯”人工智能专场对接活动举办  “世界人工智能之都”的新烦恼：AI热潮无法拉动大量就业  AI连线 | 专访风平智能CEO林洪祥：让AI数字人拥有漂亮的外表和有趣的灵魂，安全问题是重要考量  字节、网易相继入局，AI之后大厂又找到下一个风口？  V社悄悄封禁使用AI生成美术素材的游戏  马克龙密会AI专家，法国加入全球人工智能竞赛  深圳人工智能企业超1900家  首个算网生态体！中国移动元宇宙产业联盟正式成立  三星加速AR眼镜进程，预计明年上半年亮相 

 2024-06-25