OmniDrive: 一个关于大模型与3D驾驶任务对齐的框架

---

从一个新颖的3d mllm架构开始，该架构使用稀疏查询将视觉表示提升和压缩到3d，然后将其输入llm。

题目：OmniDrive: A Holistic LLM-Agent Framework for Autonomous Driving with 3D Perception Reasoning and Planning

作者单位：北京理工大学，NVIDIA，华中科技大学

开源地址：GitHub - NVlabs/OmniDrive

Canva AI

Canva平台AI图片生成工具

1374 查看详情

多模态大语言模型（MLLMs）的发展导致了对基于LLM的自动驾驶的兴趣不断增长，利用它们强大的推理能力。利用MLLMs强大的推理能力来改进规划行为是具有挑战性的，因为它们需要超越2D推理的完整3D情境意识。为了解决这一挑战，本工作提出了OmniDrive，这是一个关于智能体模型与3D驱动任务之间强大对齐的全面框架。框架从一个新颖的3D+MLLM架构开始，该架构使用稀疏查询将观察表达提升和压缩到3D，然后将其输入LLM。这种基于查询的表达允许我们联合编码动态对象和静态地图元素（例如，交通道路），为3D中的感知-行动对齐提供了一个简洁的世界模型。进一步提出了一个新的基准，其中包括全面的视觉问答（VQA）任务，包括场景描述、交通规则、3D基础、反事实推理、决策制定和规划。广泛的研究表明，OmniDrive在复杂的3D场景中具有出色的推理和规划能力。

网络结构

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

实验结果

以上就是OmniDrive: 一个关于大模型与3D驾驶任务对齐的框架的详细内容，更多请关注其它相关文章！

# 这是一个  # 宜宾知识产权网站建设  # 江苏网络营销推广渠道  # 中国可以建设的网站  # seo怎么优化提高权重  # 网站建设步骤介绍文档  # seo优化师哪里接单  # 晋源区服务网站排名优化  # vue的项目SEO  # 西安网站建设多少钱  # 常州网站seo诊断  # 相关文章  # 3d  # 这一  # 端到  # 如何用  # 并可  # 将其  # 提出了  # 腾讯  # 开源  # git  # 自动驾驶 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 卫星通信牵引物联网竞争升维，模组厂商如何决胜百亿市场？  Intel酷睿Ultra发布会官宣！迈向全新的AI时代  苹果头显降临，AI虚拟人的救星还是流星？  软银、淡马锡、沙特阿美突击入股，“协作机器人第一股”节卡股份：强敌环伺，持续失血是常态  GPT-4成功战胜AI-Guardian审核系统：谷歌研究团队的人工智能抵抗人工智能  微软大牛加入ZOOM，AI人才大战打响  V社回应拒绝上架含 AI 生成内容的游戏：审核政策正在调整中  电力人工智能数据集目录首次发布  解决导航“最后50米”难题 高德地图升级AR步行导航找终点功能  微软和谷歌面临的人工智能困境：需要投入大量资金才能获得盈利  时隔 4 年：谷歌更新安卓机器人 LOGO，形象更立体  AI教父Bengio：我感到迷失，对AI担忧已成「精神内耗」！  世界人工智能大会高合发表演讲，HiPhi Y即将全球上市  科技数码圈的新物种 乐天派桌面机器人 AI +安卓+机器人 首发价1799元  成都大运会闭幕式引入人形机器人展示表演  中科院自研新一代 AI 大模型“紫东太初 2.0”问世  腾讯汤道生：大模型只是起点，产业落地是AI更大的应用场景  《自然》杂志拒绝刊登人工智能生成的图片和视频  研究发现AI聊天机器人ChatGPT不会讲笑话，只会重复25个老梗  GPT-4使用混合大模型？研究证明MoE+指令调优确实让大模型性能超群  清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳  谷歌将使用公开信息训练 AI 模型，构建更强大的自家产品  OPPO三方联合发布AI可持续发展白皮书，坚持发展健康AI生态  严打“黑飞”，无人机检测反制设备护航大运会净空安全  小艺将具备大模型能力，鸿蒙4加速AI普及之路  CharacterAI - 也许会成为会话人工智能的未来  中国移动副总经理高同庆：打造人工智能时代的智能服务运营新范式  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  特斯拉人形机器人将于 7 月亮相上海 2025 世界人工智能大会  扎克伯格吐槽苹果Vision Pro：社交落后Meta太多，无法建设元宇宙  【搞事】时隔4年 谷歌更新安卓logo 机器人头更饱满了  读创正式上线“读创AI聊”功能  技术如何使人变得懒惰？  第 66 届格莱美奖规定，AI 作品将无法获得评奖资格  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  最大助力35公斤 外骨骼机器人或在养老、医疗领域“大展身手”  Win11 的画图应用将包含 Windows Copilot 的 AI 工具整合  高质量数据推动AI场景化应用快速发展及落地  挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判  OpenAI更新GPT-4等模型，新增API函数调用，价格最高降75%  谷歌推出 SAIF 框架，倡导安全环境下探索和发展人工智能  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  江永：精准施训提升通信无人机应急救援能力  谷歌内部正在测试代号为Genesis的AI新闻写作产品  V社谈AI制作游戏被ban：为确保开发者有素材所有权  焊接协作机器人或将成为26届埃森展最大看点  RoboNeo什么时候上线  微软最新推出的NaturalSpeech2语音合成模型：提供更准确的语音重构，避免棒读效果  人工智能领域，突破难题：国产大模型“无源之水”问题得到解决。  大型无人机FH-98国内首次夜航转场成功 

 2024-05-06