量产杀器！P-Mapnet：利用低精地图SDMap先验，建图性能暴力提升近20个点！

---

写在前面

当前自动驾驶系统摆脱对高精度地图依赖的算法之一，是利用远距离范围下的感知表现依然较差的现实依然较差。为此，我们提出了p-mapnet，其中的“p”专注于融合地图先验来提高模型性能。具体来说，我们利用了sdmap和hdmap中的先验信息：一方面，我们从openstreetmap中提取了弱对准的sdmap数据，并将其编码为独立的条款来支持输入。严格修改输入与实际hd+map存在弱对齐的问题，我们基于cross-attention机制的结构能够自适应地关注sdmap骨架，并带来显著的性能提升；另一方面，我们提出了一种使用mae来捕捉hdmap的先验分布的refine模块，该模块有助于生成更符合实际地图的分布，有助于减小遮挡、伪影等影响。我们在nuscenes和argoverse2数据集上进行了广泛的实验验证。

图 1

总结来说我们的贡献如下：

我们的SDMap先进能够提升在线地图生成性能，包含了栅格化（最多可提高18.73 mIoU）和量化化（最多可提高8.50 mAP）两种地图表现。

（2）我们的HDMap先验能够将地图感知指标提升最多6.34%。

（3）P-MapNet可以切换到不同的推理模式，以在精度和效率之间进行权衡。

P-MapNet是一种远距离HD+Map生成的解决方案，对于较远的感知范围能够带来更大的改进。我们的代码和模型已经公开发布在https://jike5.github.io/P-MapNet/。

相关工作回顾

（1）在线地图生成

HD+Map的制作主要包含SLAM建图、自动标注、人工标注等步骤。这导致了HD+Map的成本高、鲜度有限。因此，在线地图生成对于自动驾驶系统是至关重要的。HDMapNet将地图元素通 过格化化进行表达，使用pixel-wise的预测和后处理方法获得矢量化的预测结果。最近的一些方法，如MapTR、PivotNet、Streammapnet等基于Transformer架构实现了端到端的矢量化预测，但这些方法仅使用传感器输入，在遮挡、极端天气等复杂环境下性能仍有限。

（2）远距离地图感知

为了让在线地图生成的结果能够更好的被下游模块使用，一些研究尝试将地图感知范围进一步拓展。SuperFusion[7]通过融合激光雷达和相机，通过depth-aware BEV变换，实现了前向90m的远距离预测。NeuralMapPrior[8]通过维护和更新全局神经地图先验来增强当前在线观测的质量、拓展感知的范围。[6]通过将卫星图像与车载传感器数据进行特征聚合来获得BEV特征，进一步再进行预测。MV-Map则专注于离线、长距离的地图生成，该方法通过聚合所有关联帧特征，并使用神经辐射场来对BEV特征进行优化。

概述P-MapNet

整体框架如图 2所示。

图 2

输入： 系统输入为点云： 、环视相机：，其中  为环视相机数量。通常的HDMap生成任务(例如HDMapNet)可以定义为：

其中 表示特征提取，  表示segmentation head， 则是HDMap的预测结果。

我们所提出的P-MapNet融合了SD Map和HD Map先验，这种新任务( setting)可以表示为：

其中， 表示SDMap先验， 表示本文所提的refinement模块。 模块通过预训练的方式学习HD Map分布先验。类似的，当只使用SDMap先验时，则得到 -only setting：

输出：对于地图生成任务，通常有两种地图表示形式：栅格化和矢量化。在本文的研究中，由于本文所设计的两个先验模块更适合栅格化输出，因此我们主要集中在栅格化的表示上。

3.1 SDMap Prior 模块

SDMap数据生成

Machine Translation

聚合多个来源的AI翻译

49 查看详情

本文基于nuScenes和Argoverse2数据集进行研究，使用OpenStreetMap数据生成以上数据集对应区域的SD Map数据，并通过车辆GPS进行坐标系变换，以获取对应区域的SD Map。

BEV Query

如图2中所示，我们首先分别对图像数据进行特征提取和视角转换、对点云进行特征提取，得到BEV特征。然后将BEV特征通过卷积网络进行下采样后得到新的BEV特征：，将该特征图展平得到BEV Query。

SD Map先验融合

对于SD Map数据，通过卷积网络进行特征提取后，得到的特征  与BEV Query进行Cross-attention机制：

经过交叉注意力机制后得到的BEV特征通过segmentation head可以获得地图元素的初始预测。

3.2、HDMap Prior 模块

直接将栅格化的HD Map作为原始MAE的输入，MAE则会通过MSE Loss进行训练，从而导致无法作为refinement模块。因此在本文中，我们通过将MAE的输出替换为我们的segmentation head。为了让预测的地图元素具有连续性和真实性(与实际HD Map的分布更贴近)，我们使用了一个预训练的MAE模块来进行refine。训练该模块包含两步：第一步上使用自监督学习训练MAE模块来学习HD Map的分布，第二步是通过使用第一步得到的权重作为初始权重，对网络的所有模块进行微调。

第一步预训练时，从数据集中获取的真实HD Map经过随机mask后作为网络输入 ，训练目标则为补全HD Map：

第二步fine-tune时， 则使用第一步预训练的权重作为初始权重，完整的网络为：

4、实验

4.1 数据集和指标

我们在两个主流的数据集上进行了评测：nuScenes和Argoverse2。为了证明我们所提方法在远距离上的有效性，我们设置了在三种不同的探测距离：, , 。其中， 范围中BEV Grid的分辨率为0.15m，另外两种范围下分辨率为0.3m。我们使用mIOU指标来评估栅格化预测结果，使用mAP来评估矢量化预测结果。为了评估地图的真实性，我们还使用了LPIPS指标作为地图感知指标。

4.2 结果

与SOTA结果对比：我们对所提的方法与当前SOTA方法在短距离（60m × 30m）和长距离（90m × 30m）下的地图生成结果进行比较。如表II所示，我们的方法在与现有的仅视觉和多模态（RGB+LiDAR）方法相比表现出更优越的性能。

我们在不同距离和使用不同传感器模式下，与HDMapNet [14] 进行了性能比较，结果总结在表I和表III中。我们的方法在240m×60m范围的mIOU上取得了13.4%改进。随着感知距离超出或甚至超过传感器检测范围，SDMap先验的有效性变得更加显著，从而验证了SDMap先验的功效。最后，我们利用HD地图先验通过将初始预测结果精细化以使其更加真实，并消除了错误结果，进一步带来了性能提升。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

HDMap先验的感知度量指标。HDMap先验模块将网络的初始预测映射到HD地图的分布上，使其更加真实。为了评估HDMap先验模块输出的真实性，我们利用了感知度量LPIPS 数值越低表示性能越好）进行评测。如表IV所示，在  setting 中LPIPS指标要比 -only setting 中的提升更大。

可视化：

以上就是量产杀器！P-Mapnet：利用低精地图SDMap先验，建图性能暴力提升近20个点！的详细内容，更多请关注其它相关文章！

# 提出了  # 高淳美食推广招聘网站  # 京东seo技巧  # 白城企业seo加盟电话  # 关键词seo优化团队  # 上海移动端的seo  # 山西同城网站推广电话查询  # 南宁网站推广工作室  # 徐州整站seo策略  # seo外包推广方式  # 个人站seo优化  # 自动驾驶  # 更大  # 矢量化  # 进行了  # 万元  # 华为  # 两种  # 最多  # 所示  # 量产  # 高精地图 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 借助ChatGPT快速上手ElasticSearch dsl  人工智能时代 数字文明对话向“尼”走来  世界周刊丨AI“棱镜”？  NVIDIA垄断AI市场90%份额：AMD性能追上80% 软件太不能打  旷视入选北京市通用人工智能产业创新伙伴计划  谷歌推出新 AI 工具 Imagen Editor，一句话对图片二次创作  【首发】首款“消化内镜手术机器人”进入临床尾声，ROBO医疗获数千万元A轮融资  参考封面|人工智能“淘金热”  视觉中国推出AI灵感绘图功能，付费后可在“合法合规前提下使用”  七大主流AI企业包括OpenAI、谷歌等联合承诺：引入水印技术，并允许第三方审核AI内容  CharacterAI - 也许会成为会话人工智能的未来  前特斯拉总监、OpenAI大牛Karpathy：我被自动驾驶分了心，AI智能体才是未来！  行业首发「超级智绘」AI故事集，TCL实业推进AI技术应用  大疆 Air 3 无人机售价和实物照片曝光  学而思推出AI第一课：基于自研大模型的AIGC课程  当孔子遇见AI｜尼山的“数字”  特斯拉首发人形机器人“擎天柱”亮相世界人工智能大会  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  GPT-4 模型架构泄露：包含 1.8 万亿参数、采用混合专家模型  Moka发布AI原生HR SaaS产品“Moka Eva”，布局AGI时代  Meta 发布 Voicebox AI 模型：可生成音频信息，用于 NPC 对话等  云南首例达芬奇机器人微创心脏手术成功开展  大型无人机FH-98国内首次夜航转场成功  微软宣布为 Azure AI 添加男性声线，增强文本转语音功能  人工智能赋能广西自然资源领域监测监管  十个AI算法常用库J*a版  好莱坞面临全面停摆 好莱坞大罢工抵制“AI入侵”  “图壤·阅读元宇宙”亮相北京国际图书博览会  OpenAI 引入个性化指令功能，消除对话中的重复偏好与信息  类GPT模型训练提速26.5%，清华朱军等人用INT4算法加速神经网络训练  日本演员工会提出AI立法建议 要求建立“声音肖像权”  Yann LeCun团队新研究成果：对自监督学习逆向工程，原来聚类是这样实现的  笔神作文声讨学而思AI大模型 称用“爬虫”技术盗取数据  AI连线 | 专访风平智能CEO林洪祥：让AI数字人拥有漂亮的外表和有趣的灵魂，安全问题是重要考量  ChatGPT设计出的第一个机器人来了！【附人工智能行业预测】  月薪6万，哪些AI岗位在抢人？  五款 AI 网站构建器，任何人都能快速构建网站  探索人工智能和物联网的动态融合  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  赋能金融新生态，多家银行创新应用成果亮相世界人工智能大会  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  OpenAI已向中国申请注册“GPT-5”商标，此前已在美国提交申请  QQ音乐业内率先推出「AI一起听」功能，领取你的AI听歌助手  猿辅导推出Motiff，整合三大AI功能，助力UI设计生产力革新  改变城市交通：智慧城市中的智能交通  微软为 AI 初学者推出免费网课：为期 12 周，共 24 节课  编程版GPT狂飙30星，AutoGPT危险了！  GPT-4成功战胜AI-Guardian审核系统：谷歌研究团队的人工智能抵抗人工智能  《共同的演化》展览启幕，重新思考人类与人工智能关系  两架海燕号无人机交付中国气象局 助力建设国家级机动气象观测业务 

 2024-03-28