2023年，IDEA研究院CVR团队在GitHub上推出了广受关注的开集检测模型Grounding DINO和能检测、分割一切的Grounded SAM。这些开源模型被国内外很多团队用于各类视觉及多模态应用中。
近日，该团队推出全新升级版Grounding DINO 1.5。模型分为Pro和Edge两个版本，尤其Edge版实现了端侧可部署的革命性突破，强力赋能具身智能、自动驾驶等新型应用场景。
文本输入，即时识别。Pro版更强，Edge版更快。
IDEA研究院创院理事长、美国工程院外籍院士、微软原全球执行副总裁沈向洋在社交媒体上推荐 Grounding DINO 1.5。
Grounding DINO 1.5 在其前身 Grounding DINO 的基础上，通过结合更大的视觉 backbone 扩大模型尺寸，并使用超过2000万的 Grounding 数据获得了丰富的语料，大幅提升了检测精度和速度，且通过Pro和Edge版本分别针对不同应用场景进行了优化。
Pro版本在大规模数据集构建和高精度需求场景中表现卓越，而Edge版本则在端侧部署中展示了其独特的优势。
PRO版
最强的开源检测模型，
刷新多个Benchmark
Grounding DINO 1.5 Pro版本实现了当前开集目标检测的最先进水平（SOTA），在图像和文本的语义理解上表现出色，能够快速、准确地根据语言提示检测和识别图像中的目标对象。
Grounding DINO 1.5 Pro在COCO、LVIS、ODinW35和ODinW13基准测试中的零样本迁移性能对比。
物体级别理解是机器和物理世界交互的感知基础，也是解决多模态大模型（VLM）幻觉问题绕不过去的基础问题。 作为当前性能最好的开集检测模型，Grounding DINO 1.5 Pro 可以帮助构建海量的具有物体级别语义信息的多模态数据，从而有效地助力多模态大模型的训练。
Grounding DINO 1.5 将长文本描述中的短语与图像中的具体对象或场景精确匹配，以增强AI对视觉内容和文本之间关系的理解。
另外，在其他需要处理大量复杂数据的领域，如电商、社交媒体和自动驾驶等，Grounding DINO 1.5 Pro 也具有强大应用价值。
例如，在电商领域，该模型可以帮助快速标注商品图像，优化搜索和推荐系统。在社交媒体中，该模型能自动标注用户上传的图片，提升内容审核和分类的效率。
利用行业数据进行微调，
打造行业视觉大模型
Grounding DINO 1.5 Pro不仅在基础性能上表现卓越，还支持通过行业数据进行微调（fine tuning），以满足各行业的特定需求，从而达到更加精准的识别效果。
为了验证微调带来的提升，CVR团队在视觉领域通用的LVIS等公开数据集上进行了对比实验。
从最后两行可看出，Grounding DINO 1.5 Pro经过微调，在多个数据集上都展现出大幅的性能提升。
模型轻松适应多个实际场景的识别任务。
例如，在医疗领域，通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶，辅助医生进行诊断，提高诊疗效率。在零售行业，微调后的模型能更精准地识别和分类商品，有助于库存管理和销售分析。
这样的定制化能力，使得Grounding DINO 1.5 Pro能为各行业赋能，推动行业智能化转型，提升整体竞争力。
Edge版
最快的开集检测模型，
突破性实现端侧部署
在端侧部署方面，Grounding DINO 1.5 Edge版本展现了其独特的优势。通过模型结构优化，成功部署在NVIDIA Orin NX卡上，并实现了10FPS的推理速度。相比业界现有的其它模型，Grounding DINO 1.5 Edge的这一能力尚属首创，为大模型的端侧部署开辟了新的领域。
NVIDIA Orin NX卡部署Grounding DINO 1.5 Edge 实拍。
例如，在目前最火爆的具身智能领域，在端侧部署的开集检测模型可以使机器人真正和开放环境进行交互。在自动驾驶领域，Grounding DINO 1.5 Edge未来可以在车辆上实时运行，实现高效的目标检测和环境感知，提高驾驶安全性。在智能安防中，该模型能快速处理视频监控数据，实时检测异常行为，提升安全监控的响应速度。
Grounding DINO 1.5 Edge部署在端侧后执行目标检测任务实拍。区分真假植物轻松无压力。
IDEA 研究院CVR团队还在不断进行端侧工程优化，致力于进一步提升Grounding DINO 1.5 Edge的实时性能和检测精度。未来，Grounding DINO 1.5 Edge的运行速度有望提升至20到30FPS，进一步扩大其在边缘计算领域的应用范围。
欢迎点击链接阅读官方technical blog
想试玩吗？点击playground链接！
现在，我们向公众开放了 Grounding DINO 1.5 API，欢迎您用Grounding DINO 1.5构建出创新的应用。
► Grounding DINO 1.5 API：申请 API 试用
有关Grounding DINO 1.5的技术细节，请参考同期发布的论文。
► 论文链接
关于 IDEA研究院CVR
本项工作来自IDEA研究院计算机视觉与机器人研究中心（CVR，Computer Vision and Robotics）。该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型；在Github上大火的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM，同样为该团队作品。
计算机视觉与机器人研究中心（CVR，Computer Vision and Robotics）立足于计算机视觉和机器人方向的基础研究，专注于大规模视觉表示学习、物体检测与识别、智能控制等问题，通过核心技术的研究和突破，打造世界领先的机器视觉和智能机器人技术。同时，CVR力图通过对技术和平台的开源来造福产业和基础科研。目前，CVR的开源方向主要包括detrex物体检测框架和Deep Data Space数据平台。
2023年，IDEA研究院CVR团队在GitHub上推出了广受关注的开集检测模型Grounding DINO和能检测、分割一切的Grounded SAM。这些开源模型被国内外很多团队用于各类视觉及多模态应用中。
近日，该团队推出全新升级版Grounding DINO 1.5。模型分为Pro和Edge两个版本，尤其Edge版实现了端侧可部署的革命性突破，强力赋能具身智能、自动驾驶等新型应用场景。
文本输入，即时识别。Pro版更强，Edge版更快。
IDEA研究院创院理事长、美国工程院外籍院士、微软原全球执行副总裁沈向洋在社交媒体上推荐 Grounding DINO 1.5。
Grounding DINO 1.5 在其前身 Grounding DINO 的基础上，通过结合更大的视觉 backbone 扩大模型尺寸，并使用超过2000万的 Grounding 数据获得了丰富的语料，大幅提升了检测精度和速度，且通过Pro和Edge版本分别针对不同应用场景进行了优化。
Pro版本在大规模数据集构建和高精度需求场景中表现卓越，而Edge版本则在端侧部署中展示了其独特的优势。
PRO版
最强的开源检测模型，
刷新多个Benchmark
Grounding DINO 1.5 Pro版本实现了当前开集目标检测的最先进水平（SOTA），在图像和文本的语义理解上表现出色，能够快速、准确地根据语言提示检测和识别图像中的目标对象。
Grounding DINO 1.5 Pro在COCO、LVIS、ODinW35和ODinW13基准测试中的零样本迁移性能对比。
物体级别理解是机器和物理世界交互的感知基础，也是解决多模态大模型（VLM）幻觉问题绕不过去的基础问题。 作为当前性能最好的开集检测模型，Grounding DINO 1.5 Pro 可以帮助构建海量的具有物体级别语义信息的多模态数据，从而有效地助力多模态大模型的训练。
Grounding DINO 1.5 将长文本描述中的短语与图像中的具体对象或场景精确匹配，以增强AI对视觉内容和文本之间关系的理解。
另外，在其他需要处理大量复杂数据的领域，如电商、社交媒体和自动驾驶等，Grounding DINO 1.5 Pro 也具有强大应用价值。
例如，在电商领域，该模型可以帮助快速标注商品图像，优化搜索和推荐系统。在社交媒体中，该模型能自动标注用户上传的图片，提升内容审核和分类的效率。
利用行业数据进行微调，
打造行业视觉大模型
Grounding DINO 1.5 Pro不仅在基础性能上表现卓越，还支持通过行业数据进行微调（fine tuning），以满足各行业的特定需求，从而达到更加精准的识别效果。
为了验证微调带来的提升，CVR团队在视觉领域通用的LVIS等公开数据集上进行了对比实验。
从最后两行可看出，Grounding DINO 1.5 Pro经过微调，在多个数据集上都展现出大幅的性能提升。
模型轻松适应多个实际场景的识别任务。
例如，在医疗领域，通过微调后的Grounding DINO 1.5 Pro可以更准确地识别医疗影像中的病灶，辅助医生进行诊断，提高诊疗效率。在零售行业，微调后的模型能更精准地识别和分类商品，有助于库存管理和销售分析。
这样的定制化能力，使得Grounding DINO 1.5 Pro能为各行业赋能，推动行业智能化转型，提升整体竞争力。
Edge版
最快的开集检测模型，
突破性实现端侧部署
在端侧部署方面，Grounding DINO 1.5 Edge版本展现了其独特的优势。通过模型结构优化，成功部署在NVIDIA Orin NX卡上，并实现了10FPS的推理速度。相比业界现有的其它模型，Grounding DINO 1.5 Edge的这一能力尚属首创，为大模型的端侧部署开辟了新的领域。
NVIDIA Orin NX卡部署Grounding DINO 1.5 Edge 实拍。
例如，在目前最火爆的具身智能领域，在端侧部署的开集检测模型可以使机器人真正和开放环境进行交互。在自动驾驶领域，Grounding DINO 1.5 Edge未来可以在车辆上实时运行，实现高效的目标检测和环境感知，提高驾驶安全性。在智能安防中，该模型能快速处理视频监控数据，实时检测异常行为，提升安全监控的响应速度。
Grounding DINO 1.5 Edge部署在端侧后执行目标检测任务实拍。区分真假植物轻松无压力。
IDEA 研究院CVR团队还在不断进行端侧工程优化，致力于进一步提升Grounding DINO 1.5 Edge的实时性能和检测精度。未来，Grounding DINO 1.5 Edge的运行速度有望提升至20到30FPS，进一步扩大其在边缘计算领域的应用范围。
欢迎点击链接阅读官方technical blog
想试玩吗？点击playground链接！
现在，我们向公众开放了 Grounding DINO 1.5 API，欢迎您用Grounding DINO 1.5构建出创新的应用。
► Grounding DINO 1.5 API：申请 API 试用
有关Grounding DINO 1.5的技术细节，请参考同期发布的论文。
► 论文链接
关于 IDEA研究院CVR
本项工作来自IDEA研究院计算机视觉与机器人研究中心（CVR，Computer Vision and Robotics）。该团队此前开源的目标检测模型DINO是首个在COCO目标检测上取得榜单第一的DETR类模型；在Github上大火的零样本检测器Grounding DINO与能够检测、分割一切的Grounded SAM，同样为该团队作品。
计算机视觉与机器人研究中心（CVR，Computer Vision and Robotics）立足于计算机视觉和机器人方向的基础研究，专注于大规模视觉表示学习、物体检测与识别、智能控制等问题，通过核心技术的研究和突破，打造世界领先的机器视觉和智能机器人技术。同时，CVR力图通过对技术和平台的开源来造福产业和基础科研。目前，CVR的开源方向主要包括detrex物体检测框架和Deep Data Space数据平台。
粤ICP备2020119212号 © 2023年 粤港澳大湾区数字经济研究院（福田）版权所有 
粤公网安备 44030402006206号
