一个研究团队开发了一种计算机视觉技术，可以在同一框架中执行二分图像分割、高分辨率显着物体检测和隐藏物体检测。他们新颖的双边参考框架（BiRefNet）能够捕获微小像素特征，并具有广泛的实际计算机视觉应用的潜力。

作品发表在期刊上中国人工智能研究院人工智能研究室。

在计算机视觉研究中，图像分割技术涉及分离数字图像转化为有意义的部分。通过这个过程，图像更容易分析。随着高分辨率图像采集的进步，科学家现在能够实现高精度的对象分割。

这项新技术被称为高分辨率二分图像分割（DIS），三星、Adobe、迪士尼等公司现在都在使用它。然而，DIS 中当前使用的策略不足以捕获最精细的特征。为了应对高分辨率 DIS 中现有的这些挑战，研究团队开发了双边参考模块。

该团队通过 BiRefNet 实现了高精度的高分辨率 DIS。“利用所提出的双边参考模块，BiRefNet 在高分辨率图像上显示出更高的精度，尤其是那些具有精细细节的图像。我们的 BiRefNet 是迄今为止用于前景对象提取的最佳开源和商用模型，”Deng 说道。范平，南开大学教授。

该团队的新型渐进式双边参考网络 BiRefNet 通过单独的定位和重建模块来处理高分辨率 DIS 任务。对于定位模块，他们从视觉变压器主干中提取分层特征，然后将其组合和压缩。对于重建模块，他们进一步将向内和向外参考设计为双边参考，其中源图像和梯度图在不同阶段被输入到解码器中。

他们没有将原始图像大小调整为较低分辨率版本以确保与每个阶段的解码特征的一致性，而是在内部参考中保留完整细节特征的原始分辨率，并自适应地将它们裁剪成补丁以与解码特征兼容。

他们的 BiRefNet 提供了一个简单而强大的基线，可以执行高质量的 DIS。其内部参考源图像引导填充了精细部分的任务信息，其外部参考梯度监督使其能够更多地关注细节更丰富的区域。

由于其极其准确的分割结果，BiRefNet 具有许多有用的应用。它可以应用于普通分割模型无法处理的场景。例如，它可以准确地找到墙壁上的裂缝，帮助维护它们，并确定何时修复它们。还可以实现对细网格、密孔物体的高精度提取。

BiRefNet 已经在计算机视觉领域得到了广泛的应用。它已集成到 Web 应用程序 ComfyUI 系统中，作为迄今为止最好的图像抠图节点，以实现更好的基于稳定扩散的图像合成。BiRefNet 还广泛用于图像和视频中的人体或肖像分割。

展望未来，该团队计划将 BiRefNet 扩展到更多相关任务，包括 DIS、高分辨率显着目标检测、伪装目标检测、肖像分割和提示引导目标提取。该团队已经为上述大多数任务提供了训练有素的模型。

他们还致力于使 BiRefNet 适应更轻量级的架构，以便更快地推理高分辨率图像并更轻松地在边缘设备上部署。Fan 表示：“我们已经提供了不同参数量级的 BiRefNet，其中一些在 1024 x 1024 分辨率的图像上达到了每秒 30 帧的速度。”

“最终目标是让我们的 BiRefNet 成为一系列相关任务的最佳开源模型，例如前景对象提取、图像抠图和肖像分割，使其对每个人来说永远强大、免费和开源，”范说。

更多信息：Peng Cheng 等人，高分辨率二分图像分割的双边参考，中国人工智能研究院人工智能研究室（2024）。DOI：10.26599/AIR.2024.9150038

提供者：清华大学出版社