Apple выпускает Depth Pro - модель искусственного интеллекта, которая переписывает правила 3D-видения

Система, получившая название Depth Pro, способна генерировать подробные 3D-карты глубины на основе отдельных 2D-изображений за доли секунды, не опираясь на данные с камеры, традиционно необходимые для таких прогнозов.Технология, подробно описанная в исследовательской работе под названием «Depth Pro: Sharp Monocular Metric Depth in Less Than's Second», является большим скачком вперед в области монокулярной оценки глубины - процесса, который использует только одно изображение для определения глубины.

Это может иметь далеко идущее применение в тех отраслях, где пространственная осведомленность в реальном времени имеет ключевое значение. Создатели модели под руководством Алексея Бочковского и Владлена Колтуна называют Depth Pro одной из самых быстрых и точных систем такого рода.Монокулярная оценка глубины долгое время была сложной задачей, требующей либо нескольких изображений, либо метаданных вроде фокусного расстояния для точного определения глубины.

Но Depth Pro обходит эти требования, создавая карты глубины высокого разрешения всего за 0,3 секунды на стандартном GPU. Модель может создавать 2,25-мегапиксельные карты с исключительной четкостью, улавливая даже такие мельчайшие детали, как волосы и растительность, которые часто упускаются из виду при использовании других методов.

«Эти характеристики обеспечиваются рядом технических решений, в том числе эффективным многомасштабным трансформатором зрения для плотного прогнозирования, - объясняют исследователи в своей статье. Такая архитектура позволяет модели одновременно обрабатывать как общий контекст изображения, так и его мелкие детали, что является огромным скачком по сравнению с более медленными и менее точными моделями, которые были созданы до нее».Что действительно отличает Depth Pro, так это способность оценивать как относительную, так и абсолютную глубину, что называется «метрической глубиной».

Это означает, что модель может обеспечить реальные измерения, что очень важно для таких приложений, как дополненная реальность (AR), где виртуальные объекты должны быть размещены в точных местах в физическом пространстве.

Кроме того, Depth Pro не требует длительного обучения на наборах данных, специфичных для конкретной области, чтобы делать точные прогнозы - это свойство известно как «обучение с нулевым результатом». Это делает модель очень универсальной. Она может применяться к широкому спектру изображений, не требуя данных о конкретной камере, которые обычно требуются для моделей оценки глубины.

Depth Pro создает метрические карты глубины с абсолютным масштабом на произвольных изображениях «в естественных условиях», не требуя метаданных, таких как данные о камере, - объясняют авторы. Такая гибкость открывает целый мир возможностей - от расширения возможностей AR до улучшения способности автономных транспортных средств обнаруживать препятствия и ориентироваться на них».

Для тех, кому интересно испытать Depth Pro воочию, на платформе Hugging Face доступна живая демонстрация.