Эта модель была опубликована в HF papers 13.06.2024 и добавлена в Hugging Face Transformers 05.07.2024.

Depth Anything V2

Обзор

Depth Anything V2 был представлен в одноимённой статье Ли Хэ Янга и соавторов. Он использует ту же архитектуру, что и исходная модель Depth Anything, но применяет синтетические данные и teacher-модель большей ёмкости, что позволяет получать значительно более точные и устойчивые предсказания глубины.

Аннотация из статьи следующая:

В данной работе представлена модель Depth Anything V2. Не прибегая к сложным приёмам, мы стремимся выявить ключевые закономерности, которые помогут создать мощную модель однокамерной оценки глубины. В частности, по сравнению с версией V1, эта версия обеспечивает значительно более точные и устойчивые предсказания глубины благодаря трём основным подходам: 1) замене всех размеченных реальных изображений на синтетические, 2) увеличению ёмкости нашей teacher-модели и 3) обучению student-моделей с использованием моста из реальных изображений с псевдо-разметкой в большом масштабе. По сравнению с новейшими моделями, построенными на базе Stable Diffusion, наши модели значительно эффективнее (более чем в 10 раз быстрее) и точнее. Мы предоставляем модели разного масштаба (от 25M до 1.3B параметров) для поддержки широкого спектра сценариев. Благодаря их высокой способности к обобщению, мы дообучаем их с метрическими метками глубины, чтобы получить наши метрические модели глубины. Помимо наших моделей, учитывая ограниченное разнообразие и частые шумы в текущих тестовых наборах, мы создали универсальный оценочный бенчмарк с точными аннотациями и разнообразными сценами, чтобы содействовать будущим исследованиям.

Модели Depth Anything были предоставлены nielsr. Исходный код можно найти здесь.

Пример использования

Существует два основных способа использования Depth Anything V2: либо через API pipeline, который скрывает от вас всю сложность, либо самостоятельно, используя класс DepthAnythingForDepthEstimation.

API Pipeline

Пайплайн позволяет использовать модель всего в нескольких строках кода:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

Использование модели самостоятельно

Если вы хотите выполнять предобработку и постобработку самостоятельно, вот как это сделать:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

Ресурсы

Список официальных ресурсов Hugging Face и сообщества (отмечены значком 🌎), которые помогут вам начать работу с Depth Anything.

• Руководство по задаче оценки монокулярной глубины
• Демо Depth Anything V2.
• Ноутбук с демонстрацией инференса с помощью DepthAnythingForDepthEstimation доступен здесь. 🌎
• Конвертация в Core ML варианта small для использования на Apple Silicon.

Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))