Este modelo se publicó en HF papers el 2024-06-13 y se contribuyó a Hugging Face Transformers el 2024-07-05.

Depth Anything V2

Resumen

Depth Anything V2 se presentó en el artículo homónimo de Lihe Yang et al. Utiliza la misma arquitectura que el modelo original Depth Anything, pero emplea datos sintéticos y un modelo teacher de mayor capacidad para lograr predicciones de profundidad mucho más finas y robustas.

El resumen del artículo es el siguiente:

Este trabajo presenta Depth Anything V2. Sin recurrir a técnicas elaboradas, nuestro objetivo es revelar hallazgos cruciales para allanar el camino hacia la construcción de un modelo potente de estimación de profundidad monocular. Cabe destacar que, en comparación con la V1, esta versión produce predicciones de profundidad mucho más finas y robustas mediante tres prácticas clave: 1) reemplazar todas las imágenes reales etiquetadas con imágenes sintéticas, 2) aumentar la capacidad de nuestro modelo maestro y 3) enseñar a los modelos estudiante a través del puente de imágenes reales pseudoetiquetadas a gran escala. En comparación con los modelos más recientes basados en Stable Diffusion, nuestros modelos son significativamente más eficientes (más de 10 veces más rápidos) y más precisos. Ofrecemos modelos de diferentes escalas (que van desde 25M hasta 1.3B de parámetros) para soportar escenarios extensos. Gracias a su fuerte capacidad de generalización, los ajustamos finamente con etiquetas de profundidad métrica para obtener nuestros modelos de profundidad métrica. Además de nuestros modelos, considerando la diversidad limitada y el ruido frecuente en los conjuntos de prueba actuales, construimos un benchmark de evaluación versátil con anotaciones precisas y escenas diversas para facilitar la investigación futura.

Los modelos Depth Anything fueron contribuidos por nielsr. El código original se puede encontrar aquí.

Ejemplo de uso

Hay 2 formas principales de usar Depth Anything V2: ya sea mediante la API de pipeline, que abstrae toda la complejidad por ti, o usando la clase DepthAnythingForDepthEstimation directamente.

API de Pipeline

El pipeline permite utilizar el modelo en unas pocas líneas de código:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

Usando el modelo por su cuenta

Si quieres realizar el preprocesamiento y el posprocesamiento por tu cuenta, así es como puedes hacerlo:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

Recursos

Una lista de recursos oficiales de Hugging Face y de la comunidad (indicados por 🌎) para ayudarte a empezar con Depth Anything.

• Guía de la tarea de estimación de profundidad monocular
• Demo de Depth Anything V2.
• Puede encontrar un cuaderno que muestra la inferencia con DepthAnythingForDepthEstimation aquí. 🌎
• Conversión a Core ML de la variante small para su uso en Apple Silicon.

Si te interesa enviar un recurso para que se incluya aquí, no dudes en abrir una Pull Request y lo revisaremos. Lo ideal es que el recurso demuestre algo nuevo en lugar de duplicar un recurso existente.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))