Transformers documentation
DepthPro
Эта модель была опубликована в HF papers 02.10.2024 и добавлена в Hugging Face Transformers 10.02.2025.
DepthPro
Обзор
Модель DepthPro была предложена в статье Depth Pro: Sharp Monocular Metric Depth in Less Than a Second авторами Aleksei Bochkovskii, Amaël Delaunoy, Hugo Germain, Marcel Santos, Yichao Zhou, Stephan R. Richter, Vladlen Koltun.
DepthPro — это базовая модель для оценки метрической монокулярной глубины в режиме zero-shot, предназначенная для генерации карт глубины высокого разрешения с высокой чёткостью и детализацией. В ней используется архитектура на основе мультимасштабного Vision Transformer (ViT), в которой изображения уменьшаются, разбиваются на патчи и обрабатываются с помощью общего энкодера Dinov2. Извлечённые патч-уровневые признаки объединяются, увеличиваются и уточняются на этапе слияния, аналогичном DPT, что обеспечивает точную оценку глубины.
Аннотация из статьи следующая:
Мы представляем базовую модель для оценки метрической монокулярной глубины в режиме zero-shot. Наша модель, Depth Pro, синтезирует карты глубины высокого разрешения с непревзойдённой чёткостью и высокочастотными деталями. Прогнозы являются метрическими, с абсолютным масштабом, и не зависят от наличия метаданных, таких как внутренние параметры камеры. При этом модель работает быстро: на стандартном GPU она генерирует карту глубины разрешением 2,25 мегапикселя за 0,3 секунды. Эти характеристики обеспечиваются рядом технических решений, включая эффективный мультимасштабный vision transformer для плотного прогнозирования, протокол обучения, сочетающий реальные и синтетические наборы данных для достижения высокой метрической точности и точного отслеживания границ, специализированные метрики оценки для точности границ в оценённых картах глубины, а также оценку фокусного расстояния по одному изображению, соответствующую современному уровню. Обширные эксперименты анализируют конкретные проектные решения и демонстрируют, что Depth Pro превосходит предыдущие работы по нескольким параметрам.
DepthPro Outputs. Taken from the official code. Эта модель была предоставлена пользователем geetu040. Исходный код можно найти здесь.
Советы по использованию
Модель DepthPro обрабатывает входное изображение, сначала уменьшая его масштаб на нескольких уровнях и разбивая каждую масштабированную версию на патчи. Затем эти патчи кодируются с помощью общего патч-энкодера на основе Vision Transformer (ViT) — Dinov2, в то время как полное изображение обрабатывается отдельным энкодером изображений. Извлечённые признаки патчей объединяются в карты признаков, масштабируются вверх и сшиваются с помощью декодера, похожего на DPT, для генерации окончательной оценки глубины. Если включено, дополнительный энкодер поля зрения (FOV) обрабатывает изображение для оценки поля зрения камеры, что способствует повышению точности оценки глубины.
import requests
import torch
from PIL import Image
from transformers import DepthProForDepthEstimation, DepthProImageProcessor
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
image_processor = DepthProImageProcessor.from_pretrained("apple/DepthPro-hf")
model = DepthProForDepthEstimation.from_pretrained("apple/DepthPro-hf", device_map="auto")
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
post_processed_output = image_processor.post_process_depth_estimation(
outputs, target_sizes=[(image.height, image.width)],
)
field_of_view = post_processed_output[0]["field_of_view"]
focal_length = post_processed_output[0]["focal_length"]
depth = post_processed_output[0]["predicted_depth"]
depth = (depth - depth.min()) / depth.max()
depth = depth * 255.
depth = depth.detach().cpu().numpy()
depth = Image.fromarray(depth.astype("uint8"))Архитектура и конфигурация
DepthPro architecture. Taken from the original paper. Модель DepthProForDepthEstimation использует DepthProEncoder для кодирования входного изображения и FeatureFusionStage для слияния выходных признаков, полученных от энкодера.
Класс DepthProEncoder дополнительно использует два энкодера:
patch_encoder- Входное изображение масштабируется с несколькими коэффициентами, как указано в конфигурации
scaled_images_ratios. - Каждое масштабированное изображение разбивается на более мелкие патчи размера
patch_size, при этом области перекрытия определяются параметромscaled_images_overlap_ratios. - Эти патчи обрабатываются
patch_encoder
- Входное изображение масштабируется с несколькими коэффициентами, как указано в конфигурации
image_encoder- Входное изображение также масштабируется до
patch_sizeи обрабатывается с помощьюimage_encoder
- Входное изображение также масштабируется до
Оба этих кодировщика можно настроить с помощью patch_model_config и image_model_config соответственно; по умолчанию оба являются отдельными экземплярами Dinov2Model.
Выходы обоих энкодеров (last_hidden_state) и выбранные промежуточные состояния (hidden_states) из patch_encoder объединяются с помощью FeatureFusionStage на базе DPT для оценки глубины.
Предсказание поля зрения (FOV)
Сеть дополняется головкой для оценки фокусного расстояния. Небольшая свёрточная головка принимает замороженные признаки из сети оценки глубины и признаки, специфичные для задачи, из отдельного ViT-кодировщика изображений, чтобы предсказать горизонтальное угловое поле обзора.
Параметр use_fov_model в DepthProConfig управляет тем, включена ли прогнозирование FOV. По умолчанию он установлен в значение False для экономии памяти и вычислительных ресурсов. При включении FOV-энкодер инициализируется на основе параметра fov_model_config, значением по умолчанию для которого является Dinov2Model. Параметр use_fov_model также можно передать при инициализации модели DepthProForDepthEstimation.
Предобученная модель в контрольной точке apple/DepthPro-hf использует кодировщик FOV. Чтобы использовать предобученную модель без кодировщика FOV, установите use_fov_model=False при загрузке модели, что позволит сэкономить вычислительные ресурсы.
from transformers import DepthProForDepthEstimation
model = DepthProForDepthEstimation.from_pretrained("apple/DepthPro-hf", use_fov_model=False, device_map="auto")Чтобы создать новую модель с кодировщиком FOV, установите use_fov_model=True в конфигурации.
from transformers import DepthProConfig, DepthProForDepthEstimation
config = DepthProConfig(use_fov_model=True)
model = DepthProForDepthEstimation(config)Или установите use_fov_model=True при инициализации модели, что переопределяет значение в конфигурации.
from transformers import DepthProConfig, DepthProForDepthEstimation
config = DepthProConfig()
model = DepthProForDepthEstimation(config, use_fov_model=True)Использование масштабированного внимания на основе скалярного произведения (SDPA)
PyTorch включает в себя нативный оператор масштабированного внимания по скалярному произведению (SDPA) в составе torch.nn.functional. Эта функция объединяет несколько реализаций, выбор которых зависит от входных данных и используемого оборудования. Подробнее см. в официальной документации или на странице GPU Inference.
SDPA используется по умолчанию для torch>=2.1.1, когда доступна соответствующая реализация, но вы также можете установить attn_implementation="sdpa" в from_pretrained(), чтобы явно запросить использование SDPA.
from transformers import DepthProForDepthEstimation
model = DepthProForDepthEstimation.from_pretrained("apple/DepthPro-hf", attn_implementation="sdpa", device_map="auto")Для достижения максимального ускорения мы рекомендуем загружать модель в половинной точности (например, torch.float16 или torch.bfloat16).
На локальном бенчмарке (A100-40GB, PyTorch 2.3.0, ОС Ubuntu 22.04) с float32 и моделью google/vit-base-patch16-224 мы наблюдали следующее ускорение при инференсе.
| Размер пакета | Среднее время вывода (мс), режим eager | Среднее время инференса (мс), модель sdpa | Ускорение, Sdpa / Eager (x) |
|---|---|---|---|
| 1 | 7 | 6 | 1.17 |
| 2 | 8 | 6 | 1.33 |
| 4 | 8 | 6 | 1.33 |
| 8 | 8 | 6 | 1.33 |
Ресурсы
Список официальных ресурсов Hugging Face и сообщества (отмечены 🌎), которые помогут вам начать работу с DepthPro:
- Научная статья: Depth Pro: Sharp Monocular Metric Depth in Less Than a Second
- Официальная реализация: apple/ml-depth-pro
- Ноутбук для инференса DepthPro: DepthPro Inference
- DepthPro для суперразрешения и сегментации изображений
- Читать блог на Medium: Depth Pro: Beyond Depth
- Код на Github: geetu040/depthpro-beyond-depth
Если вы хотите предложить ресурс для включения в этот раздел, пожалуйста, создайте Pull Request, и мы его рассмотрим! В идеале ресурс должен демонстрировать что-то новое, а не дублировать уже имеющийся.
DepthProConfig
класс transformers.DepthProConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonefusion_hidden_size: int = 256patch_size: int | list[int] | tuple[int, int] = 384initializer_range: float = 0.02intermediate_hook_ids: list[int] | tuple[int, ...] = (11, 5)intermediate_feature_dims: list[int] | tuple[int, ...] = (256, 256)scaled_images_ratios: list[int | float] | tuple[int | float, ...] = (0.25, 0.5, 1)scaled_images_overlap_ratios: list[float] | tuple[float, ...] = (0.0, 0.5, 0.25)scaled_images_feature_dims: list[int] | tuple[int, ...] = (1024, 1024, 512)merge_padding_value: int = 3use_batch_norm_in_fusion_residual: bool = Falseuse_bias_in_fusion_residual: bool = Trueuse_fov_model: bool = Falsenum_fov_head_layers: int = 2image_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonepatch_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonefov_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )
Параметры
- fusion_hidden_size (
int, необязательный, по умолчанию 256) — Число каналов до слияния. - patch_size (
Union[int, list[int], tuple[int, int]], необязательный, по умолчанию384) — Размер (разрешение) каждого патча. - initializer_range (
float, необязательный, по умолчанию0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов. - intermediate_hook_ids (
list[int], необязательный, по умолчанию[11, 5]) — Индексы промежуточных скрытых состояний из патч-энкодера, используемые для слияния. - intermediate_feature_dims (
list[int], необязательный, по умолчанию[256, 256]) — Размерности скрытых состояний при апсемплинге для каждого промежуточного скрытого состояния вintermediate_hook_ids. - scaled_images_ratios (
list[float], необязательный, по умолчанию[0.25, 0.5, 1]) — Коэффициенты масштабирования изображений, используемые патч-энкодером. - scaled_images_overlap_ratios (
list[float], необязательный, по умолчанию[0.0, 0.5, 0.25]) — Коэффициенты перекрытия между патчами для каждого масштабированного изображения вscaled_images_ratios. - scaled_images_feature_dims (
list[int], необязательный, по умолчанию[1024, 1024, 512]) — Размерности скрытых состояний при апсэмплинге для каждого масштабированного изображения вscaled_images_ratios. - merge_padding_value (
int, необязательный, по умолчанию 3) — При объединении мелких патчей в изображение исходного размера удаляются перекрывающиеся участки этого размера. - use_batch_norm_in_fusion_residual (
bool, необязательный, по умолчаниюFalse) — Использовать ли нормализацию по мини-пакету (batch normalization) в пред-активационных остаточных блоках (pre-activate residual units) блоков слияния (fusion blocks). - use_bias_in_fusion_residual (
bool, необязательный, по умолчаниюTrue) — Использовать ли смещение (bias) в pre-activate residual-блоках внутри fusion-блоков. - use_fov_model (
bool, необязательный, по умолчаниюFalse) — Использовать лиDepthProFovModelдля генерации поля зрения. - num_fov_head_layers (
int, необязательный, по умолчанию 2) — Количество свёрточных слоёв в головной частиDepthProFovModel. - image_model_config (
Union[dict[str, Any], PreTrainedConfig], необязательный) — Конфигурация модели-кодировщика изображений, которая загружается с помощью API AutoModel. По умолчанию в качестве базовой модели (backbone) используется Dinov2. - patch_model_config (
Union[dict[str, Any], PreTrainedConfig], необязательный) — Конфигурация модели-энкодера патчей, загружаемой через API AutoModel. По умолчанию в качестве базовой модели используется Dinov2. - fov_model_config (
Union[dict[str, Any], PreTrainedConfig], необязательный) — Конфигурация модели-энкодера fov, которая загружается с помощью API AutoModel. По умолчанию в качестве базовой модели используется Dinov2.
Это класс конфигурации для хранения настроек модели DepthProModel. Он используется для создания модели Depth Pro в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации apple/DepthPro
Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.
Пример:
>>> from transformers import DepthProConfig, DepthProModel
>>> # Initializing a DepthPro apple/DepthPro style configuration
>>> configuration = DepthProConfig()
>>> # Initializing a model (with random weights) from the apple/DepthPro style configuration
>>> model = DepthProModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configDepthProImageProcessor
класс transformers.DepthProImageProcessor
< source >( **kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> )
Параметры
- do_convert_rgb (
bool, kwargs, optional) — Следует ли преобразовать изображение в RGB. - do_resize (
bool, kwargs, optional, по умолчаниюTrue) — Указывает, нужно ли изменять размер изображения. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, по умолчанию{'height' -- 1536, 'width': 1536}): Определяет максимальные размеры входных данных для модели. - default_to_square (
bool, kwargs, optional, по умолчаниюTrue) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size задано как int. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после примененияcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, по умолчанию2) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисленияPILImageResampling. Влияет только в том случае, еслиdo_resizeустановлено вTrue. - do_rescale (
bool, kwargs, optional, по умолчаниюTrue) — Указывает, следует ли выполнять рескейлинг изображения. - rescale_factor (
float, kwargs, optional, по умолчанию0.00392156862745098) — Коэффициент масштабирования, применяемый к изображению, еслиdo_rescaleустановлен вTrue. - do_normalize (
bool, kwargs, optional, по умолчаниюTrue) — Указывает, следует ли нормализовать изображение. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию[0.5, 0.5, 0.5]) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, еслиdo_normalizeустановлено вTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, optional, по умолчанию[0.5, 0.5, 0.5]) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, еслиdo_normalizeустановлено вTrue. - do_pad (
bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате{"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Еслиpad_sizeне указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только приdo_pad=True. - do_center_crop (
bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается толькоChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:"channels_first"илиChannelDimension.FIRST: изображение в формате (num_channels, height, width)."channels_last"илиChannelDimension.LAST: изображение в формате (высота, ширина, число каналов)."none"илиChannelDimension.NONE: изображение в формате (height, width).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение'pt', иначе возвращает список тензоров. - disable_grouping (
bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, однако в будущих моделях это значение следует задавать как атрибут процессора. Если установлено в'pt', возвращает стопку тензоров, иначе — список тензоров. - disable_grouping (
bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора. - Returns stacked tensors if set to
'pt', otherwise returns a list of tensors. —
Создаёт процессор изображений DepthPro.
disable_grouping (bool, kwargs, optional):
Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками.
Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на
эмпирических наблюдениях, подробно описанных здесь: https://github.com/huggingface/transformers/pull/38157 image_seq_length (int, kwargs, optional):
Количество токенов изображения, используемых для каждого изображения во входных данных.
Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
preprocess
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]*argsimage_like_kwargs: dict[str, typing.Any] | None = None**kwargs: *<class 'transformers.processing_utils.ImagesKwargs'> ) → ~image_processing_base.BatchFeature
Параметры
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Изображение для предобработки. Ожидается одно изображение или батч изображений со значениями пикселей в диапазоне от 0 до 255. Если передаются изображения со значениями пикселей в диапазоне от 0 до 1, установитеdo_rescale=False. - image_like_kwargs (
dict[str, Any], необязательный) — Флаг для разработчиков, позволяющий передать дополнительные входные данные, похожие на изображения, которые также будут предобработаны. Используйте этот параметр только в том случае, если передача входных данных через kwarg не работает. Например,preprocess(images, masks=masks)— предпочтительный вариант, но для некоторых моделей он приводит к проблемам с приоритетом аргументов. В таких случаях можно использоватьpreprocess(images, image_like_inputs={"masks": masks}). - do_convert_rgb (
bool, kwargs, optional) — Следует ли преобразовать изображение в RGB. - do_resize (
bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели. - default_to_square (
bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после примененияcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисленияPILImageResampling. Влияет только в том случае, еслиdo_resizeустановлено вTrue. - do_rescale (
bool, kwargs, optional) — Нужно ли перемасштабировать изображение. - rescale_factor (
float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, еслиdo_rescaleустановлен вTrue. - do_normalize (
bool, kwargs, optional) — Нужно ли нормализовать изображение. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, еслиdo_normalizeустановлено вTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, еслиdo_normalizeустановлено вTrue. - do_pad (
bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате{"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Еслиpad_sizeне указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только приdo_pad=True. - do_center_crop (
bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается толькоChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:"channels_first"илиChannelDimension.FIRST: изображение в формате (num_channels, height, width)."channels_last"илиChannelDimension.LAST: изображение в формате (высота, ширина, число каналов)."none"илиChannelDimension.NONE: изображение в формате (height, width).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение'pt', иначе возвращает список тензоров. - disable_grouping (
bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
Возвращает
~image_processing_base.BatchFeature
- data (
dict) — Словарь списков/массивов/тензоров, возвращаемый методом call (‘pixel_values’ и т. д.). - tensor_type (
Union[None, str, TensorType], необязательный) — Здесь можно указать tensor_type, чтобы при инициализации преобразовать списки целых чисел в тензоры PyTorch/Numpy.
Предобработка изображения или пакета изображений.
post_process_depth_estimation
< source >( outputs: DepthProDepthEstimatorOutputtarget_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None )
Выполняет постобработку сырых предсказаний глубины, полученных от модели.
DepthProModel
класс transformers.DepthProModel
< source >( config: DepthProConfig )
Параметры
- config (DepthProConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().
Модель Depth Pro без дополнительных слоёв, выводящая «сырые» скрытые состояния.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( pixel_values: Tensoroutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DepthProOutput or tuple(torch.Tensor)
Параметры
- pixel_values (
torch.Tensorформы(batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью DepthProImageProcessor. Подробности см. в DepthProImageProcessor.call() (processor_classиспользует DepthProImageProcessor для обработки изображений). - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
Возвращает
DepthProOutput или tuple(torch.Tensor)
DepthProOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (DepthProConfig) и входных данных.
Метод forward модели DepthProModel переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
last_hidden_state (
torch.Tensorформы(batch_size, n_patches_per_batch, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.features (
Union[torch.Tensor, List[torch.Tensor]], необязательный) — Признаки из энкодеров. Может быть одним признаком или списком признаков.hidden_states (
tuple[torch.Tensor, ...], необязательный, возвращается при передачеoutput_hidden_states=Trueили когдаconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple[torch.Tensor, ...], необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Примеры:
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> from transformers import AutoProcessor, DepthProModel
>>> url = "https://www.ilankelman.org/stopsigns/australia.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> checkpoint = "apple/DepthPro-hf"
>>> processor = AutoProcessor.from_pretrained(checkpoint)
>>> model = DepthProModel.from_pretrained(checkpoint)
>>> # prepare image for the model
>>> inputs = processor(images=image, return_tensors="pt")
>>> with torch.no_grad():
... output = model(**inputs)
>>> output.last_hidden_state.shape
torch.Size([1, 35, 577, 1024])DepthProForDepthEstimation
класс transformers.DepthProForDepthEstimation
< source >( config: DepthProConfiguse_fov_model = None )
Параметры
- config (DepthProConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация по файлу конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().
- use_fov_model (
bool, необязательный) — Использовать ли модель поля зрения.
Модель DepthPro с головкой для оценки глубины (состоящей из 3 свёрточных слоёв).
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( pixel_values: Tensorlabels: typing.Optional[torch.LongTensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DepthProDepthEstimatorOutput or tuple(torch.Tensor)
Параметры
- pixel_values (
torch.Tensorформы(batch_size, num_channels, image_size, image_size)) — Тензоры, соответствующие входным изображениям. Значения пикселей можно получить с помощью DepthProImageProcessor. Подробности см. в DepthProImageProcessor.call() (processor_classиспользует DepthProImageProcessor для обработки изображений). - labels (
torch.LongTensorформы(batch_size, height, width), необязательный) — Истинные карты оценки глубины для вычисления функции потерь. - output_attentions (
bool, необязательный) — Указывает, следует ли возвращать тензоры внимания всех слоев внимания. Подробности см. в описанииattentionsв разделе возвращаемых тензоров. - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа.
Возвращает
DepthProDepthEstimatorOutput или tuple(torch.Tensor)
DepthProDepthEstimatorOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (DepthProConfig) и входных данных.
Метод forward класса DepthProForDepthEstimation переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери классификации (или регрессии, если config.num_labels==1).predicted_depth (
torch.Tensorформы(batch_size, height, width), необязательный) — Предсказанная глубина для каждого пикселя.field_of_view (
torch.Tensorформы(batch_size,), необязательный, возвращается, если заданuse_fov_model) — масштабирователь поля зрения.hidden_states (
tuple[torch.Tensor, ...], необязательный, возвращается при передачеoutput_hidden_states=Trueили когдаconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
attentions (
tuple[torch.Tensor, ...], необязательный, возвращается при передачеoutput_attentions=Trueили когдаconfig.output_attentions=True) — Кортежtorch.Tensor(по одному на каждый слой) формы(batch_size, num_heads, sequence_length, sequence_length).Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
Примеры:
>>> from transformers import AutoImageProcessor, DepthProForDepthEstimation
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO
>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
... image = Image.open(BytesIO(response.read()))
>>> checkpoint = "apple/DepthPro-hf"
>>> processor = AutoImageProcessor.from_pretrained(checkpoint)
>>> model = DepthProForDepthEstimation.from_pretrained(checkpoint)
>>> device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
>>> model.to(device)
>>> # prepare image for the model
>>> inputs = processor(images=image, return_tensors="pt").to(device)
>>> with torch.no_grad():
... outputs = model(**inputs)
>>> # interpolate to original size
>>> post_processed_output = processor.post_process_depth_estimation(
... outputs, target_sizes=[(image.height, image.width)],
... )
>>> # get the field of view (fov) predictions
>>> field_of_view = post_processed_output[0]["field_of_view"]
>>> focal_length = post_processed_output[0]["focal_length"]
>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))