Hugging Face's logo

Transformers documentation

ResNet

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Este modelo se publicó en HF papers el 2015-12-10 y se contribuyó a Hugging Face Transformers el 2022-03-14.

ResNet

Resumen

El modelo ResNet fue propuesto en Deep Residual Learning for Image Recognition por Kaiming He, Xiangyu Zhang, Shaoqing Ren y Jian Sun. Nuestra implementación sigue los pequeños cambios realizados por Nvidia: aplicamos stride=2 para el downsampling en la convolución 3x3 del bottleneck y no en la primera 1x1. Esto se conoce generalmente como “ResNet v1.5”.

ResNet introdujo conexiones residuales, que permiten entrenar redes con un número de capas sin precedentes (hasta 1000). ResNet ganó la competencia ILSVRC & COCO de 2015, un hito importante en la visión por computadora profunda.

El resumen del artículo es el siguiente:

Las redes neuronales más profundas son más difíciles de entrenar. Presentamos un marco de aprendizaje residual para facilitar el entrenamiento de redes que son sustancialmente más profundas que las utilizadas previamente. Reformulamos explícitamente las capas para que aprendan funciones residuales con referencia a las entradas de la capa, en lugar de aprender funciones sin referencia. Proporramos evidencia empírica exhaustiva que muestra que estas redes residuales son más fáciles de optimizar y pueden obtener mayor precisión a partir de un aumento considerable de la profundidad. En el conjunto de datos ImageNet evaluamos redes residuales con una profundidad de hasta 152 capas, 8 veces más profundas que las redes VGG pero con una complejidad aún menor. Un conjunto de estas redes residuales logra un error del 3,57 % en el conjunto de prueba de ImageNet. Este resultado ganó el primer lugar en la tarea de clasificación de ILSVRC 2015. También presentamos un análisis en CIFAR-10 con 100 y 1000 capas. La profundidad de las representaciones es de importancia central para muchas tareas de reconocimiento visual. Únicamente gracias a nuestras representaciones extremadamente profundas, obtenemos una mejora relativa del 28 % en el conjunto de datos de detección de objetos COCO. Las redes residuales profundas son la base de nuestras presentaciones en las competiciones ILSVRC & COCO 2015, donde también ganamos los primeros lugares en las tareas de detección en ImageNet, localización en ImageNet, detección en COCO y segmentación en COCO.

La figura siguiente ilustra la arquitectura de ResNet. Tomada del artículo original.

Este modelo fue aportado por Francesco. El código original se puede encontrar aquí.

Recursos

Una lista de recursos oficiales de Hugging Face y de la comunidad (indicados por 🌎) para ayudarte a empezar con ResNet.

Image Classification

Si te interesa enviar un recurso para que se incluya aquí, no dudes en abrir una Pull Request y lo revisaremos. Lo ideal es que el recurso demuestre algo nuevo en lugar de duplicar un recurso existente.

ResNetConfig

clase transformers.ResNetConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_channels: int = 3embedding_size: int = 64hidden_sizes: list[int] | tuple[int, ...] | None = (256, 512, 1024, 2048)depths: list[int] | tuple[int, ...] | None = (3, 4, 6, 3)layer_type: str = 'bottleneck'hidden_act: str = 'relu'downsample_in_first_stage: bool = Falsedownsample_in_bottleneck: bool = False )

Parámetros

  • num_channels (int, opcional, valor predeterminado 3) — El número de canales de entrada.
  • embedding_size (int, opcional, valor predeterminado 64) — Dimensionalidad de los embeddings y los estados ocultos.
  • hidden_sizes (Union[list[int], tuple[int, ...]], opcional, valor predeterminado (256, 512, 1024, 2048)) — Dimensionalidad (tamaño oculto) en cada etapa del modelo.
  • depths (Union[list[int], tuple[int, ...]], opcional, valor predeterminado (3, 4, 6, 3)) — Profundidad de cada capa en el Transformer.
  • layer_type (str, opcional, valor predeterminado "bottleneck") — La capa a utilizar, puede ser "basic" (usada para modelos más pequeños, como resnet-18 o resnet-34) o "bottleneck" (usada para modelos más grandes como resnet-50 y superiores).
  • hidden_act (str, opcional, valor predeterminado relu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo, "gelu", "relu", "silu", etc.
  • downsample_in_first_stage (bool, opcional, valor predeterminado False) — Si es True, la primera etapa reducirá la resolución de las entradas utilizando un stride de 2.
  • downsample_in_bottleneck (bool, opcional, valor predeterminado False) — Si es True, la primera conv 1x1 en ResNetBottleNeckLayer reducirá la resolución de las entradas utilizando un stride de 2.

Esta es la clase de configuración para almacenar la configuración de un ResNetModel. Se utiliza para instanciar un modelo Resnet según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de microsoft/resnet-50

Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.

Ejemplo:

>>> from transformers import ResNetConfig, ResNetModel

>>> # Initializing a ResNet resnet-50 style configuration
>>> configuration = ResNetConfig()

>>> # Initializing a model (with random weights) from the resnet-50 style configuration
>>> model = ResNetModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

validate_layer_type

< >

( )

Comprueba que layer_types esté definido correctamente.

ResNetModel

clase transformers.ResNetModel

< >

( config: ResNetConfig )

Parámetros

  • config (ResNetConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.

El modelo Resnet básico que genera estados ocultos sin ninguna cabeza específica en la parte superior.

Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

forward

< >

( pixel_values: Tensoroutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutputWithPoolingAndNoAttention or tuple(torch.Tensor)

Parámetros

  • pixel_values (torch.Tensor de forma (batch_size, num_channels, image_size, image_size)) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando ConvNextImageProcessor. Consulte ConvNextImageProcessor.call() para más detalles (processor_class utiliza ConvNextImageProcessor para procesar las imágenes).
  • output_hidden_states (bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consulte hidden_states en los tensores devueltos para obtener más detalles.
  • return_dict (bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple.

Devuelve

BaseModelOutputWithPoolingAndNoAttention o tuple(torch.Tensor)

Un BaseModelOutputWithPoolingAndNoAttention o una tupla de torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios elementos según la configuración (ResNetConfig) y las entradas.

El método forward de ResNetModel sobrescribe el método especial __call__.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de Module después en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.

  • last_hidden_state (torch.Tensor de forma (batch_size, num_channels, height, width)) — Secuencia de estados ocultos en la salida de la última capa del modelo.

  • pooler_output (torch.Tensor de forma (batch_size, hidden_size)) — Estado oculto de la última capa después de una operación de agrupación en las dimensiones espaciales.

  • hidden_states (tuple(torch.Tensor), opcional, devuelto cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma (batch_size, num_channels, height, width).

    Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.

Ejemplo:

ResNetForImageClassification

clase transformers.ResNetForImageClassification

< >

( config: ResNetConfig )

Parámetros

  • config (ResNetConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.

Modelo ResNet con una cabeza de clasificación de imágenes en la parte superior (una capa lineal sobre las características agrupadas), por ejemplo, para ImageNet.

Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).

Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.

forward

< >

( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → ImageClassifierOutputWithNoAttention or tuple(torch.Tensor)

Parámetros

  • pixel_values (torch.Tensor de forma (batch_size, num_channels, image_size, image_size), opcional) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando ConvNextImageProcessor. Consulte ConvNextImageProcessor.call() para más detalles (processor_class utiliza ConvNextImageProcessor para procesar las imágenes).
  • labels (torch.LongTensor de forma (batch_size,), opcional) — Etiquetas para calcular la pérdida de clasificación/regresión de imágenes. Los índices deben estar en [0, ..., config.num_labels - 1]. Si config.num_labels > 1, se calcula una pérdida de clasificación (entropía cruzada).
  • output_hidden_states (bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consulte hidden_states en los tensores devueltos para obtener más detalles.
  • return_dict (bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple.

Devuelve

ImageClassifierOutputWithNoAttention o tuple(torch.Tensor)

Un ImageClassifierOutputWithNoAttention o una tupla de torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios elementos según la configuración (ResNetConfig) y las entradas.

El método forward de ResNetForImageClassification sobrescribe el método especial __call__.

Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de Module después en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.

  • loss (torch.Tensor de forma (1,), opcional, se devuelve cuando se proporciona labels) — Pérdida de clasificación (o de regresión si config.num_labels==1).
  • logits (torch.Tensor de forma (batch_size, config.num_labels)) — Puntuaciones de clasificación (o de regresión si config.num_labels==1) (antes de SoftMax).
  • hidden_states (tuple(torch.Tensor), opcional, devuelto cuando se pasa output_hidden_states=True o cuando config.output_hidden_states=True) — Tupla de torch.Tensor (una para la salida de las incrustaciones, si el modelo tiene una capa de incrustación, + una para la salida de cada etapa) de forma (batch_size, num_channels, height, width). Estados ocultos (también llamados mapas de características) del modelo en la salida de cada etapa.

Ejemplo:

>>> from transformers import AutoImageProcessor, ResNetForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("microsoft/resnet-50")
>>> model = ResNetForImageClassification.from_pretrained("microsoft/resnet-50")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...
Update on GitHub

←RegNet RF-DETR→