Transformers documentation
Dilated Neighborhood Attention Transformer
Este modelo se publicó en HF papers el 2022-09-29 y se contribuyó a Hugging Face Transformers el 2022-11-18.
Dilated Neighborhood Attention Transformer
Resumen
DiNAT fue propuesto en Dilated Neighborhood Attention Transformer por Ali Hassani y Humphrey Shi.
Extiende NAT añadiendo un patrón de atención de vecindad dilatada para capturar el contexto global, y muestra mejoras significativas de rendimiento en comparación con este.
El resumen del artículo es el siguiente:
Los Transformers se están convirtiendo rápidamente en una de las arquitecturas de deep learning más aplicadas en múltiples modalidades, dominios y tareas. En visión, además de los esfuerzos continuos en transformers planos, los transformers jerárquicos también han ganado una atención significativa, gracias a su rendimiento y a su fácil integración en marcos de trabajo existentes. Estos modelos suelen emplear mecanismos de atención localizados, como la Neighborhood Attention (NA) de ventana deslizante o la Shifted Window Self Attention de Swin Transformer. Si bien son efectivos para reducir la complejidad cuadrática de la autoatención, la atención local debilita dos de las propiedades más deseables de la autoatención: la modelización de interdependencias de largo alcance y el campo receptivo global. En este artículo, presentamos la Dilated Neighborhood Attention (DiNA), una extensión natural, flexible y eficiente de la NA que puede capturar más contexto global y expandir los campos receptivos de forma exponencial sin costo adicional. La atención local de la NA y la atención global dispersa de la DiNA se complementan entre sí, y por lo tanto presentamos el Dilated Neighborhood Attention Transformer (DiNAT), un nuevo transformer jerárquico para visión construido sobre ambas. Las variantes de DiNAT disfrutan de mejoras significativas sobre líneas base fuertes como NAT, Swin y ConvNeXt. Nuestro modelo grande es más rápido y supera a su equivalente de Swin en 1,5% de box AP en la detección de objetos de COCO, 1,3% de mask AP en la segmentación de instancias de COCO y 1,1% de mIoU en la segmentación semántica de ADE20K. Junto con nuevos marcos de trabajo, nuestra variante grande es el nuevo modelo de segmentación panóptica de estado del arte en COCO (58.2 PQ) y ADE20K (48.5 PQ), y el modelo de segmentación de instancias en Cityscapes (44.5 AP) y ADE20K (35.4 AP) (sin datos adicionales). También iguala a los modelos especializados de segmentación semántica de estado del arte en ADE20K (58.2 mIoU) y ocupa el segundo lugar en Cityscapes (84.5 mIoU) (sin datos adicionales).
Neighborhood Attention with different dilation values.
Taken from the original paper. Este modelo fue aportado por Ali Hassani. El código original se puede encontrar aquí.
Consejos de uso
DiNAT se puede utilizar como backbone. Cuando output_hidden_states = True,
se devuelven tanto hidden_states como reshaped_hidden_states. Las reshaped_hidden_states tienen una forma de (batch, num_channels, height, width) en lugar de (batch_size, height, width, num_channels).
Notas:
- DiNAT depende de la implementación de Neighborhood Attention y Dilated Neighborhood Attention de NATTEN.
Puede instalarlo con ruedas precompiladas para Linux consultando shi-labs.com/natten, o compilarlo en su sistema ejecutando
pip install natten. Tenga en cuenta que lo último probablemente tardará en compilarse. NATTEN aún no es compatible con dispositivos Windows. - Por el momento, solo se admite un tamaño de parche de 4.
Recursos
Una lista de recursos oficiales de Hugging Face y de la comunidad (indicados por 🌎) para ayudarte a empezar con DiNAT.
- DinatForImageClassification es compatible con este cuaderno.
- Véase también: Guía de la tarea de clasificación de imágenes
Si te interesa enviar un recurso para que se incluya aquí, no dudes en abrir una Pull Request y lo revisaremos. Lo ideal es que el recurso demuestre algo nuevo en lugar de duplicar un recurso existente.
DinatConfig
clase transformers.DinatConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonepatch_size: int | list[int] | tuple[int, int] = 4num_channels: int = 3embed_dim: int = 64depths: list[int] | tuple[int, ...] = (3, 4, 6, 5)num_heads: list[int] | tuple[int, ...] = (2, 4, 8, 16)kernel_size: int = 7dilations: list | tuple | None = Nonemlp_ratio: float = 3.0qkv_bias: bool = Truehidden_dropout_prob: float | int = 0.0attention_probs_dropout_prob: float | int = 0.0drop_path_rate: float | int = 0.1hidden_act: str = 'gelu'initializer_range: float = 0.02layer_norm_eps: float = 1e-05layer_scale_init_value: float = 0.0_out_features: list[str] | None = None_out_indices: list[int] | None = None )
Parámetros
- patch_size (
Union[int, list[int], tuple[int, int]], opcional, valor predeterminado4) — El tamaño (resolución) de cada parche. - num_channels (
int, opcional, valor predeterminado3) — El número de canales de entrada. - embed_dim (
int, opcional, valor predeterminado64) — Dimensionalidad de los embeddings y los estados ocultos. - depths (
Union[list[int], tuple[int, ...]], opcional, valor predeterminado(3, 4, 6, 5)) — Profundidad de cada capa en el Transformer. - num_heads (
Union[list[int], tuple[int, ...]], opcional, valor predeterminado(2, 4, 8, 16)) — Número de cabezas de atención para cada capa de atención en el decodificador del Transformer. - kernel_size (
int, opcional, valor predeterminado7) — El tamaño del kernel de convolución. - dilations (
list[list[int]], opcional, valor predeterminado[[1, 8, 1], [1, 4, 1, 4], [1, 2, 1, 2, 1, 2], [1, 1, 1, 1, 1]]) — Valor de dilatación de cada capa NA en el codificador Transformer. - mlp_ratio (
float, opcional, valor predeterminado3.0) — Relación entre la dimensión oculta del MLP y la dimensión de la incrustación. - qkv_bias (
bool, opcional, valor predeterminadoTrue) — Si se debe añadir un sesgo a las consultas, claves y valores. - hidden_dropout_prob (
Union[float, int], opcional, valor predeterminado0.0) — La probabilidad de dropout para todas las capas totalmente conectadas en las incrustaciones, el codificador y el pooler. - attention_probs_dropout_prob (
Union[float, int], opcional, valor predeterminado0.0) — La proporción de dropout para las probabilidades de atención. - drop_path_rate (
Union[float, int], opcional, valor predeterminado0.1) — Tasa de drop path para la fusión de parches. - hidden_act (
str, opcional, valor predeterminadogelu) — La función de activación no lineal (función o cadena) en el decodificador. Por ejemplo,"gelu","relu","silu", etc. - initializer_range (
float, opcional, valor predeterminado0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - layer_norm_eps (
float, opcional, valor predeterminado1e-05) — El epsilon utilizado por las capas de normalización de capa. - layer_scale_init_value (
float, opcional, valor predeterminado0.0) — Escala a utilizar en las capas de autoatención. 0.1 para base, 1e-6 para grande. Establezca 0 para deshabilitar la escala de capa.
Esta es la clase de configuración para almacenar la configuración de un DinatModel. Se utiliza para instanciar un modelo Dinat según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de shi-labs/dinat-mini-in1k-224
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import DinatConfig, DinatModel
>>> # Initializing a Dinat shi-labs/dinat-mini-in1k-224 style configuration
>>> configuration = DinatConfig()
>>> # Initializing a model (with random weights) from the shi-labs/dinat-mini-in1k-224 style configuration
>>> model = DinatModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configDinatModel
clase transformers.DinatModel
< source >( config: DinatConfigadd_pooling_layer = True )
Parámetros
- config (DinatConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
- add_pooling_layer (
bool, opcional, valor predeterminadoTrue) — Si se debe añadir una capa de pooling
El modelo Dinat básico que emite estados ocultos sin ninguna cabeza específica en la parte superior.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DinatModelOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size), opcional) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando ViTImageProcessor. Consulte ViTImageProcessor.call() para más detalles (processor_classutiliza ViTImageProcessor para procesar las imágenes). - output_attentions (
bool, opcional) — Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulteattentionsen los tensores devueltos para obtener más detalles. - output_hidden_states (
bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consultehidden_statesen los tensores devueltos para obtener más detalles. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple.
Devuelve
DinatModelOutput o tuple(torch.Tensor)
Un DinatModelOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (DinatConfig) y las entradas.
El método forward de DinatModel sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
last_hidden_state (
torch.Tensorde forma(batch_size, sequence_length, hidden_size), opcional) — Secuencia de estados ocultos en la salida de la última capa del modelo.pooler_output (
torch.Tensorde forma(batch_size, hidden_size), opcional, se devuelve cuando se pasaadd_pooling_layer=True) — Promedio de la capa de pooling del estado oculto de la última capa.hidden_states (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
reshaped_hidden_states (
tuple(torch.Tensor), opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de los embeddings + una para la salida de cada etapa) de forma(batch_size, hidden_size, height, width).Estados ocultos del modelo en la salida de cada capa, más las salidas de la incrustación inicial reconfiguradas para incluir las dimensiones espaciales.
DinatForImageClassification
clase transformers.DinatForImageClassification
< source >( config: DinatConfig )
Parámetros
- config (DinatConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
Dinat Modelo transformer con una cabeza de clasificación de imágenes en la parte superior (una capa lineal sobre el estado oculto final del token [CLS]), por ejemplo, para ImageNet.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → DinatImageClassifierOutput or tuple(torch.Tensor)
Parámetros
- pixel_values (
torch.Tensorde forma(batch_size, num_channels, image_size, image_size), opcional) — Los tensores correspondientes a las imágenes de entrada. Los valores de píxeles se pueden obtener utilizando ViTImageProcessor. Consulte ViTImageProcessor.call() para más detalles (processor_classutiliza ViTImageProcessor para procesar las imágenes). - labels (
torch.LongTensorde forma(batch_size,), opcional) — Etiquetas para calcular la pérdida de clasificación/regresión de imágenes. Los índices deben estar en[0, ..., config.num_labels - 1]. Siconfig.num_labels == 1se calcula una pérdida de regresión (pérdida de error cuadrático medio), siconfig.num_labels > 1se calcula una pérdida de clasificación (entropía cruzada). - output_attentions (
bool, opcional) — Indica si se deben devolver los tensores de atención de todas las capas de atención. Consulteattentionsen los tensores devueltos para obtener más detalles. - output_hidden_states (
bool, opcional) — Indica si se deben devolver los estados ocultos de todas las capas. Consultehidden_statesen los tensores devueltos para obtener más detalles. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput en lugar de una tupla simple.
Devuelve
DinatImageClassifierOutput o tuple(torch.Tensor)
Un DinatImageClassifierOutput o una tupla de
torch.Tensor (si se pasa return_dict=False o cuando config.return_dict=False) que comprende varios
elementos según la configuración (DinatConfig) y las entradas.
El método forward de DinatForImageClassification sobrescribe el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
loss (
torch.Tensorde forma(1,), opcional, se devuelve cuando se proporcionalabels) — Pérdida de clasificación (o de regresión si config.num_labels==1).logits (
torch.Tensorde forma(batch_size, config.num_labels)) — Puntuaciones de clasificación (o de regresión si config.num_labels==1) (antes de SoftMax).hidden_states (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de las incrustaciones, si el modelo tiene una capa de incrustaciones, + una para la salida de cada capa) de forma(batch_size, sequence_length, hidden_size).Estados ocultos del modelo en la salida de cada capa más las salidas opcionales de la incrustación inicial.
attentions (
tuple[torch.Tensor, ...], opcional, se devuelve cuando se pasaoutput_attentions=Trueo cuandoconfig.output_attentions=True) — Tupla detorch.Tensor(una por cada capa) de forma(batch_size, num_heads, sequence_length, sequence_length).Pesos de atención tras el softmax de atención, utilizados para calcular la media ponderada en las cabezas de autoatención.
reshaped_hidden_states (
tuple(torch.Tensor), opcional, se devuelve cuando se pasaoutput_hidden_states=Trueo cuandoconfig.output_hidden_states=True) — Tupla detorch.Tensor(una para la salida de los embeddings + una para la salida de cada etapa) de forma(batch_size, hidden_size, height, width).Estados ocultos del modelo en la salida de cada capa, más las salidas de la incrustación inicial reconfiguradas para incluir las dimensiones espaciales.
Ejemplo:
>>> from transformers import AutoImageProcessor, DinatForImageClassification
>>> import torch
>>> from datasets import load_dataset
>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]
>>> image_processor = AutoImageProcessor.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> model = DinatForImageClassification.from_pretrained("shi-labs/dinat-mini-in1k-224")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.no_grad():
... logits = model(**inputs).logits
>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...