Model ini dipublikasikan di HF papers pada 2021-06-25 dan disumbangkan ke Hugging Face Transformers pada 2024-03-13.

Pyramid Vision Transformer V2 (PVTv2)

Ikhtisar

Model PVTv2 diusulkan dalam PVT v2: Improved Baselines with Pyramid Vision Transformer oleh Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo, dan Ling Shao. Sebagai varian yang ditingkatkan dari PVT, model ini meninggalkan position embeddings dan mengandalkan informasi posisi yang dikodekan melalui zero-padding serta overlapping patch embeddings. Ketidaktergantungan pada position embeddings ini menyederhanakan arsitektur dan memungkinkan inferensi dijalankan pada resolusi apa pun tanpa perlu melakukan interpolasi.

Struktur encoder PVTv2 telah berhasil diimplementasikan untuk mencapai skor state-of-the-art pada Segformer untuk segmentasi semantik, GLPN untuk kedalaman monokular, dan Panoptic Segformer untuk segmentasi panoptik.

PVTv2 termasuk dalam keluarga model yang disebut hierarchical transformers , yang melakukan adaptasi pada lapisan transformer untuk menghasilkan peta fitur multi-skala. Berbeda dengan struktur kolom Vision Transformer (ViT) yang kehilangan detail halus, peta fitur multi-skala dikenal mampu mempertahankan detail tersebut dan membantu kinerja pada tugas prediksi padat. Dalam kasus PVTv2, hal ini dicapai dengan menghasilkan token patch gambar menggunakan konvolusi 2D dengan kernel yang tumpang tindih di setiap lapisan encoder.

Fitur multi-skala dari transformer hierarkis memungkinkan model ini dengan mudah menggantikan model backbone computer vision tradisional yang umum digunakan, seperti ResNet, dalam arsitektur yang lebih besar. Baik Segformer maupun Panoptic Segformer menunjukkan bahwa konfigurasi yang menggunakan PVTv2 sebagai backbone secara konsisten melampaui kinerja konfigurasi dengan backbone ResNet yang berukuran serupa.

Fitur kuat lainnya dari PVTv2 adalah pengurangan kompleksitas pada lapisan self-attention yang disebut Spatial Reduction Attention (SRA), yang menggunakan lapisan konvolusi 2D untuk memproyeksikan hidden states ke resolusi yang lebih kecil sebelum diproses dengan query, sehingga meningkatkan $O(n^2)$ kompleksitas self-attention menjadi $O(n^2/R)$, dengan $R$ sebagai rasio reduksi spasial (sr_ratio, atau dikenal sebagai ukuran kernel dan stride dalam konvolusi 2D).

SRA diperkenalkan dalam PVT, dan merupakan metode reduksi kompleksitas perhatian default yang digunakan dalam PVTv2. Namun, PVTv2 juga memperkenalkan opsi untuk menggunakan mekanisme self-attention dengan kompleksitas linear yang terkait dengan ukuran gambar, yang mereka sebut “Linear SRA”. Metode ini menggunakan average pooling untuk mengurangi hidden states menjadi ukuran tetap yang tidak bergantung pada resolusi aslinya (meskipun ini secara inheren lebih lossy daripada SRA reguler). Opsi ini dapat diaktifkan dengan mengatur linear_attention menjadi True di PVTv2Config.

Abstrak dari makalah

Transformer baru-baru ini menunjukkan kemajuan yang menjanjikan di bidang computer vision. Dalam karya ini, kami menyajikan baseline baru dengan meningkatkan Pyramid Vision Transformer (PVT v1) asli melalui penambahan tiga desain, yaitu (1) lapisan attention dengan kompleksitas linear, (2) patch embedding yang tumpang tindih, dan (3) jaringan feed-forward berbasis convolution. Dengan modifikasi ini, PVT v2 mengurangi kompleksitas komputasi PVT v1 menjadi linear dan mencapai peningkatan signifikan pada tugas-tugas vision fundamental seperti klasifikasi, deteksi, dan segmentasi. Yang patut dicatat, PVT v2 yang diusulkan mencapai performa yang setara atau lebih baik dibandingkan karya-karya terbaru seperti Swin Transformer. Kami berharap karya ini akan memfasilitasi penelitian Transformer state-of-the-art di bidang computer vision. Kode tersedia di https://github.com/whai362/PVT.

Model ini disumbangkan oleh FoamoftheSea. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

• PVTv2 adalah model transformer hierarkis yang telah menunjukkan kinerja yang kuat dalam klasifikasi citra dan berbagai tugas lainnya, digunakan sebagai backbone untuk segmentasi semantik di Segformer, estimasi kedalaman monokular di GLPN, dan segmentasi panoptik di Panoptic Segformer, secara konsisten menunjukkan kinerja yang lebih tinggi dibandingkan konfigurasi ResNet yang serupa.

• Hierarchical transformers seperti PVTv2 mencapai efisiensi data dan parameter yang lebih unggul pada data gambar dibandingkan dengan arsitektur transformer murni, dengan mengintegrasikan elemen desain dari convolutional neural networks (CNN) ke dalam encoder mereka. Hal ini menciptakan arsitektur terbaik dari kedua dunia yang menyuntikkan bias induktif yang berguna dari CNN, seperti translation equivariance dan locality, ke dalam jaringan, sambil tetap menikmati manfaat dari respons data dinamis dan pemodelan hubungan global yang disediakan oleh mekanisme self-attention dari transformers.

• PVTv2 menggunakan patch embeddings yang tumpang tindih untuk membuat peta fitur multi-skala, yang kemudian diberi informasi lokasi menggunakan zero-padding dan konvolusi depth-wise.

• Untuk mengurangi kompleksitas pada lapisan attention, PVTv2 melakukan reduksi spasial pada hidden states menggunakan strided 2D convolution (SRA) atau fixed-size average pooling (Linear SRA). Meskipun secara inheren lebih lossy, Linear SRA memberikan performa yang mengesankan dengan kompleksitas linear terhadap ukuran gambar. Untuk menggunakan Linear SRA pada lapisan self-attention, setel linear_attention=True di PvtV2Config.

• PvtV2Model adalah encoder transformer hierarkis (yang juga sering disebut sebagai Mix Transformer atau MiT dalam literatur). PvtV2ForImageClassification menambahkan kepala klasifikasi sederhana di atasnya untuk melakukan Image Classification. PvtV2Backbone dapat digunakan dengan sistem AutoBackbone dalam arsitektur yang lebih besar seperti Deformable DETR.

• Bobot pretrained ImageNet untuk semua ukuran model dapat ditemukan di hub.

  Cara terbaik untuk memulai dengan PVTv2 adalah dengan memuat checkpoint pretrained dengan ukuran yang Anda pilih menggunakan AutoModelForImageClassification:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Untuk menggunakan PVTv2 sebagai backbone untuk arsitektur yang lebih kompleks seperti DeformableDETR, Anda dapat menggunakan AutoBackbone (model ini memerlukan fine-tuning karena Anda mengganti backbone pada model pretrained dan diinisialisasi dengan bobot acak):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Performa PVTv2 pada ImageNet-1K berdasarkan ukuran model (B0-B5):

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel