Bu model 2021-06-25 tarihinde HF papers'ta yayımlanmış ve 2024-03-13 tarihinde Hugging Face Transformers'a katkıda bulunmuştur.

Piramit Görüntü Dönüşümcü V2 (PVTv2)

Genel Bakış

PVTv2 modeli, Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo ve Ling Shao tarafından PVT v2: Improved Baselines with Pyramid Vision Transformer makalesinde önerilmiştir. PVT'nin geliştirilmiş bir varyantı olarak konum gömme (position embedding) kullanmaz; bunun yerine sıfır dolgusu (zero-padding) ve örtüşen yama gömme (overlapping patch embedding) yoluyla kodlanan konumsal bilgilere dayanır. Konum gömme kullanmama gereksinimi mimariyi basitleştirir ve bunların interpolasyonuna ihtiyaç duymadan herhangi bir çözünürlükte çıkarım (inference) yapılmasını mümkün kılar.

PVTv2 kodlayıcı yapısı, anlamsal segmentasyon için Segformer, monoküler derinlik için GLPN ve panoptik segmentasyon için Panoptic Segformer modellerinde en iyi sonuçları elde etmek üzere başarıyla dağıtılmıştır.

PVTv2, çok ölçekli özellik haritaları üretmek amacıyla transformer katmanlarında uyarlamalar yapan hiyerarşik transformer adlı model ailesine aittir. İnce detayları kaybeden Vision Transformer'ın (ViT) sütunsal yapısının aksine, çok ölçekli özellik haritalarının bu detayları koruduğu ve yoğun tahmin görevlerindeki performansa yardımcı olduğu bilinmektedir. PVTv2'de bu, her kodlayıcı katmanında üst üste binen çekirdeklerle 2B konvolüsyon kullanarak görüntü yama belirteçleri üretilerek sağlanır.

Hiyerarşik transformer'ların çok ölçekli özellikleri, bunların ResNet gibi geleneksel ana omurga bilgisayarla görme modellerinin yerini büyük mimarilerde kolayca alabilmesini sağlar. Hem Segformer hem de Panoptic Segformer, bir omurga olarak PVTv2 kullanan yapılandırmaların, benzer boyutlu ResNet omurgalarına sahip yapılandırmaları tutarlı bir şekilde geride bıraktığını göstermiştir.

PVTv2'nin bir diğer güçlü özelliği, gizli durumları sorgularla dikkate almadan önce daha küçük bir çözünürlüğe yansıtmak için 2D konvolüsyon katmanlarını kullanan ve kendine-dikkat katmanlarındaki karmaşıklığı azaltan Mekânsal Azaltma Dikkati (SRA) adlı mekanizmadır. Bu sayede kendine-dikkatin $O(n^2)$ karmaşıklığı $O(n^2/R)$'ye düşer; burada $R$ mekânsal azaltma oranıdır (sr_ratio, 2D konvolüsyonda çekirdek boyutu ve adım olarak da bilinir).

SRA, PVT'de tanıtılmış olup PVTv2'de kullanılan varsayılan dikkat karmaşıklığı azaltma yöntemidir. Ancak PVTv2, görüntü boyutuyla doğrusal karmaşıklığa sahip bir öz-dikkat mekanizması kullanma seçeneğini de sunmuştur; buna “Linear SRA” adını vermişlerdir. Bu yöntem, gizli durumları orijinal çözünürlüklerine bağımsız olarak sabit bir boyuta indirmek için ortalama havuzlama (average pooling) kullanır (bu, normal SRA'ya göre doğası gereği daha fazla bilgi kaybına yol açar). Bu seçenek, PVTv2Config içinde linear_attention değerini True olarak ayarlayarak etkinleştirilebilir.

Makaleden özet

Transformer, bilgisayarla görüde son zamanlarda umut verici ilerlemeler kaydetmiştir. Bu çalışmada, orijinal Pyramid Vision Transformer'ı (PVT v1) (1) doğrusal karmaşıklıkta dikkat katmanı, (2) üst üste binen yama gömme ve (3) konvolüsyonel ileri beslemeli ağ olmak üzere üç tasarım ekleyerek iyileştiriyor ve yeni baz çizgileri sunuyoruz. Bu değişikliklerle PVT v2, PVT v1'in hesaplama karmaşıklığını doğrusal seviyeye indirger ve sınıflandırma, algılama ve segmentasyon gibi temel görü görevlerinde önemli iyileşmeler sağlar. Önemle belirtmek gerekir ki, önerilen PVT v2, Swin Transformer gibi son çalışmalara benzer veya daha iyi performanslar elde etmektedir. Bu çalışmanın, bilgisayarla görüdeki en son Transformer araştırmalarını kolaylaştırmasını umuyoruz. Kod https://github.com/whai362/PVT adresinde mevcuttur.

Bu model FoamoftheSea tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım ipuçları

• PVTv2, görüntü sınıflandırma ve birçok diğer görevde güçlü performans sergileyen hiyerarşik bir transformer modelidir; Segformer'de anlamsal segmentasyon, GLPN'de monoküler derinlik tahmini ve Panoptic Segformer'de panoptik segmentasyon için omurga olarak kullanılmış olup benzer ResNet yapılandırmalarına tutarlı olarak daha yüksek performans göstermektedir.

• PVTv2 gibi hiyerarşik transformerlar, konvolüsyonel sinir ağlarının (CNN) tasarım unsurlarını kodlayıcılarına entegre ederek, saf transformer mimarilerine kıyasla görüntü verilerinde üstün veri ve parametre verimliliği sağlar. Bu, çeviri eşdeğerliği ve yerellik gibi CNN'lerin faydalı indüktif önyargılarını ağa aktarırken, transformers'ın öz-dikkat mekanizmasının sağladığı dinamik veri yanıtı ve küresel ilişki modelleme avantajlarından da yararlanarak her iki dünyanın en iyi yönlerini birleştiren bir mimari oluşturur.

• PVTv2, çok ölçekli özellik haritaları oluşturmak için üst üste binen yama gömme kullanır; bu haritalar, sıfır dolgu ve derinlik boyutlu konvolüsyonlar ile konum bilgisiyle zenginleştirilir.

• Dikkat katmanlarındaki karmaşıklığı azaltmak için PVTv2, gizli durumlarda (hidden states) uzamsal indirgeme (spatial reduction) gerçekleştirir; bunun için sıralı 2D konvolüsyon (SRA) veya sabit boyutlu ortalama havuzlama (Linear SRA) kullanılır. Doğası gereği daha fazla bilgi kaybına yol açan Linear SRA, görüntü boyutuna göre doğrusal bir karmaşıklıkla etkileyici bir performans sağlar. Kendi-dikkat (self-attention) katmanlarında Linear SRA kullanmak için PvtV2Config içinde linear_attention=True değerini ayarlayın.

• PvtV2Model, hiyerarşik transformer kodlayıcısıdır (edebiyatta genellikle Mix Transformer veya MiT olarak da anılır). PvtV2ForImageClassification, Image Classification işlemini gerçekleştirmek için bunun üzerine basit bir sınıflandırıcı başlığı ekler. PvtV2Backbone, Deformable DETR gibi daha büyük mimarilerde AutoBackbone sistemiyle birlikte kullanılabilir.

• Tüm model boyutları için ImageNet önceden eğitilmiş ağırlıklar hub'da bulunabilir.

  PVTv2 ile başlamanın en iyi yolu, AutoModelForImageClassification kullanarak seçtiğiniz boyuttaki önceden eğitilmiş kontrol noktasını yüklemektir:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

DeformableDETR gibi daha karmaşık mimarilerde PVTv2'yi bir omurga (backbone) olarak kullanmak için AutoBackbone kullanabilirsiniz (bu model, önceden eğitilmiş modeldeki omurganın değiştirilmesi ve rastgele ağırlıklarla başlatılması nedeniyle ince ayar gerektirir):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Model boyutuna (B0-B5) göre ImageNet-1K üzerindeki PVTv2 performansı:

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel