Mô hình này được công bố trên HF papers vào ngày 2018-07-26 và được đóng góp cho Hugging Face Transformers vào ngày 2023-01-16.

UPerNet

Tổng quan

Mô hình UPerNet được đề xuất trong Unified Perceptual Parsing for Scene Understanding bởi Tete Xiao, Yingcheng Liu, Bolei Zhou, Yuning Jiang, Jian Sun. UPerNet là một khung làm việc tổng quát để phân đoạn hiệu quả một phạm vi rộng các khái niệm từ hình ảnh, tận dụng bất kỳ bộ khung thị giác nào như ConvNeXt hoặc Swin.

Tóm tắt từ bài báo như sau:

Con người nhận thức thế giới thị giác ở nhiều cấp độ: chúng ta dễ dàng phân loại các cảnh và phát hiện các đối tượng bên trong, đồng thời xác định kết cấu và bề mặt của các đối tượng cùng với các phần cấu thành khác nhau của chúng. Trong bài báo này, chúng tôi nghiên cứu một tác vụ mới gọi là Unified Perceptual Parsing, đòi hỏi các hệ thống thị giác máy tính phải nhận ra càng nhiều khái niệm thị giác càng tốt từ một hình ảnh cho trước. Một khung đa tác vụ có tên là UPerNet và một chiến lược huấn luyện được phát triển để học từ các chú thích hình ảnh dị thể. Chúng tôi đánh giá khung của mình trên Unified Perceptual Parsing và cho thấy nó có khả năng phân đoạn hiệu quả một phạm vi rộng các khái niệm từ hình ảnh. Các mạng đã được huấn luyện sau đó được áp dụng để khám phá kiến thức thị giác trong các cảnh tự nhiên.

Mô hình này được đóng góp bởi nielsr. Mã gốc dựa trên mmsegmentation của OpenMMLab tại đây.

Ví dụ sử dụng

UPerNet là một khung làm việc tổng quát cho phân đoạn ngữ nghĩa. Nó có thể được sử dụng với bất kỳ bộ xương thị giác (vision backbone) nào, như sau:

from transformers import SwinConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = SwinConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Để sử dụng một backbone thị giác khác, chẳng hạn như ConvNeXt, chỉ cần khởi tạo mô hình với backbone phù hợp:

from transformers import ConvNextConfig, UperNetConfig, UperNetForSemanticSegmentation


backbone_config = ConvNextConfig(out_features=["stage1", "stage2", "stage3", "stage4"])

config = UperNetConfig(backbone_config=backbone_config)
model = UperNetForSemanticSegmentation(config)

Lưu ý rằng điều này sẽ khởi tạo ngẫu nhiên tất cả các trọng số của mô hình.

Tài nguyên

Danh sách các tài nguyên chính thức của Hugging Face và cộng đồng (được đánh dấu bằng 🌎) để giúp bạn bắt đầu với UPerNet.

• Các notebook demo cho UPerNet có thể được tìm thấy tại đây.
• UperNetForSemanticSegmentation được hỗ trợ bởi notebook này.
• Xem thêm: Hướng dẫn tác vụ phân đoạn ngữ nghĩa

Nếu bạn quan tâm đến việc gửi một tài nguyên để được đưa vào đây, hãy thoải mái mở một Pull Request và chúng tôi sẽ xem xét! Lý tưởng nhất là tài nguyên nên minh họa một điều gì đó mới thay vì sao chép một tài nguyên hiện có.

UperNetConfig

>>> from transformers import UperNetConfig, UperNetForSemanticSegmentation

>>> # Initializing a configuration
>>> configuration = UperNetConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = UperNetForSemanticSegmentation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

UperNetForSemanticSegmentation

>>> from transformers import AutoImageProcessor, UperNetForSemanticSegmentation
>>> from PIL import Image
>>> from huggingface_hub import hf_hub_download

>>> image_processor = AutoImageProcessor.from_pretrained("openmmlab/upernet-convnext-tiny")
>>> model = UperNetForSemanticSegmentation.from_pretrained("openmmlab/upernet-convnext-tiny")

>>> filepath = hf_hub_download(
...     repo_id="hf-internal-testing/fixtures_ade20k", filename="ADE_val_00000001.jpg", repo_type="dataset"
... )
>>> image = Image.open(filepath).convert("RGB")

>>> inputs = image_processor(images=image, return_tensors="pt")

>>> outputs = model(**inputs)

>>> logits = outputs.logits  # shape (batch_size, num_labels, height, width)
>>> list(logits.shape)
[1, 150, 512, 512]