Transformers documentation
ViTDet
Mô hình này được công bố trên HF papers vào ngày 30/03/2022 và được đóng góp cho Hugging Face Transformers vào ngày 29/08/2023.
ViTDet
Tổng quan
Mô hình ViTDet được đề xuất trong Exploring Plain Vision Transformer Backbones for Object Detection bởi Yanghao Li, Hanzi Mao, Ross Girshick, Kaiming He. ViTDet sử dụng Vision Transformer thuần túy cho tác vụ phát hiện đối tượng.
Tóm tắt từ bài báo như sau:
Chúng tôi khám phá Vision Transformer (ViT) thuần túy, không phân cấp, làm mạng xương sống cho phát hiện đối tượng. Thiết kế này cho phép tinh chỉnh kiến trúc ViT gốc cho phát hiện đối tượng mà không cần thiết kế lại xương sống phân cấp cho huấn luyện trước. Với các điều chỉnh tối thiểu cho tinh chỉnh, bộ phát hiện có xương sống thuần túy của chúng tôi có thể đạt được kết quả cạnh tranh. Đáng ngạc nhiên, chúng tôi quan sát thấy: (i) chỉ cần xây dựng một kim tự tháp đặc trưng đơn giản từ một bản đồ đặc trưng đơn thang (không cần thiết kế FPN phổ biến) và (ii) chỉ cần sử dụng chú ý cửa sổ (không dịch chuyển) được hỗ trợ bởi rất ít khối lan truyền liên cửa sổ. Với các xương sống ViT thuần túy được huấn luyện trước như Masked Autoencoders (MAE), bộ phát hiện của chúng tôi, có tên là ViTDet, có thể cạnh tranh với các phương pháp hàng đầu trước đó, tất cả đều dựa trên xương sống phân cấp, đạt tới 61.3 AP_box trên bộ dữ liệu COCO chỉ sử dụng huấn luyện trước trên ImageNet-1K. Chúng tôi hy vọng nghiên cứu của mình sẽ thu hút sự chú ý vào nghiên cứu về các bộ phát hiện có xương sống thuần túy.
Mô hình này được đóng góp bởi nielsr. Mã nguồn gốc có thể được tìm thấy tại đây.
Mẹo:
- Hiện tại, chỉ có backbone khả dụng.
VitDetConfig
lớp transformers.VitDetConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 768num_hidden_layers: int = 12num_attention_heads: int = 12mlp_ratio: int = 4hidden_act: str = 'gelu'dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06image_size: int | list[int] | tuple[int, int] = 224pretrain_image_size: int | list[int] | tuple[int, int] = 224patch_size: int | list[int] | tuple[int, int] = 16num_channels: int = 3qkv_bias: bool = Truedrop_path_rate: float | int = 0.0window_block_indices: list[int] | tuple[int, ...] = ()residual_block_indices: list[int] | tuple[int, ...] = ()use_absolute_position_embeddings: bool = Trueuse_relative_position_embeddings: bool = Falsewindow_size: int = 0_out_features: list[str] | None = None_out_indices: list[int] | None = None )
Tham số
- hidden_size (
int, tùy chọn, mặc định là768) — Kích thước của các biểu diễn ẩn. - num_hidden_layers (
int, tùy chọn, mặc định là12) — Số lượng lớp ẩn trong bộ giải mã Transformer. - num_attention_heads (
int, tùy chọn, mặc định là12) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - mlp_ratio (
int, tùy chọn, mặc định là4) — Tỷ lệ giữa chiều ẩn của MLP và chiều nhúng. - hidden_act (
str, tùy chọn, mặc định làgelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - dropout_prob (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ cho tất cả các lớp dropout. - initializer_range (
float, tùy chọn, mặc định là0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - layer_norm_eps (
float, tùy chọn, mặc định là1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa lớp (layer normalization). - image_size (
Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là224) — Kích thước (độ phân giải) của mỗi hình ảnh. - pretrain_image_size (
int, tùy chọn, mặc định là 224) — Kích thước (độ phân giải) của mỗi hình ảnh trong quá trình huấn luyện trước. - patch_size (
Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là16) — Kích thước (độ phân giải) của mỗi patch. - num_channels (
int, tùy chọn, mặc định là3) — Số lượng kênh đầu vào. - qkv_bias (
bool, tùy chọn, mặc định làTrue) — Có thêm bias cho queries, keys và values hay không. - drop_path_rate (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ drop path cho việc hợp nhất patch. - window_block_indices (
list[int], tùy chọn, mặc định là[]) — Danh sách các chỉ số của các khối nên sử dụng window attention thay vì self-attention toàn cục thông thường. - residual_block_indices (
list[int], tùy chọn, mặc định là[]) — Danh sách các chỉ số của các khối cần có một khối residual bổ sung sau MLP. - use_absolute_position_embeddings (
bool, tùy chọn, mặc định làTrue) — Có sử dụng position embeddings tuyệt đối hay không. - use_relative_position_embeddings (
bool, tùy chọn, mặc định làFalse) — Có thêm các embedding vị trí tương đối vào các bản đồ chú ý hay không. - window_size (
int, tùy chọn, mặc định là 0) — Kích thước của cửa sổ chú ý.
Đây là lớp cấu hình để lưu trữ cấu hình của một VitDetModel. Nó được sử dụng để khởi tạo một mô hình Vitdet theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của google/vitdet-base-patch16-224
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import VitDetConfig, VitDetModel
>>> # Initializing a VitDet configuration
>>> configuration = VitDetConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = VitDetModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configVitDetModel
lớp transformers.VitDetModel
< source >( config: VitDetConfig )
Tham số
- config (VitDetConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Vitdet cơ bản, xuất ra các hidden-states thô mà không có head cụ thể nào ở phía trên.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: typing.Optional[torch.Tensor] = Noneoutput_attentions: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = None**kwargs ) → BaseModelOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụngimage_processor_class. Xemimage_processor_class.__call__để biết chi tiết (processor_classsử dụngimage_processor_classđể xử lý hình ảnh). - output_attentions (
bool, tùy chọn) — Có trả về các tensor attentions của tất cả các lớp attention hay không. Xemattentionstrong phần tensor được trả về để biết thêm chi tiết. - output_hidden_states (
bool, tùy chọn) — Có trả về trạng thái ẩn (hidden states) của tất cả các lớp hay không. Xemhidden_statestrong phần tensor trả về để biết thêm chi tiết. - return_dict (
bool, tùy chọn) — Có nên trả về một ModelOutput thay vì một tuple thông thường hay không.
Trả về
BaseModelOutput hoặc tuple(torch.Tensor)
Một BaseModelOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (VitDetConfig) và đầu vào.
Phương thức forward của VitDetModel ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from transformers import VitDetConfig, VitDetModel
>>> import torch
>>> config = VitDetConfig()
>>> model = VitDetModel(config)
>>> pixel_values = torch.randn(1, 3, 224, 224)
>>> with torch.no_grad():
... outputs = model(pixel_values)
>>> last_hidden_states = outputs.last_hidden_state
>>> list(last_hidden_states.shape)
[1, 768, 14, 14]