Mô hình này được công bố trên HF papers vào ngày 28-05-2021 và được đóng góp cho Hugging Face Transformers vào ngày 01-06-2021.

ByT5

ByT5 là phiên bản không cần tokenizer của mô hình T5, được thiết kế để hoạt động trực tiếp trên các byte UTF-8 thô. Điều này có nghĩa là nó có thể xử lý bất kỳ ngôn ngữ nào, chống chịu tốt hơn với nhiễu như lỗi chính tả, và đơn giản hơn để sử dụng vì không yêu cầu một pipeline tiền xử lý.

Bạn có thể tìm thấy tất cả các checkpoint ByT5 gốc dưới tổ chức Google.

Tham khảo tài liệu T5 để xem thêm các ví dụ về cách áp dụng ByT5 cho các tác vụ ngôn ngữ khác nhau.

Ví dụ dưới đây minh họa cách tạo văn bản bằng Pipeline, AutoModel và từ dòng lệnh.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Lượng tử hóa

Quantization giảm gánh nặng bộ nhớ của các mô hình lớn bằng cách biểu diễn trọng số ở độ chính xác thấp hơn. Tham khảo tổng quan về Quantization để biết thêm các backend quantization khả dụng.

Ví dụ bên dưới sử dụng torchao để chỉ lượng tử hóa trọng số xuống int4.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Ghi chú

• Khuyến nghị sử dụng tokenizer cho suy luận và huấn luyện theo lô (batched).

• Ví dụ dưới đây cho thấy cách sử dụng mô hình mà không có tokenizer.

  Đã sao chép

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5 sử dụng các giá trị byte cao nhất (258, 257, v.v.) để che (masking) thay vì các token sentinel như {extra_id_0}.

  Đã sao chép

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer