Transformers documentation
myt5
Model ini dipublikasikan di HF papers pada 2024-03-15 dan disumbangkan ke Hugging Face Transformers pada 2024-10-06.
myt5
Ikhtisar
Model myt5 diusulkan dalam MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling oleh Tomasz Limisiewicz, Terra Blevins, Hila Gonen, Orevaoghene Ahia, dan Luke Zettlemoyer. MyT5 (Myte T5) adalah model bahasa multibahasa yang didasarkan pada arsitektur T5. Model ini menggunakan representasi morfologi-berbasis byte (MYTE) yang dijelaskan dalam makalah kami. MYTE menggunakan codepoint yang sesuai dengan morfem, berbeda dengan karakter yang digunakan dalam pengkodean UTF-8. Sebagai prasyarat, kami menggunakan segmentasi morfologis tanpa pengawasan (Morfessor) untuk memperoleh inventaris morfem untuk 99 bahasa. Namun, langkah segmentasi morfologis tidak diperlukan saat menggunakan inventaris morfem yang sudah didefinisikan dari hub (lihat: Tomli/myt5-base).
Abstrak dari makalah tersebut adalah sebagai berikut:
Salah satu pertimbangan utama dalam pemodelan bahasa multibahasa adalah cara terbaik merepresentasikan bahasa-bahasa dengan kosakata dan aksara yang beragam. Meskipun metode pengkodean teks kontemporer mencakup sebagian besar sistem penulisan di dunia, metode tersebut menunjukkan bias terhadap bahasa-bahasa ber资源丰富 di Barat Global. Akibatnya, teks dari bahasa-bahasa yang kurang terwakili cenderung tersegmentasi menjadi rangkaian panjang unit yang tidak bermakna secara linguistik. Untuk mengatasi disparitas ini, kami memperkenalkan paradigma baru yang mengkodekan informasi yang sama dengan segmen berukuran konsisten di berbagai bahasa. Konvensi pengkodean kami (MYTE) didasarkan pada morfem, karena inventarisnya lebih seimbang di antara bahasa-bahasa dibandingkan karakter, yang digunakan dalam metode sebelumnya. Kami menunjukkan bahwa MYTE menghasilkan pengkodean yang lebih pendek untuk semua 99 bahasa yang dianalisis, dengan peningkatan paling signifikan untuk bahasa-bahasa non-Eropa dan aksara non-Latin. Hal ini, pada gilirannya, meningkatkan kinerja LM multibahasa dan mengurangi kesenjangan perplexity di antara berbagai bahasa.
Model ini disumbangkan oleh Tomasz Limisiewicz. Kode aslinya dapat ditemukan di sini.
MyT5Tokenizer
kelas transformers.MyT5Tokenizer
< source >( vocab_fileeos_token = '</s>'unk_token = '<unk>'pad_token = '<pad>'extra_ids = 125additional_special_tokens = None**kwargs )
Parameter
- vocab_file (
str) — File yang berisi aturan penulisan ulang byte. - eos_token (
str, opsional, default"</s>") — Token akhir urutan. - unk_token (
str, opsional, default"<unk>") — Token yang tidak diketahui. Token yang tidak ada dalam kosakata tidak dapat dikonversi menjadi ID dan akan diset sebagai token ini sebagai gantinya. - pad_token (
str, opsional, defaultnya"<pad>") — Token yang digunakan untuk padding, misalnya saat membatching urutan dengan panjang yang berbeda. - extra_ids (
int, opsional, default 125) — Menambahkan sejumlah id ekstra ke akhir kosakata untuk digunakan sebagai sentinel. Token-token ini dapat diakses sebagai “” adalah token terakhir dalam kosakata seperti dalam pra-pemrosesan ByT5 lihat di sini). - additional_special_tokens (
list[str], opsional) — Token khusus tambahan yang digunakan oleh tokenizer.
Konstruksi tokenizer MyT5.
Tokenizer ini mewarisi dari PreTrainedTokenizer yang berisi sebagian besar metode utama. Pengguna harus merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.
build_inputs_with_special_tokens
< source >( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]
Parameter
- token_ids_0 (
list[int]) — Daftar ID tempat token khusus akan ditambahkan. - token_ids_1 (
list[int], opsional) — Daftar ID kedua opsional untuk pasangan sekuens.
Mengembalikan
list[int]
Daftar ID input dengan token khusus yang sesuai.
Bangun input model dari satu urutan atau sepasang urutan untuk tugas klasifikasi urutan dengan melakukan penggabungan (concatenation) dan penambahan token khusus. Sebuah urutan memiliki format berikut:
- satu urutan:
X </s> - pasangan sekuens:
A </s> B </s>
get_special_tokens_mask
< source >( token_ids_0: listtoken_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → list[int]
Parameter
- token_ids_0 (
list[int]) — Daftar ID. - token_ids_1 (
list[int], opsional) — Daftar ID kedua opsional untuk pasangan sekuens. - already_has_special_tokens (
bool, opsional, defaultFalse) — Apakah daftar token sudah diformat dengan token khusus untuk model.
Mengembalikan
list[int]
Daftar bilangan bulat dalam rentang [0, 1]: 1 untuk token khusus, 0 untuk token urutan.
Ambil id urutan dari daftar token yang tidak memiliki token khusus yang ditambahkan. Metode ini dipanggil saat menambahkan token khusus menggunakan metode prepare_for_model tokenizer.
create_token_type_ids_from_sequences
< source >( token_ids_0: listtoken_ids_1: list[int] | None = None ) → list[int]
Buat mask dari dua urutan yang diteruskan untuk digunakan dalam tugas klasifikasi pasangan urutan. MyT5 tidak menggunakan id tipe token, oleh karena itu daftar nol dikembalikan.