Transformers documentation

DeepSeek-V3.2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Mô hình này được công bố trên HF papers vào ngày 02-12-2025 và được đóng góp cho Hugging Face Transformers vào ngày 10-06-2026.

DeepSeek-V3.2

Tổng quan

DeepSeek-V3.2-Exp là một bản phát hành thử nghiệm từ DeepSeek-AI, giới thiệu DeepSeek Sparse Attention (DSA), một cơ chế chú ý thưa (sparse attention) có thể huấn luyện, chi tiết ở mức hạt mịn, được thiết kế để cải thiện hiệu quả huấn luyện và suy luận trong các kịch bản ngữ cảnh dài. Mô hình được xây dựng trực tiếp dựa trên DeepSeek-V3.1-Terminus: nó giữ nguyên bộ khung Mixture-of-Experts (MoE) 685B tham số và Multi-head Latent Attention (MLA), và được tạo ra thông qua quá trình huấn luyện tiếp tục, trong đó thêm vào bộ chỉ mục chú ý thưa (sparse-attention indexer) đồng thời cố ý căn chỉnh phân phối huấn luyện với V3.1-Terminus để hai mô hình có thể được so sánh trực tiếp.

Công trình này sau đó được mở rộng trong báo cáo kỹ thuật DeepSeek-V3.2, DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models, kết hợp DSA với một khung học tăng cường có khả năng mở rộng và báo cáo kết quả ở mức huy chương vàng trên các bộ chuẩn đánh giá toán học thi đấu (IMO) và lập trình thi đấu (IOI).

Tóm tắt từ bản phát hành DeepSeek-V3.2-Exp như sau:

Chúng tôi giới thiệu DeepSeek-V3.2-Exp, một phiên bản thử nghiệm của mô hình tích hợp DeepSeek Sparse Attention (DSA) nhằm khám phá và xác thực các tối ưu hóa cho hiệu quả huấn luyện và suy luận trong các kịch bản ngữ cảnh dài. DeepSeek Sparse Attention lần đầu tiên đạt được chú ý thưa ở mức độ chi tiết với tác động tối thiểu đến chất lượng đầu ra của mô hình. Được xây dựng dựa trên DeepSeek-V3.1-Terminus, DeepSeek-V3.2-Exp mang lại hiệu quả cải thiện đáng kể trong cả huấn luyện và suy luận, đặc biệt là trong các cài đặt ngữ cảnh dài, trong khi duy trì hiệu suất benchmark gần như tương đương.

DeepSeek Sparse Attention (DSA)

DSA giảm chi phí bậc hai của attention trên các chuỗi dài bằng cách chỉ chú ý đến một tập con các token trước đó được chọn. Nó có hai thành phần:

Lightning indexer. Một module chấm điểm nhẹ, có số lượng tham số thấp, sẽ tính toán điểm chỉ mục giữa mỗi query và mọi key đi trước. Trong bản tham chiếu, nó chạy ở FP8 với phép biến đổi Hadamard (rotate_activation); vì phép biến đổi này là trực giao (Hq·Hk = q·k) và FP8 chỉ là một tối ưu hóa về độ chính xác, nên bản port của transformers tính toán cùng các điểm đó trực tiếp ở bf16/fp32, giữ cho indexer rẻ hơn so với chú ý chính.
Chọn token ở mức chi tiết. Với mỗi truy vấn, bộ chỉ mục giữ lại index_topk (mặc định là 2048) token hàng đầu, và chú ý MLA chính sau đó chỉ được tính trên các token đó thông qua một mặt nạ cộng. Điều này chuyển đổi chi phí chú ý cho mỗi truy vấn từ O(L) thành O(index_topk) cho các chuỗi dài khi sử dụng flash_mla, tính năng hiện chưa được hỗ trợ 😉.

Indexer duy trì bộ nhớ đệm key riêng, nhỏ, cho từng token (đơn đầu, index_head_dim) bên cạnh bộ nhớ đệm K/V chính. Trong transformers, thành phần này nằm trên một lớp cache chuyên dụng — DynamicIndexedLayer cho các cache tăng dần và StaticIndexedLayer cho các cache tĩnh / torch.compile — và được cập nhật thông qua past_key_values.update_indexer().

Trong DeepSeek-V3.2 mỗi lớp chạy bộ chỉ mục riêng của nó — không có chia sẻ top-k giữa các lớp.

Đường dẫn LoRA cho query MLA (q_lora_rank) là bắt buộc. Bộ indexer chấm điểm các query từ latent query bậc thấp q_a_layernorm(q_a_proj(x)) (chiều của phép chiếu wq_b được xác định bởi q_lora_rank), do đó mô hình luôn sử dụng đường dẫn query LoRA và q_lora_rank phải được đặt — checkpoint đã phát hành sử dụng 1536. Đường dẫn q_proj không dùng LoRA, tùy chọn, mà DeepSeek-V3 cung cấp cho q_lora_rank=None không được hỗ trợ ở đây: không có query latent thì bộ indexer không có gì để xử lý.

Ví dụ sử dụng

DeepSeek-V3.2-Exp được phân phối dưới dạng checkpoint FP8. Các phép chiếu indexer được giữ ngoài lượng tử hóa FP8, vì checkpoint lưu trữ chúng ở bf16/fp32:

from transformers import FineGrainedFP8Config, AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "deepseek-ai/DeepSeek-V3.2-Exp"
quantization_config = FineGrainedFP8Config(
    modules_to_not_convert=["model.layers.*.mlp.gate.*", "*.self_attn.indexer.weights_proj.*"],
    weight_block_size=(128, 128),
)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto",
    quantization_config=quantization_config,
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

inputs = tokenizer("What are we having for dinner?", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Mã nguồn gốc có thể được tìm thấy tại đây.

DeepseekV32Config

lớp transformers.DeepseekV32Config

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 129280hidden_size: int = 7168intermediate_size: int = 18432moe_intermediate_size: int = 2048num_hidden_layers: int = 61num_attention_heads: int = 128num_key_value_heads: int = 128n_shared_experts: int = 1n_routed_experts: int = 256output_router_logits: bool = Falserouted_scaling_factor: float = 2.5kv_lora_rank: int = 512q_lora_rank: int = 1536qk_rope_head_dim: int = 64v_head_dim: int = 128qk_nope_head_dim: int = 128n_group: int = 8topk_group: int = 4num_experts_per_tok: int = 8norm_topk_prob: bool = Truehidden_act: str = 'silu'max_position_embeddings: int = 163840initializer_range: float = 0.02rms_norm_eps: float = 1e-06use_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = 0eos_token_id: int | list[int] | None = 1tie_word_embeddings: bool = Falserope_parameters: dict | None = Nonemlp_layer_types: list[str] | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0index_topk: int = 2048index_head_dim: int = 128index_n_heads: int = 64mlp_bias: bool = Falsehead_dim: int = 64first_k_dense_replace: int = 3layer_types: list[str] | None = None )

Tham số

vocab_size (int, tùy chọn, mặc định là 129280) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
hidden_size (int, tùy chọn, mặc định là 7168) — Kích thước của các biểu diễn ẩn.
intermediate_size (int, tùy chọn, mặc định là 18432) — Kích thước của các biểu diễn MLP.
moe_intermediate_size (int, tùy chọn, mặc định là 2048) — Kích thước trung gian của các MLP chuyên gia được định tuyến.
num_hidden_layers (int, tùy chọn, mặc định là 61) — Số lượng lớp ẩn trong bộ giải mã Transformer.
num_attention_heads (int, tùy chọn, mặc định là 128) — Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.
num_key_value_heads (int, tùy chọn, mặc định là 128) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu num_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu num_key_value_heads=1 mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi một checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ là num_attention_heads.
n_shared_experts (int, tùy chọn, mặc định là 1) — Số lượng chuyên gia dùng chung.
n_routed_experts (int, tùy chọn, mặc định là 256) — Số lượng chuyên gia được định tuyến.
output_router_logits (bool, tùy chọn, mặc định là False) — Xác định xem có nên trả về router logits từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và router z-loss.
routed_scaling_factor (float, tùy chọn, mặc định là 2.5) — Hệ số tỷ lệ cho các chuyên gia được định tuyến.
kv_lora_rank (int, tùy chọn, mặc định là 512) — Rank của các ma trận LoRA cho các phép chiếu key và value.
q_lora_rank (int, tùy chọn, mặc định là 1536) — Rank của các ma trận LoRA cho phép chiếu query.
qk_rope_head_dim (int, tùy chọn, mặc định là 64) — Kích thước của các đầu query/key sử dụng nhúng vị trí quay (rotary position embeddings).
v_head_dim (int, tùy chọn, mặc định là 128) — Kích thước của các đầu value.
qk_nope_head_dim (int, tùy chọn, mặc định là 128) — Kích thước của các đầu query/key không sử dụng nhúng vị trí quay (rotary position embeddings).
n_group (int, tùy chọn, mặc định là 1) — Số lượng nhóm cho các chuyên gia được định tuyến.
topk_group (int, tuỳ chọn, mặc định là 4) — Số lượng nhóm được chọn cho mỗi token (với mỗi token, đảm bảo các chuyên gia được chọn chỉ nằm trong topk_group nhóm).
num_experts_per_tok (int, tuỳ chọn, mặc định là 8) — Số lượng chuyên gia để định tuyến mỗi token. Đây là giá trị top-k cho việc định tuyến chọn token.
norm_topk_prob (bool, tùy chọn, mặc định là True) — Có nên chuẩn hóa trọng số của các chuyên gia được định tuyến hay không.
hidden_act (str, tùy chọn, mặc định là silu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
max_position_embeddings (int, tùy chọn, mặc định là 163840) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng.
initializer_range (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
rms_norm_eps (float, tùy chọn, mặc định là 1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa rms.
use_cache (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu config.is_decoder=True hoặc khi mô hình là mô hình sinh chỉ có decoder.
pad_token_id (int, tùy chọn) — Token id được sử dụng để đệm trong từ vựng.
bos_token_id (int, tùy chọn, mặc định là 0) — Token id được sử dụng cho đầu luồng trong bảng từ vựng.
eos_token_id (Union[int, list[int]], tùy chọn, mặc định là 1) — Token id được sử dụng cho end-of-stream trong bảng từ vựng.
tie_word_embeddings (bool, tùy chọn, mặc định là False) — Có nên gắn kết các trọng số nhúng theo ánh xạ tied_weights_keys của mô hình hay không.
rope_parameters (dict, tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho rope_theta và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với max_position_embeddings dài hơn.
mlp_layer_types (list, tùy chọn) — Mẫu loại MLP cho từng lớp ("dense" hoặc "sparse"). Mặc định là 3 lớp dense + phần còn lại là sparse.
attention_bias (bool, tùy chọn, mặc định là False) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.
attention_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
index_topk (int, tùy chọn, mặc định là 2048) — Số lượng token hàng đầu được bộ chỉ mục chọn cho chú ý thưa.
index_head_dim (int, tùy chọn, mặc định là 128) — Kích thước đầu cho các phép chiếu indexer (DSA).
index_n_heads (int, tùy chọn, mặc định là 64) — Số lượng đầu cho các phép chiếu indexer (DSA).
mlp_bias (bool, tùy chọn, mặc định là False) — Có sử dụng bias trong các lớp up_proj, down_proj và gate_proj của các lớp MLP hay không.
head_dim (int, tùy chọn, mặc định là 64) — Kích thước chiều của đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads
first_k_dense_replace (int, tuỳ chọn, mặc định là 3) — Số lượng lớp đầu tiên sử dụng MLP dạng dense; các lớp còn lại sử dụng khối MoE.
layer_types (list[str], tùy chọn) — Một danh sách ánh xạ rõ ràng từng chỉ số lớp với kiểu lớp tương ứng. Nếu không được cung cấp, danh sách này sẽ được tạo tự động dựa trên các giá trị cấu hình.

Đây là lớp cấu hình để lưu trữ cấu hình của một DeepseekV32Model. Nó được sử dụng để khởi tạo một mô hình Deepseek V32 theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của deepseek-ai/DeepSeek-V3.2-Exp

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

>>> from transformers import DeepseekV32Config, DeepseekV32Model

>>> # Initializing a DeepSeek-V3.2 configuration
>>> configuration = DeepseekV32Config()

>>> # Initializing a model from the configuration
>>> model = DeepseekV32Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DeepseekV32PreTrainedModel

lớp transformers.DeepseekV32PreTrainedModel

< source >

( config: PreTrainedConfig*inputs**kwargs )

Tham số

config (PreTrainedConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

( *args**kwargs )

Một giá trị giả lập cho một đường dẫn có dấu chấm (ví dụ: torch.float32): các chuỗi truy cập thuộc tính, các cuộc gọi hoạt động như các decorator pass-through, repr là đường dẫn có dấu chấm, và việc sử dụng nó như một lớp cơ sở sẽ thay thế bằng một lớp cơ sở type thông thường (PEP 560 __mro_entries__), do đó các lớp con thực sự vẫn giữ nguyên metaclass bình thường và inspect.signature sẽ đọc __init__ thực của chúng thay vì của một mock.

DeepseekV32Model

lớp transformers.DeepseekV32Model

< source >

( config: DeepseekV32Config )

Tham số

config (DeepseekV32Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình Deepseek V32 thuần túy, xuất ra các trạng thái ẩn thô mà không có bất kỳ đầu (head) cụ thể nào ở phía trên.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeModelOutputWithPast or tuple(torch.FloatTensor)

Tham số

input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.
Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

ID đầu vào là gì?
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].
ID vị trí là gì?
past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.
Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).
inputs_embeds (torch.FloatTensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

MoeModelOutputWithPast hoặc tuple(torch.FloatTensor)

Một MoeModelOutputWithPast hoặc một tuple của torch.FloatTensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (DeepseekV32Config) và đầu vào.

Phương thức forward của DeepseekV32Model ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

last_hidden_state (torch.FloatTensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
past_key_values (Cache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu config.is_encoder_decoder=True trong các khối cross-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.
hidden_states (tuple(torch.FloatTensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.FloatTensor (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.FloatTensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.FloatTensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
router_logits (tuple(torch.FloatTensor), tùy chọn, được trả về khi truyền output_router_probs=True và config.add_router_probs=True hoặc khi config.output_router_probs=True) — Bộ tuple của torch.FloatTensor (một cho mỗi lớp) có hình dạng (batch_size, sequence_length, num_experts).

Logits thô (sau softmax) được tính bởi các router MoE, các thuật ngữ này được sử dụng để tính toán tổn thất bổ trợ cho các mô hình Mixture of Experts.

DeepseekV32ForCausalLM

lớp transformers.DeepseekV32ForCausalLM

< source >

( config: DeepseekV32Config )

Tham số

config (DeepseekV32Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số mô hình.

Mô hình Deepseek V32 cho mô hình hóa ngôn ngữ nhân quả.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → MoeCausalLMOutputWithPast or tuple(torch.FloatTensor)

Tham số

input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.
Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

ID đầu vào là gì?
attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
- 1 cho các token không bị che,
- 0 cho các token bị che.
Mặt nạ chú ý là gì?
position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].
ID vị trí là gì?
past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.
Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).
inputs_embeds (torch.FloatTensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
labels (torch.LongTensor có shape (batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong [0, ..., config.vocab_size] hoặc -100 (xem docstring của input_ids). Các token có chỉ số được đặt thành -100 sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong [0, ..., config.vocab_size].
use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).
logits_to_keep (Union[int, torch.Tensor], tùy chọn, mặc định là 0) — Nếu là int, tính logits cho logits_to_keep token cuối. Nếu là 0, tính logits cho tất cả input_ids (trường hợp đặc biệt). Chỉ cần logits của token cuối cho quá trình sinh, và việc chỉ tính cho token đó có thể tiết kiệm bộ nhớ, điều này trở nên khá đáng kể với các chuỗi dài hoặc kích thước từ vựng lớn. Nếu là torch.Tensor, phải là 1 chiều tương ứng với các chỉ số cần giữ trong chiều độ dài chuỗi. Điều này hữu ích khi sử dụng định dạng tensor đóng gói (một chiều duy nhất cho batch và độ dài chuỗi).

Trả về

MoeCausalLMOutputWithPast hoặc tuple(torch.FloatTensor)

Một MoeCausalLMOutputWithPast hoặc một tuple của torch.FloatTensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (DeepseekV32Config) và đầu vào.

Phương thức forward của DeepseekV32ForCausalLM ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

loss (torch.FloatTensor có shape (1,), optional, được trả về khi labels được cung cấp) — Loss của language modeling (cho next-token prediction).
logits (torch.FloatTensor có hình dạng (batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
aux_loss (torch.FloatTensor, tuỳ chọn, được trả về khi output_router_logits=True được truyền vào hoặc khi config.output_router_logits=True, và mô hình huấn luyện router của nó với tổn thất cân bằng tải) — Tổn thất phụ cân bằng tải cho các module thưa. Các mô hình cân bằng chuyên gia của chúng bằng router bias thay thế (DeepSeek-V3 và các kiến trúc phái sinh từ nó) sẽ trả về None tại đây trong khi vẫn trả về router_logits.
router_logits (tuple(torch.FloatTensor), tùy chọn, được trả về khi truyền output_router_logits=True hoặc khi config.output_router_logits=True) — Tuple của torch.FloatTensor (một cho mỗi lớp thưa) có hình dạng (batch_size * sequence_length, num_experts).

Logits thô của router được tính toán bởi các router MoE. Chúng có thể được sử dụng để tính toán tổn thất cân bằng tải hoặc để kiểm tra cách các token được phân phối đến các chuyên gia.
past_key_values (Cache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.
hidden_states (tuple(torch.FloatTensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.FloatTensor (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (tuple(torch.FloatTensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.FloatTensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

>>> from transformers import AutoTokenizer, DeepseekV32ForCausalLM

>>> model = DeepseekV32ForCausalLM.from_pretrained("meta-deepseek_v32/DeepseekV32-2-7b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("meta-deepseek_v32/DeepseekV32-2-7b-hf")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."

Update on GitHub

←DeepSeek-V3 DeepSeek-V4→