Hugging Face's logo

Transformers documentation

xLSTM

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model, 2024-05-07 tarihinde HF papers'ta yayımlanmış ve 2025-07-25 tarihinde Hugging Face Transformers'a katkıda bulunmuştur.

xLSTM

Genel Bakış

xLSTM modeli, Maximilian Beck, Korbinian Pöppel, Markus Spanring, Andreas Auer, Oleksandra Prudnikova, Michael Kopp, Günter Klambauer, Johannes Brandstetter ve Sepp Hochreiter tarafından xLSTM: Extended Long Short-Term Memory makalesinde önerilmiştir. xLSTM, üstel kapılamayı (exponential gating), matris bellek genişletmesini ve paralelleştirilebilir eğitim ile veri işleme (ingestion) mekanizmalarını tanıtarak, Transformer modelleriyle rekabet edebilir hale gelmesi için orijinal LSTM mimarisini günceller.

7B model varyantı, NXAI'deki xLSTM ekibi tarafından Maximilian Beck, Korbinian Pöppel, Phillip Lippe, Richard Kurle, Patrick Blies, Sebastian Böck ve Sepp Hochreiter tarafından eğitilmiştir.

Makalenin özeti aşağıdaki gibidir:

1990'larda, sabit hata kaydırıcısı ve kapılamalar, Uzun Kısa Vadeli Bellek (LSTM) mimarilerinin temel fikirleri olarak tanıtıldı. O zamandan bu yana LSTM'ler zamanın testinden geçerek sayısız derin öğrenme başarı hikâyesine katkıda bulundu; özellikle de ilk Büyük Dil Modelleri'nin (LLM) temelini oluşturdular. Ancak, paralelleştirilebilir öz-dikkat mekanizmasını merkeze alan Transformer teknolojisinin ortaya çıkması, LSTM'leri büyük ölçekte geride bırakarak yeni bir dönemin başlangıcını işaret etti. Şimdi basit bir soru soruyoruz: LSTM'leri modern LLM'lerden gelen en güncel teknikleri kullanarak milyarlarca parametreye ölçeklendirdiğimizde ve LSTM'lerin bilinen kısıtlamalarını azalttığımızda dil modellemede ne kadar ileri gidebiliriz? Öncelikle, uygun normalizasyon ve kararlılaştırma teknikleriyle üstel kapılamayı (exponential gating) tanıtıyoruz. İkinci olarak, LSTM bellek yapısını değiştirerek şunları elde ediyoruz: (i) skaler belleğe, skaler güncellemeye ve yeni bir bellek karıştırmaya sahip sLSTM, (ii) matris belleğe ve kovaryans güncelleme kuralına sahip, tamamen paralelleştirilebilir mLSTM. Bu LSTM uzantılarını artımsal blok (residual block) omurgalarına entegre etmek, ardından artımsal olarak yığılan xLSTM mimarilerini oluşturan xLSTM bloklarını üretir. Üstel kapılama ve değiştirilmiş bellek yapıları, xLSTM'lerin hem performans hem de ölçeklenme açısından en son Transformer ve Durum Uzayı Modelleri ile karşılaştırıldığında olumlu sonuçlar almasını sağlar.

Bu model NX-AI tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Notlar

  • Toplu üretim için sol dolguyu kullanın. Dolgu tarafı bölümüne bakın.

xLSTMConfig

sınıf transformers.xLSTMConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 50304hidden_size: int = 4096embedding_dim: int | None = Nonenum_hidden_layers: int = 32num_blocks: int | None = Nonenum_heads: int = 8use_bias: bool = Falsenorm_reduction_force_float32: bool = Truetie_word_embeddings: bool = Falseadd_out_norm: bool = Truenorm_eps: float = 1e-06qk_dim_factor: float = 0.5v_dim_factor: float = 1.0chunkwise_kernel: typing.Literal['chunkwise--native_autograd', 'parallel--native_autograd'] = 'chunkwise--native_autograd'sequence_kernel: typing.Literal['native_sequence__native'] = 'native_sequence__native'step_kernel: typing.Literal['native'] = 'native'mode: typing.Literal['train', 'train_with_padding', 'inference'] = 'inference'chunk_size: int = 64return_last_states: bool = Trueautocast_kernel_dtype: typing.Literal['float32', 'bfloat16', 'float16'] = 'bfloat16'eps: float = 1e-06inference_state_dtype: typing.Literal['float32', 'bfloat16', 'float16'] = 'float32'ffn_proj_factor: float = 2.667ffn_round_up_to_multiple_of: int = 64gate_soft_cap: float = 15.0output_logit_soft_cap: float = 30.0weight_mode: typing.Literal['single', 'fused'] = 'single'use_cache: bool = Truepad_token_id: int | None = 1bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 2max_inference_chunksize: int = 16384 )

Parametreler

  • vocab_size (int, isteğe bağlı, varsayılan 50304) — Modelin sözlük boyutu. input_ids ile temsil edilebilecek farklı token sayısını belirler.
  • hidden_size (int, isteğe bağlı, varsayılan 4096) — Gizli temsillerin boyutu.
  • embedding_dim (int, isteğe bağlı) — Gömme ve gizli durumların boyutluluğu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 32) — Transformer çözücüdeki gizli katman sayısı.
  • num_blocks (int, isteğe bağlı, isteğe bağlı, varsayılan 32) — xLSTM modelinin blok sayısı, None ise num_hidden_layers kullanılır.
  • num_heads (int, isteğe bağlı, isteğe bağlı, varsayılan 8) — xLSTM Katmanı/Hücresi için baş sayısı.
  • use_bias (bool, isteğe bağlı, isteğe bağlı, varsayılan False) — xLSTM modelinde önyargıların (bias) kullanılıp kullanılmayacağı.
  • norm_reduction_force_float32 (bool, isteğe bağlı, isteğe bağlı, varsayılan True) — float32 norm indirgeme işleminin fp32 hassasiyetinde yapılmasını zorlayıp zorlamayacağı.
  • tie_word_embeddings (bool, isteğe bağlı, varsayılan False) — Modelin tied_weights_keys eşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.
  • add_out_norm (bool, isteğe bağlı, isteğe bağlı, varsayılan True) — LMHead'den önce bloklardan sonra bir çıktı normu eklenip eklenmeyeceğini belirtir.
  • norm_eps (float, isteğe bağlı, varsayılan 1e-06) — Katman normalizasyonu katmanlarında kullanılan epsilon.
  • qk_dim_factor (float, isteğe bağlı, isteğe bağlı, varsayılan 0.5) — Sorgu ve anahtar boyutu için ölçekleme çarpanı.
  • v_dim_factor (float, isteğe bağlı, isteğe bağlı, varsayılan 1.0) — Değer boyutu için ölçekleme çarpanı.
  • chunkwise_kernel (ChunkwiseKernelType, isteğe bağlı, isteğe bağlı, varsayılan "chunkwise--native_autograd") — Parça parça işleme modu için çekirdek türü.
  • sequence_kernel (SequenceKernelType, isteğe bağlı, isteğe bağlı, varsayılan "native_sequence__native") — Sıralama işleme modu için çekirdek türü.
  • step_kernel (StepKernelType, isteğe bağlı, isteğe bağlı, varsayılan "native") — Adım işleme modu için çekirdek türü.
  • mode (BackendModeType, isteğe bağlı, isteğe bağlı, varsayılan "inference") — İşlem modu (üretim için inference gerekir).
  • chunk_size (int, isteğe bağlı, isteğe bağlı, varsayılan 64) — Dahili parça boyutu.
  • return_last_states (bool, isteğe bağlı, isteğe bağlı, varsayılan True) — Son durumların / önbelleğin içsel olarak döndürülüp döndürülmeyeceğini belirtir. Üretim için True olarak gereklidir.
  • autocast_kernel_dtype (DtypeType, isteğe bağlı, isteğe bağlı, varsayılan "bfloat16") — Durumlar için kernel veri tipi.
  • eps (float, isteğe bağlı, varsayılan 1e-06) — Katman normalizasyonu katmanlarında kullanılan epsilon.
  • inference_state_dtype (DtypeType, isteğe bağlı, isteğe bağlı, varsayılan "float32") — Çıkarım sırasında durumlar için çekirdek veri tipi.
  • ffn_proj_factor (float, isteğe bağlı, isteğe bağlı, varsayılan 2.667) — Gated Feed Forward ağının post-up projeksiyonunun boyut çarpanı.
  • ffn_round_up_to_multiple_of (int, isteğe bağlı, isteğe bağlı, varsayılan 64) — Gated Feed Forward ağının post-up projeksiyonunun boyut çarpanı yuvarlama değeri.
  • gate_soft_cap (float, isteğe bağlı, isteğe bağlı, varsayılan 15.0) — Gate soft cap ölçeği.
  • output_logit_soft_cap (float, isteğe bağlı, isteğe bağlı, varsayılan 30.0) — Çıktı logit yumuşak üst sınırı ölçeği.
  • weight_mode (Literal, isteğe bağlı, varsayılan "single") — Paralel doğrusal katmanların ayrı mı yoksa birleştirilmiş (single) mi olduğu.
  • use_cache (bool, isteğe bağlı, varsayılan True) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızca config.is_decoder=True olduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir.
  • pad_token_id (int, isteğe bağlı, varsayılan 1) — Sözlükte dolgu için kullanılan token kimliği.
  • bos_token_id (int, isteğe bağlı, varsayılan 0) — Sözlükte akış başlangıcı için kullanılan token kimliği.
  • eos_token_id (Union[int, list[int]], isteğe bağlı, varsayılan 2) — Sözlükte akış sonu için kullanılan token kimliği.
  • max_inference_chunksize (int, isteğe bağlı, isteğe bağlı, varsayılan 16384) — Bellek tasarrufu için çıkarım parça boyutunu sınırlar.

Bu, bir xLSTMModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Xlstm modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, NX-AI/xLSTM-7b ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import xLSTMConfig, xLSTMModel

>>> # Initializing a xLSTM configuration
>>> configuration = xLSTMConfig()

>>> # Initializing a model (with random weights) from the configuration
>>> model = xLSTMModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

xLSTMModel

sınıf transformers.xLSTMModel

< >

( config: xLSTMConfig )

Parametreler

  • config (xLSTMConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Üzerinde herhangi bir özel head olmadan ham hidden-state çıktısı veren çıplak Xlstm Model.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.LongTensor] = Nonecache_params: transformers.models.xlstm.modeling_xlstm.xLSTMCache | None = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → xLSTMOutput or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.

    Girdi kimlikleri nelerdir?

  • inputs_embeds (torch.LongTensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak, input_ids yerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu, input_ids dizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.
  • cache_params (xLSTMCache, isteğe bağlı) — RNN durumlarını taşıyan xLSTMCache.
  • use_cache (bool, isteğe bağlı) — True olarak ayarlanırsa, past_key_values anahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz. past_key_values).

Dönüş değeri

xLSTMOutput veya tuple(torch.Tensor)

xLSTMOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (xLSTMConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

xLSTMModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • cache_params (~models.xlstm.modeling_xlstm.xLSTMCache, isteğe bağlı) — Modelin son zaman adımındaki durumu. Eski input_ids değerlerini tekrar sağlamak zorunluluğunu ortadan kaldırmak için, bir sonraki input_ids ile birlikte bir forward metodunda kullanılabilir.

  • hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için bir tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

xLSTMLMHeadModel

sınıf transformers.xLSTMForCausalLM

< >

( config: xLSTMConfig )

Parametreler

  • config (xLSTMConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

Nedensel dil modellemesi için Xlstm Modeli.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonecache_params: transformers.models.xlstm.modeling_xlstm.xLSTMCache | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → xLSTMCausalLMOutput or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.LongTensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.

    Girdi kimlikleri nelerdir?

  • inputs_embeds (torch.Tensor, şekli (batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak, input_ids yerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu, input_ids dizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır.
  • cache_params (xLSTMCache, isteğe bağlı) — RNN durumlarını taşıyan xLSTMCache.
  • labels (torch.LongTensor, şekli (batch_size, sequence_length), isteğe bağlı) — Maskeli dil modelleme kaybını hesaplamak için etiketler. Endeksler [0, ..., config.vocab_size] aralığında olmalı ya da -100 olmalı (input_ids docstring'ine bakın). Endeksleri -100 olarak ayarlanan tokenlar yok sayılır (maskelenir), kayıp yalnızca etiketleri [0, ..., config.vocab_size] aralığında olan tokenlar için hesaplanır.
  • use_cache (bool, isteğe bağlı) — True olarak ayarlanırsa, past_key_values anahtar değer durumları döndürülür ve çözümlemeyi hızlandırmak için kullanılabilir (bkz. past_key_values).

Dönüş değeri

xLSTMCausalLMOutput veya tuple(torch.Tensor)

xLSTMCausalLMOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (xLSTMConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

xLSTMForCausalLM forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, şekli (1,), isteğe bağlı, labels sağlandığında döndürülür) — Dil modelleme kaybı (sonraki token tahmini için).

  • logits (torch.Tensor, şekli (batch_size, sequence_length, config.vocab_size)) — Dil modelleme başlığının tahmin puanları (SoftMax öncesi her sözlük jetonu için puanlar).

  • cache_params (xLSTMCache, opsiyonel, RNN durumlarını taşıyan) — Modelin son zaman adımındaki durumu. Eski input_ids değerlerini tekrar sağlamak zorunluluğunu ortadan kaldırmak için, ileri (forward) yönteminde bir sonraki input_ids ile birlikte kullanılabilir.

  • hidden_states (tuple[torch.Tensor], isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için bir tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

Örnek:

Update on GitHub

←XLNet YOSO→