# Erk v2 — eğitim reçetesi (29 Eylül 2026)

Bu belge, Erk-14B v2 ve Erk-32B v2'nin v1 ağırlıklarından nasıl üretildiğini, aynı sonucu üretmek
isteyen birinin ihtiyaç duyacağı ayrıntıyla verir. Betiklerin tamamı bu depodaki `egitim/` klasöründe;
sentetik veri üreteçleri [turkmorfbench](https://github.com/ecloudtechnology/turkmorfbench) deposundadır.
Tek eğitim tohumu; güven aralıkları soru/madde örneklemesini kapsar, tohumu kapsamaz.

## 1. Taban

| | Erk-14B v2 | Erk-32B v2 |
|---|---|---|
| Başlangıç ağırlıkları | Erk-14B v1 (`revision="v1"`) | Erk-32B v1 (`revision="v1"`, LoRA 0,75 birleşiği) |
| Mimari / tokenizer | Qwen3-14B, değişmedi | Qwen3-32B, değişmedi |
| Donanım | 4 × A100 80 GB (UHeM), naif boru hattı paralelliği | aynı |

## 2. Veri

**2.1 Doğal metin.** `HuggingFaceFW/fineweb-2`, alt küme `tur_Latn`, akış sırasıyla 8 Temmuz 2026'da
indirilip nanosohbet `corpus/build_shards_tr.py` ile ~100 MB'lik parquet parçalarına bölündü (260 parça).
v2 için **parça 100–259** kullanıldı (v1'in devam eğitiminde görülmemiş parçalar); kullanılan 160 dosyanın
SHA-256 listesi `egitim/fineweb2_parca_sha256.txt`. Seçim `egitim/dogal_secim.py` (tohum 20260926):
paragraf 200–3.000 karakter, ≥25 kelime, Türkçe harf içerir, sözlük maddesi görünümlü satırlar atılır;
%70 rastgele paragraf + %30 kesme işaretli çekim yoğun paragraf (≥2/100 kelime); toplam 600 MB,
1.383.785 paragraf. Kıyas maddesi, şablonu, gövde listesi ve TDK sözlüğü kullanılmadı.

**2.2 Kural cümleleri (sentetik).** TurkMorfBench kural motorundan, kıyasın hiçbir kovasında geçmeyen
gövdelerle; kontaminasyon denetimi her dosyada sıfır.
`kural_verisi_uret.py` (tohum 20260925): kısaltma 20.000 · sayı 20.000 · çatı 20.000;
`birlesik_verisi_uret.py` (20260927): iyelikli birleşik ad + hâl (zamir n'si) 20.000;
`ozel_ad_verisi_uret.py` (20260928): özel ad + kesme işaretli ek 20.000. Çerçeve cümleler hâle/çatıya bağlıdır.

**2.3 Talimat verisi.** eCloud SFT külliyatı `sft_clean_v2` (373.387 örnek, sohbet biçimi), sohbet
şablonuyla (varsayılan kimlik sistem istemi dâhil) tek metin olarak işlendi.

**2.4 Kimlik verisi.** `egitim/kimlik14.jsonl` (6.000 soru-cevap × 3 kopya): "Sen kimsin / temel modelin
ne / ChatGPT misin" türü sorular; Qwen3 tabanı her cevapta açıkça söylenir.

## 3. Eğitim aşamaları — Erk-14B v2

Ortak: `egitim/dogal_egitim.py`; dizi 1.024 jeton; yığın 4 × birikim 4 = 16.384 jeton/adım; AdamW,
ağırlık sönümü 0,01, OneCycle (ısınma %5), gradyan kırpma 1,0; ileri/geri bf16, **fp32 ana ağırlık**
(optimizer fp32 kopyada, her adımda bf16'ya kopyalanır). SFT karışımı "her N paragrafta bir sohbet örneği".

| Aşama | Başlangıç | Veri | Adım | lr | Jeton |
|---|---|---|---|---|---|
| 1 doğal | v1 | doğal metin, SFT/12 | 6.000 (9.000'lik koşunun 6.000. ara kaydı) | 1e-5 | 98 M |
| 2 kural | aşama 1 | doğal + %10 kural (kısaltma/sayı/çatı), SFT/6 | 3.000 | 5e-6 | 49 M |
| 3 birleşik | aşama 2 | doğal + %10 (kural + birleşik), SFT/6 | 2.000 | 5e-6 | 33 M |
| 4 pekiştirme | aşama 3 | doğal + %5 sentetik, SFT/2 | 800 | 3e-6 | 13 M |
| 5 özel ad | aşama 4 | doğal + %10 (kural + birleşik + özel ad), SFT/2 | 600 | 3e-6 | 10 M |
| 6 karışım | aşama 5, v1 | `egitim/birlestir_lineer.py`: her tensör için W = 0,85·W₅ + 0,15·W_v1 (fp32'de hesaplanır, bf16'ya yazılır) | — | — | — |
| 7 kimlik | aşama 6 | doğal + kimlik verisi (her 2 paragrafta 1), SFT yok | 200 | 5e-6 | 3 M |

Aşama 6'da oran, kıyas dışı 1.870 maddelik geliştirme kesiti ve TurkishMMLU ile seçildi
(aday oranlar 0,90 / 0,85; ölçüt: TurkishMMLU ≥ v1 − 1,0 ve geliştirme kesitinde anlamlı kazanç);
çekirdek yalnız seçilen model için bir kez ölçüldü.

## 4. Eğitim aşamaları — Erk-32B v2

`egitim/dogal_egitim32.py`: aynı veri hattı; tek aşama, doğal + %10 sentetik (kural + birleşik + özel ad)
+ SFT/6; 4.500 adım × 16.384 jeton = 74 M jeton; lr 8e-6 OneCycle; Adafactor (faktörlü ikinci moment,
momentum yok, ağırlık sönümü 0,01) ve **bf16 parametre + kararlı (stokastik) yuvarlama** (fp32 ana ağırlık
dört karta sığmadığı için); yığın 2 × birikim 8. Ardından karışım W = 0,5·W_eğitim + 0,5·W_v1 (oran
0,7/0,6/0,5 arasından aynı ölçütle seçildi).

## 5. Ölçüm

TurkMorfBench 3.6 çekirdeği, 3.7.0 puanlama kodu (`turkmorfbench==3.8.0`), `harf` kuralı, bf16, hücre
kümeli önyükleme; TurkishMMLU temiz 652, şık sırası dondurulmuş (`taban_kiyas.py`); kimlik 30 soru
(`egitim/kimlik_sinavi_v2.py`). Sonuç dosyaları model kartında.

## 6. Aşama tablosu, ablasyon ve tohum (1 Ekim 2026)

Her satır aynı protokolle ölçüldü: TurkMorfBench 3.6 çekirdeği (1.836 madde, `harf`, hücre kümeli %95 GA)
ve TurkishMMLU temiz 652 (şık döndürmeli). Her model çekirdekte bir kez ölçüldü.

**6.1 Erk-14B v2 aşamaları (sıralı, her satır öncekinin üzerine)**

| Aşama | TurkMorfBench | v1'e göre | TurkishMMLU |
|---|---|---|---|
| v1 | 75,4 | — | 67,2 |
| 1 doğal CPT (FineWeb-2, 6.000 adım) | 78,1 | +2,6 [+0,6, +3,5] | 66,3 |
| 2 + kural cümleleri (kısaltma/sayı/çatı) | 79,3 | +3,8 [+1,0, +5,2] | 66,3 |
| 3 + birleşik isim | 79,9 | +4,5 [+1,1, +5,8] | 65,6 |
| 4 + SFT ağırlıklı pekiştirme | 79,8 | +4,4 [+1,1, +5,8] | 66,3 |
| 5 + özel ad | 80,1 | +4,7 [+1,0, +6,3] | 65,6 |
| 6 karışım 0,85·aşama 5 + 0,15·v1 | 79,4 | +3,9 [+1,0, +5,2] | 66,7 |
| 7 + kimlik pekiştirme (**v2**) | **80,0** | **+4,5 [+1,3, +5,9]** | **66,9** |

Okuma: kazancın yaklaşık 2,6 puanı doğal metinden, 2 puanı kural cümlelerinden gelir; karışım TurkishMMLU'yu
geri toplarken morfolojiden ~0,7 puan alır. Aynı doğal CPT koşusunun 9.000. adımı 78,3 / 65,5 verir (daha
çok doğal metin morfolojiyi artırmıyor, genel yeteneği aşındırıyor); aşama 1 bu yüzden 6.000. adımda kesildi.

**6.2 Ablasyon — v1'den tek bileşenle (3.000 adım, lr 5e-6, aynı bütçe)**

| Kol | TurkMorfBench | v1'e göre | TurkishMMLU |
|---|---|---|---|
| yalnız doğal metin (aşama 1 ile aynı veri, 6.000 adım) | 78,1 | +2,6 [+0,6, +3,5] | 66,3 |
| yalnız kural cümleleri + SFT/6 (doğal metin yok) | 77,6 | +2,1 [−0,8, +3,3] | **59,5** |
| yalnız SFT (talimat verisi) | 77,7 | +2,2 [+0,3, +3,1] | 67,0 |
| doğal + kural + SFT (aşama 2) | 79,3 | +3,8 [+1,0, +5,2] | 66,3 |

Üç bulgu: (i) tek başına şablonlu kural cümleleri genel yeteneği 7,7 puan düşürür; doğal metin karışımı
zorunludur. (ii) Yalnız Türkçe talimat verisi bile morfolojide +2,2 verir ve istisna kovalarını (çatı +16,
ünlü düşmesi +10, uyum kırıcı +13, ikizleşme +17) iyileştirir: kazancın bir bölümü türüne bakmaksızın
Türkçe maruziyetten gelir. (iii) Bileşenler toplanır; en yüksek değer üçünün birlikte kullanıldığı aşamadır.

**6.3 Tohum belirsizliği (aşama 2 reçetesi, iki ek tohum: veri sırası ve torch)**

| Tohum | TurkMorfBench | TurkishMMLU |
|---|---|---|
| 20260926 (yayımlanan) | 79,3 | 66,3 |
| 1 | 79,7 | 65,5 |
| 2 | 79,3 | 66,4 |

Üç tohumda çekirdek 79,3 / 79,7 / 79,3 (aralık 0,4 puan), TurkishMMLU 66,3 / 65,5 / 66,4 (aralık 0,9); aşama
etkisi (+3,8 ile +4,2) tohum belirsizliğinin çok üstündedir.

**6.4 Bağımsız test — TurBLiMP** (16 fenomen × 1.000 minimal çift; başka ekip, başka üretici; v2
geliştirilirken kullanılmadı). Cümle log-olasılık toplamı kuralı.

| Model | v1 | v2 | fark (eşli önyükleme) |
|---|---|---|---|
| Erk-14B | 95,2 | 93,7 | −1,5 [−1,8, −1,2] |
| Erk-32B | 95,2 | 95,4 | +0,3 [+0,1, +0,5] |

Erk-14B v2'de biçim bilgisi fenomenleri (düzensiz biçimler, askıda ek, adlaştırma, edilgen) değişmez
(%97–100); düşüş sözdizimindedir: ada etkileri −7,3, belirleyiciler −4,9, eksilti −2,7. v2'nin kazancı
hedeflenen çekim morfolojisine özgüdür ve sözdizimsel minimal çiftlere taşınmaz; bu bedel kartta yazılıdır.

## 7. Bilinen sınırlar

Yayımlanan model tek eğitim tohumuyla üretildi (aşama 2 için üç tohum §6.3'te); aşama sırası sıralı deneylerle belirlendi ve her
aşamanın gerekçesi geliştirme kesitindeki ölçümdür; çekirdek yalnız seçilen modeller için ölçüldü.