PyTorch yok. TensorFlow yok. Sadece cuBLAS, elle yazılmış CUDA kernel'ları ve modern C++20. 5070 Ti üstünde 400M parametreye kadar tam GPT eğitimi.
XasmAI iki katmanlıdır: okumak ve öğrenmek için tasarlanmış, tamamen header-only bir C++20 CPU çekirdeği — ve 5070 Ti'yi sınıra çekmek için optimize edilmiş, native CUDA tabanlı bir GPT eğitim motoru.
Tek #include ile çalışan, bağımlılıksız C++20 kütüphanesi.
Eğitim teorisini görerek öğrenmek için ideal.
Modern GPT mimarisi, üretim kalitesinde optimizasyonlar — hepsi elle yazılmış kernel'lar ve cuBLAS üstünde.
Her blok, kara kutu değil. Her satır, okunabilir. Aşağıdaki forward path tek bir CUDA dosyasında bulunur.
Embedding tablosu, RoPE ile pozisyonel rotasyon. Weight tying'le çıkışla paylaşılır.
LayerNorm yerine RMSNorm — daha hızlı, modern LLM standardı.
Multi-head causal self-attention. Q/K/V projection cuBLAS, mask elle yazılmış kernel.
SiLU(xW₁) ⊙ (xW₂) · W₃ — Llama benzeri gated MLP, ReLU yerine.
Pre-norm residual yapısı — derin ağ için stabil gradyan akışı.
Temperature, top-k ve top-p ile çeşitlilik kontrolü; tied output projection.
Wizard'da bir sayı seç, model boyutu otomatik kurulsun. Veya kendin gir.
| Preset | dim | heads | layers | Parametre | Hedef VRAM | |
|---|---|---|---|---|---|---|
| Tiny | 128 | 4 | 4 | ~1M | <1 GB | Hızlı deney |
| Small | 256 | 8 | 6 | ~10M | ~2 GB | Karakter düzeyi |
| Medium | 512 | 8 | 8 | ~50M | ~6 GB | Domain SLM |
| Large | 768 | 12 | 12 | ~150M | ~12 GB | Üretim kalitesi |
| XL | 1024 | 16 | 16 | ~400M | ~15 GB | 5070 Ti sınırı |
| Özel | Tüm hiperparametreleri elle gir — dim, heads, layers, ff, seq, lr, steps… | |||||
Windows + RTX 50xx için derlenmiş gpt_cuda.exe hazırdır.
Wizard her şeyi sorar — corpus, model, learning rate, adım sayısı.
$ gpt_cuda.exe [XasmAI v1.0 — CUDA 12.x — sm_120] ? Mod seç: ▶ 1) Yeni eğit 2) Devam et (--resume) 3) Sadece metin üret ? Corpus dosyası: ▶ corpus.txt (1.2 KB) data.txt (1.5 KB) ? Model boyutu: ▶ Medium — dim 512, layers 8 (~50M) ? Adım sayısı: 100000 ? Learning rate: 3e-4 ✓ Eğitim başlıyor... step 100 | loss 5.812 | lr 3.0e-05 | tok/s 24,118 step 500 | loss 4.214 | lr 1.5e-04 | tok/s 24,602 step 1000 | loss 3.018 | lr 3.0e-04 | tok/s 24,711 █
$ ./gpt_cuda.exe corpus.txt \ --dim 512 --heads 8 --layers 8 \ --ff 2048 --seq 256 \ --lr 3e-4 --steps 100000 --warmup 1000 \ --clip 1.0 --top-k 40 --top-p 0.95 \ --ckpt my_model # devam etmek için: $ ./gpt_cuda.exe --resume my_model_latest.bin # inference modu komutları: /temp 0.5 sampling sıcaklığı /len 300 üretim uzunluğu /q çıkış ✓ checkpoint yazıldı: my_model_latest.bin
make gpt_cuda CUDA_ARCH=sm_120
RTX 50xx · Blackwell
make gpt_cuda CUDA_ARCH=sm_89
RTX 40xx · Ada
make gpt_cuda CUDA_ARCH=sm_86
RTX 30xx · Ampere
make gpt_cuda CUDA_ARCH=sm_75
RTX 20xx · Turing
Gereksinimler: CUDA Toolkit 12+, C++20 derleyici, cuBLAS.
CPU-only örnekler için: make xor regression agent gan gpt
Trilyon token pre-train için değil. Asıl güçlü olduğu üç senaryo şunlar.
ERP, kod, log analizi, yapısal görevler için 10M – 200M parametrelik özel model. Kendi corpus'unla eğit, kendi makinene koy.
CUDA kernel + transformer matematiğini soyutlamasız, okunabilir kodda görmek isteyen herkes için. Black-box yok.
Açık ağırlık loader yol haritasında — Qwen / Llama / Mistral ağırlıklarına LoRA fine-tuning yakında.
v1.0 sağlam bir taban. Aşağıdaki adımlar performansı 2-5x artıracak ve XasmAI'yi açık-ağırlık ekosistemine bağlayacak.
Tensor core hızlanması — eğitim 2-3x hızlanır, VRAM yarıya iner.
Uzun metin üretiminde her token sabit zamanda — generation 5-10x daha hızlı.
Tek GPU'da büyük effective batch size — daha stabil eğitim sinyali.
Uzun context (4K+ seq) için memory-efficient attention.
Char-level yerine — daha kısa context, daha iyi semantik.
Düşük-rank adapter'larla az VRAM'da büyük model fine-tune.
Qwen, Llama ve Mistral checkpoint'lerini doğrudan yükle.
.exe. Sıfır kurulum.Windows için derlenmiş binary'i indir, corpus'unu hazırla, çift tıkla. Ya da kaynaktan derle — tüm CUDA mimarileri destekleniyor.
Transformer matematiğini ve CUDA kernel'larını soyutlamadan görmek için.
Aynı zamanda bağımlılık zinciri sıfır — tek .exe, taşınabilir,
embedded sistemlere uygun.
CUDA destekli herhangi bir NVIDIA GPU — sm_75 ve üstü.
Tiny preset 4 GB VRAM'lı bir kartta bile çalışır; XL preset için 16 GB önerilir.
Hayır — ve bu zaten amacı değil. XasmAI kendi domain'inde küçük, hızlı, lokal çalışan bir model eğitmek için tasarlandı. ERP log analizi, kod tamamlama, yapısal metin üretimi gibi dar görevlerde mükemmeldir.
Corpus boyutuna ve preset'e bağlı. Tiny + 1MB metin → birkaç dakika.
Medium + 100MB metin → birkaç saat. Eğitim sırasında SIGINT (Ctrl+C)
ile güvenle durdurabilir, sonra --resume ile devam edebilirsin.
Evet. make gpt_cuda CUDA_ARCH=sm_XX ile derle —
Makefile cross-platform.