NLP RESEARCH / 001
Türkçeyi daha verimli
işleyebilir miyiz?
Tokenizasyon yöntemlerini karşılaştır. Sonuçları ölç, kaydet ve hipotezini test et.
01 / GİRDİ
Test metni
Yerel önizleme modu
02 / YÖNTEM
Karşılaştırma ayarları
A · Standart kelime parçalama
Basit alt kelime benzeri önizleme
B · Türkçe ek farkındalıklı
Heuristik kök ve ek ayrıştırması
Bu sürüm gerçek Hugging Face modeli kullanmaz. Gerçek model sonuçları için model bağlantısı gerekir.
03 / SONUÇLAR
Tokenizasyon karşılaştırması
Yöntem A · Token sayısı
0
Yöntem B · Token sayısı
0
Token sayısı farkı
0
Token sayısı grafiği
İlk değerlendirme
Daha az token üretmek tek başına daha iyi model veya daha düşük hesaplama maliyeti anlamına gelmez.
Yöntem A · Tokenlar
Yöntem B · Tokenlar
04 / BİLİMSEL PROTOKOL
Hipotez nasıl test edilir?
1. Aynı metin kümesini iki yöntemle işle.
2. Tokenizer sözlük boyutlarını ve eğitim koşullarını kontrol et.
3. Aynı model boyutu ve hesaplama bütçesinde model başarısını ölç.
4. Bellek, süre, enerji ve kalite başına maliyeti karşılaştır.