Engleski leaderboardi ne mere padeže. Model može biti odličan na MMLU i i dalje ne znati u koji padež ide imenica posle predloga „uprkos".
Ukupan rezultat po modelu. Isprekidana linija je 33.3% — koliko donosi nasumično pogađanje na pitanjima sa tri ponuđena odgovora. Rezultat blizu nje znači da model ne razume zadatak, a ne da je „malo slabiji".
Prosek svih 8 modela po kategoriji.
Nijedan model ne prelazi 55.0%. qwen2.5:3b (30.0%), llama3.2:latest (25.0%), llama3.2:1b (30.0%) su ispod nasumičnog pogađanja — bolje bi prošli da su bacali novčić.
Sedmopadežni sistem sa rekcijom predloga je ono što ovi modeli nisu naučili.
Izdvajanje imena, gradova i iznosa je uglavnom prepisivanje iz teksta. Morfologija se ne dira, pa i najslabiji modeli prolaze — visok skor ovde ne znači znanje jezika.
gemma2:2b sa 2B parametara je ispred 3 većih modela (qwen2.5:3b, llama3.2:latest, phi3:mini). Zastupljenost srpskog u podacima za treniranje znači više od broja parametara.
llama3.2:1b na kategoriji
„razumevanje" često uopšte ne odgovori slovom
nego napiše nepovezan tekst. phi3:mini sklizne u ćirilicu i
piše rečenice koje nisu srpski: „Визимото је пропуштано".
| Model | Ukupno | Gramatika | Padeži | Pravopis | Razumev. | NER | Prevod |
|---|---|---|---|---|---|---|---|
| gemma3 4B | 79.5 | 70.0 | 55.0 | 86.7 | 86.7 | 100.0 | 95.0 |
| mistral 7B | 71.5 | 65.0 | 50.0 | 66.7 | 73.3 | 95.3 | 96.7 |
| gemma2 2B | 60.9 | 50.0 | 45.0 | 53.3 | 60.0 | 96.7 | 73.3 |
| qwen2.5 3B | 56.6 | 65.0 | 30.0 | 53.3 | 46.7 | 96.4 | 53.3 |
| llama3.2 3B | 54.6 | 55.0 | 25.0 | 53.3 | 53.3 | 77.3 | 82.5 |
| qwen2.5 1.5B | 47.9 | 50.0 | 40.0 | 26.7 | 40.0 | 76.9 | 60.0 |
| phi3 mini 3.8B | 45.2 | 35.0 | 40.0 | 46.7 | 53.3 | 56.7 | 44.2 |
| llama3.2 1B | 38.3 | 35.0 | 30.0 | 33.3 | 20.0 | 78.4 | 35.8 |
Pitanja sa izborom se ocenjuju tačno/netačno. NER se ocenjuje F1 merom, ne odzivom: model koji prepiše celu rečenicu ima savršen odziv, ali ga preciznost obara na 0.62 umesto 1.0. Bez toga se benchmark trivijalno vara. Prevod se meri pokrivenošću ključnih pojmova, sa priznatim sinonimima.
Poređenje zanemaruje dijakritike i transliterira ćirilicu — „Niš", „Nis" i „Ниш" prolaze isto. Srpski je dvoazbučan, pa bi kažnjavanje ćiriličnog odgovora merilo pismo umesto znanja jezika.
Testovi ocenjivanja postoje jer su ove greške već pokvarile merenje. Obe su nađene proverom sumnjivo niskog rezultata, pa su svi modeli mereni ponovo.
IGNORECASE, pa je
[A-E] hvatalo malo „a" unutar običnih reči — odgovor
„Dvojkodak je odgovor: B) Dva" čitan je kao A. Model je bio u
pravu, grader nije.
ollama serve
python bench/run.py --model ollama:mistral:latest
python bench/test_scoring.py
./update.sh # izmeri sve, regeneriši stranicu, objavi
Modeli se pokreću lokalno preko ollame, bez API troška. Rezultati se upisuju
u results/<model>.json sa odgovorom i ocenom za svaki
zadatak, pa se svaka greška može pregledati pojedinačno.
Ova stranica je generisana iz tih JSON fajlova
(bench/build_page.py) — brojevi se ne kucaju ručno, pa ne mogu
da se raziđu sa merenjima.
Zadatke je pisao jedan izvorni govornik; standardni srpski, ekavica. Skup je mali (95 zadataka), pa razlike ispod nekoliko procentnih poena nisu značajne. Testirani su samo modeli koji staju na laptop — veliki komercijalni modeli bi verovatno probili plafon svuda osim na kategoriji „padeži".