Fabryka AI · SlayerLab
Slayer1B Benchmarks
Fifty distinct public benchmarks (38 English, 12 Polish) run with one protocol on Slayer 1B and comparison models. For models whose training data we have, a number appears only after a contamination scan; models with unpublished training data are shown with the label TRAINING DATA UNKNOWN. Every main value and every contrast has a 95% confidence interval; tasks scored by picking one answer also have a reference point; values on items without hits are shown without an interval. There is no average over the fifty.
Pięćdziesiąt różnych publicznych benchmarków (38 angielskich, 12 polskich), liczonych jednym protokołem na Slayerze 1B i modelach porównawczych. Dla modeli, których dane treningowe mamy, liczba pojawia się dopiero po skanie kontaminacji; modele z niepublikowanymi danymi treningowymi mają etykietę DANE TRENINGOWE NIEZNANE. Każda wartość główna i każdy kontrast ma 95% przedział ufności; zadania oceniane wyborem jednej odpowiedzi mają też punkt odniesienia; wartości na pozycjach bez trafień są bez przedziału. Nie liczymy średniej z pięćdziesięciu.
ResultsWyniki
Loading…Wczytuję…
How to read a cellJak czytać komórkę
Value and intervalWartość i przedział
The metric in its own unit, with a paired cluster bootstrap 95% interval. Arrows show whether higher or lower is better. Overlapping intervals do not mean the models are equal. A model is called better or worse only from a paired permutation test with Holm correction over the whole comparison family; otherwise the result is inconclusive.
Miara we własnej jednostce, z 95% przedziałem z bootstrapu klastrowego. Strzałka mówi, czy lepiej więcej, czy mniej. Nakładające się przedziały nie oznaczają, że modele są równe. Model nazywamy lepszym albo gorszym tylko na podstawie sparowanego testu permutacyjnego z poprawką Holma na całej rodzinie porównań; w innym razie wynik jest nierozstrzygnięty.
Reference pointsPunkty odniesienia
Random is the expected score of a uniform guess on the same sample. Majority is the score of always answering the most common correct class. A score below these says little about ability.
Losowo to oczekiwany wynik zgadywania na tej samej próbce. Większość to wynik zawsze tej samej, najczęstszej poprawnej klasy. Wynik poniżej tych poziomów niewiele mówi o zdolności.
ContaminationKontaminacja
clean no item found in the training data. flagged some items were found; the score is shown on the full sample and on the items without hits. If fewer than 50 items remain without hits, that variant shows only the count. If fewer than 50 items remain without any hits, the full-sample score is greyed and gives no better/worse; the variant without hits in answer fields shows a number only if at least 50 items remain. training data unknown the model's training data is not public. The score is shown, but it cannot be checked for contamination.
czysty żadnej pozycji nie znaleziono w danych treningowych. trafienia część pozycji znaleziono; wynik podajemy na całej próbce i na pozycjach bez trafień. Gdy bez trafień zostaje mniej niż 50 pozycji, ten wariant pokazuje tylko liczbę pozycji. Gdy bez żadnych trafień zostaje mniej niż 50 pozycji, wynik z całej próbki jest wyszarzony i nie daje werdyktu lepszy/gorszy; wariant bez trafień w polach odpowiedzi ma liczbę tylko przy co najmniej 50 pozycjach. dane treningowe nieznane dane treningowe modelu nie są publiczne. Wynik jest pokazany, ale nie da się go sprawdzić pod kątem kontaminacji.
Constant answerStała odpowiedź
constant answer the model gave the same class to every item. The value is real but carries no information about ability, so it is not compared between models or versions.
stała odpowiedź model dał tę samą klasę każdej pozycji. Wartość jest prawdziwa, ale nie niesie informacji o zdolności, więc nie porównujemy jej między modelami ani wersjami.
Method and dataMetoda i dane
The full protocol is in METHOD.md (English). The benchmark list with sources, revisions and licences is tasks_50.json; the result format is results.schema.json; the role of every scanned field (context, answer-bearing, metadata), fixed before the variants without hits were computed, is in contamination_field_roles.json. Every file below is checked against its pinned SHA-256 before anything is shown.
Pełny protokół jest w METHOD.md (po angielsku). Lista benchmarków ze źródłami, rewizjami i licencjami to tasks_50.json; format wyników to results.schema.json; rola każdego skanowanego pola (kontekst, pole z odpowiedzią, metadane), ustalona przed policzeniem wariantów bez trafień, jest w contamination_field_roles.json. Każdy plik poniżej jest sprawdzany względem przypiętego SHA-256, zanim cokolwiek się pokaże.