W poprzednich wpisach opisaliśmy metodologię pomiaru. Teraz pokażemy, jak możesz przeglądać benchmarki i zgłaszać nowe.
Jak to działa
Jedno źródło prawdy
Wszystkie benchmarki są zdefiniowane w data/benchmarks.json. To jest centralny plik, który opisuje każdy zbiór testowy, jego parametry i sposób pomiaru.
Wyniki z leaderboardu
Wyniki modeli pochodzą automatycznie z leaderboardu (złączenie po id). Nie ma ręcznego kopiowania — wszystko jest zintegrowane.
Zgłoszenia przez pull request
Nowe benchmarki zgłaszasz przez pull request. Status „draft" trwa do czasu weryfikacji.
Jak zgłosić benchmark
Przygotuj zbiór danych — upewnij się, że jest czysty i dobrze udokumentowany
Dodaj do data/benchmarks.json — opisz parametry, metryki i sposób pomiaru
Stwórz pull request — opisz, dlaczego ten benchmark jest wartościowy
Czekaj na review — zweryfikujemy metodologię i jakość danych
Czego wymagamy
Publiczny dostęp — każdy musi móc pobrać i używać benchmarku
Jasna dokumentacja — co mierzy, jak i dlaczego
Czystość danych — bez kontaminacji z treningiem
Powtarzalność — deterministyczne wyniki na tych samych danych
Dlaczego to ważne
Otwarta przeglądarka benchmarków pozwala:
Śledzić postęp — widzisz, które zadania są solved
Identyfikować luki — znajdziesz nisze bez dobrych evalów
Współpracować — każdy może poprawić lub dodać benchmark
Weryfikować — transparentność buduje zaufanie
Przykłady benchmarków
W przeglądarce znajdziesz:
LLMzSzŁ — egzaminy zawodowe
PES — medyczny egzamin standardowy
PoQuAD — pytania i odpowiedzi
Belebele — rozumienie tekstu
FLORES — tłumaczenia
Zgłoś swój benchmark
+ zgłoś benchmark
Nawigacja
Poprzedni: Benchmarki: metodologia czystego pomiaru
Więcej: Przeglądarka benchmarków · Leaderboard · GitHub