W poprzednich wpisach pisaliśmy o protokole i benchmarkach. Teraz pokażemy, że poważne eksperymenty nie wymagają zawsze farmy GPU. Czasem wystarczy jeden CPU, dobre dane i uczciwy pomiar.
micro-models to repozytorium małych, wyspecjalizowanych modeli Slayer AI Lab. Każdy projekt jest samodzielny: kod, wagi, dane i notatki badawcze leżą razem. Licencja MIT. Brak korpo-tajemnicy.
Zasady, które stosujemy
Zanim przejdziemy do muzyki, cztery zasady, które obowiązują w każdym projekcie:
Twardy pomiar. Każde twierdzenie musi mieć liczbę lub źródło pierwotne. Żadnej tezy bez dowodu.
Uczciwy zakres. Mówimy, czego nie pokazaliśmy. Wyniki negatywne też są wynikami.
Reprodukowalność. Kod, wagi i rozumowanie leżą razem. Surowe dane są poza repo, ale odtwarzają się ze skryptów.
Dobry smak ponad benchmaxxing. Prosty baseline trzeba pobić uczciwie, nie oszukać.
To są zasady zespołu, który buduje, a nie zespołu, który prezentuje.
music-experts — co robimy
Pierwszy projekt to music-experts/. Trenujemy maleńkie char-LM na notacji ABC. To format tekstowy: litery, cyfry i znaki opisują melodię, metrum, tonację i rytm.
Mamy czterech ekspertów:
jig — val perplexity 3,80
sopran — chorały Bacha
waltz — mapuje na fortepian
reel — mapuje na skrzypce
Każdy model ma około 0,8 mln parametrów i trenuje się na CPU w minuty.
Co nas zaskoczyło
Mały char-LM, uczony na surowych znakach, nauczył się realnej struktury muzycznej. Nie wpisaliśmy do kodu żadnej teorii muzyki — nie ma tam regułek o metrum, kadencjach czy tonacjach. Model wyciągnął to sam z predykcji następnego znaku.
Widzimy to po generacjach: melodia trzyma metrum, respektuje sygnaturę tonacji, kończy kadencję. I co ważne — czystsze dane mierzalnie obniżają perplexity. Dobry danych > większy model.
Co uczciwie nie działa jeszcze
Mamy też mechanizm stitchu — łączenie reprezentacji dwóch ekspertów. Jest bezstratny: liniowy mapper na styku odtwarza baseline. Ensemble dwóch ekspertów bije każdy pojedynczy model na zadaniu mieszanym.
Ale stitch reprezentacji jeszcze nie bije tego ensemble. Prosty baseline jest mocny. Fancy metoda musi dopiero zasłużyć.
To jest dla nas radość budowania zespołu: mówimy o tym, co nie działa, tak samo głośno jak o tym, co działa.
Układ repozytorium
Każdy projekt w micro-models wygląda tak:
<projekt>/
├── src/ # pipeline: dane → trening → generacja → kompozycja
├── data/models/ # wytrenowane checkpointy
├── docs/ # notatki badawcze: teza ↔ antyteza → synteza
└── README.md
Notatki badawcze są w formacie dialektycznym, który opiszemy przy okazji slay-paper. Teza, antyteza, synteza — z weryfikacją źródeł.
Jak to uruchomić
Wystarczy CPU:
bash
cd music-experts
pip install -r requirements.txt
# wygeneruj melodię od eksperta i wyrenderuj do MIDI
python src/generate/gen_samples.py \
--ckpt data/models/waltz_ckpt.pt \
--meter 3/4 \
--keys D,G,Emin \
--inst piano \
--out out
Możesz to zrobić na laptopie. Nie potrzebujesz klastra.
Po co to robimy
Małe modele są szybkie, tanie i lokalne. Da się je wdrażać tam, gdzie duży model jest zbyt wolny, zbyt drogi lub po prostu niepotrzebny. A jeśli mały model rozwiązuje zadanie — po co płacić za duży?
Ale najważniejsze jest coś innego: micro-models uczy nas mierzyć. Kiedy masz 0,8 mln parametrów, nie ma miejsca na przypadek. Każda zmiana danych, każdy bajt, każda architektura musi się obronić liczbą.
Co dalej?
W kolejnym wpisie weźmiemy slay-paper — nasz workflow do pisania badań. Pokażemy, jak formatujemy myślenie, zanim sformatujemy PDF.