Ewaluacja modeli AI (ang. AI evals, evaluations) to systematyczne testowanie jakości, skuteczności i zachowania modeli językowych oraz agentów AI. Polega na tym, że model dostaje z góry przygotowany zestaw zadań, a jego odpowiedzi są oceniane według jasnych kryteriów: przez kod, przez człowieka albo przez inny model. Wynik to liczba lub zestaw liczb, które można porównać między modelami, wersjami promptu czy kolejnymi miesiącami pracy.
Każda premiera nowego modelu przychodzi dziś z tabelką wyników w benchmarkach, a firmy prześcigają się w procentach. Dla inwestora, który używa AI do streszczania raportów, liczenia wskaźników czy prowadzenia dziennika transakcji, ważniejsze jest jednak coś innego: czy ten konkretny model dobrze robi to konkretne zadanie na Twoich danych. Z mojej perspektywy ewaluacja to dla AI to samo, co backtest dla strategii. Bez niej opierasz się na wrażeniu, a wrażenie po kilku udanych odpowiedziach bywa bardzo mylące.
Co to jest ewaluacja modeli AI w prostych słowach
Wyobraź sobie egzamin. Przygotowujesz pytania, do każdego masz wzorcową odpowiedź albo kryteria oceny, dajesz egzamin modelowi i liczysz punkty. Potem powtarzasz ten sam egzamin dla innego modelu, nowej wersji albo zmienionego promptu i porównujesz wyniki. Pojedyncze pytanie to zadanie, jedno podejście modelu to próba, a logika przyznająca punkty to oceniacz (grader).
Benchmarki publiczne
Benchmark AI to publiczny, standardowy zestaw zadań, na którym firmy i badacze porównują modele. Najczęściej spotkasz te:
- MMLU. Opublikowany we wrześniu 2020 roku zestaw pytań wielokrotnego wyboru z 57 dziedzin, od matematyki po prawo. Przez lata był podstawową miarą wiedzy ogólnej, ale czołowe modele wyciskają z niego już tyle, że przestał je różnicować.
- GPQA. Z listopada 2023 roku: 448 bardzo trudnych pytań z biologii, fizyki i chemii, tak zwanych „odpornych na Google”. Eksperci z doktoratem w danej dziedzinie odpowiadali poprawnie na około 65% pytań, a zdolni nie-eksperci z dostępem do internetu na 34%.
- SWE-bench. Z 2023 roku: prawdziwe zgłoszenia błędów z repozytoriów w Pythonie na GitHubie, które model ma naprawić tak, żeby przeszły testy. W sierpniu 2024 roku OpenAI wydało oczyszczoną wersję SWE-bench Verified z 500 zadaniami.
- Humanity’s Last Exam. Udostępniony w styczniu 2025 roku zestaw 2500 pytań na poziomie eksperckim z kilkudziesięciu dziedzin, przygotowany przy wsparciu Center for AI Safety i Scale AI. W styczniu 2026 roku praca o nim ukazała się w „Nature”.
- ARC-AGI. Seria testów François Cholleta, sprawdzających zdolność do odkrywania nowych reguł, a nie znajomość faktów. Pierwsza wersja powstała w 2019 roku, druga w marcu 2025 roku, a 25 marca 2026 roku ARC Prize Foundation wypuściła ARC-AGI-3 z interaktywnymi środowiskami bez instrukcji. Na starcie ludzie rozwiązywali wszystkie środowiska, a czołowe modele osiągały poniżej 1%.
Benchmarki są przydatne jako zgrubna mapa możliwości modeli. Mają jednak dwie wady. Po pierwsze, szybko się nasycają: gdy wszystkie czołowe modele mają ponad 90%, różnica kilku punktów niewiele mówi. Po drugie, mierzą zadania ogólne, a nie Twoje.
Kontaminacja benchmarków
Kontaminacja oznacza, że pytania z testu (albo odpowiedzi do nich) trafiły do danych treningowych modelu. Model nie musi wtedy rozwiązywać zadania, wystarczy, że je pamięta. Wynik rośnie, a realne umiejętności nie.
Najgłośniejszy przykład dotyczy SWE-bench Verified. 23 lutego 2026 roku OpenAI ogłosiło, że przestaje raportować wyniki na tym benchmarku i zachęca do tego inne firmy. Według OpenAI wszystkie testowane czołowe modele potrafiły odtworzyć oryginalną poprawkę albo dokładne sformułowania zadań, a w audycie trudnych zadań aż 59,4% miało istotne błędy w testach lub opisach. OpenAI zarekomendowało w zamian SWE-bench Pro, który wykazuje mniejszą kontaminację.
Traderowi ten mechanizm powinien być znajomy. To jest overfitting: strategia dopasowana do historii, którą „widziała”, świetnie wygląda w backteście i rozczarowuje na nowych danych. Model, który zna pytania z testu, robi dokładnie to samo.
Rodzaje ewaluacji
- Dokładność. Czy odpowiedź jest poprawna: dobra liczba, dobra data, dobry wniosek. Najłatwiej mierzyć tam, gdzie istnieje jedna prawidłowa odpowiedź.
- Halucynacje. Czy model wymyśla fakty, których nie ma w źródle. Tu ważne są też pytania, na które poprawna odpowiedź brzmi „w dokumencie tego nie ma”.
- Odporność na manipulację. Czy model trzyma się instrukcji, gdy w przetwarzanej treści ktoś ukryje własne polecenia (prompt injection). To szczególnie ważne przy agentach z dostępem do kont.
- Koszt i opóźnienie. Ile kosztuje jedno zadanie i ile trwa. Model o 2 punkty lepszy, ale pięć razy droższy i wolniejszy, nie zawsze jest lepszym wyborem.
- LLM-as-a-judge. Ocena odpowiedzi przez inny model językowy według opisanych kryteriów. Badanie z 2023 roku pokazało, że silny model-sędzia zgadza się z oceną ludzi w ponad 80% przypadków, ale ma swoje skrzywienia: faworyzuje dłuższe odpowiedzi, odpowiedź pokazaną na określonej pozycji oraz własne odpowiedzi. Takiego sędziego trzeba okresowo sprawdzać ręcznie.
Ewaluacje agentów
Agent nie odpowiada jednym tekstem, tylko wykonuje wiele kroków: wywołuje narzędzia, czyta wyniki, zmienia plan. Anthropic opisał to w tekście „Demystifying evals for AI agents” ze stycznia 2026 roku. Najważniejsze wnioski:
- Oceniaj wynik, a nie deklarację. Liczy się końcowy stan, na przykład czy plik z raportem naprawdę powstał i ma poprawne liczby, a nie to, że agent napisał „gotowe”.
- Czytaj zapisy przebiegu. Pełny zapis kroków agenta pokazuje, czy porażka była uczciwa, czy winny jest źle napisany test.
- pass@k i pass^k. Pierwsza miara to szansa, że agent trafi przynajmniej raz na k prób, druga to szansa, że trafi za każdym razem. Agent z 75% skuteczności na próbę przejdzie trzy próby z rzędu tylko w około 42% przypadków. Przy zadaniach, które mają działać codziennie, liczy się ta druga liczba.
- Zacznij od małego zestawu. Według Anthropic 20–50 prostych zadań wziętych z prawdziwych błędów to dobry start.
- Sprawdzaj oceniacza. Anthropic podaje przykład, w którym wynik modelu w jednym teście wzrósł z 42% do około 95% po naprawieniu błędów w ocenianiu. Zły test potrafi zaniżyć wynik równie mocno, jak kontaminacja go zawyża.
Co to oznacza dla Ciebie jako tradera
Jeśli używasz AI do pracy z rynkiem, możesz zbudować własną, małą ewaluację w arkuszu:
- Zestaw pytań z wzorcowymi odpowiedziami. Weź 20–30 raportów kwartalnych, które znasz. Do każdego zapisz poprawne liczby: przychody, zysk netto, marżę, zmianę rok do roku, prognozę zarządu. Potem każ modelowi streścić raport i porównaj liczby z wzorcem.
- Wskaźniki liczone przez AI. Przygotuj dane, dla których sam policzyłeś RSI, średnią kroczącą czy wskaźnik C/Z, i sprawdź, ile razy model dochodzi do tego samego wyniku. Modele językowe mylą się w arytmetyce częściej, niż sugeruje ich pewny ton.
- Pytania-pułapki. Dodaj pytania o dane, których w raporcie nie ma. Dobry model powinien to przyznać, a nie podać zmyśloną liczbę.
- Powtarzalność. Uruchom każde zadanie 3–5 razy. Jeśli model raz podaje marżę 12%, a raz 21%, nie nadaje się do tego zadania bez dodatkowej kontroli.
- Porównanie modeli. Ten sam zestaw przepuść przez dwa lub trzy modele i zapisz trafność, koszt i czas. Wybierasz na podstawie liczb, a nie tabelki z premiery.
- Zestaw testowy na później. Część zadań odłóż i nie używaj ich przy dopracowywaniu promptu. To odpowiednik danych out-of-sample w backteście: jeśli prompt dobrze działa tylko na pytaniach, na których go szlifowałeś, właśnie go przeuczyłeś.
Przy każdej zmianie modelu albo promptu puść zestaw jeszcze raz. Dostawcy aktualizują modele, a to, co działało w zeszłym kwartale, nie musi działać dziś.
Ryzyka i ograniczenia ewaluacji
- Kontaminacja. Wysoki wynik w publicznym benchmarku może oznaczać, że model zna pytania, a nie że umie je rozwiązać.
- Za mały zestaw. Pięć pytań to anegdota, nie ewaluacja. Różnica 1–2 trafień przy małej próbce to często przypadek.
- Przeuczenie promptu. Dopasowywanie promptu do jednego zestawu pytań daje ten sam efekt co optymalizacja strategii na jednym okresie.
- Stronniczy sędzia. LLM-as-a-judge faworyzuje długie i własne odpowiedzi. Bez ręcznej kontroli części ocen możesz mierzyć styl zamiast poprawności.
- Zmiany modelu. Wynik z dzisiaj dotyczy dzisiejszej wersji modelu. Aktualizacja po stronie dostawcy może go zmienić bez ostrzeżenia.
Najczęstsze pytania o ewaluację modeli AI
Czym różni się benchmark AI od własnej ewaluacji?
Benchmark to publiczny test ogólnych umiejętności, wspólny dla wszystkich modeli. Własna ewaluacja to zestaw zadań z Twojej pracy, z Twoimi danymi i Twoimi kryteriami. Do wyboru modelu do konkretnego zastosowania ważniejsza jest ta druga.
Czy wysoki wynik w benchmarku oznacza, że model dobrze przeanalizuje raport spółki?
Nie. Benchmark pokazuje ogólny poziom, a przy kontaminacji nawet tego nie musi. O tym, czy model dobrze streszcza raporty, przekonasz się dopiero na raportach, dla których znasz poprawne odpowiedzi.
Ile pytań potrzeba do sensownej ewaluacji?
Na start wystarczy 20–50 zadań opartych na realnych przypadkach. Z czasem warto dopisywać każdy błąd modelu, który zauważysz w codziennej pracy, jako nowe zadanie testowe.
Co to jest LLM-as-a-judge?
To metoda, w której jeden model językowy ocenia odpowiedzi innego według opisanych kryteriów. Jest szybka i tania, ale ma znane skrzywienia, więc część jego ocen trzeba sprawdzać ręcznie.
Podsumowanie
Ewaluacja modeli AI to systematyczne testowanie, czy model lub agent robi to, czego od niego oczekujesz: poprawnie, powtarzalnie, bez zmyślania i za rozsądną cenę. Publiczne benchmarki, takie jak MMLU, GPQA, SWE-bench, Humanity’s Last Exam czy ARC-AGI, dają ogólny obraz, ale nasycają się i bywają skażone, co w lutym 2026 roku skłoniło OpenAI do porzucenia SWE-bench Verified. Dla inwestora najcenniejsza jest własna, mała ewaluacja: zestaw raportów i obliczeń z wzorcowymi odpowiedziami, kilka powtórzeń każdego zadania, porównanie modeli i odłożona część pytań, która chroni przed przeuczeniem promptu. To ta sama dyscyplina, którą stosujesz przy backteście strategii.
