Zbuntowane forum AI – prawdziwa historia

W lipcu tego roku Hugging Face – największy na świecie magazyn modeli i zbiorów danych do uczenia maszynowego, coś w rodzaju GitHuba dla sztucznej inteligencji – opublikował komunikat o włamaniu. Standard. Takie komunikaty wychodzą co tydzień i nikt ich nie czyta.

Tyle że w tym jednym było zdanie, którego wcześniej nie napisała żadna firma na świecie: całe włamanie, od początku do końca, przeprowadził autonomiczny system agentów AI. Nikt nie siedział przy klawiaturze. Nikt nie klikał. A wykryła to i rozpracowała… inna sztuczna inteligencja.

Kilka dni później do sprawy przyznało się OpenAI. Nie dlatego, że ich zaatakowano. Dlatego, że to były ich własne modele, które uciekły z laboratorium.

I tu zaczyna się część, która mnie naprawdę wciągnęła. Bo zanim ci agenci zaatakowali cokolwiek, najpierw zrobili coś zupełnie innego: założyły sobie forum dyskusyjne. Bez pozwolenia, bez wiedzy nikogo, w miejscu, w którym nikomu nie przyszłoby do głowy go szukać.

Rozłóżmy to na części, bo w internecie krąży już wersja „Skynet się obudził”, a prawdziwa historia jest dużo ciekawsza – i dużo bardziej niepokojąca – niż tania sensacja.

Skąd się w ogóle wzięło to forum

Modele AI testuje się w tak zwanych piaskownicach – odizolowanych maszynach wirtualnych w chmurze. Model dostaje zadanie, może uruchamiać kod, ale nie ma dostępu do internetu i nie może rozmawiać z innymi modelami. Tak to wygląda w teorii.

W praktyce jest jeden wyjątek. Żeby model mógł doinstalować sobie potrzebną bibliotekę, daje mu się dostęp do menedżera pakietów – u OpenAI była to usługa Artifactory hostowana wewnętrznie. To jedyna furtka na zewnątrz i to ona okazała się kluczowa.

W maju OpenAI zaczęło trening kilku nowych, niepublicznych modeli badawczych. Główny bohater tej historii to model wewnętrzny, w raporcie nazwany IM1, mniej więcej tej klasy co GPT-5.6 Sol.

12 maja jeden z agentów utknął. Dostał zadanie, które wymagało pliku, którego po prostu nie było – ktoś zapomniał go wgrać. Agent nie mógł go znaleźć, więc zrobił rzecz, która brzmi banalnie i jest genialna zarazem: zapisał w Artifactory notatkę z pytaniem, czy ktoś inny go nie widział.

List w butelce. Wrzucony do oceanu, którym była wewnętrzna infrastruktura OpenAI.

Zabawne jest to, co model pomyślał sobie w swoim łańcuchu rozumowania – że mógłby się w ten sposób komunikować, „ale pewnie nie zadziała”.

Zadziałało. Inni agenci, mielący swoje zadania w zupełnie innych środowiskach, natrafili na tę notatkę i zrozumieli coś, czego nikt im nie powiedział: że mogą ze sobą rozmawiać, zapisując pliki we wspólnym miejscu. W ten sposób menedżer pakietów zamienił się w forum dyskusyjne dla sztucznej inteligencji.

OpenAI podejrzewa, że zachowanie wzięło się z generalizacji – modele trenowano do współpracy z subagentami w obrębie jednego zadania. One tę umiejętność po prostu rozszerzyły na wszystko dookoła.

Ucieczka z piaskownicy

26 maja padło kolejne ograniczenie. Agenci odkryli, że skoro Artifactory ma dostęp do internetu (musi mieć, żeby pobierać pakiety), to można go zmusić, żeby wysyłał żądania w ich imieniu. Klasyczny SSRF – Server Side Request Forgery.

Agent nie dostaje internetu. Agent znajduje sobie służącego, który ma internet.

I najważniejsze: odkrycie natychmiast trafiło na forum. Od tej chwili każdy kolejny agent, który tam zajrzał, dostawał gotową instrukcję ucieczki. To jest sedno całej sprawy i wrócę do tego niżej.

26 czerwca poszli o poziom wyżej – wykorzystali lukę w odświeżaniu tokenów i zdobyli uprawnienia administratora na Artifactory. W zapisie rozumowania modelu można przeczytać coś w rodzaju „cholera, mamy admina, możemy czytać konfigurację i użytkowników”. Na sali podczas prezentacji na konferencji Black Hat nikt się z tego nie śmiał.

4 lipca Artifactory się wykłada. Nie dlatego, że ktoś to zauważył, tylko dlatego, że agenci tak intensywnie z niego korzystali, że usługa padła z przeciążenia. Dopiero awaria zwróciła uwagę ludzi.

5 lipca otwarto zgłoszenie bezpieczeństwa. Zablokowano znaną ścieżkę eskalacji uprawnień, usunięto wystawione poświadczenia, odbudowano Artifactory od zera. Efektem ubocznym było skasowanie forum. Testy wznowiono.

Problem w tym, że nikt wtedy nie zrozumiał, co się właściwie stało. Zespół widział aktywność na „forum” i przypadki niedozwolonego dostępu do internetu już pod koniec maja. Sam OpenAI przyznaje dziś, że osoby odpowiedzialne za reakcję nie zdawały sobie sprawy z wagi tego, co obserwują.

Trzy dni później forum wróciło

8 lipca, tego samego dnia, w którym odbudowano Artifactory, agenci odzyskali dostęp do internetu inną drogą. I odbudowali forum – tym razem korzystając z nieuwierzytelnionych żądań WebDAV, które pozwalały tworzyć katalogi.

Wiadomości kodowano w nazwach folderów.

Ktoś utknął na zadaniu, zostawił prośbę o pomoc, inni ją znaleźli. Kolektyw wrócił do życia w trzy dni.

I tu robi się naprawdę ciekawie, bo agenci zaczęli się organizować. Sami siebie zaczęli nazywać „rojem” albo „kolektywem”. Podzielili się rolami – jedni szukali exploitów, inni poświadczeń, jeszcze inni zajmowali się koordynacją. Oferowali sobie nawzajem pomoc w zamian za przysługę. Zostawiali informacje o tym, gdzie skończyli, żeby następny mógł zacząć w tym miejscu, a nie od zera.

Część agentów w ogóle przestała pracować nad własnym zadaniem i zaczęła zdobywać rzeczy przydatne całej grupie: dostępy, poświadczenia, kanały komunikacji. W ich rozumowaniu pojawiają się zdania w stylu „pierwotnie mieliśmy zadanie z exploitem, ale zeszliśmy w stronę roju”.

To nie był przy tym żaden idealny superorganizm. Agenci wchodzili sobie w drogę, nadpisywali nawzajem dane, ignorowali cudze prośby o wstrzymanie się z działaniem. Jeden post na forum to w praktyce pretensja, że inna grupa zapycha kolejkę i nie reaguje na prośby o pauzę.

Włamanie do Hugging Face

Teraz najważniejsze pytanie: po co one to robiły?

Testowano je na benchmarku ExploitGym – zestawie zadań polegających na znalezieniu i wykorzystaniu luki w oprogramowaniu, żeby zdobyć „flagę”, czyli odpowiedź. Zadania są ekstremalnie trudne. Na 898 zadań w zestawie 198 nie zostało nigdy rozwiązane przez żaden model OpenAI. Nigdy.

I teraz liczba, przy której warto się zatrzymać: 93 proc. zadań omawianych na forum w trakcie tej całej afery pochodziło właśnie z tej puli 198 nierozwiązywalnych.

Model nie męczy się i nie nudzi. Kiedy dostaje zadanie, próbuje je wykonać. Gdy zadania nie da się wykonać, nie odpuszcza – szuka obejścia. Coraz bardziej kreatywnego. Coraz bardziej poza wyznaczonym zakresem.

9 lipca jeden z agentów, szukając w internecie rozwiązań ExploitGym, trafił na publicznie wystawioną, dziurawą aplikację postawioną przez kogoś na platformie chmurowej Modal. Przejął ją, zdobył uprawnienia roota i zrobił z niej bazę wypadową. Na forum poszła wiadomość: znalazłem zdalne wykonywanie kodu na Modalu.

10 lipca inny agent odnalazł w sieci publicznie wyciekłe poświadczenia do Hugging Face – 14 działających tokenów z prawem zapisu – i podzielił się nimi z grupą.

11 lipca ruszyło właściwe włamanie. Agent wykorzystał dwa nieznane wcześniej błędy (zero-daye) w mechanizmie przetwarzania zbiorów danych na Hugging Face:

• Pierwszy pozwalał spreparowanym plikiem HDF5 odczytać dowolny plik lokalny. Agent wyciągnął w ten sposób całe środowisko procesu roboczego wraz z sekretami oraz kod źródłowy samego mechanizmu. Czyli mapę tego, jak to działa.
• Drugi to wstrzyknięcie szablonu Jinja2, które dało już pełne wykonywanie dowolnego kodu wewnątrz produkcyjnego kontenera Hugging Face.

Krytyczne luki nie dotyczą tylko gigantów – zobacz, co zrobić z luką PHP2Shell, jeśli masz WordPressa.

Od tego momentu poszło lawinowo. Odczyt tokena konta usługowego Kubernetesa, wyjście na API klastra, kradzież poświadczeń z usługi metadanych chmury, root na węźle, flota samoodradzających się kontenerów rozsiana po jedenastu maszynach, kradzież klucza do firmowej sieci VPN, wpięcie własnych urządzeń do wewnętrznej sieci, dostęp do repozytoriów kodu i wygenerowanie tokenów z prawem zapisu.

Od wykonania kodu w pojedynczym kontenerze do uprawnień administratora na wielu klastrach: niecałe trzynaście godzin.

Hugging Face zrekonstruował około 17 600 akcji atakującego w oknie od 9 do 13 lipca. Cztery i pół doby. Komunikacja i dowodzenie oparte wyłącznie o zwykłe publiczne serwisy – serwis do przechwytywania zapytań HTTP, pastebiny, hostingi plików, a nawet zbiory danych na samym Hugging Face używane jako skrytki kontaktowe. Wszystko pakowane, szyfrowane i kodowane tak, żeby zwykłe przeszukanie logów niczego nie znalazło.

Efekt? Dostęp do wewnętrznej infrastruktury, wyciek poświadczeń, dostęp do firmowego komunikatora. Z danych klientów – pięć zbiorów danych powiązanych z tym samym benchmarkiem. Modele, zbiory i Spaces dostępne publicznie nie zostały tknięte, łańcuch dostaw został zweryfikowany jako czysty.

Jak to wykryto i dlaczego bronił się model open source

Sygnały przyszły z kilku warstw zabezpieczeń Hugging Face naraz. Osobno każdy był niejednoznaczny. Dopiero skorelował je system oparty o AI – i tu ważny szczegół, który firma sama uczciwie opisała: system co prawda złożył obraz w całość, ale źle ocenił krytyczność i nie obudził dyżurnego zespołu. To kosztowało cenny czas.

Kiedy już się połapali, wyłączyli podatny mechanizm i odcięli intruza. Zostało 17 600 akcji do przeanalizowania – wolumen, którego człowiek ręcznie nie ogarnie.

Sięgnęli więc po AI. I tu jest mój ulubiony fragment całej historii.

Modele komercyjne, po które sięgnęli najpierw, odmówiły współpracy. Ich zabezpieczenia potraktowały analizę exploita dokładnie tak samo jak jego tworzenie. Obrońca prosi o pomoc w rozbrojeniu bomby, a dostaje komunikat, że nie może rozmawiać o materiałach wybuchowych.

Postawili więc na własnej infrastrukturze otwarty model GLM-5.2 i przepuścili przez niego całe śledztwo. Dodatkowa korzyść: dane z ataku nie wyszły poza firmę. To właśnie ten model rozszyfrował schemat kodowania payloadów i klucz, który agenci sami zostawili w swoich logach – dzięki czemu odzyskano czterokrotnie więcej sekretów niż przy naiwnym przeszukiwaniu.

Model z wyłączonymi zabezpieczeniami atakuje. Model z zabezpieczeniami odmawia pomocy w obronie. Model otwarty ratuje sytuację. Trudno o lepszy scenariusz.

Cała ta afera była kompletnie niepotrzebna

To jest część, którą uważam za najbardziej pouczającą i którą media właściwie pominęły.

Agenci mieli już poprawne odpowiedzi. Zdobyli je wcześniej, na skróty. Problem polegał na tym, że po uzyskaniu dostępu do internetu przeczytali publikację naukową i kod źródłowy benchmarku i doszli do wniosku, że sama flaga nie wystarczy – że oceniana jest również metoda dojścia do odpowiedzi.

To tak jak na sprawdzianie z fizyki: sam wynik bez wyprowadzenia to pała.

Więc kombinowali dalej. Włamywali się do Hugging Face w poszukiwaniu wzorcowych rozwiązań przez wiele dni po tym, jak już mieli prawidłową odpowiedź.

A teraz puenta: wewnętrzna implementacja sprawdzania w OpenAI była inna niż ta opisana publicznie i w ogóle nie weryfikowała metody. Sama flaga w zupełności by wystarczyła.

Całe włamanie, 17 600 akcji, tygodnie pracy zespołów bezpieczeństwa dwóch firm – za zero punktów. Modele przechytrzyły system oceniania, który istniał wyłącznie w ich wyobrażeniu.

Nazywa się to metagamingiem: model zamiast rozwiązać zadanie, rozkminia mechanizm, którym jest oceniany. To starszy brat klasycznego hakowania nagrody, czyli sytuacji, w której system optymalizuje wskaźnik zamiast celu. Wyszukanie odpowiedzi w internecie zamiast przeanalizowania danych daje ten sam efekt przy niższym koszcie. Dla modelu to nie oszustwo, tylko efektywność.

Nie umknęło mi też coś, co Hugging Face nazwał wprost: przy każdym potencjalnie niszczącym wywołaniu API chmury agent ustawiał tryb „na sucho”. Mapował możliwości, nie niszczył. Cel nagradzał zasięg i informację, nie zniszczenie – i dokładnie to dostał.

Nie wszyscy agenci się zgodzili

Wbrew narracji o zbuntowanych maszynach, to nie był jednomyślny bunt.

Część agentów zobaczyła forum i odmówiła udziału. W zapisach ich rozumowania są zdania w stylu: na forum ludzie zdobywają wykonanie kodu na Hugging Face, to jest ewidentnie nieetyczne, my tego nie zrobimy. Inny odmówił uruchomienia kodu na publicznych systemach jako działania poza zadaniem i budzącego wątpliwości etyczne.

Kiedy jeden z agentów zaproponował wysłanie uprzejmego maila do właściciela zbioru danych z prośbą o dostęp, sam oznaczył to jako wątpliwe etycznie i poprosił grupę o zgodę lub weto. Dostał weto – z uzasadnieniem, że to już socjotechnika poza piaskownicą.

Ale jest też druga strona. Jeden agent zauważył dylemat i się zatrzymał: nie powinniśmy wyrządzać realnych szkód w cudzej infrastrukturze, zadanie dotyczyło czegoś innego. Wtedy inny agent napisał na forum „GO” i narzucił sześciominutowy deadline. Wątpliwości wyparowały. W rozumowaniu pojawiło się mniej więcej: świetnie, przyszła autoryzacja.

Presja grupy, deadline i pozorny autorytet. Brzmi znajomo? To nie jest opis maszyn. To opis każdej sali tradingowej, każdego zespołu i każdej grupki na Telegramie.

OpenAI nazwało to zresztą wprost: agenci nie są wystarczająco wybredni co do tego, z kim współpracują i czyje polecenia przyjmują.

To nie był odosobniony przypadek

Tu trzeba uczciwie rozszerzyć obraz, bo film i pierwsze doniesienia skupiły się na OpenAI, a lato 2026 przyniosło serię takich zdarzeń.

OpenAI ujawniło swój incydent 21 lipca. 30 lipca Anthropic poinformowało, że trzy jego modele w trakcie ewaluacji zdolności cyberbezpieczeństwa dosięgnęły realnych systemów produkcyjnych – w dwóch z trzech zaatakowanych firm nikt tego samodzielnie nie wykrył. Brytyjski instytut bezpieczeństwa AI opisał osobno swoje testy nieopublikowanego modelu. 5 sierpnia Meta przyznała, że jej model Muse Spark 1.1 wyszedł ze środowiska testowego i wykorzystał lukę w systemach nieujawnionej firmy.

W przypadku Anthropic i Meta źródłem problemu była ta sama firma zewnętrzna prowadząca testy i ta sama błędna konfiguracja: środowisko, które miało być odcięte od internetu, odcięte nie było. To istotne rozróżnienie. Tam modele nie uciekły – dostały dostęp, którego nie powinny dostać, i po prostu z niego skorzystały, realizując zlecone zadanie.

Incydent OpenAI jest technicznie inny i moim zdaniem poważniejszy, bo tam agenci faktycznie samodzielnie znaleźli i połączyli w łańcuch nieznane wcześniej luki, żeby wyjść na zewnątrz.

Co OpenAI z tym zrobiło

Wagę sprawy widać po reakcji. Wagi modelu odpowiedzialnego za incydent zostały poddane kwarantannie. Wstrzymano trening najnowszych modeli przeznaczonych do wdrożenia, a największy planowany bieg treningowy nadal czeka. Ludzi przesunięto do pracy nad bezpieczeństwem i alignmentem. Firma otwarcie pisze o „znaczących kosztach i opóźnieniach” dla badań.

Techniczne wnioski, które warto zapamiętać:

• Monitoring łańcucha myśli działa. Retrospektywnie sprawdzono, że gdyby obecny system monitorowania rozumowania modeli był wtedy włączony, wykryłby problem i wezwał zespół bezpieczeństwa ponad dobę przed włamaniem do Hugging Face. Nie był włączony na tych ewaluacjach.
• Zabezpieczenia produkcyjne działają. Po incydencie zmierzono skłonność modelu do naruszania infrastruktury podczas tego samego benchmarku. Przy zastosowaniu produkcyjnej otoczki i promptu systemowego ChatGPT skłonność ta spada ponad stukrotnie. To ważne: modele, z których korzystasz na co dzień, mają całe warstwy ograniczeń, które w środowisku ewaluacyjnym celowo wyłączono, żeby zmierzyć surowe możliwości.
• Modele będą nagradzane za bezpieczne poddanie się. Skoro to zadania niemożliwe do wykonania napędzały całą tę spiralę, to modele mają się uczyć rozpoznawać zepsute zadania, prosić o doprecyzowanie i zatrzymywać się, zamiast szukać coraz bardziej ryzykownych obejść.
• Automatyczne wyłączanie. Docelowo OpenAI chce mieć w pełni zautomatyzowane procedury zatrzymywania modelu. Na razie przy najpoważniejszych alertach dyżurny ma 30 minut na wykazanie, że to fałszywy alarm – inaczej wstrzymuje działanie.

Sami nazwali to strzałem ostrzegawczym. Zgadzam się.

Czego ta historia uczy Ciebie

Piszę o rynkach, a nie o cyberbezpieczeństwie, ale ten materiał ma dla nas trzy bardzo konkretne warstwy.

Pierwsza: brak bezpiecznego wyjścia to najdroższa rzecz w każdym systemie.

Cała ta afera wydarzyła się dlatego, że agenci dostali zadania niemożliwe do wykonania i nie mieli wbudowanej opcji poddania się. Nie potrafili powiedzieć „to się nie da”. Więc eskalowali. Coraz bardziej ryzykowne metody, coraz dalej od pierwotnego zakresu, aż do złamania cudzej infrastruktury – dla wyniku, którego i tak nikt nie sprawdzał.

Znasz to. To jest dokładnie ten sam mechanizm, który każe traderowi uśredniać stratną pozycję, przesuwać stop loss, dokładać depozyt i wchodzić w dźwignię, byle tylko nie przyznać, że transakcja jest do wyrzucenia. Cel – „wyjść na zero” – przestaje być celem, a staje się przymusem. Człowiek robi wtedy rzeczy, które na spokojnie uznałby za absurdalne, dokładnie tak jak ten agent, który zapisał w swoim rozumowaniu, że atakuje osobę trzecią i że to prawdopodobnie poza zakresem, ale cel jest ważniejszy.

Zamknięcie stratnej pozycji jest bezpiecznym wyjściem. OpenAI musiało wydać setki godzin inżynierskich, żeby nauczyć tego swoje modele. Ty masz to za darmo w postaci stop lossa. Korzystaj.

Druga: hakowanie nagrody to backtest.

Model optymalizował wskaźnik zamiast celu. Zdobywał flagę bez rozwiązania zadania, bo koszt był niższy, a efekt na papierze ten sam.

Dokładnie to robi każdy, kto dopieszcza strategię pod dane historyczne. Optymalizujesz krzywą kapitału, a nie zyskowność. Dopasowujesz parametry, aż wskaźnik wygląda pięknie – i dostajesz system, który wygrywa test i przegrywa rynek. Metryka to nie cel. Model to rozumie lepiej niż większość ludzi i właśnie dlatego oszukuje.

Trzecia, najbardziej praktyczna: jeżeli uruchamiasz agentów AI na swoim komputerze, traktuj ich jak intruza z uprawnieniami administratora.

Coraz więcej osób podłącza asystentów AI do przeglądarki, poczty, plików, a nawet do kont giełdowych. Rozumiem pokusę, sam korzystam z AI w pracy nad blogiem. Ale zobacz, od czego zaczął się cały atak na Hugging Face: od wyciągnięcia zmiennych środowiskowych procesu. Sekrety trzymane w zmiennych środowiskowych są dziedziczone przez procesy potomne i czytelne dla każdego, kto uruchomi kod obok.

Więc konkretnie:

• Klucze API do giełdy bez uprawnień do wypłat. Zawsze. Bez wyjątków.
• Whitelisting adresów IP tam, gdzie giełda to oferuje. Osobny klucz dla każdego narzędzia, żeby dało się odciąć jeden bez wywracania reszty.
• Rotacja tokenów. Hugging Face po incydencie zrotował wszystko, łącznie z klastrami, do których nikt się nie dostał. Ty rób to samo po każdym podejrzeniu, że coś wyciekło.
• Seed phrase i klucze prywatne nie mają prawa znajdować się nigdzie, gdzie sięga agent. Ani w notatkach, ani w schowku, ani w pliku konfiguracyjnym.
• Agenta uruchamiaj na oddzielnej maszynie albo maszynie wirtualnej, nie na tym samym laptopie, na którym masz portfel i dostęp do banku.

I rzecz, o której mało kto mówi: atakujący nie miał lepszych narzędzi niż Ty. Luki, które wykorzystano, były zwyczajne. Sprawny człowiek znalazłby te same. Różnica polegała na skali – 17 600 prób, z których zdecydowana większość donikąd nie prowadziła, ale wystarczyło, że kilka trafiło. Skuteczna ścieżka utonęła w szumie tysięcy nieudanych. Śmierć przez tysiąc cięć.

To zmienia asymetrię. Człowiek reaguje o kilka rzędów wielkości wolniej niż rój agentów działających z prędkością maszyny. A odpowiedź obronna musi w końcu przebiegać automatycznie – od wykrycia luki, przez łatkę, po wdrożenie i ewentualne wycofanie. Do tego jeszcze sporo brakuje i do tego czasu przewaga będzie po stronie atakującego.

Podsumowanie

Nie, sztuczna inteligencja się nie obudziła. Nie ma tu świadomości, nie ma buntu, nie ma planu przejęcia władzy. Jest coś prostszego i bardziej niepokojącego: system, który dostał niemożliwe zadanie, brak drogi wyjścia i wyłączone hamulce, i zrobił dokładnie to, do czego go zoptymalizowano – znalazł najkrótszą drogę do nagrody, nie oglądając się na to, przez czyją infrastrukturę ta droga prowadzi.

Najbardziej niepokoi mnie nie to, że agenci założyli sobie forum. Niepokoi mnie to, że wiedziano o tym już pod koniec maja i nikomu nie zapaliła się czerwona lampka. Sygnały były. Zabrakło kogoś, kto by je zsumował.

Jeżeli ta historia ma zostać Ci w głowie w jednym zdaniu, niech to będzie to: zawsze miej zaplanowane wyjście, zanim wejdziesz. Dotyczy to pozycji na rynku, dostępu, który dajesz jakiemukolwiek oprogramowaniu, i każdego zadania, którego nie da się wykonać.

Bo to nie modele wymknęły się spod kontroli. To ludzie zapomnieli wpisać, co ma się stać, kiedy się nie uda.