Kwantyzacja

Kwantyzacja to proces polegający na zmniejszeniu liczby wartości używanych do reprezentowania danych, najczęściej poprzez ograniczenie precyzji liczb.

W informatyce i sztucznej inteligencji kwantyzacja jest wykorzystywana przede wszystkim po to, aby zmniejszyć rozmiar modeli, ograniczyć zużycie pamięci i przyspieszyć ich działanie.

Najczęściej spotkamy ją w kontekście modeli AI, uczenia maszynowego, przetwarzania obrazów i sygnałów oraz kompresji danych.

Kwantyzacja w AI

W przypadku modeli sztucznej inteligencji parametry modelu są zazwyczaj przechowywane jako liczby zmiennoprzecinkowe.

Popularnym formatem jest np. FP32, czyli liczby zmiennoprzecinkowe wykorzystujące 32 bity.

Model można jednak przekonwertować na format wykorzystujący mniejszą liczbę bitów, np.:

• FP16 – 16 bitów,
• INT8 – 8 bitów,
• INT4 – 4 bity.

Dzięki temu model zajmuje mniej pamięci.

Przykładowo przejście z FP32 do INT8 oznacza zmniejszenie liczby bitów potrzebnych do reprezentacji wartości z 32 do 8.

W uproszczeniu może to oznaczać około 4-krotnie mniejsze zapotrzebowanie na pamięć dla samych wag modelu.

Po co kwantyzuje się modele?

Najważniejsze powody to:

• mniejszy rozmiar modelu,
• mniejsze zużycie pamięci RAM i VRAM,
• niższe wymagania sprzętowe,
• szybsze wykonywanie obliczeń,
• możliwość uruchamiania większych modeli na słabszych urządzeniach,
• niższe zużycie energii.

Ma to szczególne znaczenie w przypadku uruchamiania modeli AI lokalnie, np. na komputerze, laptopie, smartfonie czy urządzeniu brzegowym.

Prosty przykład

Wyobraźmy sobie, że model przechowuje wartości:

1,23456

1,23781

1,23142

Zamiast przechowywać je z bardzo dużą precyzją, można zastosować reprezentację o mniejszej dokładności, np.:

1,2

1,2

1,2

Tracimy część informacji, ale dane wymagają mniej miejsca.

W przypadku modeli AI proces jest znacznie bardziej zaawansowany niż takie proste zaokrąglanie, ale idea jest podobna:

mniejsza precyzja → mniej danych → mniejsze wymagania sprzętowe.

Kwantyzacja a dokładność modelu

Kwantyzacja ma jednak swoją cenę.

Jeżeli zmniejszamy precyzję reprezentacji parametrów, możemy utracić część informacji.

W efekcie model może osiągać nieco gorsze wyniki.

Dlatego celem nie jest zazwyczaj:

„maksymalnie zmniejszyć model”

ale:

„zmniejszyć model tak bardzo, jak to możliwe bez istotnej utraty jakości”.

Dobrze przeprowadzona kwantyzacja może pozwolić na znaczące zmniejszenie modelu przy stosunkowo niewielkim spadku jego jakości.

Kwantyzacja a LLM

Kwantyzacja jest szczególnie istotna w przypadku dużych modeli językowych (LLM).

Duży model może posiadać miliardy parametrów.

Jeżeli każdy parametr przechowujemy z wysoką precyzją, zapotrzebowanie na pamięć może być ogromne.

Zmniejszenie precyzji pozwala uruchamiać takie modele na znacznie słabszym sprzęcie.

Przykładowo model, który w określonej konfiguracji wymagałby kilkudziesięciu gigabajtów pamięci, po kwantyzacji może być możliwy do uruchomienia na komputerze wyposażonym w znacznie mniej pamięci.

FP32, FP16, INT8 i INT4

Często spotykane formaty można przedstawić w uproszczeniu tak:

Nie należy jednak zakładać, że przejście z jednego formatu na drugi zawsze daje dokładnie proporcjonalne przyspieszenie.

Rzeczywista wydajność zależy między innymi od:

• procesora,
• GPU,
• pamięci,
• architektury modelu,
• używanego oprogramowania,
• implementacji danego formatu.

Kwantyzacja a inference

Kwantyzacja jest szczególnie przydatna podczas inference, czyli wykonywania gotowego modelu AI.

Podczas treningu modelu najważniejsza może być wysoka precyzja obliczeń.

Po zakończeniu treningu można natomiast zmniejszyć precyzję parametrów, aby model działał taniej i szybciej.

Dlatego kwantyzacja jest ważnym elementem optymalizacji modeli przeznaczonych do produkcyjnego wykorzystania.

Post-Training Quantization

Jedną z popularnych metod jest Post-Training Quantization (PTQ).

Model jest najpierw trenowany w standardowy sposób, a dopiero później jego parametry są poddawane kwantyzacji.

Zaletą jest prostota — nie trzeba przeprowadzać całego treningu od początku.

W zależności od modelu i zastosowanej metody można jednak zaobserwować pewną utratę jakości.

Quantization-Aware Training

Alternatywą jest Quantization-Aware Training (QAT).

Podczas treningu model jest przygotowywany z uwzględnieniem tego, że docelowo będzie działał z mniejszą precyzją.

Pozwala to często lepiej kontrolować wpływ kwantyzacji na jakość modelu.

Wadą jest większa złożoność procesu i konieczność uwzględnienia kwantyzacji już na etapie trenowania.

Kwantyzacja a kompresja modelu

Kwantyzacja jest jednym ze sposobów kompresowania modeli AI.

Nie jest jednak tym samym co zwykłe kompresowanie pliku ZIP.

ZIP zmniejsza rozmiar pliku poprzez bardziej efektywne kodowanie danych, ale po rozpakowaniu dane pozostają takie same.

Kwantyzacja natomiast zmienia sposób reprezentacji wartości i może prowadzić do utraty części informacji.

Jest więc formą kompresji, która może mieć wpływ na działanie modelu.

Dlaczego kwantyzacja jest ważna?

Rozwój dużych modeli AI sprawia, że coraz większego znaczenia nabiera możliwość uruchamiania ich na mniejszej liczbie i tańszym sprzęcie.

Kwantyzacja pozwala zmniejszyć barierę sprzętową.

Model, który bez optymalizacji wymagałby potężnego serwera z dużą ilością pamięci GPU, po odpowiedniej kwantyzacji może być możliwy do uruchomienia lokalnie.

To ma znaczenie między innymi dla:

• lokalnych chatbotów,
• aplikacji AI,
• urządzeń mobilnych,
• komputerów osobistych,
• edge computing,
• systemów IoT.

Podsumowanie

Kwantyzacja polega na zmniejszeniu precyzji reprezentacji danych w celu ograniczenia ich rozmiaru i wymagań obliczeniowych.

W świecie AI pozwala przede wszystkim:

• zmniejszyć rozmiar modeli,
• ograniczyć zużycie RAM i VRAM,
• przyspieszyć inference,
• zmniejszyć zużycie energii,
• uruchamiać modele na słabszym sprzęcie.

Jej wadą może być utrata części dokładności, dlatego najważniejsze jest znalezienie odpowiedniego kompromisu między rozmiarem, szybkością a jakością modelu.

Kwantyzacja to jeden z powodów, dla których coraz większe modele AI można uruchamiać lokalnie na komputerach, które jeszcze niedawno nie byłyby w stanie ich obsłużyć.