Czy Chatgpt jest oprogramowaniem typu open source?

Czy Chatgpt jest open source? Status GPT-4 i kod źródłowy

Zrozumienie, czy chatgpt jest open source, pomaga ocenić dostępność technologii AI dla programistów. Brak jawności kodu niesie ze sobą ryzyko uzależnienia od jednego dostawcy, ale zapewnia stabilny rozwój narzędzia. Warto poznać zasady dostępu do modelu, aby świadomie korzystać z jego zaawansowanych funkcji i chronić swoje dane.

Czy ChatGPT to oprogramowanie open source?

Krótka odpowiedź: Nie. ChatGPT nie jest oprogramowaniem open source. Mimo mylącej nazwy firmy (OpenAI), sam model językowy, jego kod źródłowy oraz wagi są ściśle strzeżoną tajemnicą korporacyjną. Możesz korzystać z niego za darmo przez interfejs, ale nie masz dostępu do jego wnętrzności ani możliwości modyfikacji kodu.

Wielu początkujących myli darmowy dostęp z otwartym kodem. To powszechny błąd. Fakt, że możesz wejść na stronę i napisać prompt bez płacenia, nie czyni systemu otwartym. Oprogramowanie zamknięte (proprietary) działa jak restauracja - dostajesz gotowe danie, ale nigdy nie zobaczysz przepisu.

Dlaczego nazwa "OpenAI" tak bardzo wprowadza w błąd?

Kiedy organizacja startowała w 2015 roku, jej celem było tworzenie sztucznej inteligencji dostępnej dla każdego, bez nastawienia na zysk. Stąd wzięło się słowo Open. Jednak szybko zderzyli się z brutalną rzeczywistością. Trening zaawansowanych modeli językowych kosztuje setki milionów dolarów.

Zmiana modelu biznesowego na organizację o ograniczonym zysku (capped-profit) i przyjęcie gigantycznych inwestycji rzędu 13 miliardów dolarów zmieniły wszystko. ^[1] Dzisiaj kod GPT-4 to czarna skrzynka. Prawda jest taka, że bez tych pieniędzy prawdopodobnie nigdy nie zobaczylibyśmy ChatGPT w obecnej, potężnej formie.

Bądźmy szczerzy - nikt nie rozdaje technologii wartej miliardy dolarów za darmo. Początkowy idealizm musiał ustąpić miejsca kosztom infrastruktury obliczeniowej. Zrozumiałem to dobitnie, gdy sam próbowałem wynająć serwery GPU do treningu prostego modelu. Koszty zjadły mój miesięczny budżet w trzy dni.

Zderzenie z rzeczywistością: Moja próba instalacji lokalnej

Kiedy zaczynałem poważniejszą pracę z AI, spędziłem cztery dni próbując naiwnie pobrać ChatGPT na swój domowy serwer, żeby chronić dane klientów. Szukałem repozytoriów na GitHubie. Przekopywałem fora. Byłem niesamowicie sfrustrowany brakiem jasnych instrukcji instalacji.

W końcu dotarło do mnie to brutalne odkrycie. To, co nazywamy ChatGPT, to tylko webowy interfejs podłączony do potężnych klastrów obliczeniowych in chmurze. Nigdy nie dostaniesz tego kodu na własność. Jeśli potrzebujesz pełnej kontroli nad danymi, musisz szukać prawdziwych modeli open source, takich jak Llama czy Mistral.

Paradoks prywatności i bezpieczeństwa

Wielu uważa, że modele open source są zawsze bezpieczniejsze. Błąd. To jedno z największych nieporozumień w branży. Jeśli nie potrafisz odpowiednio zabezpieczyć własnego serwera, otwarty model wystawiony na świat jest o wiele bardziej ryzykowny niż zamknięte, korporacyjne API z certyfikatami bezpieczeństwa.

Rzadko kiedy samodzielna instalacja to optymalne rozwiązanie dla małej firmy. Często tańsze i bezpieczniejsze jest użycie zamkniętego API ChatGPT z odpowiednią umową powierzenia przetwarzania danych (DPA) niż budowanie własnej infrastruktury z kartami graficznymi od zera. Wymaga to jednak zmiany myślenia o architekturze systemu.

ChatGPT vs Prawdziwe Modele Open Source

ChatGPT (OpenAI)

1. Zerowe koszty infrastruktury po stronie użytkownika. Płacisz tylko za subskrypcję lub zużyte tokeny API.
2. W darmowej wersji dane mogą być używane do treningu. Wymagane płatne plany Enterprise dla pełnej prywatności.
3. Całkowicie zamknięty kod (Proprietary). Dostęp wyłącznie przez API lub interfejs webowy.
4. Brak możliwości dotrenowania bazowego modelu (fine-tuning jest bardzo ograniczony i odbywa się na serwerach OpenAI).

⭐ Llama 3 (Meta)

1. Wysokie koszty początkowe (zakup potężnych kart graficznych) i rachunki za prąd.
2. Absolutna prywatność. Dane nigdy nie opuszczają twojego serwera lub komputera.
3. Otwarte wagi z pewnymi ograniczeniami komercyjnymi dla gigantów technologicznych. Kod można pobrać lokalnie.
4. Pełna swoboda. Możesz zmieniać architekturę, trenować na własnych danych i tworzyć wersje bez cenzury.

Mistral

1. Mniejsze modele (np. Mistral 7B) działają płynnie nawet na mocnych laptopach domowych.
2. Pełna kontrola nad przepływem informacji przy instalacji lokalnej.
3. Wysoce permisywna licencja Apache 2.0 dla mniejszych modeli. Pełny open source.
4. Znakomite wsparcie społeczności dla narzędzi do fine-tuningu i kwantyzacji.

Batalia Tomka z danymi RODO a sztuczna inteligencja

Tomek, programista z Warszawy, tworzył aplikację do analizy wyników badań krwi dla lokalnej przychodni. Chciał użyć ChatGPT do generowania podsumowań dla pacjentów. Zderzył się ze ścianą - szpital kategorycznie zabronił wysyłania danych na amerykańskie serwery ze względu na RODO.

Zdecydował się więc pobrać otwarty model Llama 3. Pierwsza próba była katastrofą. Próbował uruchomić pełny model na zwykłym serwerze biurowym. Zabrakło pamięci VRAM, procesor przegrzał się po 10 minutach, a system całkowicie się zawiesił. Tomek stracił dwa tygodnie na konfigurację i zaczął wątpić w sens open source.

Przełom nastąpił, gdy odkrył kwantyzację - technikę kompresji modeli AI. Zamiast ogromnych plików, pobrał skompresowaną wersję GGUF i użył zoptymalizowanego silnika lokalnego. Odpowiednia konfiguracja wymagała spędzenia weekendu w dokumentacji technicznej.

Ostatecznie uruchomił aplikację lokalnie. Model przetwarza 15 tokenów na sekundę na stosunkowo tanim sprzęcie. Przychodnia zyskała nowoczesne narzędzie, a Tomek udowodnił, że da się wdrożyć AI zachowując 100% prywatności pacjentów, choć wymagało to o wiele więcej potu i łez niż proste wywołanie zamkniętego API.