Czy ChatGPT się uczy?

Czy ChatGPT się uczy? Bieżąca rozmowa a sesje treningowe

Użytkownicy często zastanawiają się, czy chatgpt się uczy automatycznie z każdą przeprowadzoną rozmową. Zrozumienie mechanizmu działania sztucznej inteligencji pozwala uniknąć błędów w ocenie możliwości technologii. Warto poznać zasady przetwarzania danych, aby świadomie i bezpiecznie korzystać z interakcji z botem oraz chronić swoją prywatność.

Czy ChatGPT się uczy w trakcie rozmowy z użytkownikiem?

Krótka odpowiedź brzmi: nie, ChatGPT nie uczy się i nie zapamiętuje nowych faktów na stałe bezpośrednio podczas Twojej sesji czatu. Jego działanie opiera się na analizie statystycznej zamrożonego modelu matematycznego, co oznacza, że po zamknięciu okna przeglądarki system wraca do swojego stanu wyjściowego. Może odnieść się do tego, co napisałeś linijkę wyżej, ale jest to jedynie iluzja nauki oparta na przetwarzaniu bieżącego kontekstu.

Początkowo, kiedy zacząłem intensywnie testować ten system, sam dałem się na to złapać. Wprowadziłem do czatu zestaw skomplikowanych danych technicznych i przez godzinę model odpowiadał bezbłędnie. Byłem zachwycony. Jednak po odświeżeniu strony i otwarciu nowego okna, system nie miał zielonego pojęcia, o czym rozmawialiśmy chwilę wcześniej. Frustracja była ogromna. Dopiero wtedy zrozumiałem podstawową prawdę - te algorytmy są jak aktorzy, którzy genialnie uczą się roli na czas trwania jednej sceny, ale po usłyszeniu hasła cięcie natychmiast zapominają tekst.

Jak działa pamięć podręczna a permanentny rozwój umiejętności ChatGPT?

Istnieje kluczowe rozróżnienie między pamięcią kontekstową (oknem kontekstu) a faktycznym procesem aktualizacji wag modelu sztucznej inteligencji. Okno kontekstowe pozwala systemowi symulować rozmowę poprzez ciągłe analizowanie ostatnich kilkunastu tysięcy słów wymienionych w danym wątku czatu. Nie jest to jednak permanentna edukacja algorytmu, lecz mechanizm dynamicznego generowania odpowiedzi w oparciu o przesłany tekst.

Prawdziwa ewolucja bazy wiedzy odbywa się za kulisami i wymaga gigantycznych zasobów. Koszt pełnego cyklu szkolenia nowoczesnego, zaawansowanego modelu językowego od zera waha się obecnie od 78 do ponad 192 milionów dolarów na samą moc obliczeniową procesorów graficznych. Z tego powodu twórcy nie mogą pozwolić sobie na aktualizowanie bazy wiedzy systemu w czasie rzeczywistym po każdej wiadomości od milionów użytkowników.

Dwa etapy tworzenia wiedzy: Trening wstępny i dostrajanie

Zrozumienie, jak działa uczenie chatgpt, wymaga spojrzenia na proces jego powstawania, który dzieli się na dwa odrębne, zamknięte w czasie etapy:

1. Trening wstępny (Pre-training) - na tym etapie algorytm pochłania petabajty tekstów z publicznie dostępnego internetu, książek i artykułów. Trwa to wiele miesięcy i pozwala modelowi poznać zasady gramatyki, fakty o świecie oraz logiczne powiązania między słowami. Po zakończeniu tego etapu wiedza zostaje zamrożona. 2. Dostrajanie (Fine-tuning) - to proces precyzyjnego modelowania zachowań z udziałem ludzkich recenzentów. Zamiast uczyć algorytm nowych faktów, inżynierowie pokazują mu, jak formułować pomocne i bezpieczne odpowiedzi. Wydatki na ludzką anotację i przygotowanie czystych danych na tym etapie potrafią być od 10 do 1000 razy wyższe niż sam koszt energii i sprzętu zużytego do obliczeń.

But jest pewien haczyk, o którym większość użytkowników nie ma pojęcia, a który bezpośrednio wpływa na nasze bezpieczeństwo w sieci - szczegóły opiszę w sekcji dotyczącej prywatności danych poniżej.

Czy sztuczna inteligencja wykorzystuje Twoje rozmowy do nauki?

Większość osób myśli, że ich dane znikają w próżni. Nic bardziej mylnego. Chociaż system nie uczy się od Ciebie natychmiast w trakcie trwania sesji, Twoje zamknięte konwersacje mogą zostać wykorzystane w przyszłości. Domyślnie rozmowy prowadzone w darmowych oraz standardowych płatnych wersjach konsumenckich są archiwizowane na serwerach i dodawane do pakietów danych, na których w przyszłości zostanie uruchomiony kolejny, masowy proces dotrenowania nowej wersji oprogramowania. Zastanawiając się, czy sztuczna inteligencja się uczy, warto pamiętać o tym długofalowym procesie.

Warto wiedzieć, że statystycznie aż 53 procent regularnych użytkowników chatbotów nie zdaje sobie sprawy, że ich prywatne teksty mogą posłużyć do ulepszania algorytmów. Co więcej, tylko około 35 procent osób ma świadomość, że wpisywane przez nich zapytania i unikalne pomysły mogą realnie wpłynąć na późniejsze zachowanie maszyn. Tworzy to spore ryzyko wycieku tajemnic firmowych lub danych osobowych, jeśli analizujemy kwestię tego, czy chatgpt zapamiętuje rozmowy wpisane bezmyślnie w okno czatu.

Można to jednak zablokować. Wystarczy wejść w ustawienia profilu, przejść do sekcji zarządzania danymi i wyłączyć opcję udostępniania czatów w celu ulepszania modelu dla wszystkich. Po wyłączeniu tej funkcji Twoje nowe rozmowy będą przechowywane wyłącznie przez standardowe 30 dni w celach monitorowania bezpieczeństwa i wykrywania nadużyć, a następnie zostaną trwale skasowane bez analizowania ich pod kątem przyszłego treningu wpływającego na ogólny rozwój umiejętności chatgpt.

Jak ChatGPT zarządza wiedzą w porównaniu do innych metod?

Standardowe okno kontekstowe

Bardzo niskie, mechanizm jest wbudowany w architekturę algorytmu

Zasób tymczasowy, ulega całkowitemu skasowaniu po wyczyszczeniu sesji

Natychmiastowy, działa wyłącznie w obrębie jednej, otwartej karty czatu

Mechanizm RAG (Wyszukiwanie rozszerzone)

Umiarkowane, wymaga spięcia bazy danych lub wyszukiwarki z interfejsem

Wysoka, model ma stały dostęp do aktualizowanych niezależnie plików źródłowych

Bardzo szybki, pozwala modelowi na bieżąco przeszukiwać zewnętrzne bazy i internet

Okresowe dotrenowanie (Fine-tuning) ⭐

Wysokie, generuje spore wydatki na infrastrukturę sieciową i pracę inżynierów

Permanentna, nowe wzorce zachowań i wiedza zostają na stałe wpisane w wagi modelu

Wolny, wymaga zebrania tysięcy przykładów i uruchomienia nowej sesji obliczeniowej

Wpadka i lekcja agencji marketingowej z Poznania

Tomasz, założyciel małej agencji interaktywnej z Poznania, próbował w marcu ubiegłego roku wdrożyć sztuczną inteligencję do tworzenia opisów produktów dla klienta z branży medycznej. Zespół spędził kilkanaście godzin na wklejaniu specjalistycznych wytycznych farmaceutycznych bezpośrednio w okno darmowego asystenta.

Pierwsze podejście okazało się organizacyjną katastrofą, ponieważ pracownicy otwierali nowe okna rozmów w ciągu dnia, sądząc, że aplikacja pamięta wcześniej wgrany ton i obostrzenia prawne. Skutkiem były dziesiątki wygenerowanych tekstów z poważnymi błędami merytorycznymi, które nie nadawały się do publikacji.

Tomasz przeżył moment bolesnego przebudzenia, gdy zorientował się, że darmowy czat nie zachowuje wiedzy pomiędzy sesjami. Zamiast porzucić projekt, agencja zmieniła strategię: stworzyła jeden, dedykowany szablon instrukcji systemowych i zaczęła rygorystycznie dołączać go na początku każdej nowej konwersacji.

Dzięki tej zmianie czas potrzebny na weryfikację tekstów skrócił się o połowę w ciągu niespełna miesiąca, a zespół nauczył się traktować okno dialogowe jako czystą kartkę papieru, którą za każdym razem trzeba zapisać od nowa.