Dlaczego ChatGPT czasem zmyśla?

Czym są halucynacje w praktyce

W Zproc AI Solutions często słyszymy od klientów: 'zapytałem AI o produkt, którego nie mamy, a on podał cenę i specyfikację'. To klasyczna halucynacja. Model nie sprawdza bazy danych w czasie rzeczywistym, chyba że go o to poprosisz. Zamiast tego, przewiduje kolejny najbardziej prawdopodobny wyraz w zdaniu. Jeśli brakuje mu wiedzy, wypełnia lukę najbardziej logicznie brzmiącymi informacjami, które wyłowił z miliardów stron internetowych w swoim procesie uczenia się.

W pracy z 156 wdrożonymi systemami zauważyliśmy, że AI najczęściej gubi się przy datach, nazwiskach niszowych ekspertów oraz specyfikacji technicznej produktów, które pojawiły się na rynku po dacie 'zamrożenia' bazy treningowej modelu. To nie jest zła wola algorytmu, lecz matematyczny mechanizm dopasowywania wzorców. Kiedy model nie zna odpowiedzi, nie powie 'nie wiem', bo jego architektura jest nastawiona na generowanie tekstu, a nie na weryfikację prawdy.

Model nie sprawdza danych, on przewiduje najbardziej logiczny ciąg wyrazów. To kluczowa różnica.

Dlaczego systemy czasem kłamią

To zajmuje zazwyczaj 2 godziny pracy, aby przygotować prosty test, który obnaży słabości modelu w konkretnej branży. Jeśli zadasz pytanie o skomplikowane prawo podatkowe, AI może wygenerować artykuł ustawy, który brzmi bardzo profesjonalnie, ale w rzeczywistości nigdy nie istniał. W ubiegłym kwartale analizowaliśmy 23 takie przypadki w dokumentacji technicznej jednego z naszych klientów z branży logistycznej, gdzie AI wymyśliło nieistniejące numery norm ISO.

Problem wynika z faktu, że modele językowe są 'probabilistyczne'. Ich celem jest bycie pomocnym w rozmowie, a nie bycie encyklopedią. Jeśli system czuje presję (poprzez odpowiednio sformułowany prompt), że musi dostarczyć odpowiedź, zrobi wszystko, aby ją wygenerować. W naszych wewnętrznych testach zauważyliśmy, że AI rzadziej halucynuje, gdy pozwalamy mu na odpowiedź 'nie posiadam wystarczających danych na ten temat'.

Metody ograniczania błędów

Przejdźmy do konkretów. Jak zminimalizować ryzyko w biznesie? Po pierwsze, stosujemy technikę 'Retrieval-Augmented Generation' (RAG). Zamiast polegać na ogólnej wiedzy modelu, zmuszamy go do korzystania z wgranych przez nas plików PDF lub baz danych. Zróbmy to raz, a dobrze – jeśli system ma odpowiedzieć na pytanie, musi najpierw przeszukać plik, który mu udostępniliśmy, i tylko na nim oprzeć swoją odpowiedź.

Po drugie, wprowadzamy 'System Prompt' z wyraźnym zakazem wymyślania faktów. W 47 projektach, które zrealizowaliśmy w ostatnim roku, dodanie prostego zdania 'Jeśli nie jesteś pewien odpowiedzi, napisz: Nie posiadam takich informacji' zredukowało liczbę zmyślonych faktów o około 31%. To prosta zmiana, która drastycznie podnosi wiarygodność generowanych treści w środowisku firmowym.

Jak weryfikować fakty w firmie

Nigdy nie publikuj treści wygenerowanych przez AI bez 'człowieka w pętli'. Każdy tekst, który powstaje w naszych wdrożeniach, przechodzi przez etap edycji. Nawet jeśli AI przygotowuje wstępny draft oferty handlowej, specjalista zawsze musi sprawdzić numery produktów, ceny oraz terminy realizacji. W naszych procesach czas weryfikacji skróciliśmy średnio z 4 dni do 1.5 dnia, co jest realną oszczędnością przy 12 otwartych projektach na miesiąc.

Ehrlich gesagt – AI jest genialnym asystentem, ale słabym badaczem. Jeśli potrzebujesz 99.3% pewności, stosuj zasadę ograniczonego zaufania. AI to świetne narzędzie do strukturyzowania wiedzy, którą już posiadasz, a nie do szukania faktów w ciemno. Pamiętaj o tym przy każdym wdrożeniu automatyzacji w swojej firmie.