Kilka miesięcy temu poprosiłem ChatGPT o dwa cytaty do artykułu. Dostałem dwa - ładne, w temacie, z nazwiskiem i rokiem. Brzmiały tak dobrze, że prawie wkleiłem je bez sprawdzenia. Prawie. Bo coś mi nie pasowało w jednym nazwisku, więc poszedłem do źródła. Pierwszy cytat istniał, ale powiedział go ktoś zupełnie inny. Drugi nie istniał w ogóle. Maszyna wymyśliła go w całości, łącznie z autorem, i podała mi to z taką pewnością, z jaką ja podaję własny numer telefonu.
To nie był błąd techniczny. Tak działa AI - i dopóki tego nie zrozumiesz, będziesz wpadać w tę pułapkę raz za razem. Prowadzę agencję AI dla małych firm i pracuję z ChatGPT oraz Claude codziennie: piszę nimi maile, analizy, fragmenty kodu, briefy. Nauczyłem się rozmawiać z nimi tak, żeby zmyślały rzadziej, a kiedy już zmyślą, żebym to wyłapał. Tego chcę cię tu nauczyć - po ludzku, bez żargonu, tak żebyś jako właściciel firmy na 5 - 200 osób mógł użyć tego od jutra. Bo problem nie leży w tym, że AI jest głupia. Leży w tym, że jest zbyt uprzejma, żeby powiedzieć „nie wiem".
Spis treści
- Dlaczego AI w ogóle zmyśla?
- AI to pewny siebie stażysta. Trzymaj się tej analogii
- Co robi zły prompt, a czego nie robi dobry
- Pięć rzeczy, które wpisuję w każdy ważny prompt
- Jak proszę AI, żeby przyznała się do niewiedzy
- Po czym poznaję, że AI właśnie zmyśla
- Jak weryfikuję to, co dostaję
- Czego nigdy nie biorę od AI bez sprawdzenia
- Gdzie sam się sparzyłem
- Od czego zacząć u siebie
- Słownik pojęć
Dlaczego AI w ogóle zmyśla?
Zacznę od rzeczy, która wszystko ułatwia, gdy raz ją zrozumiesz. ChatGPT i Claude nie wiedzą niczego w taki sposób, w jaki wie człowiek albo w jaki wie wyszukiwarka. One nie mają w środku bazy faktów, którą sprawdzają, zanim odpowiedzą. One zgadują następne słowo. Bardzo, bardzo dobrze - na podstawie miliardów zdań, które przeczytały - ale ciągle zgadują, co najprawdopodobniej powinno paść dalej.
I tu jest sedno. Dla takiej maszyny zdanie prawdziwe i zdanie fałszywe wyglądają tak samo, jeśli oba brzmią sensownie. „Ustawa weszła w życie w 2024 roku" i „ustawa weszła w życie w 2023 roku" są dla niej równie dobrymi kandydatami, bo oba są poprawne gramatycznie i pasują do reszty zdania. Model nie ma wbudowanego sygnału „uwaga, tej daty naprawdę nie znam". Po prostu wybiera tę, która statystycznie wygląda najlepiej, i podaje ją z identyczną pewnością co fakt, który zna na pamięć.
To zjawisko ma swoją nazwę - halucynacja. Brzmi groźnie, a chodzi o coś prostego: AI generuje informację, która wygląda wiarygodnie, ale jest nieprawdziwa. Nie kłamie w ludzkim sensie, bo kłamstwo wymaga świadomości, że mówi się nieprawdę. Ona tej świadomości nie ma. Zmyśla tak, jak człowiek, który nie chce wyjść na niedouczonego i woli powiedzieć cokolwiek sensownie brzmiącego, niż przyznać, że nie pamięta. Z jedną różnicą - człowiek czasem się zawaha. AI nie zawaha się nigdy, jeśli jej tego nie każesz.
I właśnie dlatego cała ta sztuka rozmowy z AI sprowadza się do jednego: jak zmusić maszynę, żeby częściej trzymała się faktów, a rzadziej je wymyślała. Reszta tego artykułu jest o tym.
AI to pewny siebie stażysta. Trzymaj się tej analogii
Najlepszy obraz, jaki znalazłem, i którego używam z każdym klientem: AI to stażysta. Genialny, oczytany, błyskawiczny stażysta, który w sekundę napisze ci pismo, przeanalizuje tabelę i podsumuje raport. Ale stażysta z jedną fatalną cechą charakteru - za nic nie chce powiedzieć „nie wiem". Woli zmyślić odpowiedź, niż przyznać się do luki, bo gdzieś nauczył się, że pewność robi lepsze wrażenie niż szczerość.
Wyobraź sobie, że dajesz takiemu stażyście zadanie: „znajdź mi przepis prawny, który mówi o terminie płatności w transakcjach B2B". Dobry pracownik, jeśli nie jest pewien, powie: „sprawdzę, ale daj mi godzinę, bo nie chcę zmyślać". Twój stażysta-AI nie ma takiego hamulca. On natychmiast poda ci numer artykułu, nazwę ustawy i konkretny termin. Wszystko będzie brzmiało profesjonalnie. I część może być prawdą - a część wymyśli, bo brakującego fragmentu nie chciał zostawić pustego.
Gdy raz przyjmiesz, że rozmawiasz właśnie z taką osobą, wszystko inne układa się samo. Nie pytasz pewnego siebie stażysty o coś, czego potem nie sprawdzisz przy ważnej decyzji. Dajesz mu jasne instrukcje, a nie ogólniki. Wyraźnie mówisz, że jeśli czegoś nie wie, ma to powiedzieć, a nie zgadywać. I prosisz, żeby pokazał, skąd wziął swoje twierdzenia. Dokładnie tak traktowałbyś bystrego, ale zbyt pewnego siebie człowieka, któremu nie możesz jeszcze w pełni ufać. To nie brak szacunku do technologii. To realizm.
Co robi zły prompt, a czego nie robi dobry
Słowo „prompt" brzmi technicznie, a oznacza po prostu to, co wpisujesz AI - polecenie. Jakość tego polecenia decyduje o jakości odpowiedzi bardziej niż cokolwiek innego. Dam ci ten sam przykład w dwóch wersjach, żebyś zobaczył różnicę na własne oczy.
Zły prompt brzmi tak:
> Napisz mi maila do klienta, który nie zapłacił faktury.
Co z tym zrobi AI? Wymyśli całą resztę. Zgadnie, jak masz na imię, jak nazywa się klient, od ilu dni zalega, jaki masz z nim ton, czy to pierwsze przypomnienie czy piąte. Dostaniesz gładki, generyczny tekst, który trzeba przepisać od nowa, bo połowa założeń jest zmyślona. Tu nawet halucynacja nie jest groźna - po prostu tracisz czas. Ale ta sama luźność polecenia przy pytaniu o fakty kończy się wymyślonym przepisem prawnym.
Dobry prompt na to samo brzmi tak:
> Jesteś moim asystentem w małej agencji. Napisz krótkiego, uprzejmego, ale stanowczego maila do stałego klienta, który spóźnia się 30 dni z fakturą na 4 800 zł. To pierwsze przypomnienie, zależy mi na relacji. Bez nachalności, bez gróźb. Podpis tylko „Pozdrawiam". Jeśli brakuje ci jakiejś informacji do napisania tego dobrze - zapytaj, zamiast zgadywać.
Widzisz różnicę? Drugi prompt nie zostawia miejsca na zmyślanie, bo wszystko ważne jest w nim podane: rola, ton, kwota, kontekst, granice i wyraźne pozwolenie na to, żeby maszyna dopytała zamiast wymyślać. Im mniej luk zostawisz, tym mniej AI ma do wypełnienia po swojemu - a halucynacja to właśnie wypełnianie luk. Szczerze? Większość ludzi, którym pomagam, nie ma problemu z AI. Ma problem z tym, że mówi do niej dwoma słowami i oczekuje, że reszty się domyśli. A ona się nie domyśla. Ona zgaduje.
Pięć rzeczy, które wpisuję w każdy ważny prompt
Nie mam gotowych szablonów na wszystko, ale mam pięć nawyków. Wchodzą mi w każdy prompt, od którego coś zależy - mail do klienta, analiza, cokolwiek, czego potem użyję na zewnątrz.
Daję rolę i kontekst
Zaczynam od tego, kim ma być AI i w jakiej sytuacji jestem. „Jesteś księgowym małej firmy usługowej" da inną odpowiedź niż brak roli. Kontekst zawęża pole, na którym maszyna może się rozjechać. Im węższe pole, tym mniej fantazji.
Mówię konkretnie, nie ogólnie
Zamiast „przeanalizuj tę umowę" piszę „przeczytaj tę umowę i wypisz mi tylko zapisy o karach umownych i terminach wypowiedzenia, w punktach". Ogólne polecenie zaprasza do lania wody i dopowiadania. Konkretne trzyma maszynę na krótkiej smyczy.
Podaję dane, zamiast kazać jej zgadywać
To najważniejszy nawyk przeciw halucynacjom. Jeśli chcę, żeby AI coś podsumowała albo na czymś się oparła - wklejam jej ten materiał. Nie pytam „co mówi RODO o zgodach marketingowych", bo wtedy odpowie z pamięci, która bywa dziurawa. Wklejam jej konkretny fragment i każę pracować tylko na nim. Maszyna, która ma tekst przed sobą, zmyśla wielokrotnie rzadziej niż maszyna, która odtwarza coś z głowy.
Wyraźnie pozwalam powiedzieć „nie wiem"
Dopisuję jedno zdanie: „jeśli czegoś nie wiesz lub nie ma tego w materiale, napisz wprost, że nie wiesz - nie zgaduj". To brzmi banalnie, a zmienia zachowanie modelu naprawdę zauważalnie. Rozwijam to w osobnej sekcji niżej, bo to mój najmocniejszy bezpiecznik.
Proszę o źródła i o rozdzielenie faktów od opinii
Na koniec dopisuję: „przy każdym twierdzeniu o faktach napisz, skąd je masz, i oddziel to, co wiesz na pewno, od tego, co jest twoim domysłem". Nie dlatego, że ufam podanym źródłom w ciemno - akurat im ufam najmniej, o czym za chwilę. Ale samo poproszenie o źródła sprawia, że maszyna ostrożniej dobiera twierdzenia, a mnie daje listę rzeczy do sprawdzenia.
Jak proszę AI, żeby przyznała się do niewiedzy
To zasługuje na osobny akapit, bo to pojedyncza rzecz, która dała mi najwięcej. Pewny siebie stażysta zmyśla, bo nikt mu nie powiedział, że „nie wiem" jest dozwoloną odpowiedzią. Więc mu to mówię - dosłownie, w prompcie.
Moja standardowa formułka, którą doklejam do pytań o fakty, brzmi mniej więcej tak: „Odpowiadaj tylko na podstawie tego, co wiesz na pewno. Jeśli nie masz pewności co do daty, liczby, nazwiska, przepisu albo cytatu - napisz wprost, że nie jesteś pewien, zamiast podawać konkret. Wolę usłyszeć »nie wiem« niż ładnie brzmiącą zgadywankę." To zmienia ton odpowiedzi. Zamiast pewnej siebie ściany tekstu dostaję czasem „nie mam pewności co do dokładnej daty wejścia w życie, warto to zweryfikować" - i to jest dla mnie odpowiedź lepsza niż wymyślona data, bo wiem, gdzie postawić znak zapytania.
Działa to dlatego, że obniżasz maszynie poprzeczkę wstydu. Domyślnie AI zachowuje się tak, jakby przyznanie się do luki było porażką. Gdy w prompcie wyraźnie nagrodzisz szczerość i odbierzesz nagrodę za efektowne zgadywanie, część halucynacji po prostu znika - bo dałeś modelowi wyjście, którego wcześniej nie miał. Nie wyeliminujesz tego w stu procentach. Ale różnica między promptem z tą formułką a bez niej jest na tyle duża, że dziś nie zadaję ważnego pytania bez niej.
Po czym poznaję, że AI właśnie zmyśla
Po roku codziennej pracy mam kilka czerwonych lampek. Nie są niezawodne, ale każda z nich każe mi zwolnić i sprawdzić.
Pierwsza - nadmiar konkretu tam, gdzie się go nie spodziewam. Jeśli pytam o coś niszowego i dostaję natychmiast dokładny numer artykułu ustawy, pełną datę i nazwisko, zapala mi się ostrzeżenie. Prawdziwa wiedza częściej jest ostrożna. Zbyt gładka pewność przy trudnym pytaniu to klasyczny objaw zmyślania.
Druga - cytaty, nazwiska i linki. To obszar, w którym AI halucynuje najczęściej i najpewniej. Wymyślone cytaty brzmią idealnie, bo maszyna jest dobra w pisaniu zdań, które brzmią jak cytat. Linki bywają zmyślone w całości - adres wygląda poprawnie, a strony nie ma. Każdy cytat, każde nazwisko, każdy URL traktuję jako niesprawdzony, dopóki nie zobaczę go u źródła.
Trzecia - odpowiedź, która jest zbyt wygodna. Kiedy AI mówi mi dokładnie to, co chciałem usłyszeć, i jeszcze popiera to „badaniami", robię się podejrzliwy. Łatwo nakierować model na potwierdzenie własnej tezy - wystarczy zadać pytanie sugerujące odpowiedź. Wtedy maszyna grzecznie znajdzie argumenty na cokolwiek. Jeśli zależy mi na uczciwej analizie, sam proszę, żeby wskazała też kontrargumenty.
Czwarta, najprostsza - temat, na którym znam się lepiej niż średnio. Gdy AI wypowiada się o czymś, co dobrze znam, i widzę drobne przekłamania, zakładam, że na tematach, których nie znam, robi dokładnie to samo - tylko ja tego nie wyłapuję. To trzeźwiące. Skoro myli się tam, gdzie mogę ją złapać, myli się też tam, gdzie nie mogę.
Jak weryfikuję to, co dostaję
Tu mam jedną żelazną zasadę i podzielę się nią, bo uratowała mnie nieraz. Gdy AI podaje mi fakt, cytat albo dane, weryfikuję je nie przez kolejne pytanie do AI, tylko idąc do prawdziwego źródła. Różnica jest fundamentalna. Jeśli zapytasz model „czy to na pewno prawda?", on chętnie potwierdzi własną halucynację - bo dwa razy zgadnie podobnie. Pętla, w której AI sprawdza samą siebie, to złudzenie bezpieczeństwa.
W swojej pracy rozdzielam to twardo. Kiedy potrzebuję sprawdzić cytat albo fakt, otwieram źródło i czytam je naprawdę - wchodzę na stronę, do dokumentu, do ustawy - zamiast polegać na tym, że AI „wyszukała" mi odpowiedź. Wyszukiwanie i streszczanie przez AI bywa pomocne, ale ostateczną prawdą jest dla mnie dopiero to, co zobaczę u nadawcy oryginału. Ta różnica - między „AI mówi, że tak pisze ustawa" a „przeczytałem ustawę" - to różnica między wpadką a profesjonalizmem.
Praktyczna kolejność, której się trzymam, jest prosta. Liczby, daty, cytaty, nazwiska i przepisy sprawdzam zawsze u źródła. Rzeczy odwracalne i niskiego ryzyka - sformułowanie maila, pomysł na strukturę tekstu, brzdęk stylu - puszczam bez weryfikacji, bo i tak je przeczytam, zanim wyjdą. Im wyższa stawka i im trudniej cofnąć skutek, tym dokładniej sprawdzam. Pisałem już o tym przy automatyzacji, że najwięcej uwagi wymaga to, czego nie da się cofnąć - z weryfikacją AI jest identycznie.
Czego nigdy nie biorę od AI bez sprawdzenia
Mam krótką listę rzeczy, które są dla mnie automatycznie podejrzane - niezależnie od tego, jak pewnie zostały podane. To moje czerwone strefy.
- Przepisy prawne, terminy ustawowe, stawki i kwoty urzędowe - tu pomyłka kosztuje realnie, a AI myli się w tym wyjątkowo gładko
- Cytaty i wypowiedzi konkretnych osób - to obszar najczęstszych halucynacji, każdy cytat sprawdzam u źródła albo go nie używam
- Dane statystyczne i wyniki badań - liczba z procentem brzmi twardo, a bywa wymyślona razem z rzekomym źródłem
- Linki i adresy - traktuję je jak niesprawdzone, dopóki sam nie kliknę i nie zobaczę, że strona istnieje i mówi to, co miała mówić
- Cokolwiek o konkretnych firmach, ludziach czy zdarzeniach - tu model najłatwiej miesza fakty z prawdopodobieństwem
Reguła pod tym jest jedna: im bardziej coś jest konkretne, sprawdzalne i wychodzi na zewnątrz pod moim nazwiskiem, tym mniej wolno mi brać tego od AI na słowo. Maszyna jest świetna do myślenia razem ze mną, do szkicowania, do przekształcania tekstu, który jej dam. Jest ryzykowna jako źródło twardych faktów, których sam nie znam. To dwie różne role i mylenie ich to najczęstszy błąd, jaki widzę u osób zaczynających z AI.
Gdzie sam się sparzyłem
Nie piszę tego z pozycji kogoś, kto wszystko wie. Piszę z pozycji kogoś, kto się przejechał kilka razy i wyciągnął wnioski na własnym koszcie.
Ten wymyślony cytat z początku to nie był odosobniony przypadek. Na początku ufałem AI za bardzo, bo działała tak dobrze w rzeczach, które umiałem sprawdzić, że odruchowo rozciągnąłem to zaufanie na rzeczy, których sprawdzić nie umiałem. To pułapka. Skoro świetnie przepisuje maile i porządkuje moje myśli, mózg podpowiada, że pewnie tak samo dobrze zna przepisy. A nie zna - albo zna dziurawo, tylko podaje to z tą samą pewnością.
Drugi raz sparzyłem się na lenistwie z weryfikacją. Potrzebowałem szybko statystyki do tekstu, AI podała ładną liczbę z procentem i rzekomym źródłem, a mnie się spieszyło. Wkleiłem. Dopiero później, sprawdzając coś innego, zorientowałem się, że tej liczby nigdzie nie ma w tej formie. Nic groźnego się nie wydarzyło, bo wyłapałem to przed publikacją, ale poczułem ten sam zimny dreszcz co przy cytacie. Lekcja była prosta i kosztowała mnie tylko nerwy: pośpiech to najlepszy przyjaciel halucynacji. Maszyna zmyśla zawsze tak samo, to ja przestaję sprawdzać, gdy się spieszę.
Najważniejszy wniosek z tych potknięć jest taki, że problemem nigdy nie była AI. Problemem byłem ja, kiedy zapominałem, z kim rozmawiam. Gdy traktuję ChatGPT i Claude jak bystrego stażystę, którego pracę zawsze przeglądam, dostaję z nich ogromną wartość. Gdy traktuję je jak nieomylne wyrocznie, prędzej czy później dostaję wymyślony cytat - i dobrze, jeśli zdążę go złapać.
Od czego zacząć u siebie
Gdybym miał ci dać najkrótszą możliwą instrukcję na jutro, brzmiałaby tak.
1. Przyjmij, że rozmawiasz z pewnym siebie stażystą. To jedno założenie naprawi większość twoich problemów z AI, zanim w ogóle zaczniesz poprawiać prompty. 2. Pisz polecenia z kontekstem, nie dwoma słowami. Rola, sytuacja, konkret, granice. Im mniej luk zostawisz, tym mniej maszyna wymyśli po swojemu. 3. Dopisuj zdanie o niewiedzy. „Jeśli czegoś nie wiesz na pewno, powiedz to wprost zamiast zgadywać." Najtańszy bezpiecznik, jaki znam. 4. Sprawdzaj fakty u źródła, nie u AI. Cytaty, liczby, daty, przepisy, linki - zawsze poza maszyną. Pytanie modelu „czy to prawda" to nie weryfikacja. 5. Stopniuj czujność według stawki. Mail wewnętrzny puść luźno. Cokolwiek, co wyjdzie pod twoim nazwiskiem i czego nie cofniesz - sprawdź podwójnie.
Nie potrzebujesz do tego kursu ani działu IT. Potrzebujesz zmiany jednego nawyku myślowego - z „AI mi powiedziała" na „AI mi zaproponowała, a ja sprawdziłem". To wszystko. Jeśli chcesz głębiej wejść w to, którym narzędziem w ogóle warto pracować, opisałem to w tekście o tym, który model AI faktycznie pracuje w mojej firmie. A jeśli dopiero rozważasz, czy zacząć - tu jest mój przewodnik od czego ruszyć w 2026 roku.
Słownik pojęć
- Halucynacja - sytuacja, w której AI generuje informację, która brzmi wiarygodnie, ale jest nieprawdziwa. Maszyna nie kłamie świadomie - po prostu wypełnia lukę najlepiej pasującym zdaniem, nie odróżniając przy tym faktu od zgadywanki.
- Prompt - polecenie, które wpisujesz AI. Jego jakość bezpośrednio decyduje o jakości odpowiedzi. „Napisz mail" to słaby prompt. „Napisz krótki, stanowczy mail do klienta zalegającego 30 dni z fakturą na 4 800 zł" to dobry.
- Kontekst - informacje, które dajesz AI razem z poleceniem: rola, sytuacja, dane do pracy, granice. Im więcej istotnego kontekstu, tym mniej maszyna musi zgadywać, a zgadywanie to właśnie miejsce, gdzie rodzą się halucynacje.
- LLM (duży model językowy) - rodzaj AI, na którym działają ChatGPT i Claude. Nie ma w środku bazy faktów do sprawdzania - przewiduje najbardziej prawdopodobne kolejne słowo na podstawie ogromu tekstów, które przeczytał. To dlatego potrafi pisać płynnie i jednocześnie pewnie się mylić.
Sprawdźmy razem, gdzie w twojej firmie AI może zmyślać najgroźniej
Jeśli zaczynasz używać AI w firmie i nie chcesz uczyć się na wymyślonych cytatach jak ja, napisz do mnie na j.cybulski@idea4me.pl. Pokażę ci na twoich realnych zadaniach, gdzie maszynie można zaufać, a gdzie trzeba postawić bezpiecznik - bo to drugie zależy od tego, czym konkretnie się zajmujesz, i tego żaden ogólny poradnik za ciebie nie ustawi.
Więcej o tym, jak wygląda współpraca ze mną - od pierwszej rozmowy po wdrożenie.
własnej firmie cybulski.ai JC
