Przez pierwszy miesiąc po wdrożeniu Alexa myślałem: to działa. Przez trzeci miesiąc: to naprawdę działa. Przez szósty zacząłem rozumieć co nie działa. Po roku mam na tyle danych i doświadczeń żeby napisać coś, czego większość artykułów o AI unika: uczciwy rachunek.
Nie "5 powodów żeby wdrożyć AI". Nie "jak AI zmienił moją firmę". Tylko cyfry, konkretne porażki i jedna lekcja, która zmieniła to jak myślę o delegowaniu pracy do maszyny.
Pisałem wcześniej o tym czym jest Alex i jak działa technicznie. Tu jest sequel - co z tego wszystkiego wynikło.
Co zmierzyliśmy: twarde liczby po 12 miesiącach
Przez rok zbierałem dane. Nie z myślą o artykule - z myślą o tym żeby wiedzieć czy to co robimy ma sens finansowy. Poniżej co mam.
Czas na mailach. Przed Alexem: 85 - 90 minut dziennie na obsługę skrzynki (czytanie, kategoryzowanie, odpisywanie, pilnowanie follow-upów). Po roku z Alexem: 45 - 55 minut dziennie. Oszczędność: ok. 35 minut dziennie. W skali roku roboczego (220 dni): 128 godzin. Przy wycenie swojego czasu na 200 zł/h to 25 600 zł wartości odblokowanego czasu.
Follow-upy. Przed Alexem: robiłem follow-upy chaotycznie, szacuję że łapałem jakieś 40% przypadków gdzie powinienem napisać. Po roku: 95%+ follow-upów wychodzi w czasie, automatycznie. Efekt na sprzedaży: nie policzyłem precyzyjnie, ale kilku klientów odpisało na follow-up po 2 - 3 tygodniach ciszy i zamówiło. Jeden projekt z tego był wart 18 000 zł. Czy wyszedłby bez follow-upu? Nie wiem. Ale bez Alexa ten follow-up by nie poszedł w terminie.
Czas na ofertach. Przed: 2,5 - 4 godziny na ofertę od zera. Po: 1 - 1,5 godziny gdy mam szablon i podobny projekt w historii, 2 - 2,5 gdy projekt jest nowy. Oszczędność: ok. 50% na powtarzalnych typach ofert.
Artykuły na blog. Przed: jeden artykuł na 4 - 6 tygodni, bo bariera wejścia (pusta kartka) była za wysoka. Po: jeden na 2 - 3 tygodnie. Artykuły nie są szybsze - za to regularne. AI eliminuje "nie wiem od czego zacząć".
Suma kosztów za rok. Subskrypcje Claude Pro + ChatGPT Plus: 480 dol. = ok. 1 900 zł. Mój czas na budowę i utrzymanie systemu: ok. 60 godzin = 12 000 zł wartości pracy. Łącznie: ok. 14 000 zł.
Wartość odblokowanego czasu + jeden projekt z follow-upu: ponad 40 000 zł. ROI jest pozytywny. Ale nie jest tak prosty jak "wdrożyłem i zarobiłem". Diabeł tkwi w szczegółach.
Co działa niezawodnie. I dlaczego
Po roku widzę wzorzec. AI działa niezawodnie w trzech rodzajach zadań.
Pierwsze: zadania z jasnym szablonem i jasnym celem. Follow-up po 3 dniach bez odpowiedzi. Potwierdzenie spotkania. Odpowiedź na zapytanie ofertowe z konkretną listą pytań. Podsumowanie maila. Przy tych zadaniach Alex ma kontekst (kto, co, kiedy), ma wzorzec (jak takie maile pisałem wcześniej), i ma jasny cel. Wyniki są dobre i powtarzalne.
Drugie: redakcja własnych tekstów. Nie piszę artykułów przez AI. Piszę sam, potem daję AI do przejrzenia. "Co jest w tym tekście najsłabszym argumentem?" Albo: "Które zdania są zbędne?" Albo: "Co w tym brzmi jak AI a nie jak człowiek?" To jest naprawdę użyteczne. Inna perspektywa bez emocjonalnego przywiązania do tekstu.
Trzecie: szybkie rozeznanie w nieznanym temacie. Zanim spotkam się z klientem z branży, której nie znam - pytam AI. Nie po wiedzę ekspercką. Po słownik pojęć, po zrozumienie podstawowej logiki biznesu, po pytania które powinienem zadać. Zaoszczędziłem kilka zawstydzających momentów.
Trzy porażki które mnie zaskoczyły
Pierwsza: kontekst się gubi przy długich relacjach. Z jednym klientem współpracuję od dwóch lat. Mamy kilkadziesiąt rozmów, dziesiątki decyzji, historię nieporozumień i rozwiązań. Alex wie tyle ile mu powiem w danej chwili. Przy prostych zadaniach: wystarcza. Przy zadaniach które wymagają rozumienia całego kontekstu relacji - muszę za każdym razem briefować od zera. To czasochłonne i irytujące. Rozwiązanie: buduję bazę wiedzy o kliencie w osobnym pliku. Działa, ale wymaga dyscypliny.
Druga: AI nie wyłapuje tego czego nie widzi. Pewnego razu Alex wysłał follow-up do klienta, który dwa dni wcześniej napisał do mnie bezpośrednio przez telefon że nie jest zainteresowany. Alex tego nie wiedział, bo telefon. Wiadomość poszła. Klient był zaskoczony. Nieduży incydent, ale pokazuje ograniczenie: AI pracuje na danych których ma dostęp. Reszta świata jest dla niego niewidoczna.
Trzecia: styl wymaga ciągłego pilnowania. Alex ma tendencję do bycia "profesjonalnym" w sposób który nie jest moim stylem. Zbyt formalne otwarcia, zbyt okrągłe zdania, za dużo buforowania przed trudnymi komunikatami. Przez pierwsze miesiące myślałem że to kwestia prompta. Przez rok nauczyłem się że to jest cecha modelu, z którą walczę codziennie. Rozwiązanie: mam zestaw przykładowych maili które Alex dostaje jako context w każdym zadaniu. Pomaga. Ale nie eliminuje.
Jedna lekcja której nie przewidziałem
To jest najważniejszy punkt tego artykułu. Zajęło mi kilka miesięcy żeby to zobaczyć.
AI buduje dokumenty. Nie buduje twojego rozumienia.
Kiedy AI przygotowuje mi brief na spotkanie z klientem - mam gotowy dokument. Ale gdy siedzę naprzeciwko klienta i rozmowa idzie w nieoczekiwanym kierunku, okazuje się że moje rozumienie tematu jest płytsze niż gdybym ten brief napisał sam. Bo pisanie jest myśleniem. Kiedy piszę sam - rozumiem co piszę. Kiedy AI pisze za mnie, a ja tylko przeglądam - mam poczucie rozumienia bez samego rozumienia.
To jest subtelne i naprawdę ważne.
Doświadczyłem tego konkretnie na jednym spotkaniu. Klient zadał pytanie które nie było w briefie. Gdybym przygotowywał się ręcznie, natknąłbym się na tę lukę podczas pisania i uzupełniłbym ją. AI przygotowując brief nie wiedział że ta luka istnieje - bo nie wiedział czego nie wiem.
Od tamtej pory mam zasadę: materiały przygotowane przez AI czytam i przepisuję kluczowe fragmenty własnoręcznie. Brzmi jak strata czasu. Jest inwestycją w rozumienie.
Co zrobiłbym inaczej gdybym zaczynał dziś
Gdybym miał zacząć jeszcze raz, zrobiłbym trzy rzeczy inaczej.
Pierwsze: zacząłbym od jednego zadania. Nie od budowania asystenta. Od jednego procesu który mnie boli. U mnie bolały follow-upy. Gdybym skupił się tylko na tym przez 3 miesiące, nauczyłbym się szybciej i nie budował rzeczy które potem porzuciłem.
Drugie: mierzył od pierwszego dnia. Zanim wdrożyłem, powinienem przez dwa tygodnie mierzyć czas który spędzam na każdym zadaniu które chcę zautomatyzować. Zrobiłem to dopiero po kilku miesiącach. Przez to pierwsze miesiące nie wiedziałem ile naprawdę zyskuję.
Trzecie: osobna baza wiedzy per klient od początku. Zacząłem ją budować dopiero gdy ból braku kontekstu stał się nie do zniesienia. Przy każdym nowym kliencie teraz zakładam plik od razu.
Co z tego wynika dla twojej firmy
Nie budujesz Alexa. Nie musisz. Ale wnioski z roku pracy możesz zabrać ze sobą.
Jeśli zastanawiasz się nad wdrożeniem AI w firmie: zacznij od jednego powtarzalnego procesu. Zmierz go zanim zaczniesz. Zmierz po miesiącu. Oceń uczciwie. Potem decyduj o kolejnym kroku.
Jeśli już wdrożyłeś i jesteś rozczarowany: sprawdź czy masz jasny szablon i jasny cel dla każdego zadania które dajesz AI. Jeśli nie - to jest przyczyna.
Jeśli chcesz wdrożyć AI do pisania: pamiętaj o lekcji z rozumieniem. AI nie zastąpi myślenia. Może je przyspieszyć, może wesprzeć, ale nie zastąpi.
Szczerze? Rok temu powiedziałbym że AI zmieni wszystko. Dziś powiem: AI zmienia te części pracy które mają jasną strukturę. Reszta - relacje, decyzje, zrozumienie - to wciąż twoja robota. I to jest właściwie dobra wiadomość.
Słownik pojęć
- ROI (zwrot z inwestycji)
- Stosunek zysku do poniesionych kosztów. Przy AI w MŚP: liczony jako wartość odblokowanego czasu i pozyskanych projektów podzielona przez koszt subskrypcji + czas wdrożenia. Pozytywny ROI nie musi oznaczać że każde wdrożenie ma sens - ważne jest jakie konkretnie zadania zostały zoptymalizowane.
- Context window (okno kontekstu)
- Ilość informacji jaką model AI "widzi" w jednej rozmowie. Poza tym oknem - model nie pamięta. Przy pracy z długimi relacjami klientów lub złożonymi projektami: konieczne jest aktywne zarządzanie kontekstem (pliki wiedzy, briefy).
- Delegowanie rozumienia
- Pułapka polegająca na przekazaniu AI zadania które wymaga rozumienia, bez samodzielnego przepracowania treści. Efekt: dokument gotowy, ale wiedza nie przyswojona. Szczególnie groźne przy przygotowaniach do spotkań, negocjacji lub prezentacji.
Co mogę dla ciebie zrobić
Jeśli chcesz zacząć podobną drogę - lub ocenić gdzie w twojej firmie AI ma sens a gdzie nie - napisz na j.cybulski@idea4me.pl.
Nie potrzebujesz roku eksperymentów. Możemy skrócić drogę do wniosków które zabrały mi 12 miesięcy.
