„A dałoby się mieć takie ChatGPT, tylko że u nas, na naszym serwerze, żeby nic nie wychodziło na zewnątrz?" - to pytanie pada u mnie coraz częściej, ostatnio od właściciela kancelarii, który nie chce, żeby akta jego klientów lądowały w cudzej chmurze. Odpowiedź brzmi: tak, dałoby się. A potem, po sekundzie, dodaję drugie zdanie, którego mój rozmówca zwykle się nie spodziewa: tylko prawie na pewno nie tego potrzebujesz.
Prowadzę agencję AI dla MŚP i wszystko, co radzę klientom, najpierw sprawdzam na własnej firmie. Lokalny model, czyli sztuczną inteligencję działającą na moim własnym sprzęcie, bez wysyłania czegokolwiek do internetu, mam u siebie od dawna - mój system wyszukiwania wiedzy liczy część swojej pracy właśnie na lokalnym silniku, nie w chmurze. Postanowiłem pójść dalej i sprawdzić, czy da się na własnym serwerze postawić pełnego rozmówcę, takie prywatne ChatGPT dla firmy na 10 - 200 osób, i czy to się w ogóle spina finansowo. Testowałem to tygodniami. Opowiem, co działa, ile realnie kosztuje, gdzie boleśnie przegrywa z chmurą i dla której firmy to jest strzał w dziesiątkę, a dla której droga zabawka.
Spis treści
- Co właściwie znaczy „model AI na własnym serwerze"?
- Jak postawiłem to u siebie i co wyszło
- Ile to naprawdę kosztuje?
- Gdzie lokalny model wypada gorzej niż chmura?
- Kiedy lokalna AI naprawdę ma sens dla małej firmy?
- Kiedy odradzam, choć mógłbym na tym zarobić
- Od czego zacząć, jeśli chcesz spróbować
- Co z tego zostaje
- Słownik pojęć
Co właściwie znaczy „model AI na własnym serwerze"?
Zacznę od rozbrojenia słowa, bo „lokalna AI" brzmi jak coś dla laboratorium NASA, a nie dla firmy z Lubina czy Piły. Kiedy piszesz do ChatGPT albo do Claude, twoje pytanie leci przez internet na serwery w Stanach, tam wielka maszyna układa odpowiedź i odsyła ją z powrotem. Płacisz za dostęp, a twój tekst przez chwilę jest u kogoś obcego. To model w chmurze.
Lokalny model odwraca ten układ. Sam silnik - czyli te wszystkie miliardy liczb, które składają się na „rozumienie" języka - ściągasz raz na swój komputer i od tej pory działa u ciebie. Pytanie nigdzie nie leci. Odpowiedź powstaje na twoim biurku albo w twojej serwerowni, przy zamkniętych drzwiach. Nic nie wychodzi na zewnątrz, bo nie ma jak i nie ma po co.
Najprościej wyobrazić to sobie tak. Chmura to jak korzystanie z taksówki - wsiadasz, płacisz za kurs, nie martwisz się o samochód, ale za każdym razem oddajesz się w cudze ręce i płacisz od przejechanego kilometra. Lokalny model to własne auto w garażu. Kupujesz raz, jeździsz ile chcesz bez licznika, nikt nie wie, dokąd jedziesz, ale to ty tankujesz, ty pilnujesz przeglądów i ty stoisz z tym autem, gdy w środku nocy nie odpali. Obie drogi dowożą cię do celu. Pytanie tylko, która jest dla ciebie tańsza i mniej kłopotliwa - i to jest cała treść tego artykułu.
Narzędzie, którym się to dziś robi, nazywa się Ollama. To darmowy program, który instaluje się w kilka minut i pozwala pobrać gotowy, otwarty model - Llama od Meta, Mistral, Qwen i kilkanaście innych - a potem rozmawiać z nim jak z każdym innym czatem, tylko całkowicie u siebie. Nie musisz nic programować. Wpisujesz jedno polecenie, model się ściąga i już gada. Ta łatwość to zresztą część pułapki, o której zaraz opowiem, bo „łatwo uruchomić" i „opłaca się utrzymać" to dwie zupełnie różne rzeczy.
Jak postawiłem to u siebie i co wyszło
Nie zaczynałem od zera, i to jest ważne dla uczciwości tej relacji. Lokalny model liczy u mnie kawałek roboty od dawna - w moim systemie wyszukiwania wiedzy o klientach to właśnie lokalny silnik zamienia setki dokumentów na formę, którą maszyna umie przeszukać po sensie. Ten fragment nigdy nie wychodzi do internetu i tak było od początku, bo pracuję na danych kilkudziesięciu firm i nie zamierzam ich nikomu oddawać. To działa niezawodnie i o to się nie martwię.
Chciałem sprawdzić coś trudniejszego: czy zamiast tylko przeszukiwać teksty, lokalny model da radę pisać, streszczać i odpowiadać na pytania na poziomie, który firma zniesie na co dzień. Postawiłem więc Ollamę na swoim sprzęcie i przepuściłem przez nią to, co realnie robię z AI - streszczanie długich maili, szkicowanie pierwszych wersji odpowiedzi, wyciąganie konkretów z dokumentów, klasyfikowanie faktur kosztowych do projektów. Te same zadania, które na co dzień oddaję modelom w chmurze, puściłem przez model działający wyłącznie u mnie.
Pierwsze wrażenie było lepsze, niż się spodziewałem. Do zadań prostych i powtarzalnych - streść, wypunktuj, przepisz uprzejmiej, wyciągnij datę i kwotę - lokalny model dowoził odpowiedzi zupełnie przyzwoite. Do tego stopnia, że przez pierwsze dni pomyślałem: no dobra, chmura odchodzi na emeryturę.
Drugie wrażenie było twardsze i przyszło, gdy zadania zrobiły się poważniejsze. Poproś lokalny model o wyłapanie subtelnego haczyka w umowie, o napisanie tekstu, który naprawdę brzmi jak człowiek, o rozumowanie na kilku krokach naraz, a różnica robi się widoczna gołym okiem. Tam, gdzie duży model z chmury trzyma wątek i łapie niuans, mniejszy lokalny gubi się, upraszcza, czasem pewnym głosem mówi rzecz nieprawdziwą. Nie jest głupi. Jest po prostu mniejszy, a w tej technologii rozmiar wprost przekłada się na to, ile model ogarnia naraz. To jak różnica między bardzo zdolnym stażystą a doświadczonym specjalistą. Stażysta zrobi mnóstwo rzeczy dobrze i tanio. Ale przy trudnej sprawie chcesz specjalisty, i wiesz o tym.
Wniosek z tych tygodni był więc niewygodny, bo nie było w nim prostego „tak" ani „nie". Lokalny model okazał się świetnym pracownikiem do rzeczy nudnych i masowych, a słabszym doradcą do rzeczy trudnych. I cała sztuka, jak to zwykle w automatyzacji bywa, polega na tym, żeby wiedzieć, którą robotę komu oddać.
Ile to naprawdę kosztuje?
Tu jest miejsce, w którym pęka najwięcej marzeń o „darmowym AI u siebie". Bo model owszem, jest za darmo - pobierasz go bez opłaty licencyjnej i możesz z niego korzystać do woli. Ale „darmowy model" i „darmowe rozwiązanie" to dwie różne bajki, a różnicę płaci się w sprzęcie, prądzie i czasie.
Sprzęt, czyli gdzie znika pierwsza kwota
Żeby lokalny model odpowiadał sensownie szybko, potrzebuje mocnej karty graficznej z dużą ilością własnej pamięci - to ona wykonuje te miliardy obliczeń na sekundę. Na słabym, zwykłym komputerze biurowym większy model albo nie ruszy, albo będzie odpowiadał tak wolno, że pracownik szybciej zrobi to sam. Realnie mówimy o maszynie z porządną kartą, a to wydatek rzędu od kilku do kilkunastu tysięcy złotych, zależnie od tego, jak duży model chcesz uciągnąć i ilu ludzi ma z niego korzystać naraz. To koszt jednorazowy, ale wchodzi na start, zanim cokolwiek zacznie pracować.
Prąd i utrzymanie, czyli koszt, który wraca co miesiąc
Taka maszyna, gdy pracuje, potrafi ciągnąć prąd jak niemały grzejnik. Przy pojedynczym stanowisku to drobiazg, ale serwer chodzący całą dobę dla całej firmy dopisuje do rachunku za prąd kwotę, której nikt na starcie nie liczy. Do tego dochodzi utrzymanie: ktoś musi to postawić, zaktualizować, gdy wyjdzie lepszy model, naprawić, gdy przestanie działać po aktualizacji systemu. Oprogramowanie jest darmowe. Człowiek, który wie, co zrobić, gdy serwer w piątek o siedemnastej przestaje odpowiadać, nie jest darmowy nigdy. To ta sama prawda, którą opisałem szerzej przy ukrytych kosztach wdrożeń AI - cena z metki to zawsze dopiero początek.
Porównanie z chmurą, czyli druga strona rachunku
A teraz druga szala wagi. Dostęp do bardzo dobrego modelu w chmurze kosztuje od kilkudziesięciu do kilkuset złotych miesięcznie na osobę, zależnie od tego, ile realnie z niego korzystasz. Żadnego sprzętu, żadnego prądu, żadnego utrzymania - wszystko po stronie dostawcy, a ty masz zawsze najnowszy, największy model, lepszy niż cokolwiek, co odpalisz u siebie. Zrób prostą arytmetykę na trzy lata. Chmura to abonament razy trzydzieści sześć miesięcy. Lokalne to koszt maszyny plus prąd plus czyjś czas na utrzymanie. Dla małej firmy, gdzie z AI korzysta kilka osób od czasu do czasu, ten rachunek prawie zawsze wychodzi na korzyść chmury, i to z dużym zapasem. Lokalny model zaczyna się opłacać dopiero przy dużej liczbie osób albo ogromnym wolumenie zapytań - dokładnie tak samo, jak przy budowaniu własnych narzędzi zamiast płacenia abonamentu. Krzywe kosztów są tu bliźniacze.
Bo koszt to nie jest jedyny powód, dla którego ktoś stawia model u siebie. I zaraz do tego dojdę, bo tam leży cała wartość tej opcji. Najpierw jednak muszę być wobec ciebie uczciwy do końca i pokazać, gdzie lokalny model po prostu przegrywa.
Gdzie lokalny model wypada gorzej niż chmura?
Skoro obiecałem szczerość, to nie tylko o zaletach. Trzy rzeczy, na których lokalny model dziś przegrywa z chmurą, i żadna z nich nie zniknie w tym roku.
Pierwsza to jakość na trudnych zadaniach. Model, który odpalisz na własnym sprzęcie, jest z konieczności mniejszy niż te największe w chmurze, bo tamtych żadna firmowa serwerownia nie uciągnie. A mniejszy znaczy słabszy tam, gdzie trzeba naprawdę myśleć - złożone rozumowanie, subtelny język, wyłapanie niuansu, którego nie ma wprost w tekście. Do prostej roboty różnicy nie poczujesz. Do trudnej poczujesz ją od razu i będzie bolała.
Druga to szybkość i przepustowość. W chmurze za twoim jednym pytaniem stoi ogromna infrastruktura, więc odpowiedź przychodzi błyskawicznie, nawet gdy pyta dziesięć osób naraz. U siebie masz jedną maszynę. Gdy dwie osoby zadadzą trudne pytanie w tej samej chwili, ustawiają się w kolejce, a model zwalnia. Dla jednego użytkownika to niewidoczne. Dla całego działu, który miał na tym pracować równolegle, bywa to zabójcze.
Trzecia, najcichsza i najgroźniejsza, to utrzymanie i ryzyko jednej osoby. Chmura sama się aktualizuje, sama się nie psuje, a gdy coś nawali, jest cudzy zespół, który to naprawia. Lokalny model to twój serwer, twój problem i twoja noc, gdy przestanie działać. Jeśli postawił ci to jeden zdolny człowiek i ten człowiek zniknie, zostajesz z maszyną, której nikt w firmie nie rozumie. Widziałem już firmy sparaliżowane przez własne systemy, bo jedyna osoba, która je ogarniała, dawno odeszła. Lokalna AI dokłada dokładnie takie samo ryzyko.
Szczerze? Gdyby chodziło wyłącznie o jakość, szybkość i wygodę, odradzałbym lokalny model niemal każdemu i kończył artykuł w tym miejscu. Ale jest jeden powód, przy którym cała ta lista wad przestaje mieć znaczenie.
Kiedy lokalna AI naprawdę ma sens dla małej firmy?
Tym powodem są dane, które nie mogą opuścić firmy. I to nie jest kaprys ani moda, tylko czasem twardy wymóg prawa albo zdrowego rozsądku.
Wyobraź sobie kancelarię pracującą na aktach klientów objętych tajemnicą zawodową. Przychodnię z dokumentacją medyczną. Biuro rachunkowe z pełnią danych finansowych setek firm. Podwykonawcę związanego umową o poufności, który po prostu nie ma prawa wynieść dokumentów zleceniodawcy poza własną infrastrukturę. Dla nich wrzucenie tych tekstów do cudzej chmury jest albo wprost zakazane, albo tak ryzykowne, że nikt rozsądny się na to nie pisze. I w tej samej chwili cała przewaga chmury - jakość, szybkość, wygoda - przestaje się liczyć, bo chmura po prostu odpada z gry. Zostaje jedna droga: model, który liczy wszystko u ciebie i z którego żaden fragment nie wychodzi na zewnątrz.
To jest zresztą szerszy temat, który wraca u mnie przy każdej poważnej rozmowie o wdrożeniu, bo gdzie fizycznie leżą twoje dane bywa ważniejsze niż to, jak sprytny jest sam model. Jeśli twoje dokumenty nie mogą opuścić firmy, nie pytasz już „chmura czy lokalnie". Masz odpowiedź, zanim spojrzysz na cennik.
Drugi przypadek to duży, powtarzalny wolumen. Jeśli przepuszczasz przez AI nie kilkadziesiąt zapytań dziennie, tylko dziesiątki tysięcy - bo klasyfikujesz masę dokumentów, przetwarzasz zgłoszenia, obrabiasz teksty na skalę przemysłową - to w chmurze licznik kręci się bez litości i rachunek potrafi urosnąć do absurdu. Wtedy własna maszyna, która po zakupie mieli bez licznika, zaczyna się spłacać. Jest taki próg wolumenu, powyżej którego lokalne bije chmurę na głowę. Każda firma ma go w innym miejscu, ale gdy go przekroczysz, dalsze płacenie od zapytania to zostawianie pieniędzy na stole.
Trzeci, rzadszy: praca w miejscu bez pewnego internetu albo wymóg pełnej niezależności od dostawcy, który z dnia na dzień może zmienić cennik, regulamin czy w ogóle zamknąć usługę. Gdy model jest u ciebie, nikt ci go nie wyłączy i nikt nie podniesie ceny. Dla części firm ta pewność jest warta więcej niż różnica w rachunku.
Zwróć uwagę, że w żadnym z tych trzech przypadków głównym powodem nie jest „bo taniej". Lokalna AI rzadko wygrywa samą ceną. Wygrywa wtedy, gdy w grę wchodzi coś, czego chmura nie potrafi dać za żadne pieniądze - twoje dane u ciebie, koszt niezależny od licznika albo spokój, że nikt ci wtyczki nie wyciągnie.
Kiedy odradzam, choć mógłbym na tym zarobić
A teraz część, której nie usłyszysz od nikogo, kto chce ci sprzedać „wdrożenie własnej AI". Większości małych firm lokalny model odradzam. Mówię to jako ktoś, kto takie rzeczy stawia i mógłby na tym policzyć niezłą fakturę.
Jeśli masz firmę na kilkanaście osób, twoje dane spokojnie mogą być w chmurze, a AI używasz do pisania maili, streszczeń i pomysłów - nie buduj nic. Wykup dostęp do dobrego modelu w chmurze, zapłać abonament i miej najlepszą dostępną technologię bez kupowania serwera, bez rachunków za prąd i bez nocnych telefonów, że „przestało działać". To jak kupowanie własnej elektrowni, żeby zaświecić żarówkę w biurze. Prąd z gniazdka jest tańszy, pewniejszy i ktoś inny pilnuje, żeby płynął.
Drugi przypadek, w którym mówię „nie", to brak kogokolwiek technicznego pod ręką. Lokalny model, choćby postawiony w kwadrans, wymaga, żeby ktoś umiał go w razie czego naprawić i co jakiś czas podmienić na nowszy. Jeśli w firmie nie ma takiej osoby ani nikogo na stałe, kto by tym się zajął, własny serwer AI to nie oszczędność, tylko mina z opóźnionym zapłonem. Lepszy gotowy dostęp z cudzym wsparciem niż własne cudo, którego u ciebie nikt nie ogarnie.
Trzeci, najtrudniejszy do przyznania: czasem firma chce mieć AI „u siebie", bo to brzmi nowocześnie i dobrze wygląda na spotkaniu zarządu. „Mamy własny model" to niezłe zdanie. To najgorszy z możliwych powodów. Najlepsze wdrożenia, jakie widziałem, brały się z policzonego problemu. Najgorsze - z chęci posiadania zabawki. Zanim zapytasz „jak postawić własny model", zadaj sobie pytanie, które zadaję każdemu klientowi na pierwszym spotkaniu: co konkretnie zyskam, czego chmura mi nie da? Jeśli nie umiesz dokończyć tego zdania czymś twardym, masz odpowiedź.
Od czego zacząć, jeśli chcesz spróbować
Gdybyś jednak po tym wszystkim uznał, że u ciebie to ma sens - a są firmy, u których ma - to kolejność jest taka.
1. Zacznij od pytania o dane, nie o sprzęt. Sprawdź najpierw, czy twoje dokumenty w ogóle mogą trafić do chmury. Jeśli mogą, prawie na pewno lokalny model nie jest ci potrzebny i zaoszczędzisz sobie sporo kłopotu. Jeśli nie mogą, masz realny powód, żeby czytać dalej. 2. Przetestuj za darmo, zanim cokolwiek kupisz. Zainstaluj Ollamę na najmocniejszym komputerze, jaki masz pod ręką, pobierz jeden z otwartych modeli i przepuść przez niego swoje prawdziwe zadania, nie zabawki z internetu. Po tygodniu będziesz wiedział, czy jakość ci wystarcza, i to jest wiedza warta więcej niż dziesięć prezentacji. 3. Policz oba warianty na trzy lata. Sprzęt plus prąd plus czyjś czas kontra abonament chmurowy razy trzydzieści sześć. Dopiero te dwie liczby obok siebie mówią prawdę. Robię to samo przy każdym wyborze narzędzia i opisałem tę arytmetykę dokładniej przy kosztach AI w firmie. 4. Rozdziel zadania. Nie musisz wybierać wszystko albo nic. Najzdrowszy układ, jaki znam, to lokalny model do rzeczy masowych i wrażliwych, a chmura do rzeczy trudnych, gdzie liczy się najwyższa jakość. To trochę jak z wyborem między modelami w chmurze - rzadko chodzi o jeden słuszny, częściej o właściwe narzędzie do właściwej roboty. 5. Zadbaj o to, żeby rozumiała to więcej niż jedna osoba. Zostaw opis, jak to działa i co robić, gdy padnie. Bez tego twój lokalny model jest bezpieczny dokładnie do dnia, w którym odejdzie człowiek, który go postawił.
Nie potrzebujesz do tego działu badawczego ani wielkiego budżetu. Potrzebujesz jednej szczerej rozmowy o tym, czy twoje dane naprawdę muszą zostać w firmie - bo od tej odpowiedzi zależy wszystko inne.
Co z tego zostaje
Lokalny model AI działa u mnie i cieszę się, że go mam - ale mam go, bo pracuję na cudzych danych i część roboty naprawdę nie ma prawa opuścić mojego sprzętu. To był u mnie warunek, nie oszczędność. Gdyby nie on, pierwszy zapisałbym się do chmury i nie oglądał na własny serwer, bo dla większości tego, co robię, chmura jest lepsza, tańsza i spokojniejsza.
I dokładnie to samo mówię firmom, które pytają mnie o „prywatne ChatGPT u siebie". Lokalna AI to nie jest lepsza wersja chmury. To inne narzędzie do innej sytuacji. Ma sens dokładnie wtedy, gdy twoje dane nie mogą wyjść za drzwi, gdy wolumen jest ogromny albo gdy niezależność od dostawcy jest dla ciebie warta swojej ceny. W każdym innym przypadku najmądrzejsza decyzja technologiczna, jaką możesz podjąć, to nie stawiać żadnego serwera, wykupić dobry dostęp w chmurze i wrócić do tego, na czym naprawdę zarabiasz. Bo posiadanie AI na własnym serwerze nie jest celem. Celem jest rozwiązany problem - a ten czasem rozwiązuje własna maszyna, a znacznie częściej cudza, do której wystarczy się zalogować.
Słownik pojęć
- Lokalny model (model AI na własnym serwerze) - sztuczna inteligencja działająca na twoim własnym komputerze lub serwerze, bez wysyłania czegokolwiek do internetu. Kluczowa, gdy dane nie mogą opuścić firmy.
- Ollama - darmowy program, który pozwala pobrać gotowy, otwarty model AI i uruchomić go u siebie w kilka minut, bez programowania. Dzięki niemu rozmawiasz z modelem jak z czatem, ale całkowicie lokalnie.
- Model otwarty (open source) - model, którego twórca udostępnia za darmo do pobrania i używania, na przykład Llama, Mistral czy Qwen. Przeciwieństwo modeli zamkniętych, dostępnych tylko przez płatną chmurę dostawcy.
- Karta graficzna (GPU) - podzespół komputera, który wykonuje miliardy obliczeń na sekundę potrzebnych, żeby model odpowiadał szybko. Im większy model chcesz uruchomić, tym mocniejsza i droższa karta jest potrzebna.
- Model w chmurze - AI działająca na serwerach dostawcy, do której łączysz się przez internet i płacisz za dostęp, zwykle w abonamencie. Wygodna i najwyższej jakości, ale twoje dane przez chwilę są u kogoś obcego.
Zanim postawisz serwer AI, sprawdźmy razem, czy w ogóle go potrzebujesz
Jeśli zastanawiasz się nad własnym modelem AI, bo twoje dane są wrażliwe albo boisz się chmury, napisz do mnie na j.cybulski@idea4me.pl. Przejdziemy przez twój konkretny przypadek i całkiem możliwe, że odradzę ci stawianie czegokolwiek, bo nie każdą firmę to naprawdę dotyczy. Wolę powiedzieć ci to przed zakupem serwera niż po - bo najdroższa jest ta lokalna AI, która stoi w kącie i tylko grzeje prąd.
własnej firmie cybulski.ai JC
