W jedną noc straciłem dostęp do całej firmy. Wystarczyła jedna faktura

Zacząłem dzień jak zawsze - kawa, laptop, szybki rzut oka na własny blog. Tyle że blog się nie otworzył. Pomyślałem: pewnie chwilowy problem, odświeżę za minutę. Odświeżyłem. Dalej nic. A potem sprawdziłem drugą rzecz, trzecią, czwartą - i poczułem, jak robi mi się gorąco.

Bo padł nie tylko blog. Padło wszystko: system do ofert i CRM, na którym pracują moi klienci, panele, narzędzia, które sam zbudowałem. Cała moja firma - a właściwie jej cyfrowe serce - zniknęła w jedną noc. Powód okazał się absurdalnie prozaiczny: jedna niezapłacona faktura za serwer. Ta historia jest o tym, jak łatwo mała firma może stanąć na jednej nodze, nawet o tym nie wiedząc, i co z tym zrobić, zanim będzie za późno.

Rano nie działał blog. Po godzinie wiedziałem, że jest znacznie gorzej

Najpierw założyłem, że to drobiazg. Blogi czasem się zawieszają, hosting ma czkawkę, pięć minut i wraca. Otworzyłem więc panel administracyjny, żeby zerknąć, co się dzieje. Panel też się nie otworzył. To był pierwszy sygnał, że sprawa jest większa, niż myślałem.

Zrobiłem to, co robi każdy, kto grzebał kiedyś przy serwerach - sprawdziłem, czy sama maszyna w ogóle odpowiada. Nie odpowiadała. Ani strona, ani panel, ani żaden z pozostałych adresów, które na niej stały. System do ofert, z którego korzystają klienci? Cisza. Wewnętrzne narzędzia, które ułatwiają mi codzienną robotę? Cisza. Wszystko, co przez ostatni rok zbudowałem i poukładałem, siedziało na jednym serwerze - i ten serwer właśnie przestał istnieć dla świata.

Kolejne dwadzieścia minut zeszło mi na wykluczaniu prostszych przyczyn. Czy to mój internet? Nie, inne strony otwierały się bez problemu. Czy to problem z adresami? Nie, adresy wskazywały tam, gdzie powinny. Maszyna po prostu nie odpowiadała na nic - nawet na najbardziej podstawowe zapytanie, które normalnie potwierdza, że komputer w ogóle żyje. W tym momencie już wiedziałem, że nie chodzi o żadną chwilową czkawkę. Serwer był wyłączony.

Dlaczego jedna awaria położyła wszystko naraz

Tu dochodzimy do sedna, które powinno zapalić lampkę u każdego właściciela małej firmy. Ja przez ostatni rok konsekwentnie upychałem kolejne rzeczy na tej samej maszynie. Blog? Na ten serwer. Nowy system dla klientów? Na ten sam serwer. Panel do monitoringu, narzędzia wewnętrzne, kolejny projekt, jeszcze jeden? Wszystko tam.

Z jednej strony to wygodne i tanie. Jeden serwer, jedna faktura, jedno miejsce, o które trzeba dbać. Z drugiej - stworzyłem sobie coś, co w branży nazywa się pojedynczym punktem awarii. To znaczy jeden element, którego uszkodzenie kładzie całą resztę. Dopóki wszystko działa, nikt o tym nie myśli. W dniu, w którym coś pójdzie nie tak, okazuje się, że nie straciłeś jednej usługi, tylko wszystkie naraz.

Wyobraź sobie warsztat, w którym prąd do hali, do biura, do kasy i do bramy wjazdowej idzie przez jeden bezpiecznik. Przez lata nie ma z tym problemu. Ale w dniu, w którym ten bezpiecznik wyskoczy, nie gaśnie jedno światło - staje cała firma. Ludzie nie mają jak pracować, klient nie ma jak zapłacić, samochód nie ma jak wyjechać. Dokładnie to zrobiłem swojej firmie w wersji cyfrowej. Zbudowałem sprawną, wygodną infrastrukturę z jednym cichym założeniem: że ta maszyna nigdy nie zniknie.

Najgorsze jest to, że taki monolit nigdy nie powstaje jedną złą decyzją. Powstaje z serii małych, całkowicie rozsądnych wyborów. Za pierwszym razem stawiasz na serwerze jedną rzecz, bo szkoda płacić za drugą maszynę dla jednego drobiazgu. Za drugim dokładasz kolejną, bo przecież pierwsza działa bez zarzutu. Za trzecim nawet się nie zastanawiasz - to naturalne miejsce, wszystko już tam jest. I tak, decyzja po decyzji, każda z nich sama w sobie sensowna, budujesz sobie konstrukcję, w której jeden gwóźdź trzyma cały obraz. Nikt nigdy nie postanowił „zaryzykuję i postawię całą firmę na jednym punkcie". To się dzieje samo, po cichu, przez wygodę - i dlatego jest tak podstępne.

To samo dotyczy Twojej firmy, nawet jeśli nie masz żadnego serwera. Jeśli cała Twoja komunikacja z klientami idzie przez jedną skrzynkę, do której hasło zna jedna osoba - to jest pojedynczy punkt awarii. Jeśli wszystkie faktury i dokumenty siedzą na jednym komputerze w biurze, bez kopii - to też. Pisałem już kiedyś o ukrytych kosztach wdrożeń, o których nikt nie liczy przy podpisywaniu umowy, i to jest dokładnie ta kategoria: rzeczy, które nic nie kosztują, dopóki nie kosztują wszystkiego.

Klucz od zamka zostawiłem w zamkniętym pokoju

Teraz najbardziej wstydliwa część, ale opowiadam ją właśnie dlatego, że jest pouczająca. Kiedy już zrozumiałem, że serwer jest wyłączony, chciałem go po prostu uruchomić ponownie. Do tego potrzebne są klucze dostępowe do panelu dostawcy - takie cyfrowe hasło, które pozwala zdalnie zarządzać maszyną.

I tu spotkała mnie niespodzianka, z której do dziś śmieję się przez łzy. Te klucze, żeby były bezpieczne, trzymam w zaszyfrowanym sejfie. Bardzo rozsądnie. Problem w tym, że ten sejf stał na... tym samym serwerze, który właśnie padł. Chciałem otworzyć drzwi, a klucz do nich leżał w środku zamkniętego pokoju.

To jest klasyczny błąd, który w informatyce ma nawet swoją nazwę - sytuacja bez wyjścia, w której narzędzie potrzebne do naprawy jest niedostępne z powodu tej samej awarii, którą chcesz naprawić. Zbudowałem sobie ładny, bezpieczny system przechowywania sekretów i nie pomyślałem o jednej rzeczy: co, jeśli padnie akurat to miejsce, w którym on stoi. Uratowała mnie stara kopia zapasowa sprzed kilku dni, która na szczęście leżała lokalnie, na moim laptopie, i wciąż miała działający klucz. Gdyby jej nie było, jedyną drogą byłoby przebijanie się przez pomoc techniczną dostawcy - godziny, może dni.

Morał jest prosty i boleśnie oczywisty z perspektywy czasu: kopia zapasowa czegokolwiek naprawdę ważnego nie może leżeć wyłącznie w tym samym miejscu co oryginał. Klucz zapasowy trzymasz u sąsiada albo w portfelu, nie pod tą samą wycieraczką, pod którą chowasz ten główny.

O awarii dowiedziałem się przypadkiem, nie od systemu

Jest jeszcze jedna rzecz, która uwiera mnie w tej historii bardziej niż sama awaria. To, że dowiedziałem się o niej przypadkiem. Otworzyłem blog z przyzwyczajenia, przy porannej kawie - dokładnie tak, jak opisywałem kiedyś swój poranny rytuał z narzędziami, które czytają mi firmę zanim usiądę do biurka. Gdybym tego dnia zaczął pracę od czegoś innego, mógłbym się nie zorientować przez pół dnia. A klienci, którzy chcieli w tym czasie wejść do swojego systemu, zorientowaliby się za mnie. To najgorszy możliwy wariant - gdy o Twojej awarii mówi Ci klient.

Serwer padł w nocy. Przeleżał martwy kilka godzin, zanim w ogóle wziąłem laptop do ręki. Przez cały ten czas żaden system nie wysłał mi wiadomości, nie zadzwonił, nie mrugnął czerwoną lampką. Cisza. A przecież istnieje cała kategoria prostych narzędzi, których jedynym zadaniem jest pukać do Twojej maszyny co minutę i krzyczeć, gdy przestaje odpowiadać. Nazywa się to monitoringiem dostępności. Ironia polega na tym, że ja takie narzędzie mam - i ono również stało na tym samym serwerze. Znów ten sam błąd: strażnik zamknięty w budynku, którego miał pilnować.

Dobry monitoring działa z zewnątrz, z zupełnie innego miejsca niż to, które obserwuje. Sprawdza Twoją stronę, Twój system, Twoją skrzynkę - i w chwili, gdy coś przestaje odpowiadać, dostajesz SMS albo mail. Nie po to, żeby móc czarować przed klientem, że wszystko gra. Po to, żeby to Ty pierwszy wiedział o problemie i zdążył zareagować, zanim ktokolwiek inny go zauważy.

Najnudniejsze ustawienie świata, które ratuje firmę

Wróćmy do przyczyny, bo jest wręcz komiczna w swojej banalności. Serwer nie padł z powodu ataku, awarii sprzętu ani błędu w kodzie. Padł, bo skończyła się opłacona usługa, a odnowienie nie miało z czego się pobrać. W panelu dostawcy nie była zapisana żadna metoda płatności, a automatyczne przedłużanie było wyłączone. Termin minął, faktura poszła w niebyt, po kilku dniach dostawca po prostu wyłączył maszynę. Wszystko zgodnie z regulaminem.

To jest ten rodzaj problemu, który trudno nawet nazwać awarią. Nic się nie zepsuło. Po prostu nikt nie dopilnował nudnej, powtarzalnej czynności - opłacenia rachunku w terminie. A akurat ta nuda decydowała o tym, czy cała firma stoi, czy leży.

Po pierwsze: włącz automatyczne płatności tam, gdzie awaria boli. Za serwer, domenę, certyfikaty, kluczowe subskrypcje. To są rzeczy, których wygaśnięcie nie oznacza drobnej niedogodności, tylko przestój. Zapisana karta i automatyczne odnawianie to pięć minut roboty, które kupują spokój na lata.

Po drugie: ustaw sobie własne przypomnienie z wyprzedzeniem. Nawet przy włączonych automatach warto mieć w kalendarzu wpis na kilka dni przed terminem odnowienia najważniejszych usług. Karta może wygasnąć, płatność może się nie powieść, a Ty chcesz się o tym dowiedzieć wcześniej, a nie w dniu, w którym wszystko gaśnie.

Brzmi to nudno i mało technologicznie. I bardzo dobrze. Najwięcej firmowych pożarów gasi się nie efektownymi narzędziami, tylko właśnie takimi nudnymi nawykami, których nikt nie chwali, dopóki nie uratują dnia.

Gdzie Twoja firma stoi na jednej nodze

Możesz teraz pomyśleć: dobrze, ale ja nie mam żadnego serwera, prowadzę zwykłą małą firmę, to nie mój problem. Otóż jest Twój, tylko w innym przebraniu. Pojedynczy punkt awarii to nie jest pojęcie o serwerach. To pojęcie o zależności - o tym, że gdy jeden element zniknie, reszta nie ma jak działać.

Zadaj sobie kilka niewygodnych pytań o własną firmę. Gdyby jutro rano padł komputer księgowej albo osoby, która ogarnia całą sprzedaż - ile z tego, co ważne, zniknie razem z nim? Gdyby ktoś zablokował Wam skrzynkę mailową, przez którą idzie kontakt z klientami, macie drugą drogę, czy nagle stajecie się niewidzialni? Gdyby zniknął telefon z wszystkimi kontaktami do dostawców, macie te numery gdziekolwiek indziej?

Firma 10 - 200 osób rzadko przewraca się przez wielką katastrofę. Znacznie częściej przez taki jeden drobiazg, o którym nikt nie pomyślał, bo przez lata po prostu działał. Jeden komputer bez kopii. Jedno konto, do którego hasło zna jedna osoba - i akurat poszła na urlop. Jeden dostawca, na którym opiera się cała produkcja. To wszystko są bezpieczniki, przez które idzie prąd do całej hali. Warto je znać, zanim któryś wyskoczy.

Ile naprawdę kosztuje kilka godzin ciszy

Łatwo pomyśleć, że przestój strony czy systemu to problem czysto techniczny - coś nie działa, potem zaczyna działać, koniec tematu. W małej firmie tak to nie wygląda. Rachunek za taką ciszę składa się z kilku pozycji, z których żadna nie widnieje na fakturze od dostawcy.

Pierwsza pozycja to czas - mój własny. Zamiast robić to, co miałem zaplanowane na ten dzień, spędziłem godziny na diagnozie, szukaniu kluczy, gaszeniu pożaru. To są godziny, których nikt mi nie zwróci i za które nikt mi nie zapłacił. W firmie zatrudniającej ludzi ten koszt się mnoży: gdy staje wspólne narzędzie, nie stoi jedna osoba, tylko cały zespół, który akurat go potrzebował.

Druga pozycja jest gorsza, bo niewidzialna. To klient, który w tym czasie chciał wejść do swojego systemu i nie wszedł. Nie napisał, nie zadzwonił, nie poskarżył się - po prostu odbił się od martwej strony i wyrobił sobie cichą opinię. Zaufanie, które buduje się miesiącami, nadkrusza się właśnie w takich momentach, o których często nawet nie wiesz. Nie dostaniesz o tym raportu. Zobaczysz to najwyżej później, w tym, że ktoś nie przedłużył współpracy i nigdy nie powiedział dlaczego.

Trzecia pozycja to okazje, które przechodzą bokiem. Jeśli akurat tego ranka ktoś trafił na mój blog, chciał przeczytać tekst, sprawdzić ofertę albo się odezwać - nie miał jak. Nie wróci po godzinie, żeby sprawdzić, czy już naprawiłem. Po prostu poszedł dalej. W skali jednego dnia to szum, ale takie dni się sumują, a każdy z nich to kilka drzwi, które zamknęły się, zanim ktokolwiek zdążył przez nie wejść.

Kiedy zsumujesz te trzy pozycje, okazuje się, że rachunek za kilka godzin ciszy bywa wielokrotnie wyższy niż koszt samego serwera przez cały rok. I właśnie dlatego warto liczyć nie tylko to, ile płacisz za usługę, ale też to, ile Cię kosztuje jej brak przez jedno nieszczęśliwe popołudnie. Ta druga liczba jest zwykle znacznie większa - tylko nikt jej nie wystawia na fakturze.

Co zmieniam u siebie po tej nocy

Nie napiszę Ci, że po tej awarii przeprojektowałem wszystko od zera, bo to byłaby nieprawda i sam bym w to nie uwierzył. Ale kilka rzeczy zmieniam od razu, bo są tanie, szybkie i celują dokładnie w to, co mnie ugryzło.

Płatności i przypomnienia. Zapisana metoda płatności i automatyczne odnawianie dla serwera i domen. Do tego wpis w kalendarzu na kilka dni przed terminem, żeby nawet cichy błąd automatu nie zaskoczył mnie po raz drugi.

Klucze awaryjne poza serwerem. Kopia najważniejszych kluczy dostępowych ma leżeć w miejscu zupełnie niezależnym od maszyny, której dotyczy. Żeby otwieranie drzwi nigdy więcej nie zależało od tego, czy pokój za nimi jest dostępny.

Monitoring z zewnątrz. Sprawdzanie dostępności z innego miejsca niż sam serwer, z powiadomieniem na telefon. Chcę być pierwszą osobą, która wie o awarii - nie ostatnią.

Kopie zapasowe według prostej reguły. Trzy kopie ważnych danych, na dwóch różnych nośnikach, jedna z nich w zupełnie innym miejscu. To stara, sprawdzona zasada, którą znałem od dawna - i którą, jak się okazało, stosowałem tylko w połowie.

Rozważam też coś, na co wcześniej machałem ręką - rozdzielenie tego, co naprawdę krytyczne, od reszty. Systemy klientów nie muszą stać na tej samej maszynie co mój blog czy narzędzia do zabawy. Wygoda jednego miejsca kosztowała mnie trzy dni, przez które połowa firmy była niewidoczna. To za drogo jak na wygodę.

Bo prawdziwa lekcja z tej nocy nie brzmi „kup lepszy serwer". Brzmi: policz, ile rzeczy w Twojej firmie wisi na jednym gwoździu - i wbij drugi, zanim ten pierwszy się wygnie. Robię to teraz u siebie i wiem, że przy tych samych automatach i narzędziach, o których pisałem przy okazji pętli przypomnień i bezpieczników w automatyzacji, łatwo o poczucie, że skoro coś działa samo, to zadba o siebie samo. Nie zadba. Auto działa tylko tak długo, jak długo ktoś raz na jakiś czas zajrzy pod maskę.

Słownik pojęć

Serwer (VPS)

Zdalny komputer wynajmowany u dostawcy, na którym stoją Twoje strony, systemy i narzędzia. Płacisz za niego abonament, tak jak za prąd - gdy opłata się urwie, dostawca może go wyłączyć.

Pojedynczy punkt awarii

Jeden element, którego uszkodzenie zatrzymuje całą resztę. Jak bezpiecznik, przez który idzie prąd do całego zakładu - dopóki działa, nie widać problemu.

Monitoring dostępności

Narzędzie, które co chwilę sprawdza z zewnątrz, czy Twoja strona lub system odpowiada, i alarmuje Cię, gdy przestają. Strażnik, który dzwoni, zanim zauważy to klient.

Zasada 3-2-1

Prosty przepis na kopie zapasowe: trzy kopie danych, na dwóch różnych nośnikach, jedna z nich poza główną lokalizacją. Chroni przed sytuacją, w której tracisz oryginał i kopię naraz.

Masz małą firmę i nie wiesz, na ilu gwoździach realnie wisi? Napisz do mnie na j.cybulski@idea4me.pl - lubię takie rozmowy i chętnie podpowiem, od czego zacząć przegląd, żeby nie skończyć jak ja o poranku bez połowy firmy.