We wtorek 29 września o 23:31 przyszedł mail z czerwonym nagłówkiem: „Strona nie odpowiada”, sklep internetowy jednego z klientów, poziom krytyczny. Otworzyłem sklep w przeglądarce. Działał. Koszyk działał, produkty się ładowały, płatność też. Monitoring upierał się przy swoim przez kolejne czterdzieści pięć minut, a ja siedziałem nad laptopem i próbowałem zrozumieć, kto tu kłamie.
Dwa tygodnie temu pisałem o automatach, które umierają w ciszy: zadanie kończy się sukcesem i nic nie robi, a nikt nie zauważa przez pół roku. Dziś druga strona tej samej monety. Alarm, który krzyczy bez powodu, jest groźniejszy, niż się wydaje, bo nie psuje jednej nocy. Psuje wszystkie następne alarmy, także te prawdziwe. Prowadzę małą firmę, która pilnuje serwerów i stron kilkudziesięciu innych małych firm, więc tę lekcję odrobiłem na własnym panelu, zanim zacząłem o niej mówić klientom.
Spis treści
- Dlaczego monitoring alarmował o stronie, która działała?
- Czym grozi alarm, który kłamie?
- Jak przebudowałem sondę: rzadziej, cierpliwiej, z podpisem
- Skąd wiem, że cichszy alarm nadal krzyczy?
- Drugi fałszywy alarm tej samej nocy: laptop poszedł spać
- Zielone też potrafi kłamać
- Jak ustawić alarmy w małej firmie, żeby ktoś je jeszcze czytał?
- Słownik pojęć
Dlaczego monitoring alarmował o stronie, która działała?
Mój monitoring stron działa prosto. Program zwany sondą wchodzi na każdy pilnowany adres co 30 sekund i sprawdza, czy serwer odpowiada kodem z rodziny „wszystko w porządku”. Jeśli przez dwie minuty odpowiedzi nie ma albo jest inna, rusza alarm. Ta sama reguła obejmowała ponad osiemdziesiąt stron: nasze serwisy, strony klientów, panele.
Sklep tego klienta nie stoi u nas. Stoi na jednej z dużych światowych platform sklepowych, a te platformy bronią się przed botami. Każdy adres, który odpytuje je zbyt często, dostaje po pewnym czasie odpowiedź z kodem 429. W wolnym tłumaczeniu: „za dużo zapytań, odezwij się za minutę”. Policzyłem, ile zapytań wysyłała moja sonda z jednego adresu. Co 30 sekund to 2 880 wejść na dobę. Przez kilka tygodni platforma to tolerowała, 29 września wieczorem przestała.
Sklep więc odpowiadał. Odpowiadał grzecznie i konkretnie, z dopiskiem, żeby spróbować za 60 sekund. Tyle że moja sonda znała tylko jedną definicję zdrowia: kod z rodziny 200. Każdy inny traktowała jak awarię. Serwer mówił „zwolnij”, a monitoring słyszał „nie żyję”.
Czego nie dało się obejść
Pierwszy odruch był taki, żeby sonda przedstawiała się jak przeglądarka. Sprawdziłem to tej samej nocy, podstawiając trzy różne nazwy klienta: moją sondę, zwykłego Chrome'a i nazwę własną. Każda dostała 429. Limit był liczony na adres IP serwera, nie na to, kto się przedstawia. Zmiana nazwy nic nie dawała, a udawanie przeglądarki przez program, który przeglądarką nie jest, dla zapory po drugiej stronie bywa dodatkowym sygnałem bota.
Zajrzałem też w historię z ostatniego tygodnia. Ten sam sklep miał od 23 do 28 września dwadzieścia jeden krótkich wpadek po 1 - 3 minuty, kiedy platforma na chwilę oddawała błąd serwera. Dwie z nich przekroczyły próg dwóch minut i wysłały alarm, który sam się odwołał po chwili. Czyli hałas zaczął się wcześniej, tylko w małych dawkach. Duża platforma sklepowa ma takie mignięcia codziennie i nikt poza moją sondą ich nie widzi.
Czym grozi alarm, który kłamie?
Znasz to z parkingu pod blokiem. Alarm samochodowy wyje w nocy i nikt nawet nie podchodzi do okna, bo wszyscy wiedzą, że to wiatr albo kot. Gdyby ktoś naprawdę wybijał szybę, też by nikt nie podszedł. Alarm nie przestał działać. Przestał coś znaczyć.
Z monitoringiem jest identycznie, tylko wolniej i bardziej podstępnie. Pierwszy fałszywy alarm sprawdzasz. Przy piątym otwierasz tylko tytuł. Przy dwudziestym zakładasz regułę w skrzynce, która przenosi te maile do osobnego folderu, i od tej chwili folder jest miejscem, do którego nie zaglądasz. Nie wyłączyłeś alarmu. Zrobiłeś coś gorszego: wyłączyłeś siebie.
Mam na to własne, mało chwalebne dowody sprzed tej nocy. W sierpniu w moim starym narzędziu do pilnowania stron wisiało sześć adresów wyłączonego środowiska, od miesięcy na czerwono. Zapisałem wtedy w notatce: generują szum, który uczy ignorowania alarmów. I zostawiłem je na kolejne tygodnie. We wrześniu serwer pocztowy wysłał mi 5 595 powiadomień o „uruchomieniu usługi”, bo jego wewnętrzny monitoring łapał frazę z logu, którą napastnicy celowo wstawiali do odrzucanych połączeń. Każde powiadomienie zawierało w tytule fragment cudzego ataku. Oznaczyłem je hurtem jako przeczytane i dopisałem regułę, która je wycisza. Słuszne, ale od tej pory o stanie usług pocztowych wiem już tylko z innego źródła, a stare powiadomienie, gdyby raz powiedziało prawdę, przepadłoby w tej samej regule.
Szczerze? Dopiero przy sklepie z kodem 429 zobaczyłem, że to jeden i ten sam problem w trzech kostiumach.
Jest jeszcze koszt, o którym rzadko się mówi. Każdy alarm w nocy to kwadrans sprawdzania, a potem godzina, zanim zaśniesz z powrotem. Fałszywy alarm bierze ten czas za nic i oddaje w zamian trochę mniejszą czujność na następny. Kto pracuje z modelami językowymi, zna to z innej strony: asystent, który każdą odpowiedź opatruje tym samym ostrzeżeniem „mogę się mylić”, bardzo szybko uczy cię nie czytać ostrzeżeń. Także wtedy, gdy akurat naprawdę się myli.
Jak przebudowałem sondę: rzadziej, cierpliwiej, z podpisem
Zmiany zrobiłem jeszcze tej samej nocy, między 23:45 a 0:30, na kopiach plików konfiguracyjnych odłożonych na bok. Sklep klienta dostał osobny tor, a w nim cztery rzeczy inne niż w reszcie monitoringu.
Po pierwsze, częstotliwość. Zamiast co 30 sekund sonda pyta co 5 minut, czyli 288 razy na dobę zamiast 2 880. Dla platformy to dziesięć razy mniejsze obciążenie, poniżej progu, od którego zaczyna się bronić. Dla mnie to wciąż dość, żeby wiedzieć, czy sklep żyje. Nikt nie potrzebuje wiedzieć co pół minuty, czy sklep w obcym centrum danych odpowiada.
Po drugie, definicja zdrowia. W tym torze kod 429 liczy się jako „żyje”. To nie jest naginanie wyniku. Odpowiedź „za dużo zapytań” może wysłać tylko działający serwer, a to, czy sklep rzeczywiście sprzedaje, i tak widać w zamówieniach. Czas oczekiwania na odpowiedź podniosłem przy okazji do 15 sekund, bo duża platforma za oceanem czasem po prostu myśli dłużej niż nasza maszyna w Polsce.
Po trzecie, podpis. Sonda przedstawia się teraz pełną nazwą: monitoring idea4me, z adresem naszej strony. Skoro limit jest na adres IP i udawanie przeglądarki nic nie daje, lepiej, żeby platforma i klient widzieli jak na dłoni, kto puka. Jawny podpis da się wpisać na listę dozwolonych. Podszywanie się pod Chrome'a nie.
Po czwarte, i to jest najważniejsze, cierpliwość. Alarm w tym torze nie rusza po jednej nieudanej próbie. Rusza dopiero wtedy, gdy wszystkie próby z ostatnich szesnastu minut się nie powiodły, czyli co najmniej trzy kolejne, i stan ten utrzymuje się przez kolejne pięć minut. W praktyce od początku prawdziwej awarii do maila mija 15 - 20 minut. Za to pojedyncze mignięcie platformy, które wcześniej budziło mnie w nocy, teraz nie zostawia nawet śladu w skrzynce.
Reszta monitoringu, ponad osiemdziesiąt stron na naszych serwerach, została na dawnych 30 sekundach. Tam limitów nie ma, bo to nasze maszyny, a dwie minuty do alarmu to przy własnej awarii rozsądny czas.
Dlaczego dopiero teraz
Najbardziej gryzie mnie to, że regułę „alarm po trzech kolejnych nieudanych próbach” znałem. W marcu wpisałem ją do własnego narzędzia do pilnowania stron, przy alarmach o wolnej odpowiedzi, bo pojedynczy wolny pomiar nic nie znaczy. Potem postawiłem większy, poważniejszy monitoring na gotowych komponentach i tę regułę po prostu zgubiłem. Na początku października stare narzędzie wyłączyliśmy ostatecznie. Reguła przeżyła je tylko dlatego, że sklep klienta przypomniał mi o niej o 23:31.
To zresztą nie pierwszy raz, kiedy automat uczy mnie umiaru w częstotliwości. Rok temu podobną lekcję dała mi pętla przypomnień do klientów, która ponaglała ludzi za często. Tam adresatem był człowiek, tu serwer, a mechanizm ten sam: za częste pytanie przestaje być troską, a zaczyna być hałasem.
Skąd wiem, że cichszy alarm nadal krzyczy?
Alarm, który rzadziej się odzywa, łatwo przez przypadek zamienić w alarm, który nie odzywa się wcale. Dlatego po zmianie nie wróciłem do łóżka, tylko dodałem do nowego toru adres, który nie istnieje: wymyśloną domenę bez wpisu w DNS. Jeśli reguła działa, powinna ją zgłosić po mniej więcej kwadransie.
Adres dodałem o 0:21. Reguła przeszła w stan oczekiwania o 0:31, uznała awarię o 0:36, a mail z czerwonym nagłówkiem przyszedł o 0:37. Szesnaście minut od pierwszej nieudanej próby. Potem usunąłem wymyślony adres, sprawdziłem, że z listy celów zniknął tylko on, i o 0:47 dostałem mail odwołujący alarm. Dopiero wtedy uznałem robotę za skończoną.
Tę zasadę przyjąłem już we wrześniu przy budowie czujników dla własnych automatów: alarm jest gotowy, kiedy sztucznie go wywołam i zobaczę w skrzynce. Przy wyciszaniu alarmów jest jeszcze ważniejsza niż przy ich zakładaniu, bo wyciszanie to dokładnie ten moment, w którym najłatwiej przesadzić.
Jedno zaskoczenie było. Po restarcie monitoringu stara, wyłączona już sonda przez pięć minut wciąż widniała w pamięci z ostatnią wartością „awaria”, więc tuż po wdrożeniu przyszedł jeszcze jeden alarm i jego odwołanie. Jednorazowy artefakt, ale gdybym go nie zrozumiał, pomyślałbym, że poprawka nie działa, i zacząłbym grzebać dalej. Przy alarmach warto wiedzieć nie tylko, kiedy dzwonią, ale też dlaczego dzwonią akurat teraz.
Drugi fałszywy alarm tej samej nocy: laptop poszedł spać
Kiedy już rozgryzłem sklep, zajrzałem do historii pozostałych alarmów z ostatnich nocy. I znalazłem drugi wzór, równie regularny.
Czujniki, które pilnują mojego asystenta AI i jego automatów, działają na laptopie. Co 30 minut wysyłają odczyt na serwer, a reguła na serwerze alarmuje, gdy odczytów nie ma dłużej niż dwie godziny. Sensowne, dopóki nie zauważysz, że laptop w nocy śpi. Noc z 28 na 29 września: ostatni odczyt o 0:11, uśpienie o 0:14, alarm „czujnik milczy” o 2:27, przypomnienie o 6:32, odwołanie o 7:12, gdy laptop się obudził. Dzień wcześniej to samo. Dzień jeszcze wcześniej laptop pracował na baterii, a zadanie na baterii w ogóle się nie uruchamiało, więc alarm przyszedł w środku dnia. Co noc inna godzina, bo spać kładę się o różnych porach, i co noc ten sam mail.
Do tego drugi alarm, o zatrzymanym procesie, potrafił „świecić” całą noc z jednego powodu: ostatni odczyt przed snem zostawał na serwerze i reguła czytała go jak świeży przez osiem godzin. Przypomnienia co cztery godziny o stanie, który od dawna nie był aktualny.
Rozwiązanie okazało się bliższe zdrowemu rozsądkowi niż technice. Każdy odczyt z laptopa deklaruje teraz, do kiedy cisza jest dozwolona. Wieczorem i w nocy deklaruje: do 8:15 rano. W dzień: dwie godziny. Reguła alarmuje dopiero, gdy ta deklaracja minie, a laptop wciąż milczy. Alarm o zatrzymanym procesie bierze pod uwagę tylko odczyty młodsze niż godzina, więc stary stan nie budzi mnie o czwartej. Zadanie dostało też zgodę na pracę na baterii i na nadrobienie pominiętego terminu po wybudzeniu.
Sprawdziłem to tak samo jak sklep, symulacjami na podstawionych danych. Laptop „nie wstał” o 8:15: mail po siedmiu minutach. Cisza w dzień dłuższa niż dwie godziny: mail. Zwykły sen: nic. Przyjąłem jedno ograniczenie z otwartymi oczami: jeśli proces padnie tuż przed uśpieniem, alarm po godzinie sam się odwoła, bo odczyt się zestarzeje, i wróci dopiero z pierwszym porannym odczytem. Wolę to niż osiem godzin przypomnień o czymś, czego o trzeciej w nocy i tak nie naprawię.
Zegarek sportowy, który wszczyna panikę, bo zdjąłeś go na noc, nie pilnuje twojego serca. Pilnuje własnego paska. Z alarmem, który nie wie, że laptop śpi, było dokładnie tak.
Zielone też potrafi kłamać
Żeby nie było, że problemem jest tylko czerwony kolor. Tydzień przed historią ze sklepem ta sama sonda zgłosiła awarię domeny innego klienta. Zacząłem sprawdzać i wyszło, że ta domena od dziesięciu miesięcy nie należała już do klienta. Wygasła, trafiła na giełdę domen, a pod adresem stała strona „domena na sprzedaż”. Sonda szła za przekierowaniem, dostawała na końcu kod 200 i przez dziesięć miesięcy meldowała: strona działa. Prawda wyszła dopiero, kiedy giełda zaczęła blokować nasz adres i zielone zmieniło się w czerwone.
Kod 200 mówi tylko tyle, że jakiś serwer odpowiedział jakąś stroną. Nie mówi, czyją. Od tamtej pory przy monitorowanych domenach patrzę też, gdzie kończy się przekierowanie, a jeśli to inny host niż cel, traktuję to jak ostrzeżenie.
Zestawienie obu historii jest pouczające. W jednej sonda widziała awarię tam, gdzie jej nie było, w drugiej widziała zdrowie tam, gdzie od dawna nie było klienta. Wspólny błąd to zaufanie do jednej liczby. Kod odpowiedzi jest tylko pierwszym słowem, które mówi serwer. Trzeba jeszcze posłuchać, co mówi dalej.
Jak ustawić alarmy w małej firmie, żeby ktoś je jeszcze czytał?
W firmie na 10 - 50 osób alarmów nie ma wiele: strona, sklep, poczta, kopia zapasowa, może jeden ważny program. Właśnie dlatego każdy fałszywy waży tyle. Przy pięciu alarmach rocznie jeden kłamliwy to dwadzieścia procent zaufania mniej. Kilka zasad, które przyjąłem po tej nocy, i które można wdrożyć bez działu IT.
- Każdy alarm ma mieć odpowiedź na pytanie „i co wtedy robię?”. Jeśli odpowiedź brzmi „nic, bo to samo przechodzi”, to nie jest alarm, tylko hałas. Skasuj go albo zamień na raport tygodniowy.
- Trzy nieudane próby przed krzykiem. Jedna nieudana odpowiedź to anegdota, trzy z rzędu to zdarzenie. Dotyczy stron, kopii, synchronizacji, wszystkiego, co może mieć czkawkę.
- Częstotliwość pytania dobierz do tego, kogo pytasz. Własny serwer możesz odpytywać co pół minuty. Cudzą platformę, bank, kuriera, hurtownię pytaj rzadziej, bo oni się bronią, a twój alarm odczyta obronę jako awarię.
- Czytaj odpowiedź, nie tylko kolor. „Za dużo zapytań” to nie awaria. „Strona na sprzedaż” to nie zdrowie. Alarm powinien rozróżniać przynajmniej te dwa przypadki.
- Daj alarmowi kontekst, który masz w głowie. Noc, okno serwisowe, praca na baterii, weekend bez wysyłek. Jeśli ty wiesz, że cisza o trzeciej jest normalna, alarm też ma to wiedzieć, inaczej będzie cię tego uczył co noc.
- Każdą zmianę w alarmach sprawdź, wywołując alarm. Zepsuj coś celowo, zobacz mail, napraw, zobacz odwołanie. Dopiero wtedy zmiana jest gotowa.
- Raz w miesiącu policz, ile alarmów było prawdziwych. Jeśli mniej niż połowa, to nie masz monitoringu, tylko generator powiadomień, a ludzie już nauczyli się go nie czytać.
Ostatni punkt jest najtrudniejszy, bo wymaga przyznania, że coś, co wygląda na pilnowanie, pilnowaniem nie jest. Mnie to przyznanie zajęło od sierpnia do końca września, a przypomnieć musiał sklep klienta.
Słownik pojęć
- Sonda - mały program, który w ustalonych odstępach wchodzi na stronę lub serwer i sprawdza, czy odpowiada. Nie wie nic o treści, zna tylko kod odpowiedzi i czas.
- Kod 429 - odpowiedź serwera „za dużo zapytań”. Oznacza, że serwer działa, ale broni się przed zbyt częstym odpytywaniem z jednego adresu. Często zawiera wskazówkę, po jakim czasie spróbować ponownie.
- Kod 200 - odpowiedź „w porządku”. Mówi, że jakiś serwer oddał jakąś stronę, nie że jest to strona, której szukasz.
- Limit zapytań - zabezpieczenie platform internetowych przed botami: po przekroczeniu liczby wejść z jednego adresu w danym czasie kolejne wejścia dostają kod 429 albo są odrzucane.
- User-Agent - nazwa, którą program przedstawia się serwerowi. Przeglądarki podają swoją, sondy powinny podawać własną, z adresem właściciela, żeby dało się je rozpoznać i dopuścić.
- Zmęczenie alarmami - stan, w którym odbiorca przestaje reagować na powiadomienia, bo zbyt wiele z nich okazało się fałszywych. Skutek: prawdziwy alarm trafia w tę samą obojętność co fałszywe.
Policz alarmy z ostatniego miesiąca
Jeśli w twojej firmie jest skrzynka albo kanał, do którego spływają powiadomienia z systemów, zrób jedną rzecz: policz, ile z ostatnich dwudziestu wymagało jakiegokolwiek działania. Jeżeli wynik cię zaniepokoi albo nie wiesz, od czego zacząć porządki, napisz na [email protected]. Zaczniemy od tego, które alarmy skasować, nie od tego, które dołożyć.
własnej firmie cybulski.ai JC


