Ważny mail przeleżał tydzień w kwarantannie i zniknął. Biała lista, która nigdy nie działała

Pierwszego października napisałem do klienta przypomnienie, że wciąż czekamy na dane dostępowe od jego dostawcy oprogramowania. Minęły dwa tygodnie od prośby, więc wypadało ponaglić. Odpowiedź przyszła po godzinie i była uprzejma, ale bolała: odpowiedź dostawcy wyszła 15 września, w załączniku zrzut ekranu. Ta wiadomość dotarła do mojej bramy pocztowej, dostała 4 punkty spamu przy progu 3, trafiła do kwarantanny, przeleżała tam tydzień i została skasowana. Przez szesnaście dni integracja stała, bo czekaliśmy na mail, który dawno u nas był.

Najgorsze odkryłem godzinę później. Domena nadawcy była na naszej białej liście. Od miesięcy. Tylko że reguła białej listy miała priorytet 70, a reguły spamu 80, 81 i 82, więc w starciu z nimi przegrywała za każdym razem. Nie zadziałała ani razu, od dnia, w którym ją założyliśmy. Prowadzę agencję AI i automatyzacji dla małych firm i wszystko, co radzę klientom, najpierw sprawdzam na sobie. Ten tekst jest o tym, jak sprawdzałem za słabo.

Spis treści

Co się właściwie stało, dzień po dniu?

Odtworzyłem to z logów bramy pocztowej, bo samego maila już nie było. Kolejność zdarzeń wyglądała tak:

  1. 14 września klient prosi swojego dostawcę oprogramowania o dane dostępowe do API, w kopii ja.
  2. 15 września, 13:16, dostawca odpowiada tylko do mnie. Filtr antyspamowy daje wiadomości 4 punkty, próg kwarantanny to 3. Mail ląduje w kwarantannie, nie w skrzynce.
  3. 16 i 18 września mój asystent AI wysyła raport z kwarantanny i w obu oznacza ten mail jako „do uwolnienia”. Nikt nie klika.
  4. Około 22 września kwarantanna, ustawiona wtedy na tydzień, kasuje wiadomość. Kopie zapasowe bramy obejmują konfigurację i reguły, nie zawartość kwarantanny. Treść jest stracona po naszej stronie.
  5. 1 października, po moim ponagleniu, klient przysyła zrzut ekranu tamtej odpowiedzi.

Cztery punkty przy progu trzech. Wiadomość od człowieka, z firmowej domeny, w odpowiedzi na wątek, który sam zacząłem w kopii. Filtr ocenił ją trochę surowo, ale filtry tak robią i dlatego istnieje biała lista: lista nadawców, którym ufasz na tyle, żeby ich poczta omijała ocenę spamu. Ta domena na liście była. Dodaliśmy ją w sierpniu, kiedy pierwsze maile tego dostawcy już raz wpadły do kwarantanny i trzeba je było uwalniać ręcznie.

Czyli mechanizm, który miał zapobiec dokładnie tej sytuacji, istniał, był skonfigurowany i widniał w panelu z zielonym statusem. A mimo to mail zginął.

Dlaczego biała lista nie zadziałała ani razu?

Nasza brama pocztowa, jak większość tego typu systemów, nie ocenia maila jedną decyzją. Przepuszcza go przez listę reguł, a każda reguła ma priorytet. Reguła o wyższym priorytecie jest sprawdzana pierwsza. Jeśli pasuje i podejmuje decyzję, na przykład „do kwarantanny”, reguły o niższym priorytecie już się nie liczą.

U nas kolejność na wejściu wyglądała tak: czarna lista 98, antywirus 96, niebezpieczne załączniki 93, modyfikacja nagłówków 90, potem reguły spamu: blokada powyżej 10 punktów 82, kwarantanna powyżej 5 punktów 81, kwarantanna powyżej 3 punktów 80. A biała lista? Priorytet 70. Pod wszystkimi regułami spamu.

Wyobraź sobie klub z dwoma bramkarzami stojącymi jeden za drugim. Pierwszy ma instrukcję „nie wpuszczać nikogo, kto wygląda podejrzanie”. Drugi trzyma listę gości i ma wpuszczać każdego, kto na niej jest. Problem polega na tym, że gość, którego pierwszy bramkarz uznał za podejrzanego, do drugiego już nie dochodzi. Lista gości jest, jest aktualna, ktoś ją nawet pilnie uzupełnia. Tylko stoi w złym miejscu.

Tak wyglądała nasza biała lista. Każdy mail z zaufanej domeny, który filtr ocenił powyżej 3 punktów, trafiał do kwarantanny, zanim reguła białej listy dostała szansę coś powiedzieć. Każdy mail poniżej 3 punktów przechodził i tak, bez jej udziału. W żadnym scenariuszu nie robiła nic. Była ozdobą.

Skąd ten priorytet

Nie wiem, czy 70 było wartością domyślną, czy ktoś wpisał ją kiedyś ręcznie. Sprawdziłem kopię konfiguracji z 15 sierpnia: tam też stoi 70. Czyli przez co najmniej półtora miesiąca mieliśmy białą listę jedenastu domen, która nie chroniła ani jednej z nich. Naprawa zajęła jedno polecenie: priorytet 85, powyżej reguł spamu, poniżej antywirusa i czarnej listy. Zrobiliśmy kopię konfiguracji przed zmianą i zapisaliśmy polecenie cofające, bo przy filtrze poczty każdą zmianę trzeba umieć odkręcić w minutę.

Jedno polecenie. Problem, który kosztował dwa tygodnie stania projektu, miał naprawę krótszą niż to zdanie.

Skąd „wiedziałem”, że działa?

To jest ta część, którą piszę najmniej chętnie. Byłem przekonany, że biała lista działa, i miałem na to trzy dowody. Żaden nie był dowodem.

Pierwszy: widziałem ją w panelu. Reguła „Whitelist”, aktywna, z listą domen. Wyglądało jak coś, co działa. Ale panel pokazuje, co jest skonfigurowane, a nie co się dzieje z pocztą. To rozróżnienie brzmi banalnie i właśnie dlatego się na nim przejechałem.

Drugi: po dodaniu domen do listy przestałem dostawać skargi. Tylko że skargi nie przychodzą z kwarantanny. Mail, który tam wpada, jest cichy. Nadawca myśli, że dotarł, odbiorca nie wie, że był. Brak skarg to nie dowód działania. To dowód, że nikt nie wie, co ginie.

Trzeci, najbardziej wstydliwy: 23 sierpnia uwalnialiśmy ręcznie z kwarantanny cztery maile z tej samej domeny. Cztery. Z domeny, która była na białej liście. To była dokładnie ta informacja, której potrzebowałem, podana wprost: lista nie działa. Przeczytałem ją jako „filtr bywa surowy” i poszedłem dalej. Pisałem kiedyś o zadaniu „zakończonym sukcesem”, które niczego nie zrobiło, i to jest ten sam gatunek błędu. Status mówił „jest”, więc nie sprawdziłem, czy „robi”.

Szczerze? Miałem dość siebie tego dnia. Nie dlatego, że filtr pomylił się o jeden punkt. Dlatego, że sygnał leżał w logach od sierpnia i nikt, łącznie ze mną, nie zadał pytania „skoro domena jest na liście, to dlaczego w ogóle widzimy ją w kwarantannie?”.

Dwa raporty kwarantanny i zero reakcji

Mój asystent AI codziennie przegląda kwarantannę i wysyła raport: co wpadło, co wygląda na prawdziwą pocztę, co warto uwolnić. 16 września wskazał tamten mail jako „do uwolnienia”. 18 września wskazał go drugi raz. Oba raporty przeczytałem. Przy żadnym nie kliknąłem.

Łatwo byłoby powiedzieć, że to moja nieuwaga, i w części tak jest. Ale zaprojektowałem ten raport tak, żeby nieuwaga była prawie pewna. Raport o zagubionych mailach był kolejnym mailem. Wyglądał jak dziesiątki innych automatycznych powiadomień, które dostaję dziennie. Nie miał przycisku „doręcz”. Żeby uwolnić wiadomość, trzeba było otworzyć panel bramy, znaleźć ją po identyfikatorze i kliknąć. Pięć kroków dla kogoś, kto czyta raport w biegu, to jest pięć kroków za dużo. Dwa tygodnie wcześniej opisałem, jak alarm, który krzyczy bez powodu, uczy ignorować alarmy. Tu było odwrotnie, a skutek ten sam: alarm miał rację, ale był tak samo nudny jak te, które racji nie miały.

Co zmieniam w raporcie

Trzy rzeczy, w kolejności od najprostszej:

  • Odpowiedzi w wątkach, które sami zaczęliśmy, mają być doręczane automatycznie, bez raportu. Jeśli napisałem do kogoś pierwszy, jego odpowiedź nie jest spamem z definicji. To da się rozpoznać po nagłówkach wiadomości.
  • Raport ma mieć przycisk „doręcz” i „dodaj do zaufanych” przy każdej pozycji. Jedno kliknięcie, nie pięć kroków.
  • Kwarantanna trzyma teraz 30 dni, nie 7. To nie rozwiązuje problemu, ale daje czas na jego zauważenie. Tydzień to za mało, żeby ktoś z drugiej strony zdążył zapytać „dostałeś?”.

Z tych trzech działa dziś tylko trzecia, bo to jedno polecenie. Dwie pierwsze są w budowie i wiem, że dopóki nie ruszą, kolejny taki mail może zginąć tak samo. Dlatego do tego czasu kwarantannę przeglądam ręcznie, co nie jest rozwiązaniem, tylko plastrem.

Jak sprawdzić filtr testem, a nie wiarą

Gdybym pół roku temu poświęcił kwadrans na to, co opisuję niżej, ten tekst by nie powstał. Nie trzeba być administratorem poczty. Trzeba zadać filtrowi pytanie, na które odpowiada zachowaniem, a nie konfiguracją.

Krok 1. Wypisz reguły razem z priorytetami

Nie patrz na listę reguł jako na listę. Patrz na nią jako na kolejkę. Każda brama pocztowa ma jakiś widok albo polecenie, które pokazuje reguły z ich priorytetami. Ustaw je od najwyższego do najniższego i zadaj sobie jedno pytanie przy białej liście: czy stoi powyżej wszystkiego, co może wysłać mail do kwarantanny? Jeśli nie, nie działa. Nie „działa częściowo”. Nie działa.

Przy okazji sprawdź, co stoi nad nią. Antywirus i blokada niebezpiecznych załączników powinny być wyżej niż biała lista. Zaufany nadawca z zawirusowanym komputerem nadal wysyła wirusa.

Krok 2. Wyślij mail, który na pewno jest spamem, z adresu, który na pewno jest zaufany

Jest do tego standardowy, publicznie opisany ciąg znaków, który każdy filtr oparty na SpamAssassin ocenia na 1000 punktów. Nazywa się GTUBE i powstał właśnie po to, żeby testować filtry bez wysyłania prawdziwego spamu. Wklej go w treść maila i wyślij z adresu, który jest na białej liście, do skrzynki, którą chronisz.

Jeśli mail dotrze do skrzynki, biała lista wygrywa z filtrem spamu. Jeśli wyląduje w kwarantannie, masz dokładnie mój przypadek: listę, która jest, ale nie stoi w kolejce tam, gdzie powinna. Cały test trwa minutę i nie wymaga niczego poza dwoma skrzynkami. U nas przez półtora miesiąca nikt go nie zrobił, bo nikt nie wątpił w zielony status w panelu. Cała lekcja tego tekstu mieści się w tej jednej minucie, której nie poświęciliśmy.

Krok 3. Odczytaj decyzję w logu, nie w panelu

Każda brama zapisuje w logu, która reguła zadecydowała o losie wiadomości. Po wysłaniu testu znajdź tę linię. Powinno tam stać coś w rodzaju „pasuje reguła Whitelist, akcja: akceptuj”. Jeśli widzisz „kwarantanna, poziom 3”, panel kłamał. Nie ze złej woli, po prostu pokazywał konfigurację, nie skutek.

Krok 4. Sprawdź, co naprawdę jest w kopii zapasowej

Byłem pewny, że kopie bramy pocztowej robią się co noc. Robiły się. Zawierały konfigurację, reguły i statystyki. Nie zawierały wiadomości siedzących w kwarantannie. Gdyby zawierały, odzyskałbym tamten mail w pięć minut zamiast prosić klienta o zrzut ekranu. Zadaj sobie pytanie wprost: gdyby kwarantanna skasowała dziś ważny mail, skąd bym go odtworzył? Jeśli odpowiedź brzmi „nie wiem”, odpowiedź brzmi „znikąd”.

Krok 5. Sprawdź retencję kwarantanny

Siedem dni to czas, w którym nadawca jeszcze nie zdążył się zdziwić brakiem odpowiedzi, a ty nie zdążyłeś zauważyć, że czegoś nie ma. U nas jest teraz 30 dni. Kwarantanna z całego miesiąca zajmuje na dysku mniej niż jedno nagranie z telefonu. Nie ma powodu, żeby trzymać krócej.

Co to ma wspólnego z AI?

Więcej, niż chciałbym. Pracuję z modelami językowymi codziennie i robię przy nich dokładnie ten sam błąd, tylko w innym ubraniu.

Prompt, który dobrze wygląda, to konfiguracja, która dobrze wygląda. Reguła „nigdy nie odpowiadaj na pytania o ceny” w instrukcji agenta to moja biała lista z priorytetem 70. Jest wpisana, jest widoczna, czytam ją i czuję spokój. A czy agent jej przestrzega, kiedy klient zapyta o cenę w czwartym zdaniu długiego maila, między dwiema innymi sprawami? Tego nie wiem, dopóki nie wyślę mu takiego maila i nie przeczytam odpowiedzi. Prompt to lista gości. Test to sprawdzenie, czy bramkarz w ogóle do niej zagląda.

Jest też druga analogia, mniej wygodna. Mój asystent AI zachował się w tej historii bez zarzutu: dwa razy wskazał właściwy mail i dwa razy miał rację. Zawiodłem ja, bo zaprojektowałem kanał, którym do mnie mówił, tak, żeby łatwo go było zignorować. W skrzynce, którą asystent obsługuje za mnie, poświęciłem tygodnie na to, komu ma odpowiadać sam, a komu nie. Na to, jak ma do mnie krzyczeć, kiedy coś ginie, poświęciłem jeden wieczór. Automatyzacja jest tak dobra, jak najsłabszy punkt, w którym człowiek ma coś kliknąć.

Czego ta naprawa nie załatwia

Byłoby nieuczciwie zakończyć na „podnieśliśmy priorytet i wszystko działa”. Podniesienie białej listy ponad reguły spamu ma koszt, który trzeba znać.

Na naszej liście jest jedenaście domen. Kilka z nich to duże firmy: rejestrator domen, dostawca hostingu, sieć sklepów. Od pierwszego października każdy mail z tych domen omija ocenę spamu. Jeśli ktoś podszyje się pod którąś z nich i przejdzie podstawową weryfikację nadawcy, jego wiadomość trafi prosto do skrzynki, z pełnym zaufaniem. Wcześniej, paradoksalnie, byliśmy na to odporni, bo biała lista i tak nic nie robiła.

Dlatego następny krok to zawężenie: zamiast całej domeny dużego dostawcy, konkretne adresy, z których faktycznie do nas piszą. Małe firmy partnerów mogą zostać całymi domenami, bo tam podszycie jest mniej opłacalne. To zadanie czeka w kolejce. Piszę o tym, bo w tekstach o bezpieczeństwie poczty biała lista bywa przedstawiana jako czysta wygoda. Nie jest. To świadome wyłączenie jednej warstwy ochrony dla kogoś, komu ufasz, i każdy wpis na niej powinien mieć powód oraz datę.

I ostatnia rzecz. Po tej historii przeglądam konfigurację bramy inaczej. Nie pytam „co jest ustawione”, pytam „kiedy ostatnio sprawdziłem, że to coś robi”. Dla białej listy odpowiedź brzmiała: nigdy. Dla kilku innych rzeczy w naszej infrastrukturze brzmi podobnie i wiem, że to jest lista na najbliższe tygodnie.

Słownik pojęć

  • Brama pocztowa - serwer, który stoi przed właściwym serwerem poczty i ocenia każdą przychodzącą wiadomość: wirusy, spam, podejrzane załączniki. Dopiero po tej ocenie mail trafia do skrzynki albo do kwarantanny.
  • Kwarantanna - miejsce, gdzie brama odkłada wiadomości ocenione jako prawdopodobny spam. Nie trafiają do skrzynki, ale przez pewien czas można je stamtąd uwolnić. Po upływie retencji są kasowane.
  • Punkty spamu i próg - filtr antyspamowy (najczęściej SpamAssassin) przypisuje wiadomości punkty za cechy typowe dla spamu. Powyżej ustalonego progu mail idzie do kwarantanny. U nas próg to 3 punkty.
  • Biała lista - lista nadawców lub domen, których poczta ma omijać ocenę spamu. Działa tylko wtedy, gdy jej reguła stoi w kolejce wyżej niż reguły, które wysyłają do kwarantanny.
  • Priorytet reguły - liczba decydująca o kolejności sprawdzania reguł w bramie. Wyższy priorytet jest sprawdzany pierwszy, a jego decyzja zamyka sprawę dla reguł niżej.
  • GTUBE - publiczny ciąg znaków do testowania filtrów antyspamowych. Każdy filtr oparty na SpamAssassin ocenia wiadomość z tym ciągiem na 1000 punktów, więc można bezpiecznie sprawdzić, co filtr robi z pewnym spamem.
  • Retencja kwarantanny - liczba dni, przez które wiadomość leży w kwarantannie, zanim zostanie skasowana.

Jeden testowy mail zamiast wiary w panel

Jeśli masz w firmie bramę pocztową z białą listą i nikt nigdy nie wysłał przez nią testowego spamu z zaufanego adresu, zrób to w tym tygodniu. Zajmie minutę. Jeśli wynik cię zaskoczy albo nie wiesz, gdzie szukać priorytetów reguł, napisz do mnie na [email protected]. Powiem, co sprawdzić, i gdzie u nas leżał sygnał, którego nie przeczytałem.

✓ Sprawdzone na
własnej firmie
cybulski.ai JC
You've successfully subscribed to cybulski.ai
Great! Next, complete checkout for full access to cybulski.ai
Welcome back! You've successfully signed in.
Unable to sign you in. Please try again.
Success! Your account is fully activated, you now have access to all content.
Error! Stripe checkout failed.
Success! Your billing info is updated.
Error! Billing info update failed.