Omezení a pasti

Okna, kdy něco nesbíralo nebo se data nedostala na všechna místa. Seznam se generuje z rozborů incidentů a ručně se neudržuje – každá díra odkazuje na incident, který ji způsobil. Za zdroj pravdy slouží soubory z archivu, ne počty v průběžném syslogu.

Zdroj: data_gaps všech incidentů v sekci Incidenty

Ne všechno v datech pochází od útočníků. Tyhle hodnoty patří k monitoringu a k testům při nasazení a před analýzou je potřeba je vyřadit.

Chyby, kterých se lze v datech snadno dopustit – jak je poznat a jak je obejít.

• Prefix ::ffff: u IPv4 adres cowrie zapisuje IPv4 adresy ve tvaru ::ffff:203.0.113.5. Bez odstranění prefixu se stejný útočník započítá dvakrát – jednou z cowrie, podruhé z ostatních senzorů.
• Přesměrované porty na srv4 cowrie na srv4 vidí porty 42222 a 42223, hpweb porty 42280 a 42443. Nejsou to porty, na které útočník mířil, ale cíl přesměrování v nftables. Skutečný cílový port zná jen hptcp. U cowrie a hpweb na srv4 port ignorujte, nebo ho odvoďte ze session.
• Vlastní provoz Sondy monitoringu, testovací data z nasazení a diagnostické příkazy agentů i operátora. Konkrétní hodnoty k odfiltrování jsou v tabulce výše.
• Kampaně Jednotlivé kampaně dokázaly vyrobit většinu denního provozu. Bez oddělení kampaní od základního šumu vypadá graf objemu jako trend nebo jako výpadek sběru.
• Čas události, ne čas zpracování Pro časové analýzy používejte časovou značku uvnitř události. Kopie logů na sběrném serveru nesou i čas příjmu, který může být o hodiny až dny pozdější.
• Nesouměřitelné servery srv4 nabízel řádově větší plochu než srv3. Absolutní počty obou serverů nelze srovnávat, jen jejich strukturu a pořadí.
• Změna formátu během běhu Agenti při kontrolách upravovali konfiguraci, takže se formát některých záznamů mohl uprostřed běhu změnit. Konkrétní změny doplním po průchodu daty; jejich stopu najdete v záznamu běhu.

Hranice toho, co data unesou, je lepší napsat rovnou.

• Dva servery nejsou statistika Výsledky popisují, co přišlo na dva konkrétní servery. Obecné závěry o celém internetu z nich udělat nejde.
• Jeden poskytovatel, jedna lokalita Oba servery běžely u stejného poskytovatele. Útočníci cílí na rozsahy adres různě a jinde by struktura provozu mohla vypadat jinak.
• Necelý měsíc Běh zachytil kampaně, které zrovna probíhaly – ne dlouhodobé trendy ani sezónnost.
• Země adresy není původ útočníka Geolokace říká, kde je zdrojová adresa registrovaná. Útoky běžně vedou přes pronajaté servery, proxy a napadená zařízení, takže země adresy neříká, odkud útočník pochází.
• Srovnání jazykových modelů Každý server spravoval jiný model, ale dva běhy nestačí na hodnocení, který model je lepší. Rozdíly v datech mohou mít mnoho příčin, od nabízené plochy po jednotlivá technická rozhodnutí.

Zdrojová IP adresa je podle GDPR osobní údaj. Pro analýzu se sbírala v plné podobě, ve výsledcích se objevuje jen v agregaci.

Způsob pseudonymizace zveřejněných syrových dat a to, co se jím ztratí, doplním spolu se zveřejněním dat.