Ограничения и ловушки

Периоды, когда сбор данных не производился или данные не поступали во все места. Список формируется на основе анализа инцидентов и не обновляется вручную — каждый пробел соотносится с инцидентом, который его вызвал. Источником достоверной информации служат файлы из архива, а не данные в текущем syslog.

Источник: data_gaps всех инцидентов в разделе Инциденты

Не все данные поступают от злоумышленников. Эти значения относятся к мониторингу и тестам при развертывании, и перед анализом их необходимо отсеять.

Ошибки, которые легко допустить при работе с данными — как их распознать и как их избежать.

• Префикс ::ffff: в адресах IPv4 Cowrie записывает IPv4-адреса в формате ::ffff:203.0.113.5. Если не удалить префикс, один и тот же злоумышленник будет учтён дважды — один раз по данным Cowrie, второй раз по данным других датчиков.
• Перенаправленные порты на srv4 Cowrie на srv4 видит порты 42222 и 42223, а hpweb — порты 42280 и 42443. Это не те порты, на которые нацеливался злоумышленник, а цели перенаправления в nftables. Настоящий целевой порт известен только hptcp. В случае с cowrie и hpweb на srv4 игнорируйте порт или определите его на основе сеанса.
• Собственная эксплуатация Зонды мониторинга, тестовые данные из реальной эксплуатации, а также диагностические команды агентов и оператора. Конкретные значения, подлежащие фильтрации, приведены в таблице выше.
• Кампании Отдельные кампании обеспечили большую часть суточного трафика. Без отделения кампаний от фонового шума график объема выглядит как тренд или как сбой сбора данных.
• Время события, а не время обработки Для анализа по времени используйте временную метку внутри события. Копии журналов на сервере сбора данных содержат также время получения, которое может быть с задержкой от нескольких часов до нескольких дней.
• Несопоставимые серверы srv4 предлагал площадь на порядок больше, чем srv3. Абсолютные показатели обоих серверов нельзя сравнивать, можно сравнивать только их структуру и порядок.
• Изменение формата во время выполнения Во время проверок агенты изменяли конфигурацию, в результате чего формат некоторых записей мог измениться в ходе выполнения. Конкретные изменения я добавлю после обработки данных; их следы можно найти в журнале выполнения.

Лучше сразу указать пределы того, что могут выдержать данные.

• Два сервера — это ещё не статистика Результаты отражают данные, поступившие на два конкретных сервера. На их основе нельзя сделать общие выводы о всем Интернете.
• Один поставщик, одно местоположение Оба сервера размещались у одного и того же провайдера. Злоумышленники по-разному выбирают диапазоны адресов, и в других случаях структура трафика могла бы выглядеть иначе.
• Менее месяца Анализ отразил кампании, которые проводились в тот момент, — а не долгосрочные тенденции или сезонность.
• Страна, указанная в адресе, не является страной происхождения злоумышленника Геолокация показывает, где зарегистрирован исходный адрес. Атаки обычно осуществляются через арендованные серверы, прокси-серверы и заражённые устройства, поэтому страна, в которой находится адрес, не указывает на то, откуда происходит злоумышленник.
• Сравнение языковых моделей Каждый сервер обрабатывал свою модель, но двух прогонов недостаточно, чтобы определить, какая модель лучше. Различия в данных могут быть обусловлены множеством факторов — от предлагаемой площади до отдельных технических решений.

Согласно GDPR, исходный IP-адрес является персональными данными. Для целей анализа он собирался в полном виде, а в результатах отображается только в агрегированном виде.

Способ псевдонимизации опубликованных необработанных данных и информацию о том, что при этом теряется, я дополню одновременно с публикацией данных.