GENIE Advanced Traffic Mining - сбор и анализ данных xFlow

Эффективное решение по визуализации сетевого трафика и выявления аномалий.

Задача мониторинга трафика, является очень важной задачей для обеспечения бесперебойного функционирования сети оператора и возможности оптимизации распространения трафика. Предлагаемая система (iNUS WDL) GenieATM может использоваться как инструмент для оптимизации пиринговой политики, что позволит уменьшить операционные затраты на покупку трафика у апстрим-провайдеров и улучшить качество сервиса для клиентов оператора - за счет улучшения связности сети.

Вопросы сетевой безопасности и раннего обнаружения атак с каждым днем становятся все более и более насущными как для частных пользователей и корпоративных сетей, так и для средних и крупных операторов связи. Сетевые атаки, в последнее время, приобретают массовый характер. Известны случаи вывода из строя крупных всемирных порталов, банков, оборонных ведомств. По результатам 2012 года были зафиксированы крупные атаки на единичные ресурсы в 100 Гбит, в начале 2013 года – 300 Гбит.

Преимущественно, атаки имеют распределенный массовый характер. На информационный узел сети осуществляется одновременное обращение с десятков / сотен тысяч (и более) зараженных компьютеров. Узел не справляется с таким количеством одновременных запросов и выходит из строя, прекращая выполнять свои основные функции – перестаёт отвечать легальным пользователям. Нарушается доступность ресурса. Данный вид атаки является самым популярным и именуется DoS (Denial of Service) атакой или DDoS (Distributed Denial of Service) атакой.
Другим негативным последствием DDoS-атаки является огромное количество входящего сетевого трафика, оплата которого, зачастую, влечет за собой значительные расходы со стороны компании, подвергшейся атаке.

(iNUS WDL) GenieATM является законченным решением, которое может использоваться как независимая система для целей мониторинга и аналитики распределения трафика в сети, так и быть интегрированным с внешними системами очистки трафика. Во втором случае, (iNUS WDL) GenieATM выступает в роли коллектора, который собирает и анализирует информацию о передаваемом трафике с маршрутизаторов. Коллектор (iNUS WDL) GenieATM оснащен Network Intelligence модулем, который обнаруживает аномалии в сетевом трафике.

Данное техническое решение имеет подключения к мультисервисной сети Заказчика, но при этом не вносит дополнительную точку отказа на сеть.

Предлагаемое решение (iNUS WDL) GenieATM состоит из двух типов устройств:

• (iNUS WDL) GenieATM 63xx, объединяющего функции Controller (управления и формирования отчётности) и Collector (сбора xFlow информации).
• (iNUS WDL) GenieATM 61xx, выполняющего функции Collector (сбора и анализа xFlow информации).

(iNUS WDL) GenieATM 63xx / 61xx имеет высокие показатели по производительности:

• обработка до 110 тыс. flows-per-second;
• до 100 маршрутизаторов;
• до 100 одновременных сессий пользователей к единому UI-интерфейсу системы.

Расширение системы производится путем добавления Подсистем сбора и анализа xFlow информации, (iNUS WDL) GenieATM Collector, позволяет получить линейное масштабирования для обработки нескольких миллионов flows-per-second в составе одной системы.

Интерфейсы подключения к мультисервисной сети

Принцип работы системы (iNUS WDL) GenieATM, включая основные интерфейсы подключения к мультисервисной сети, показан на рис.:

Для обнаружения различных видов аномалий на сети Заказчика применяется коллектор  (iNUS WDL) GenieATM Collector, который взаимодействует с маршрутизаторами магистральной сети. Взаимодействие осуществляется по протоколу xFlow. В зависимости от производителей сетевого оборудования, это может быть Netflow, Jflow, NetStream и другие протоколы.

Для мониторинга нагрузки на интерфейсах маршрутизаторов и коммутаторов, (iNUS WDL) GenieATM использует протокол SNMP, с помощью которого путем опроса сетевых устройств, строятся отчеты по статистике уровня трафика на всех интерфейсах, доступных на каждом маршрутизаторе.
Взаимодействуя с маршрутизаторами, коллектор получает информацию о трафике для последующего анализа. При этом анализируются общие атрибуты каждого заголовка IP-пакета: IP-адреса источника и назначения, протоколы, номера портов, интерфейсы т.д.

В дополнение к анализу IP заголовков, система также собирает информацию о BGP маршрутизации в виде BGP таблиц. Затем система автоматически сопоставляет данные, собранные по xFlow, и данные BGP таблицы маршрутизации. Это позволяет строить множество разнообразных отчетов: Neighbor AS, Peering Analysis, AS Path Length, и Routing Reliability и т.д.

Система имеет интеграцию с внешними (3d party) системами подавления DoS/DDoS атак от других производителей – NSFocus, Cisco Guard, Radware, Huawei и другими системами фильтрации, имеющимися на рынке.

 Анализ трафика и обнаружение аномалий

Встроенная аналитическая подсистема анализа и моделирования трафика может быстро и точно классифицировать различные потоки трафика, надлежащим образом проанализировать полученные пакеты и автоматически сгенерировать различные отчеты о трафике с предоставлением детальной статистики, как в режиме реального времени, так и на протяжении заданного исторического периода.

«Network Modeling» - еще одна из ключевых возможностей коллектора (iNUS WDL) GenieATM. Решение разделяет сеть на иерархии. Для этого, оператор определяет необходимые границы сети, такие как Интернет, магистральные границы и Sub-Network. Встроенная интеллектуальная аналитическая подсистема анализа и моделирования сетевого трафика может быстро и точно классифицировать различные потоки трафика на сети и надлежащим образом проанализировать полученные пакеты. Пользователю необходимо лишь выбрать модель анализа трафика в соответствии с сетевыми областями, которые необходимо проанализировать, а (iNUS WDL) GenieATM будет автоматически генерировать соответствующие заданные отчеты о трафике с сохранением детальной статистики.

(iNUS WDL) GenieATM предлагает широкий спектр предопределенных и настраиваемых отчетов по сетевому трафику, что позволяет легко следить за производительностью сети. Благодаря анализу сетевого трафика, операторам нужно только выбрать интересующий их тип трафика (например Internet, Neighbor Network, Backbone, Router, Interface или Sub-Network). Система будет автоматически классифицировать и объединять flows, полученные для создания соответствующих отчетов о трафике. Кроме того, пользователи могут настроить свои отчеты о трафике через Rule-Based отчеты.

Уровни создания отчётов:

Система может генерировать отчеты по статистике трафика и отчеты по количеству трафика in/out, относительно всех опрашиваемых устройств. С точки зрения сетевого трафика, система имеет предопределенные отчеты, такие как количество in/out трафика из «домашней сети», из Интернета, из «Sub-network» и т.д.

Отчеты подразделяются на следующие типы:

• General Traffic Report Types
• Advanced Report Types
• Internet Traffic Analysis
• Neighbor AS Traffic Analysis
• Backbone Traffic Analysis
• Router Traffic Analysis
• Sub-Network Traffic Analysis
• Server-farm Traffic Analysis
• BGP Message Analysis

Помимо построения отчетов, коллектор выполняет анализ трафика на наличие различных сетевых аномалий. (iNUS WDL) GenieATM предоставляет возможность изменять такие параметры, как Threshold, Alert Severity, Tolerance, для достижения наилучших результатов по обнаружению сетевых аномалий. Также имеется возможность включить автоматическое обучение системы структуре трафика. Коллектор обнаруживает такие виды атак, как Traffic Anomaly, Protocol-Misuse Anomaly, Application Anomaly и т.д.
Для доступа к отчётам, GenieATM не требует установки дополнительного ПО. Вся работа с системой осуществляется через web-интерфейс посредством браузера.

Сетевой инжиниринг трафика

(iNUS WDL) GenieATM позволяет решать задачи по инжинирингу трафика с помощью инновационной технологии корреляции топологической информации и данных по трафику в реальном масштабе времени, проверенных на сетях крупных операторов мобильной и фиксированной связи. Вместо расшифровки созданных вручную статических выборок, коллектор позволяет операторам сети быстро собрать информацию по Peer-to-Peer, AS-to-AS, и POP-to-POP трафику. Затем трафик может быть распределен по профилям (по номеру AS, атрибуту AS Path, приложению или атрибуту Nexthop). Имея детализированные отчеты прохождения трафика от клиента к клиенту, оператор может решать оптимизационные задачи на своей сети с целью снижения затрат и улучшения ее производительности в целом или в разрезе функционирования отдельных сервисов и сетевых подсистем.

Интеллектуальное планирование емкости сети

(iNUS WDL) GenieATM представляет наглядные статистические отчеты по трафику, что позволяет прогнозировать количество трафика на сетевых интерфейсах. Кроме статистики по количеству трафика, устройство генерирует отчеты по профилям трафика, BGP «соседям» (peer), и т.д. Такой уровень интеллектуальности и визуализации позволяет операторам активно планировать рост своей сети. Коллектор распознает перегруженные каналы, и помогает предпринять действия до того как перегрузка на них повлияет на доступность сетевых сервисов Заказчика.

Пиринговые оценки и визуализация

(iNUS WDL) GenieATM содержит в себе весь необходимый инструментарий анализа пирингового межоператорского взаимодействия для проведения разнообразных аналитических оценок по существующим и потенциальным «соседям» (peers), в масштабах всей сетевой инфраструктуры Заказчика. Заказчик может анализировать разнообразные сценарии “что-если” и сравнить схемы пиринга для оптимизации затрат на организацию транзитных и пиринговых соглашений на межоператорском рынке.

Ниже приведены примеры аналитических отчётов:

• INTERNET - все отчеты - Source-Destiation AS, отчеты по сравнения трафика с длиной AS-PATH и граничных интерфейсов
• NEIGHBOR – аналогичный отчёт, но только для конкретных интересующих ASN
• BACKBONE - статистика с интерфейсов помеченных как магистральных
• ROUTER - общая статистика по маршрутизаторам
• INTERFACE - статистика по всем интерфейсам
• SUB-NETWORK - статистика по обмену трафиком между группами
• Server - статистика по серверному сегменту
• Rule-Based Report - основной механизм построения отчетов - указываются фильтры по которым строить отчеты и получаются графики

Анализ Top Talkers на граничных маршрутизаторах

Есть несколько способов перечисления Top Talkers, они могут быть перечислены для конкретного маршрутизатора или интерфейса. Это достигается системными предопределенными отчетами, или настроить свой отчёт.

Анализ маршрутной информации

(iNUS WDL) GenieATM помогает обнаруживать, изолировать и устранять проблемы BGP, предоставляя разнообразные отчеты о функционировании протокола BGP на сети Заказчика. Поскольку с использованием протокола BGP происходит взаимодействие между крупнейшими мировыми сетями, а также для установки межсетевых политик по маршрутизации в сети Интернет, отслеживание правильности функционирования этого протокола с использованием iNUS WDL GenieATM очень важно для поддержания стабильности функционирования транспортной сети оператора.

Обнаружение и классификация аномалий

После предварительной настройки, система (iNUS WDL) GenieATM имеет эталонные параметры, с которыми в дальнейшем будет сравниваться структура и объем трафика. При обнаружении аномалии Коллектор перенаправляет аномальный трафик в центр очистки. Обнаружение происходит следующим образом: коллектор принимает статистические данные, собранные по технологии xFlow с разных маршрутизаторов на сети. Полученная по Flow информация в режиме реального времени анализируется с помощью внутренних аналитических механизмов. В момент обнаружения атаки, коллектор создает системное событие – уведомление, при этом информируя администратора безопасности по заранее выбранному методу.
В случае возникновения аномального трафика, направленного на один из объектов мониторинга, атаке, согласно «светофорной»-цветовой классификации, будет присвоен вначале Жёлтый уровень угрозы, а затем вплоть до Красного.
(iNUS WDL) GenieATM поддерживает обнаружение и классификацию следующих типов DoS/DDoS атак:

• ICMP Flooding
• TCP SYN Flooding
• TCP RST Flooding
• TCP Flag Null или Misuse
• TCP Fragment
• UDP Flooding
• UDP Fragment
• IP Protocol Null
• Land атака
• Общий трафик Хоста
• и др.

Система также обнаруживает сетевых червей, таких как SQL Slammer, Code Red, Sasser, MS Blaster, и др., используя сигнатуры аномалий.
Сигнатуры аномалий могут быть также определены, используя следующие характеристики трафика:

• Количество пакетов на flow
• Счётчик байт на flow
• Счётчик байт на пакет
• TCP Flag
• ToS value
• Protocol
• Port
• IP Prefix

Методики устранения DDoS атак

Режимы работы системы

Существует много вариантов, позволяющих защитится от DDoS-атак и минимизировать вред, который они наносят. С точки зрения защиты, DDoS-атаки являются одной из самых сложных сетевых угроз, поэтому принятие эффективных мер противодействия является исключительно сложной задачей для организаций, деятельность которых зависит от Интернета. DDoS-атаки сложно предотвращать и распознавать потому, что вредоносные пакеты неотличимы от легитимных. Сетевые устройства и традиционные технические решения для обеспечения безопасности сетевого периметра, такие как межсетевые экраны и системы обнаружения вторжений (IDS), являются важными компонентами общей стратегии сетевой безопасности. Однако одни эти устройства не обеспечивают полной защиты от DDoS-атак. В некоторых случаях, при проведении таких атак используется спуфинг (подмена) IP адресов источника, из-за чего становится невозможной идентификация вредоносного трафика от конкретного источника. Система (iNUS WDL) GenieATM поддерживает Автоматический и Полуавтоматический режим работы.

Автоматический режим – характеризуется минимальным вмешательством обслуживающего персонала в процесс подавления атаки. Реализуется при использовании связки (iNUS WDL) GenieATM + центр очистки. В этом режиме при обнаружении атаки коллектором производится автоматическая активация защиты атакуемого ресурса с перенаправлением зараженного трафика на центр очистки.

Полуавтоматический режим – используется та же связка, что и в предыдущем примере, за одним исключением: обслуживающий персонал после предупреждения о начале атаки сам активирует подавление атаки с перенаправлением трафика на центр очистки с помощью средств (iNUS WDL) GenieATM. Это позволяет обезвреживать те аномалии, которые, по мнению Заказчика действительно необходимо устранять, а также практически свести к нулю сброс легитимного трафика.

Схема имплементации на сети Заказчика и этапы защиты

В случае, когда система (iNUS WDL) GenieATM обнаруживает аномалию, нелегитимный трафик перенаправляется посредством анонсирования коллектором более специфичного BGP маршрута на BGP Route reflector(s) или всем граничным маршрутизаторам. При этом предположительно нелегитимный трафик до определенного адреса назначения будет проходить через центр очистки, где будет более детально анализироваться и фильтроваться с использованием активных механизмов защиты от (D)DoS атак, имеющихся у производителя.

При прекращении аномального трафика, (iNUS WDL) GenieATM удалит BGP анонс. И трафик до определённого адреса назначения будет проходить в соответствии с таблицей маршрутизации мультисервисной сети.
Рассматриваемая система может быть имплементирована на сети оператора следующим образом:

Пример имплементации GenieATM и центра очистки

Ниже приведено последовательное описание этапов защиты от DDoS-атак с помощью решения в следующем порядке: DDoS-атаки нет, атака начинается, атака подавлена.

1-й этап. «Обучение» контрольным характеристикам. До момента начала DDoS-атаки необходимо указать нормальную структуру трафика, на основании которой можно определить аномалии в трафике. Поскольку разные сети могут иметь разные определения атак.

2-й этап. Обнаружение и перенаправление. После завершения процесса предварительной настройки система имеет эталонные параметры, с которыми в дальнейшем будет сравниваться структура и объем трафика. При обнаружении аномалии Коллектор перенаправляет аномальный трафик в центр очистки. Обнаружение происходит следующим образом: коллектор принимает статистические данные, собранные по технологии xFlow с разных маршрутизаторов на сети. Полученная по Flow информация анализируется с помощью внутренних механизмов. В момент обнаружения атаки, коллектор создает системное событие – уведомление, при этом информируя администратора безопасности по заранее выбранному методу. В случае, если установлено автоматическое перенаправление трафика на центр очистки, то коллектор по протоколу BGP проанонсирует более специфичный маршрут /32 до атакуемого ресурса, который будет проходить через центр очистки. При этом, перенаправляться будет только подозрительный трафик, а легитимный будет передаваться согласно стандартным средствам маршрутизации. В случае, если администратор безопасности не активировал данный функционал, после получения уведомления от коллектора, ему необходимо будет вручную активировать анонсирование маршрута.

3-й этап. «Чистка». Центр очистки анализирует аномалии трафика, перенаправленного на него, создавая наборы фильтров, которые непрерывно адаптируются в соответствии с трафиком и типом DDoS-атаки.

4-й этап. Возврат трафика. Очищенный трафик от центра очистки возвращается в сеть. Доступны различные методы в зависимости от того, на каком уровне построена топология опорной сети (уровень 2 или уровень 3). Они гарантируют, что возвращенный трафик не вернется обратно в центр очистки и не возникнет петель маршрутизации. Примеры этих методов включают маршрутизацию на основе политики (PBR), виртуальную маршрутизацию/коммутацию (VRF), схемы инкапсуляции GRE и виртуальные частные сети на основе MPLS и VLAN.

Использование дополнительного маршрутизатора для возврата трафика в сеть

Возврат трафика с помощью GRE-туннеля

Возврат трафика с использованием PBR

Возврат трафика без дополнительных устройств и технологий

5-й этап. Завершение очистки трафика. После фиксирования завершения атаки, BGP анонс деактивируется, и трафик передается по обычному пути согласно таблицам маршрутизации.

Взаимодействие с пользователями и внешними системами

Для доступа к отчётам, (iNUS WDL) GenieATM не требует установки дополнительного ПО. Вся работа с системой осуществляется череp web-интерфейс через браузер.
Каждый пользователь имеет индивидуальный токен аутентификации – пароль. Количество одновременных сеансов с системой для одного пользователя можно ограничить. Все действия пользователя можно заносить на внешний журнал, используя syslog-сообщения. (iNUS WDL) GenieATM имеет ролевую модель разграничения прав пользователей, можно создавать собственные роли. Доступ пользователей к отчётам по трафику также настраивается, например, можно разграничить доступ региональных пользователей к отчётам только по своим элементам сети/подсетям.

Масштабируемость и архитектура системы

Архитектура системы iNUS WDL GenieATM построена на принципе ее быстрого масштабирования и адаптации для решения разнообразных задач у Заказчиков, что позволяет внедрять систему поэтапно – начиная с небольшой инсталляции на пиринговой границе, до развертывания полной системы с возможностью анализа всего сетевого трафика на сети Заказчика. Также у системы (iNUS WDL) GenieATM имеется центральная консоль визуализации и безопасности всей сети, которая позволяет управлять всеми установленными компонентами системы с единой консоли.

Распределённое решение состоит из следующих устройств:

• Подсистема управления и формирования отчётности (iNUS WDL) GenieATM Controller
• Подсистема сбора xFlow информации (iNUS WDL) GenieATM Collector

Среди других ключевых особенностей системы cиcтемы (iNUS WDL) GenieATM можно отметить следующие:

• (iNUS WDL) GenieATM не имеет ограничений на использование мощности аналитической подсистемы (есть опыт использования на крупнейших сетях операторов в регионе APAC)
• (iNUS WDL) GenieATM имеет высокую производительность на устройство: до 110тыс. fps; до 100 маршрутизаторов; до 100 одновременные UI сессий пользователей
• Эффективный ретроспективный анализ сырых (не агрегированных) данных, которые могут храниться на любом заданном временном интервале
• Гибкий анализ на базе правил с критериями выражений и ключей агрегации
• До 2048 фильтров мониторинга на систему
• Система поддерживает до 100 маршрутизаторов на один коллектор
• Один контроллер может работать с несколькими коллекторами

Модельный ряд: