Nasazení a využití měřících bodů ve VI CESNET

Nasazení a využití měřících bodů ve VI CESNET
Oddělení nástrojů pro monitoring a konfiguraci
Vojtěch Krmíček
CESNET, z.s.p.o.
[email protected]
Seminář VI CESNET, Seč, 3. dubna 2012
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
1 / 43
Část I
Úvod
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
2 / 43
Měřicí body – úvod
Soustava měřicích zařízení pro monitorování IP toků
Celkem 9 měřicích bodů
Pokrývají vstupní/výstupní linky Cesnetu, na plné rychlosti
Na sběr dat navazuje vyhodnocení a další aplikace
PIONEER
AMS-IX
NIX
GEANT
TELIA
V. Krmíček
ACONET
SANET
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
3 / 43
Kde se měří – rozmístění měřicích bodů
PIONEER
AMS-IX
NIX
GEANT
TELIA
V. Krmíček
ACONET
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
SANET
3. 4. 2012, Seč
4 / 43
Čím se měří – hardware COMBOv2
Hardwarové sondy COMBOv2
PCI Express karta, FPGA Virtex-5
Ve výrobě nová karta pro 40G/100G rychlosti
COMBOI-10G2 – 2x10 Gb/s
V. Krmíček
COMBOI-10G4TXT – 4x10 Gb/s
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
5 / 43
Čím se měří – firmware HANIC
hw akcelerace pro síťové
aplikace (flow monitoring,
tcpdump, DPI, Snort, atd.)
hashování, samplování
repeater
příprava na 40G/100G verzi
distribuce provozu na jádra
více aplikací odebírá data
Hardware Accelerated NIC (HANIC) Firmware
RX
DMA
1
RX
DMA
RAM
...
2
RX
DMA
8
TX
DMA
1
TX
DMA
2
Hash-based Packet Distribution
ibuf
16KiB
obuf
16KiB
10 Gb/s
Interface 0
V. Krmíček
COMBOv2
with
HANIC FW
ibuf
16KiB
obuf
16KiB
10 Gb/s
Interface 1
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
6 / 43
Co se měří – monitorování IP toků
Poskytuje informace kdo komunikuje s kým, jak dlouho,
jakým protokolem, kolik dat atd.
Založené na CISCO NetFlow v5/v9 technologie a IETF
IPFIX.
Umožňuje sledovat provoz a provádět bezpečnostní analýzu
síťového provozu v reálném čase.
Detailní pohled na síťová data skrze NetFlow.
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
7 / 43
Princip monitorování NetFlow – příklad
Src and Dst IP Addr
Src and Dst Port
Protocol Number
Timestamps
Number of Packets
Sum of Bytes
TCP Flags, ...
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
8 / 43
Princip monitorování NetFlow – příklad
HTTP Request
FROM 172.16.96.48:15094
TO 209.85.135.147:80
Web
Browser
Src and Dst IP Addr
Src and Dst Port
Protocol Number
Timestamps
Number of Packets
Sum of Bytes
TCP Flags, ...
Flow start
Duration Proto
09:41:21.763
0.101 TCP
V. Krmíček
Src IP Addr:Port
172.16.96.48:15094 ->
Dst IP Addr:Port
209.85.135.147:80
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
Flags
.AP.SF
Packets
4
Bytes
715
3. 4. 2012, Seč
8 / 43
Princip monitorování NetFlow – příklad
HTTP Request
FROM 172.16.96.48:15094
TO 209.85.135.147:80
HTTP Response
FROM 209.85.135.147:80
TO 172.16.96.48:15094
Web
Browser
Web
Server
Src and Dst IP Addr
Src and Dst Port
Protocol Number
Timestamps
Number of Packets
Sum of Bytes
TCP Flags, ...
Flow start
Duration Proto
Src IP Addr:Port
09:41:21.763
0.101 TCP
172.16.96.48:15094 ->
09:41:21.893
0.031 TCP
209.85.135.147:80
->
V. Krmíček
Dst IP Addr:Port
209.85.135.147:80
172.16.96.48:15094
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
Flags
.AP.SF
.AP.SF
Packets
4
4
Bytes
715
1594
3. 4. 2012, Seč
8 / 43
Co se měří – detailně
IP toky ve formátu NetFlow v9
zdroj./cílová IPv4/IPv6 adresa, zdroj./cílový port, protokol
počty přenesených paketů, bytů a toků
začátek a trvání toků (přesné časové značky)
směr toku, VLAN ID
je možné exportovat i: MAC adresy, zdrojové/cílové AS, . . .
Nasazení IPFIX formátu
flexibilita v exportovaných záznamech
možné rozšířit toky (nejen) o L7 informace
DNS (doména, typ, TTL)
HTTP (referrer, host, browser, ...)
tunelovaný provoz
VoIP a mnoho dalšího
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
9 / 43
Zpracování dat - NfSen/NFDUMP Collector Toolset
Web Front-End
User Plugins
Periodic Update Tasks and Plugins
NetFlow
v5/v9
Command-Line
Interface
NFDUMP Backend
NfSen/NFDUMP kolektor pro ukládání/zpracování dat
Rozšiřující pluginy pro pokročilé zpracování a analýzu
Vyvíjíme IPFIXcol pro sběr dat ve formátu IPFIX
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
10 / 43
Zpracování dat – dlouhodobá databáze se statistikami
NetFlow data jsou objemná (cca 140GB NetFlow/den) – není
možné ukládat dlouhodobě (nyní ukládáme 1 rok)
Řešení: Nástroj pro dlouhodobé ukládání základních statistik
Pro každý 5minutový interval ukládáno:
počty paketů/bytů/toků
rozlišeno i podle protokolů (TCP/UDP/ICMP/other) a IP
verze (IPv4/IPv6)
rozšiřující statistiky (entropie, BoxCount dimenze)
matice provozu (podle AS, subnetů) – ve vývoji
Grafický frontend pro zobrazování těchto dat – ve vývoji
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
11 / 43
Provozní řešení
Zabbix, synchronizace, IPMI
Hlavní a vývojový kolektor pro NetFlow data
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
12 / 43
Co mohou nyní měřicí body nabídnout
zdroj kvalitních NetFlow/IPFIX dat z hraničních linek
dlouhodobé statistiky a trendy ve vývoji sítě, množství
provozu ap.
automatickou analýzu získaných dat a detekeci např.
výpadků vybraných linek/směrů provozu
výpadků konkrétních protokolů/služeb
detekci útoků směřujících z/do sítě CESNETu
detekci nakažených strojů
hlubší analýzu konkrétních událostí/incidentů
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
13 / 43
Další možné scénáře využití
Časové parametry linek
měření latence, jitteru, ap.
měření jak linek, tak i aktivních zařízení
pomocí přesných časových značek z HW
Remote packet capture
možnost vzdáleně odebírat vybraná full dump data
Další možnosti
Automatická analýza VoIP (kvalita, výpadky, ap.)
Web access analyzer, SPAM detection
Inline zapojení – filtrování, obrana, apod.
Rozšiřitelnost – standardní platforma PC
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
14 / 43
Měřicí body – výhled do budoucna
zpřístupnění dat a statistik pro ostatní oddělení
testování IPFIX formátu a vývoj souvisejících aplikací
extrakce L7 informací z paylodau k tokům
vyhodnocování vybraných událostí již na měřicích bodech
analýza tunelovaného provozu + související aplikace
zajímavá měření a publikace – využití této unikátní měřicí
laboratoře
šíření malwaru
útoky, botnety
tunelovaný provoz
IPv4/IPv6
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
15 / 43
Část II
Ukázka nástrojů – NfSen
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
16 / 43
NfSen
= webové rozhraní pro zobrazování a zpracování NetFlow dat
rozšiřitelné pomocí modulů
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
17 / 43
Details – grafy
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
18 / 43
Details – statistiky
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
19 / 43
Details – výpis toků
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
20 / 43
Alerty – detekce výpadku
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
21 / 43
Alerty – detekce útoků
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
22 / 43
Profily – rozdělení protokolů podle portů
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
23 / 43
Profily – HTTP/HTTPS
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
24 / 43
Profily – routovací data
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
25 / 43
Profily – Telnet útoky
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
26 / 43
Rozšiřující moduly – HAMSTER
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
27 / 43
Rozšiřující moduly – ialerts
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
28 / 43
Rozšiřující moduly – SURFmap
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
29 / 43
Rozšiřující moduly – SURFmap
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
30 / 43
Rozšiřující moduly – SURFmap – ssh skenování
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
31 / 43
Část III
Příklady útoků
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
32 / 43
Útoky – DDoS – TCP SYN FLOOD oproti IRC serveru
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
33 / 43
Útoky – DoS – UDP FLOOD z Ukrajiny do Krakowa
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
34 / 43
Útoky – 2x DDoS oproti webhostingu v Rakousku
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
35 / 43
Útoky – DDoS oproti webu OSA
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
36 / 43
Útoky – Masivní SSH skenování Rakousko -> ČR
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
37 / 43
Útoky – Masivní SSH skenování z Prahy do celého světa
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
38 / 43
Útoky – 7x SSH sken z Brna do celého světa
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
39 / 43
Útoky – experiment? TCP provoz Čína – ČR
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
40 / 43
Část IV
Závěr
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
41 / 43
Ostatní aktivity oddělení TMC
Nové hw karty pro 40G/100G
NetCope – platforma pro vývoj hw akcel. síťových aplikací
NIC – aplikace síťové karty
HANIC – komplexní firmware pro monitorování
COMET – hw tester Ethernetu
Ipfixcol – kolektor IPFIX dat
libnetconf, Netopeer – implementace konfiguračního
protokolu NETCONF
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
42 / 43
Dotazy?
Zájemce zveme na podrobnější workhop/školení zaměřený na práci
s měřicími body a využití navazujících nástrojů:
Bejčkův Mlýn, Slavonice, 27.-29.6.2012
Děkuji za pozornost.
V. Krmíček
Oddělení nástrojů pro monitoring a konfiguraci: Měřicí body
3. 4. 2012, Seč
43 / 43