Prezentace SUN - Storage Vision 2014

Sun StorageTek
platforma pro
ILM
Jan Jiskra
Sun Microsystems, Inc.
1
Dynamická povaha dat
Online (ms)
Probability of Re-use
High
Amount
of Data
Inline
Storage
$40/GB
Near line (sec)
Archived/
Deletion
$20/GB
(sec/mins)
$5/GB
Low
1
3
Sources: Horison Information Strategies, StorageTek
7
16
30
Days Since Creation
60
90
2
Optimalizovaná infrastruktura
Rozložení kapacity
High-End
High-End
Midrange
Midrange
Low
Low
CostCost
(SATA)
Archival
Archival
10% 20% 30% 40%
Highest Performance
& Availability
High Performance
& Availability
High Capacity
& Density
Super High Capacity
& Density
3
Sun StorageTek™
Disková úložiště
ST9990V
Midrange
ST9985V
$15K
Cena
$300K
High End
ST6540
Workgroup
ST2500
ST6140
ST3510
Task Critical
Business Critical
Mission Critical
Kapacita, Dostupnost, Výkon
4
Řada Sun StorageTek™ 5000 NAS
Entry Level
SE 5220
•2-24 TB SATA-2 RAID
Common Features
•Unix & Windows File Sharing
•Snap-shots
•Remote Mirroring
•64-bit Journaling FS
•Virus checking for windows
High Availability
Enterprise
SE 5320
SE 5320C
SE 5320 GW
SE 5320C GW
• 2-134 TB FC
• 2-224 TB SATA
• 2 to 8 RAID
Controllers
Gateways
• Open back-end
• Leverage existing
SAN based storage
• Same as SE 5320
• Dual NAS Servers
• Automatic Failover
• Same as ST 5320 GW
• Dual NAS GWs
• Automatic Failover
5
X4500
Datový server
Punchstock 1872014
6
Sun Fire X4500 Server
Integrovaná x86 výpočetní síla,
masivní kapacita a propustnost
Server
●
●
2 x Dual Core Opteron CPU
16GB paměti
Storage
●
●
48 SATA disků
Až 24TB kapacity
I/O
●
●
●
Vysoká propustnost
2x PCI-X slots
4 GigE
Dostupnost
●
Hot-swap/plug zdroje, větráky, disky
Management
HPC, Data Warehouse/Business Intelligence, Digital
Media, Digital Surveillance, VTL
●
Management jako ostatní servery Sun
(TM)
Solaris
●
ZFS
Převratný FS od Sunu
7
Solaris ZFS
Shutterstock 1795734
8
Co je ZFS?
Nový způsob jak spravovat data
Integrita dat
Kontrolní součty,
transakční design
Snadná
administrace
Storage pool žádný volume
manager
Neomezená
Software
kapacita
Developer
První 128 bitový
souborový systém
na světě
Vysoký výkon
Optimalizován
pro rychlé
zpracování
9
ZFS – integrita dat
•
•
•
•
Copy-on-write, transakční design
Všude kontrolní součty
Ochrana RAID-Z
Disk Scrubbing
10
Samouzdravovací mechanizmus
ZFS detekuje porušená data prostřednictvím
kontrolních součtů a provádí “zotavení”
Application
Application
Application
ZFS Mirror
ZFS Mirror
ZFS Mirror
Detects Bad Data
Gets Good Data from Mirror
“Heals” Bad Copy and
Sends Back to Application
11
128-bit File System
Žádná omezení na
velikost a počet
souborů
Výjimečná kapacita
12
Snadná administrace
• Pooled Storage Design
znamená snažší správu
Eliminována potřeba Volume
Manageru!
• CLI a GUI
> Snapshoty a klony
> Kvóty a rezervace
> Komprese
> Migrace Poolu
> ACL bezpečnost
13
FS/Volume Model vs. ZFS
Tradiční přístup
ZFS Pooled Storage
FS
FS
FS
Volume
Volume
Volume
ZFS
ZFS
ZFS
Storage Pool
14
Copy-on-Write Design
Různé velikosti bloků
Dynamický Striping
Inteligentní Pre-Fetch
Navržen pro rychlost
15
Řešení s X4500
Punchstock 1872016
16
Sun X4500 DataWarehouse appliance
Terabytes
•20
Text
20 kW, 8 Racks
$20M
33 Terabytes
20 kW, 6 Racks
$7M
100 Terabytes
9 kW, 1 Rack
$1.8M
17
D2D2T
• Jednoduchost - media
server a storage ve 4RU
• Škálovatelnost –
neviditelně a bez omezení
• Vynikající poměr
výkon/cena
18
De-Duplication
ProtecTIER sw
on X4500
F/C
Media
server
ProtecTIER VT
Application
• Výrazné snížení počtu
komponent a nákladů
• Diligent ProtecTIER a
X4500 je de-duplication
data protection řešení
střední kategorie
• Pro archivaci a zálohování
na disk
19
19
Záznamy z video kamer
42 U
• Sun HW
1 SL500 (2 LTO 2) $90,000
290 LTO Slots (400GB/Tape native or 116 TB’s)
> Sun aplikační servery
> Podpora pásek a SAM-FS
> Windows, Linux, Solaris
> X4500 jako archivační
zařízení
2 X4500's List Price $69,995 (Total of $169,990)
2 dual core 2.6 MHZ Opt. 285's
Up to 16 GB of Ram
4 onbaord 10/100/1GbE network Ports
6 SATA Controlers with 8 Drives per controller
48 7200RPM 500GB SATA drives (24TB raw)
SAM-QFS ($30,000)
Solaris 10 (Free)
• Nezávislé na SW
implementaci
3 x4200's List Price $13,895 (2 for Mgmt, one for ACSLS)
2x AMD Opteron Model 2218 (2.6GHz/1MB) processor,
4x 4GB DDR2-667 memory, 4x 73GB 10K RPM SAS
Room for networking equipment, both LAN and SAN
20
20
VTL Value
• Virtuální pásková knihovna
>
>
>
>
Integrace s FalconStor SW
Zálohování do vzdálené lokality
Jednotný management
Jednotná podpora
21
NEW!
Easily Swap
STK 5800
Out the Image
(“Honeycomb”)
Inovativní řešení pro
digitální
archivy
2. TEMPLATE
–
TITLE SLIDE
WITH PHOTO
Presenter’s Name
Presenter’s Title
Presenter’s Company
Note: This is an optional title slide, following
Sun’s Brand approved photo layout. The
image can easily be swapped out and
replaced. Additional brand photography
can be found at:
https://photos.sun.com/brand
22
Honeycomb Storage System
První programovatelný storage systém
Rozšiřitelná metadata
První dotazovatelný storage systém
StorLet – interní storage aplikace
Definice nové kategorie úložišť
Load-balancovaná horizontální
škálovatelnost
Dramaticky snížené TCO
Minimální administrace
Model odloženého servisu
Extrémní spolehlivost a self-healing
Pro masivní úložiště
Media, Internet, Zdravotnictví, Věda
23
STK 5800 v kostce
• Symetrický clusterový
design – výpočetní síla,
paměť a výkon rostou s
kapacitou
• Load-balancing a
horizontální škálování
● Významné snížení TCO
● Vysoká spolehlivost a
self-healing
● Pro velká úložiště (16TB –
multi- PB)
● První programovatelný
storage systém založený
na Solarisu a Javě
24
STK 5800 – hlavní přínos
Větší kapacita s nižšími
náklady
Šetří čas a snižuje
komplexitu
Zabezpečuje data
25
Větší kapacita s nižšími náklady
• Centralizovaná správa pro PB
dat
• Snížení operačních i
investičních nákladů
> Konsolidace ostrůvků informací
> Eliminace tradičních nákladů na
správu
> Volume/LUN
> Úspory za DB licence
• Nízkonákladová údržba
> Nízké náklady na náhradní díly
> Plánovaná údržba dle potřeb
zákazníka
26
Šetří čas a snižuje komplexitu
• Rychlý přístup ka datům
> Úzká integrace s aplikací
> Definice pohledů na data
> Caching metadat a indexů pro zvýšení
výkonu
• Inteligentní ukládaní a čtení
> Unikátní object id
> Propojení metadat s každým uloženým
objektem
> Název, téma, práva, autor, datum vydání,
rozlišení, atd. ( definováno zákazníkem )
> Získání objektu na základě OID nebo metadata
dotazu
• Odstranění nečekaných odstávek
> samouzdravování
27
Zabezpečuje data
• Extrémní ochrana dat
> Pokročilý algoritmus distribuce dat
> Prostředky pro zajištění integrity dat
> Výrazně lepší ochrana než RAID5
• Odolnost proti několikanásobným
selháním HW
> Samouzdravovací mechanizmus
• Poskytuje virtuální pohledy
• Disaster recovery (DR) ve spojení
s páskami
28
Virtuální pohled: Zdravotní data
Doctor = Smith
Patient = Jones1234
Patient_sex = F
Modality = MRI
Vendor = GE
Caption = aorta
Date = 20050110
Area = Chest
Define View “for_doctor” = by Doctor, Patient, Modality, Date, Caption+“.jpg”
/for_doctor/Smith/Jones1234/MRI/20050110/Aorta.jpg
Define View “for_researcher” = by Patient_sex, Caption, Area, Date+“.jpg”
/for_researcher/female/aorta/chest/20050110.jpg
Define View “for_technician” = by Vendor, Modality, Date+“.jpg”
/for_technician/GE/MRI/20050110.jpg
29
STK 5800 - škálovatelnost
• Pro začáteka ½ buňky (8 uzlů)
> 16 TB Raw
• Upgrade na buňku (16 nodes)
> 32 TB Raw
• Přidávání buněk = Silo
• Přidávání a odebírání za běhu
> Data evacuation
> Data sloshing
• Stále jedna IP adresa
30
Symetrická clusterová architektura
Mgt
VIP
Data
VIP
L2 switch
Gig-E interconnect
Opteron/S-ATA
cluster nodes
Data Space
Metadata Space
31
Honeycomb - architektura mnoha
buněk
Honeycomb “silo” se skládá z buněk
Buňka je jednotka spolehlivosti
Všechny buňky přístupné přes jednu
IP adresu
Buňky jsou nezávislé a lze k nim
přistupovat individuálně
Klientská knihovna řídí přístup k
buňkám
32
HADB (Clustra)
• Index ukládán v paměti
> Vyvinuto pro telekomunikační průmysl
• Záznamy metadat jsou umístěny na disku a potom
vloženy do HADB
• Plně distribuovaná a kapacitně rozložená DB
• Jako včelí plástev – vysoká odolnost vůči chybám
33
Implemetace služeb prostřednictvím StorLetů
• Přesun služeb nižší vrstvy z aplikačního serveru na
storage
• Další funkcioanalitu může vytvářet uživatel nebo
ISV
• Modifikace chování funkcí
store/retrieve/query/delete
• Příklady:
> Extrakce metadat ze souboru
> Transcode/downsample/filter/watermark
> Vyšší úroveň zabezpečení: ACL, encrypt, audit trail
34
Reed Solomon kód
An error-correcting code that works by oversampling a polynomial
constructed from the data…the receiver can recover the original polynomial
even in the presence of a "few" bad points. - Wikipedia
• Vytvořen v MIT Lincoln Labs in 1960
• Použití pro CD & DVD
• Umožňuje různé kombinace dat a parity (D,P) RAID stripe
> 5/1, 5/2, 6/4, atd
• Honeycomb -první storage na světě používající RS
> Přispívá k vysoké spolehlivosti
> Lepší než mirror, výrazně nižší cena
• V budoucnu umožní implementovat proměnnou spolehlivost
na základě politik
35
Algoritmus distribuce dat
• Fragmentace napříč clusterem bez použití volumů
• Zajišťuje kapacitní vyváženost a opětovné
vyvažování (aka sloshing)
File 1
• Poskytuje autoatický self-healing
> Model posunutého servisu
> Bez hot-spare disků
> Paralelizace pro rychlou obnovu
File 2
File 3
• Bezestavový algoritmus – není potřeba sdílet stav
napříč clusterem
• Okamžité načtení dat i přes sloshing a self-healing
36
Samouzdravovací služby
• Lokální kontrola konzistence dat, paralelizace
> Scanování fragmentů
> Kontrola přítomnosti všech potřebných fragmentů
> Uvolňování nepotřebných fragmentů
> Kontrola asociace metadat se všemi lokálními objekty
> Garbage collection pro dočasné soubory
• Healing services dokončí kontrolu v
predikovatelném čase
37
Honeycomb SDK
C API Honeycomb lib/DLL, cURL lib/DLL
Java API, honeycomb-client.jar
Dokumentace
Příklady kódu včetně command-line příkazů
store/retrieve
• Demo aplikace
• Honeycomb emulator
•
•
•
•
> Pro ladění kódu
38
STK 5800 dostupnost
• RAIN – Redundant Array of
Independent/Inexpensive
Nodes
• Symmetrický cluster
> HA Database (Clustra)
• Dvě úrovně switchů, cluster
• Service processor není
součástí kritické cesty
• Call home
39
STK 5800 Servisovatelnost
• Model odloženého servisu
> 8-node: ztráta 1 serveru
> 16 nodes: ztráta 2 serverů
• Přidávání a odebírání HW
online
> Data evacuation
> Data sloshing
40
STK 5800 – integrita a ochrana dat
• Unikátní Object Ids
> Cryptographic Checksum/Hash
(SHA-1)
• Data Placement Algoritmus
> 10,000 kombinací
• Reed Solomon kód
> “error-correcting code that works by
oversampling a polynomial
constructed from the data”
• Průběžné samouzdravování
• Odolnost vůči
mnohanásobným selháním
• Backup (DR)
Data
Parity
41
Sun StorageTek páskové portfolio
Enterprise Libraries
Midrange Tape Libraries
Distributed Libraries
Entry Libraries
C2
C4
SL
8500
L140
0m
Virtualization
Solutions
Virtual
Storage
Manager
4e/4/5
SL500
Encryption Key
Management
STK Brand Tape Media
VTL
Tape Drives
DAT 72
Tape-Related
Software
LTO 2/3
Backup and
Recovery
T9x40
Library
Software
T10000
SDLT 320
SDLT 600
Key
Management
42
Sun StorageTek
Storage
Archive Manager
SAM-FS
Shutterstock 1795734
43
Co je SAM-FS?
• Základní komponent implementací ILM
• Policy engine a klasifikace dat podle kritérií
zákazníka
• Integrovaný data mover pro správu dat přes
všechny úrovně
• Eliminuje potřebu backup/recovery
• Škálovatelnost, výkon
44
Souborový systém pro ILM
Aplikace
OS
SAM-FS/QFS
File System
I/O Sub-System
$40
$20
$5
$0.50
45
Proč SAM-FS
Komponent ILM
● Klesající hodnota dat v čase
● Maskování komplexity víceúrovňového modelu
● SAM aktivně přesouvá data podle politik
● Až 80% úspory
● Transparentní přístup k datům
● Průběžná záloha — eliminuje okna pro backup
●
46
QFS – souborový systém v SAN
NT Workgroup
UNIX Workgroup
TCPIP
NFS
SAMBA/CIFS
NFS
TCP/IP
Solaris
SAM-QFS
meta data
Remote Site
Tape Copy 3
Mixed Workgroup
Solaris
QFS Client
Linux
QFS Client
Fibre SAN Switch
QFS File System
FC meta data
Local Site
Tape Copy 2
FC Data Disk(s)
Disk Archive
SATA Copy 1
47
Děkuji !
48