Energeticky efektivní IT a infrastruktura pro datová centra a

Transkript

Energeticky efektivní
IT a infrastruktura
pro datová centra
a serverovny
Impresum
Odpovědnost: Projektové konsorcium PrimeEnergyIT, červenec 2011
Koordinace projektu: Dr. Bernd Schäppi, Rakouská energetická agentura, Vídeň
Přetisk je povolen pouze po částech a pouze s podrobným odkazem.
Výhradní odpovědnost za obsah této publikace mají autoři.
Obsah publikace nemusí nutně reflektovat názor Evropské unie.
Ani EACI (Výkonná agentura pro konkurenceschopnost a inovace) ani Evropská komise není
zodpovědná za jakékoli možné použití informací obsažených v této publikaci.
Efektivní technologie pro úsporu energie a nákladů v datových
centrech a serverových sálech
Spotřeba energie v datových centrech a serverovnách během poslední dekády výrazně rostla. Výkonnější
zařízení a komplexnější IT služby hnaly vpřed poptávku po energii. Jelikož se infrastruktura a náklady
na energii staly v datových centrech ústředním faktorem facility managementu i IT managementu, byla vyvinuta celá řada technologií pro zvýšení energetické účinnosti. Nové technické prostředky (HW) a možnosti
správy napájení podporují energeticky úsporné strategie.
Celkově je potenciál pro energetické úspory v datových centrech a serverových sálech vysoký a v mnoha
případech, v závislosti na konkrétním IT vybavení a infrastruktuře, může překročit 50%. V minulosti byla
v hledáčku energeticky úsporných opatření jen účinná řešení pro napájení a chlazení. Teprve od nedávna
se také začala zvažovat opatření směřující k lepší účinnosti IT zařízení. Současné studie ukazují, že opatření
cílená na lepší účinnost již vedla k významnému snížení poptávky po energii ve srovnání se scénářem vývoje při použití tradičních IT technologií [Koomey 2011]1. Přesto je zbývající potenciál energetických úspor
stále velký a nové technologie umožňují ještě efektivnější nasazení úsporných volitelných nastavení.
Tato brožura podává krátký přehled současných technologií podporujících energetickou účinnost obou
oblastí zaměřených na IT technologie, tj. IT zařízení a podpůrné infrastruktury. Pokrývá všechny podstatné
IT technologie v datovém centru včetně serverů, datových úložišť a síťových prvků a zařízení. Koncepce pro
lepší účinnost zahrnují návrh účinného systému, správu napájení od hardwarové úrovně IT až po úroveň
datového centra a dále také konsolidaci a virtualizaci.
Doporučení dle nejlepší praxe pak vyzdvihují slibné volby a možnosti, které by měly být zváženy při správě
a pořizování majetku. Je uvedena řada zdrojů k dalšímu čtení a studiu. Brožura je zdrojem základních
informací pro IT manažery a provozní (facility) manažery a jejím cílem je podpořit a zlepšit energetickou
účinnost a nákladovou efektivitu.
Tato brožura byla vytvořena jako část mezinárodního projektu
PrimeEnergyIT (www.efficient-datacenters.eu), který je veden
v rámci programu EU „Evropská inteligentní energie“
(Intelligent Energy Europe).
1) Koomey, J. (2011): Growth in Data center electricity use 2005 to 2010, Jonathan Koomey, Analytics Press, Oakland,
CA, August 1, 2011
3
Obsah
1
1.1
1.2
Monitoring spotřeby energie v serverovnách a datových centrech
Koncepce monitoringu
Měřicí přístroje
2
2.1
Servery
Energetická účinnost a správa napájení na úrovni serveru a jednotlivých komponent
Účinnost procesoru (CPU)
Účinnost napájecího zdroje
Správa napájení od IT rozvaděče až po celé datové centrum
Plánování kapacit a správa energie
Vykrývání výkonu
Specifické možnosti správy napájení u blade serverů
Skříň (chassis) a komponenty blade systému
Blade systém a problémy s jeho napájením a chlazením
Virtualizace serverů
Potenciál energetických úspor při virtualizaci
Požadavky a nástroje pro plánování virtualizace
Správa napájení ve virtualizovaných prostředích – migrace virtuálního serveru
Chlazení a infrastruktura pro virtualizované systémy
10
10
12
13
14
14
16
16
17
19
21
22
23
24
25
Vybavení datových úložišť
Zařízení pro ukládání dat
Páskové systémy
Pevné disky (HDD)
RAM-disky (Solid State Drives, SSD)
Hybridní pevné disky (HHD)
Prvky datového úložiště
Velkokapacitní disky a maloformátové provedení
Velká pole neaktivních disků (MAID)
Efektivní úrovně redundantních diskových polí (RAID)
Horizontální vrstvy datových úložišť, virtualizace datových úložišť a tenký provisioning
Konsolidace na vrstvě datového úložiště a systémových zdrojů
De-duplikace dat (odstranění vícenásobných záloh)
28
28
28
29
31
31
32
32
32
32
33
34
34
2.1.1
2.1.2
2.2
2.2.1
2.2.2
2.3
2.3.1
2.3.2
2.4
2.4.1
2.4.2
2.4.3
2.4.4
3
3.1
3.1.1
3.1.2
3.1.3
3.1.4
3.2
3.2.1
3.2.2
3.2.3
3.2.4
3.2.5
3.2.6
4
6
6
9
4
4.1
4.1.1
4.1.2
4.1.3
4.2
4.2.1
4.2.2
4.2.3
4.2.4
4.2.5
5
5.1
5.1.1
5.1.2
5.2
5.2.1
5.2.2
5.2.3
5.2.4
5.2.5
5.3
Síťové prvky a zařízení
Technický a provozní rámec
Funkční model
Vlastnosti sítě
Vyvážení výkonu sítě a spotřeby energie
Zlepšení energetické účinnosti
Slučování provozních tříd (konsolidace vstupů/výstupů)
Konsolidace sítě
Virtualizace sítě
Výběr komponent a zařízení
Směrování dat na úrovni patra
36
36
36
37
37
38
38
40
41
42
42
Chlazení a napájení v datových centrech a serverovnách
Chlazení v serverovnách
Split systémy a přenosné systémy
Opatření pro optimalizaci energetické účinnosti v serverovnách
Chlazení pro střední a velká datová centra
Hlavní hlediska
Nastavení teploty a vlhkosti
Účinnost komponent – zdroje chladu, ventilátory, vzduchotechnické jednotky
Volné chlazení (Free cooling)
Chlazení pro jednotlivé IT rozvaděče / řadové jednotky
Napájení a záložní zdroje (UPS) v datových centrech
44
44
44
45
46
46
47
48
48
49
49
5
1
Monitoring spotřeby energie
v serverovnách a datových centrech
Carlos Patrao, University of Coimbra (Portugalsko)
1.1 Koncepce monitoringu
Pro monitoring se mohou se použít následující typické přístupy:
Monitoring spotřeby energie v serverovnách a datových sálech je pro zjištění potenciálních energetických úspor a vyhodnocení účinnosti energetickooptimalizačních opatření zcela nezbytný. Koncepce
monitoringu by měly být pečlivě navrženy tak, aby
zajistily sběr správných dat, která podporují účinná
opatření.
Minimální monitoring – Provádění periodických
bodových měření přenosnými přístroji je hlavním
přístupem pro velmi malé instalace. Některá data
se získávají z údajů od výrobců zařízení (parametry
vstupního napájení atd.). Tento přístup nevyžaduje
investice do pevně instalovaného měřicího zařízení
a infrastruktury.
Nejmodernější monitoring – Data se sbírají
použitím automatizovaných nebo trvalých záznamových systémů v reálném čase, s podporou
online softwaru s rozsáhlými analytickými schopnostmi. Modifikace v infrastruktuře jsou potřebné
a většinou je požadována podpora od specializovaného technického personálu.
Musí se přitom zvážit následující aspekty [1]:
• Požadovaná přesnost a rozlišení dat
• Selhání sběru dat, schopnost sběru dat ze
všech požadovaných zařízení
• Uživatelský komfort a snadná integrace dat
napříč zařízeními a časovými měřítky
• Škálovatelnost pro hromadné nasazení
a způsobilost pro rozmístění na více lokalitách
• Přizpůsobitelnost na nové potřeby měření
• Možnosti analýzy dat a jejich integrace
do řídicích systémů
• Schopnost detekovat problémy a hlásit je
provozovateli datového centra
• Investiční náklady a návratnost
Pokročilý monitoring – Data se zaznamenávají
v reálném čase za pomoci trvale instalovaných
zařízení, která však nemusí být nutně podporována nástroji online. Omezené modifikace v infrastruktuře by měly být očekávány.
Monitorovací systém musí mít potřebný počet
„informačních uzlů“ (nebo monitorovacích bodů),
aby poskytnul požadované informace pro komplexní analýzu energetické spotřeby. Ve větších
instalacích by výběr „informačních uzlů“ měl začít
nejreprezentativnějšími subsystémy (z pohledu
využívání energie). Obrázek 1.1 ukazuje nejvýznamnější subsystémy, u kterých by spotřeba
energie měla být monitorována. Tyto subsystémy
také mohou být považovány za „informační uzly”
nebo „monitorovací body“.
Celkový příkon
datového centra
Zátěž v budově
IT zátěž
Napájení
IT
Silové rozvaděče
Služby
Dieselagregáty
Datová úložiště
Záložní zdroje (UPS)
atd.
Příkon IT zařízení
Telekomunikační zařízení
atd.
Chlazení
Blokové chladicí jednotky
(Chillery)
Volné chlazení (Free cooling)
atd.
Obr. 1.1
6
Jednoduché schéma s klíčovými subsystémy datového centra [Zdroj: ASHRAE [2]].
Sběr dat, jejich zpracování a vyhodnocení je
obvykle podporováno softwarovými nástroji.
Například program Ušetři energii teď, vyhlášený
ministerstvem energetiky ve Spojených státech,
vyvinul kolekci nástrojů nazvanou „DC Pro“. Balík
nástrojů poskytuje vyhodnocovací mechanismus,
nástroje pro porovnávání a sledování výkonu
a dále také doporučená opatření. Je k dispozici
zdarma.
http://www1.eere.energy.gov/industry/datacenters/
software.html
DALŠÍ PŘÍKLADY UŽITEČNÝCH
SOFTWAROVÝCH NÁSTROJŮ JSOU:
• Pomůcka na odhad PUE (efektivita využití energie):
http://estimator.thegreengrid.org/puee
• Nástroj pro reporting PUE
http://www.thegreengrid.org/en/Global/Content/
Tools/PUEReporting
• Metrika škálovatelnosti PUE a statistická
tabulka
http://www.thegreengrid.org/library-and-tools.aspx
?category=MetricsAndMeasurements&range=
DOPORUČENÍ PRO NEJLEPŠÍ PRAXI
Řádné pochopení celkových cílů energetického monitoringu je pro návrh účinné koncepce
monitoringu zcela nezbytné.
Typickými cíly mohou být:
• Vyhodnocení celkového příkonu IT a podpůrné infrastruktury
• Analýza trendů spotřeby energie v čase
• Porozumění okamžité energetické potřebě klíčových zařízení v dané instalaci
• Účtování
• Výpočet indexů energetické účinnosti a energetických metrik
Koncepce softwaru či hardwaru pro energetický monitoring by měla vykazovat následující
schopnosti (Zdroj ASHRAE):
• Spolehlivý sběr dat a ukládání dat v požadovaném intervalu a přesnosti
• Normalizace dat z různých zařízení, rozhraní a protokolů
• Ukládání dat za dlouhé intervaly měření
• Analýza a vizualizace dat ve formě tabulek a grafů
• Škálovatelnost architektury podle rozšiřování datového centra
Klíčovými aspekty, které se musí vzít v úvahu při výběru zařízení do monitorovacího systému,
jsou mimo jiné rozsah měřicího přístroje, rozlišení a přesnost.
Entire%20Archive&type=Tool&lang=en&paging=All#
TB_inline?&inlineId=sign_in
• Měření účinnosti datového centra PUE a DCiE
http://www.42u.com/measurement/pue-dcie.htm
7
Tab. 1.1 Příklady
přístrojů pro měření odběru energie
Označení
Příklad
Popis
Koncepce monitoringu
Přenosná měřidla zahrnují řadu produktů od ručních jednofázových
multimetrů až k sofistikovaným třífázovým analyzátorům sítě se
záznamem a možností synchronizace. Většina z nich má vestavěný
displej, přes který může uživatel přistupovat k naměřeným nebo zaznamenaným datům.
Minimální a pokročilý
monitoring.
Vestavná měřidla se obvykle natrvalo instalují do rozvaděčového
panelu, kde měří záložní zdroje (UPS), dieselagregáty nebo jiná
zařízení. Tato měřidla mají displej, který ukazuje okamžité naměřené
hodnoty a kumulativní proměnné veličiny jako celkovou spotřebu
energie. Mohou být instalovány pro měření celkového příkonu a pro
měření energetického odběru jednotlivých zařízení.
Tato měřidla mohou
být použita pro
nejpraktičtější
a nejmodernější
monitoring.
Fakturační měřidla nejvíce používají distributoři energií, majitelé
nemovitostí a další, kteří fakturují své zákazníky. Zřídkakdy se
používají v monitorovacích systémech datového centra, ale mohou poskytovat data o celkovém odběru energie v dané instalaci.
V některých případech může distributor energie poskytnout přístup
k digitálnímu komunikačnímu portu, který umožní získat a uložit data
do databáze pro budoucí analýzu (například každých 15 minut).
Lze použít ve všech
koncepcích.
Inteligentní nebo měřené distribuční panely pro IT rozvaděče (rack
PDUs) poskytují aktivní měření odběru energie a tím umožňují optimalizaci spotřeby a ochranu obvodů. Měřené napájecí panely
předávají data o využívání energie a umožňují tak manažerům datového centra provádět informovaná rozhodnutí o vyvažování zátěží
a dimenzování IT prostředí, jejichž cílem je snižování celkových
nákladů na vlastnictví (TCO). Napájecí panely mohou být vybaveny
vzdáleným monitoringem, který umožňuje v reálném čase sledovat
výkonové parametry buď za celou napájecí lištu a/nebo pro jednotlivé zásuvky, tzn. monitorovat proud, napětí, výkon, účiník a příkon
(kWh) s přesností odpovídající fakturačnímu stupni ISO/IEC +/–1%.
Uživatelé mohou přistupovat a konfigurovat měřené panely pro IT
rozvaděče přes zabezpečené rozhraní (Web, SNMP nebo Telnet).
koncepcích.
Měření výkonu
na úrovni měřidla integrovaného v serveru
Měření výkonu na úrovni měřidla integrovaného v serveru
Minimální a pokročilý
monitoring.
Permanentní
rozvaděčový měřicí
převodník bez
displeje
Indukční výkonový převodník je obvykle popisován jako zařízení bez
displeje, které je trvale zapojeno do rozvaděče jako vestavná (panelová) měřidla. Taková zařízení jsou často používána monitorovacími
systémy k měření energetických odběrů v různých bodech datového
centra.
koncepcích.
Přenosné měřidlo
Zdroj: Chauvin Arnoux
Vestavné měřidlo
(panelové)
Fakturační měřidlo
Zdroj: Itron
Inteligentní
distribuční
panel (PDU)
Zdroj: Raritan
8
1 Monitoring spotřeby energie v serverovnách a datových centrech
1.2 Měřicí přístroje
Další materiály ke čtení
K měření klíčových veličin jako spotřeba energie,
teplota, průtok a vlhkost je k dispozici velký počet
typů měřicích zařízení.
Některé příklady zařízení pro měření spotřeby
jsou uvedeny v tabulce 1.1 (vlevo, na straně 8).
K dalšímu čtení doporučujeme zdroje uvedené
v následující sekci nebo „Zprávu o technologickém
auditu / Technology Assessment Report”, která je
k dispozici na web stránkách PrimeEnergyIT.
ASHRAE (2010): Real-Time Energy Consumption Measurements in Data Centres, ASHRAE –
American Society of Heating, Refrigerating and
Air-Conditioning Engineers, 2010.
ISBN: 978-1-933742-73-1
Stanley, J. and Koomey, J. (2009): The Science
of Measurement: Improving Data Centre Performance with Continuous Monitoring and Measurement of Site Infrastructure, Stanley John and
Koomey Jonathan, October 2009
Schneider Electric (2011): E-learning website
(Energy University) that provides the latest information and training on Energy Efficiency concepts
and best practice
www.analyticspress.com/scienceofmeasurement.html
www.myenergyuniversity.com
Ton, M. et al (2008): DC Power for Improved
Data Centre Efficiency,Ton, My, Fortenbery, Brian
and Tschudi, William, Ecos Consulting, EPRI, Lawrence Berkeley National Laboratory, March 2008
Webinar: „The Data Centre in Real Time: Monitoring Tools Overview & Demon“
Rasmussen N. (2010): Avoiding Costs From
Oversizing Data Centre and Network Room Infrastructure, Neil Rasmussen, APC by Schneider Electric, 2010. White paper #37 – Revision 6
http://www.apcmedia.com/salestools/SADE-5TNNEP_
R6_EN.pdf
http://www.42u.com/webinars/Real-TimeMeasurement-Webinar/playback.htm
http://hightech.lbl.gov/documents/data_centres/
dcdemofinalreport.pdf
The Green Grid (2008): Green Grid Data Centre
Power Efficiency Metrics. White Paper 6, The Green
Grid, White Paper 6. December 30, 2008
http://www.thegreengrid.org/Global/Content/whitepapers/The-Green-Grid-Data-Centre-Power-EfficiencyMetrics-PUE-and-DCiE
Rasmussen N. (2009): Determining Total Cost
of Ownership for Data Centre and Network Room
Infrastructure, Neil Rasmussen, APC by Schneider
Electric, White paper #6 – Revision 4
http://www.apcmedia.com/salestools/CMRP-5T9PQG_
R4_EN.pdf
Reference
[1] Stanley, J. and Koomey, J. (2009): The
Science of Measurement: Improving Data Centre Performance with Continuous Monitoring
and Measurement of Site Infrastructure. October
2009.
(2010): Real-Time Energy
[2] ASHRAE
Consumption Measurements in Data Centres:
ASHRAE- American Society of Heating, Refrigerating and Air-Conditioning Engineers, 2010.
ISBN: 978-1-933742-73-1.
9
2 Servery
Bernd Schäppi, Thomas Bogner, Hellmut Teschner, Rakouská energetická agentura
,
Serverová zařízení spotřebují kolem 30–40 % celkové energie spotřebované
v datových centrech a serverovnách. Jsou proto jednou z primárních oblastí
pro zavedení efektivních energeticky úsporných opatření. Typická serverová
zařízení v běžných serverovnách nebo datových sálech zahrnují standardní
servery v provedení pro montáž do IT rozvaděčů, ale také stojanové servery
a víceuzlové servery (multi-node).
2.1 Energetická účinnost a správa napájení na úrovni serveru
a jednotlivých komponent
Potenciál pro energetické úspory je vysoký a v závislosti na typu IT systému a aplikovaných opatřeních je možné dosáhnout energetických úspor
v rozsahu 20–60 % nebo ještě více. Primární přístupy pro zlepšení energetické
účinnosti zahrnují výběr energeticky efektivního hardwaru a návrh systému,
správu napájení na všech úrovních od hardwarových komponent až po celý
systém a v neposlední řadě také konsolidaci hardwaru a virtualizaci.
Následující kapitola poskytuje informace o technologiích k úspoře energie a volitelných
možnostech od úrovně komponent až po celý systém. Otázky související s energetickou
účinností a možná opatření pro zlepšení jsou poskytována od úrovně serverů až
po úroveň rozvaděče datového centra.
Dvě konkrétní kapitoly se věnují blade serverové technologii a virtualizaci serverů
jakožto mocným, energeticko-optimalizačním strategiím. Konkrétní doporučení pro
postup podle nejlepší praxe jsou zvýrazněna v rámečcích.
Tab. 2.1 Výkonová
kritéria Energy Star pro provoz naprázdno
Kategorie
Počet
instalovaných
procesorů
Spravovaný
server
Základní
přípustný výkon
při provozu
naprázdno (W)
A
1
Ne
55
B
1
Ano
65
C
2
Ne
100
D
2
Ano
150
Tab. 2.2 Koncepce
hodnotícího nástroje SERT
Server
Hodnocení výkonnosti
systému
Procesor (CPU)
Paměť
Úložiště dat
Vstupy/Výstupy
10
Energetická účinnost serverů se v minulých
letech silně zlepšila, zejména v důsledku vývoje
efektivní správy napájení pro hardwarové komponenty. V současnosti se energetická účinnost
serverů hodnotí a deklaruje podle požadavků Energy Star a porovnává výkonnostním hodnocením
SPECpower (SPEC: Standard performance evaluation corporation, Sdružení pro vyhodnocení standardního výkonu).
Současné požadavky ENERGY STAR pro podnikové servery [1] smluvně stanovují kritéria pro energetickou účinnost IT-rozvaděčových a stojanových
serverů obsahujících až 4 patice pro procesory.
Požadavky definují maximální úrovně pro spotřebu
energie při běhu naprázdno pro servery s 1 a 2
paticemi pro procesor (CPU) a dále také kritéria
pro účinnost napájecího zdroje a vlastnosti jeho
správy napájení (viz tabulka 2.1 a tabulka 2.4).
Kritéria pro provoz naprázdno jsou primárně
užitečná jako indikátor účinnosti při podmínkách
podprůměrné zátěže blížící se provozu naprázdno.
Taková nízká zatížení serverů (např. < 15%) jsou
stále docela běžná, ačkoli konsolidace hardwaru
pro dosažení vyšších úrovní zátěže by měla být
všeobecným cílem.
Energetická účinnost serveru při vyšším pracovním
zatížení a pro konsolidované systémy je adresována výkonnostním hodnocením SPECpower,
které je však více zaměřeno na účinnost vztaženou
k procesoru a intenzivní zátěži na něm (viz informace níže). Komplexní nástroj pro hodnocení
účinnosti serveru - tzv. SERT (Server Efficiency
Rating Tool), který se zaměřuje na všechny hlavní
hardwarové komponenty při různých úrovních
zátěže, je současnosti předmětem vývoje SPEC [2]
a bude dostupný v zimě 2011/2012. Nástroj SERT
bude hodnotit účinnost serveru na základě dílčích
výkonnostních testů procesoru, paměti, úložiště
dat a systému (tabulka 2.2). Nástroj bude podporovat IT manažery při výběru energeticky účinného
hardwaru pro konkrétní aplikace.
Měřítko výkonu
ÅäâeçëåäbÚéãmÝäëàäãê
àÚèåäéÚ×äëÖãdÚãÚçÜÞÞ
¨§§§
©§§§
ª§§§
§
«§§§
Celkový výsledek výkonnostního hodnocení (SPECpower_ssj2008 metrika se
počítá jako součet všech
výsledků ssj_ops pro všechny
cílové zátěže děleno součtem
všech průměrů spotřeby
energie (ve Wattech) pro
všechny cílové zátěže, včetně
aktivního intervalu měření
běhu naprázdno)
ª¨°®ÚÜãâæíÚßêêáÖæçÜéØÚo¦ÎØëë
Ú

áÖ
Ö ç
ë
«§©§
«§®ª
«§§ª
ª¯¬ª
ª¬ª
ª©¯¬
©¯©°
©ª§¬
¨¯¨
°¬¬
¨§§
°§
¯§
®§
¸máäëYïYée
SPECpower_ssj2008 [2] byl prvním standardním
výkonnostním hodnocením podporujícím hodnocení energetické účinnosti masově vyráběných podnikových serverů (volume class servers). Zaměřuje
se hlavně účinností vztaženou k procesoru (CPU)
a poskytuje tak dobré hodnocení ohledně vysokých pracovních zátěží CPU. Výkonnostní hodnocení je zveřejňováno výrobci, jenže jen pro vybraný
hardware. Obr. 2.1 ukazuje jeden příklad výsledků
SPECpower pro masově vyráběný server. Typický
graf SPEC podává informaci o průměrném výkonu
na Watt napříč rozsahem zátěží a také hodnoty
pro deset různých úrovní zátěže. Tak mohou být
servery porovnány při různých úrovních zátěže
od běhu naprázdno až pro 100%. Pro účely
nákupu by měla být od dodavatelů požadována
kompletní SPECpower informace (obsahující také
podrobnou informaci o konfiguraci). Dále by mělo
být zváženo, že produkty jsou často testovány
v nízké konfiguraci.
Měřítko zátěže
(od běhu
naprázdno až
po 100% využití
v kroku
po 10%)
§
¬§
«§
ª§
©§
¨§
¹gß
åØçé[ñÛåæ
§
©¬
Sloupcový graf výkonu
Linie energetické spotřeby
¬§ ®¬ ¨§§ ¨©¬ ¨¬§ ¨®¬ ©§§ ©©¬
ÅçâeçãbÞããëàäãÌ
Měřítko spotřeby energie
Obr. 2.1 Diagram
SPECpower a klíčové informace
Doporučení pro nejlepší praxi
Kritéria energetické účinnosti a výkonnostní hodnocení pro výběr hardwaru
• Je-li to možné, při pořizování hardwaru používejte kritéria
•
pro účinnost od Energy Star. Pro servery provozované při
nízkém zatížení mohou posloužit jako rozumné indikátory
účinnosti požadavky Energy Star Verze 1 pro běh naprázdno. Požadavky na napájecí zdroje lze použít pro jakýkoli
druh zařízení.
Od dodavatelů vyžadujte výkonnostní výsledky SPECpower_ssj2008 (a SPEC-SERT, jakmile budou k dispozici). Pro
SPECpower zvažte následující záležitosti:
■ Je to výkonnostní test zaměřený na procesor, je tedy
nejvíce relevantní pro procesor s intenzivní pracovní
zátěží.
■ Servery mohou být testovány v dosti malé konfiguraci
(ověřte si proto, pro jakou sestavu výsledky platí).
■ Pro dosažení robustní interpretace neuvažujte pouze
celkový výsledek (celkový počet operací na Watt), ale
také podrobná výkonnostní data.
11
2.1.1 Účinnost procesoru (CPU)
Procesory (neboli centrální procesorové jednotky,
CPU) jsou v serverech energeticky nejnáročnějšími
komponenty a proto energeticky efektivní modely
procesorů s účinnou správou napájení mohou silně
podpořit lepší účinnost.
Spotřeba energie závisí na konkrétním napětí
a taktovací frekvenci, se kterými procesor pracuje.
Správa napájení na úrovni procesoru nebo procesorových jader je proto založena na dynamickém
řízení napětí a kmitočtu (Dynamic Voltage and
Frequency Scaling, DVFS) nebo na vypínání jader.
Spotřeba energie procesory se často porovnává
na základě dimenzovaného tepelného výkonu
(thermal design power, TDP), který představuje
maximální výkon, jaký musí umět chladicí systém v serveru odvést. TDP však poskytuje pouze
omezenou informaci, jelikož celková účinnost také
silně závisí na správě napájení. Výrobci nabízejí
konkrétní energeticky úsporné verze procesorů,
které, mohou-li být dosaženy specifické požadavky
na výkon, v praxi umožňují dosáhnout významné
úspory energie.
Energetická účinnost procesorů silně závisí
na efektivní implementaci správy napájení. Běžné
operační systémy podporují správu napájení
založenou na specifikaci ACPI (pokročilá konfigurace a napájecí rozhraní, Advanced Configuration
and Power Interface) pro stavy výkonu procesoru
a spotřebu energie (P-stavy) a pro stavy termického managementu (C-stavy). Nové ovládání
systému a komponent, které povolila ACPI Verze
3, poskytuje mechanismy pro správu napájení
na vyšší úrovni a umožňuje přitom jemnější
granulaci napájení a nastavení výkonu podle
požadavku. U mnoha modelů serverů z nedávné
doby lze používat předdefinovaná napájecí schémata (napájecí profily), např.:
■
„Vysoký výkon” (vhodné pro servery, které běží
s velmi vysokým využitím a potřebují poskytovat maximální výpočetní výkon bez ohledu
na náklady za spotřebovanou energii)
■ „Úsporný režim” / „Minimální spotřeba”
(u serverů, které běží s nízkým využitím výpočetní
G7 (3,07 GHz, Intel Xeon X5675)
kapacity a mají větší využitelný výkon než je
skutečně potřeba, může použití tohoto režimu
poskytnout přírůstek energetických úspor)
■ „Vyrovnané napájení a výkon“
Obrázek 2.2 ukazuje na výsledcích měření výkonnosti (SPECpower) pozitivní vlivy správy napájení
u moderního procesoru ve skupině produktů
HP ProLiant DL 380: poměr provozu naprázdno
k energii potřebné pro provoz s plnou zátěží se
u konkrétního modelu serveru od generace G5
do G7 silně zmenšil. Pro server DL 380 G5 byl běh
naprázdno (bez zátěže) o 33 % (170 Wattů) menší
než provoz s plnou zátěží (253 Wattů). Pro G7 je
přibližně o 75 % nižší než maximální výkon. To
ukazuje, že nová technologie serverů je mnohem
více energeticky úsporná při nízkém zatížení nebo
při běhu naprázdno, a to díky inteligentní správě
napájení na úrovni procesoru. Výpočetní výkon pro
konkrétní model serveru se na druhé straně zvětšil
více než trojnásobně.
G5 (2,66 GHz, Intel Xeon L5430)
§
¨§§§
©§§§
ª§§§
«§§§
§
«§©§
«§®ª
«§§ª
ª¯¬ª
ª¬ª
ª©¯¬
©¯©°
©ª§¬
¨¯¨
°¬¬
°§
¯§
¸máäëYïYée
®§
§
¬§
«§
ª§
©§
¨§
¹gß
åØçé[ñÛåæ
§
©¬
°§
¯§
®§
¬§
«§
©§
¨§
¹gß
åØçé[ñÛåæ
Obr. 2.2 Příklad
12
§
ª§
¬§ ®¬ ¨§§ ¨©¬ ¨¬§ ¨®¬ ©§§ ©©¬
¬§§
®¬§
¨§§§
¨©¬§
¨©¨«
¨¨ª¬
¨§«°
°¬¨
¯¬«
®ª¯
©§
«¯«
ªª¬
¨®¬
¨§§
¸máäëYïYée
¨§§
©¬§
®ª«ÚÜãâæíÚßêêáÖæçÜéØÚo¦ÎØëë
ª¨°®ÚÜãâæíÚßêêáÖæçÜéØÚo¦ÎØëë
§
¬§
¨§§
¨¬§
©§§
©¬§
výkonnostního testu SPECpower pro různé generace serverů (G5, G7 Server od HP) [SPEC (2010, www.spec.org)]
2 Servery
Při pořizování hardwarového vybavení je všeobecně
nezbytné, aby se zkontrolovalo, že hardwarové
komponenty splňují konkrétní výkonové požadavky.
Různé typy provozních zátěží na serveru nastavují různé požadavky na výkon hardwaru, což by
mělo být pro efektivní konfiguraci hardwaru řádně
zváženo. Hrubý náznak požadavků na výkon hardwaru při různých provozních zátěžích ukazuje tabulka 2.3.
Tab. 2.3 Požadavky
na výkon při různých použitích serveru [5]
Kategorie
Procesor
Paměť
Pevné disky
Vstupy/Výstupy
0
+
++
+
++
++
++
+
+
+++
+
++
++
++
++
++
++
0
+++
0
+
+
0
++
+
+
+
+
2.1.2 Účinnost napájecího zdroje
Souborový/tiskový server
Mail server
Virtualizační server
Web server
Databázový server
Aplikační server
Terminálový server
Program Energy Star pro servery [1] nastavil
požadavky na účinnost napájecích zdrojů při definovaných zátěžových hladinách 10 %, 20 %,
50 % a 100 %. Certifikační schéma „80 PLUS“
[80 PLUS] také definuje požadavky na energetickou účinnost napájecích zdrojů serverů, neobsahuje však úroveň zátěže 10 %. Pro praktické účely
a nákup se doporučuje objednávat napájecí zdroje
splňující alespoň zlatou úroveň 80 PLUS (80 PLUS
Gold level), která odpovídá účinnosti 88 % při
zátěži 20 % a účinnosti 92 % při zátěži 50 %.
Standardní servery v IT rozvaděčích, běžně provo-
zované s nízkým zatížením, jsou často vybaveny
nadbytečným redundantním napájecím zdrojem
(over-provisioning). To ve výsledku vede k významným ztrátám energie z důvodu velmi nízkého
provozního bodu zařízení. Správné dimenzování
napájecích zdrojů je proto nutností. Toto je podporováno například nástroji pro online konfiguraci
napájení nabízenými výrobci a nástroji pro vyhodnocování energetického vykrytí.
Někteří výrobci (např. řadu serverů HP ProLiant G6
Tab. 2.4 Požadavky
na účinnost napájecích zdrojů dle programu Energy Star a iniciativy 80 PLUS
Typ napájecího zdroje
Energy Star Vs1
a G7) poskytují konkrétní hardwarové vlastnosti
k překonání zbytečných ztrát na redundantních
napájecích zdrojích. Takový hardware pak nabízí
provozní režim umožňující používat pouze jeden
z napájecích zdrojů až do okamžiku, kdy zátěž
překročí určitý práh. Druhý napájecí zdroj zůstává
ve standby režimu a udržuje redundanci. V případě
poruchy zdroje nebo napájecí trasy tento režim
provozu poskytuje plně redundantní napájení.
Nominální
výstupní výkon
Zátěž 10%
Zátěž 20%
Zátěž 50% Zátěž 100%
Více výstupů (AC/DC a DC/DC) Všechny úrovně výstupu
N/A
82%
85%
82%
Jeden výstup (AC/DC a DC/DC)
<=500W
70%
82%
89%
85%
>500–1000W
75%
85%
89%
85%
>1000W
80%
88%
92%
88%
Energy Star Verze 2 Více výstupů (AC/DC a DC/DC) Všechny úrovně výstupu
návrh
Jeden výstup (AC/DC a DC/DC) Všechny úrovně výstupu
N/A
85%
88%
85%
80%
88%
92%
88%
80 PLUS
Bronze
Všechny úrovně výstupu
N/A
81%
85%
81%
Silver
N/A
85%
89%
85%
Gold
N/A
88%
92%
88%
Platinum
N/A
90%
94%
91%
13
2.2 Správa napájení od IT
rozvaděče až po celé datové
centrum
Jdeme-li dále z úrovně hardwarových komponent
a jednotlivých serverových jednotek, zjišťujeme, že
správa napájení na úrovni systému je pro celkovou
optimalizaci energetické účinnosti také důležitá.
Jak je uvedeno výše, většina serverů se stále používá
se skromnou provozní zátěží a proto je zde velký
potenciál k energetickým úsporám dosažitelným
konsolidací hardwaru (viz další kapitola) nebo
správou napájení na systémové úrovni. Co se týče
úrovně komponent, správa napájení na vyšších
úrovních nastavuje výpočetní výkon a spotřebu
energie podle aktuální potřeby a vypíná nebo
přiškrcuje zdroje, nejsou-li potřeba. Tabulka 2.5
ukazuje různé přístupy správy napájení při různých
úrovních [TGG Bílá kniha č. 33]. Některá nastavení
a volby jsou popsány v následujících odstavcích
a dalších kapitolách.
Tab. 2.5. Možnosti
2.2.1 Plánování kapacit a správa energie
Software pro správu serverů poskytuje nezbytné
nástroje pro bezpečný provoz serverů ale také
holistický management napájení (celostní přístup).
Nástroje pro správu serverů mohou účinně pomoci
při snižování spotřeby energie, jelikož usnadňují
zavádění energetických politik napříč celým
serverovým systémem a poskytují vlastnosti jako
provisioning, monitoring a správu konfigurace,
které mohou silně podpořit účinnost systému.
Hlavními vlastnostmi obecně jsou:
• provisioning (poskytování systémových zdrojů)
• monitoring
• rozmístění
• správa konfigurace
• řízení aktualizací
• správa napájení
• správa provozní zátěže
Softwarové balíky pro energetický
management (např. IBM Energy Manager)
Mezi mnoha dalšími vlastnostmi tento typ nástroje
podporuje monitoring a sběr dat o spotřebě energie, správu napájení včetně nastavování energeticky úsporných voleb a vykrývání výkonu a dále
také automatizaci úkolů souvisejících s napájením.
Poslední zmíněná činnost zahrnuje sestavu
měřicích zařízení, jakými jsou napájecí panely
(PDU) a senzory, nastavování prahových hodnot,
vytváření a nastavování energetických politik,
výpočet nákladů na energii. Další informace
ohledně softwarových balíků pro energetický management jsou uvedeny níže.
správy napájení od úrovně komponent až po úroveň datového centra
Úroveň komponent
Úroveň systému
• Procesor (Blokové/jádrové C-stavy, • S-stavy
P-stavy, T-stavy, termální regulace) • Správa napájení založená na dané
• Další komponenty (D-stavy, L-stavy)
platformě
• Plánovače provozní zátěže
• Regulace rychlosti ventilátorů
14
Všichni větší dodavatelé hardwaru nabízejí mocné
nástroje pro správu serverů. IBM (Systems Director)
a HP (Systems Insight Manager + Insight Dynamics) nabízejí velmi komplexní řešení pro správu,
které je schopné integrovat systémy třetích stran.
Fujitsu (Server View Site) nabízí produkty se základními funkcionalitami, které je možné integrovat do zavedených konzolí pro správu od dalších
dodavatelů. DELL používá softwarový balík Altiris
Total Management Suite. Sun a Acer poskytují
konzole pro jejich vlastní prostředí.
Úroveň IT rozvaděče
Úroveň datového centra
• Systémový nebo uzlový management
• Vyvažování aplikací a zátěže
• Management na úrovni skříně
(chassis)
• Vyvažování aplikací a zátěže
• Monitory prostředků a zařízení
• De-duplikace dat apod.
• Management více IT rozvaděčů,
dynamická konsolidace
2 Servery
Nástroje pro plánování kapacit
(např. HP Capacity Planner)
Plánovače kapacit, mezi dalšími vlastnostmi, podporují IT manažery tím, že zvyšují využití serverů,
snižují spotřebu energie a zvyšují výkon aplikací.
Umožňují sběr dat o využití procesorových jader,
paměti, sítě, diskových vstupně-výstupních sběrnic
a napájení. Dále podporují plánování provozní
zátěže nebo změny systému a vyhodnocení jejich
vlivu využití zdrojů. Také vyhodnocují trendy pro
předběžné plánování potřebných zdrojů. Další informace o nástrojích pro plánování kapacit naleznete níže.
Na základě záznamů o využívání zdrojů poskytuje například nástroj od HP dobrý rozhodovací
základ pro konsolidační opatření tím, že hodnotí požadavek na zdroje pro sloučené aplikace.
Obrázek 2.3 ukazuje porovnání využití dvou
systémů – příklad ukazuje, že špičkový výkon se
vyskytuje v různých časech a průměrné zatížení by
v případě konsolidace hardwaru narostlo pouze
mírně.
3,0
2,5
Počet jader
2,0
špičkové využití systému
špičkové využití systému
1
1,5
2
1,0
0,5
0,0
21.únor
28.únor
Čas
Systém 1
Systém 2
Obr. 2.3 Porovnání
6.březen
13.březen
Alokovaný výkon
využití procesoru pro „systém 1” a „systém 2”
15
2.3 Specifické možnosti správy
napájení u blade serverů
2.2.2 Vykrývání výkonu
Aktivní alokace výkonových bilancí k serverům je
také známa jako vykrývání výkonu. IT manažeři
mohou specifikovat výkonová vykrytí pro servery
podle skutečných výkonových požadavků. Dynamické vykrývání výkonu snižuje požadavek
na maximální výkon systému a tím optimalizuje
poskytování výkonu mimo hladinu, která je typicky
podporována ve výkonových konfigurátorech nabízených příslušnými výrobci.
Konkrétní v praxi dosažené úspory závisí na úrovni
vykrytí. Vykrytí by měla být nastavena takovým
způsobem, že výkonové špičky jsou vykryty, ale
výpočetní výkon není viditelně ovlivněn. Optimali-
zované vykrývání vyžaduje vyhodnocení provozní
zátěže a profil energetického příkonu. Pro relativně
uniformní pracovní zátěže může dojít k nastavení
vykrytí do průměrné zátěže serveru, aniž by to
výrazně ovlivnilo výpočetní výkon.
Podle hrubého odhadu od oka, vykrytí by se neměla
nastavovat níže než je přibližný střed mezi minimálním a maximálním příkonem serverů. Některé
nástroje pro správu také poskytují vykrývání
výkonu s časově závislou specifikací, která definuje různá vykrytí výkonu pro různé časové intervaly
během dne, závisející na profilu zátěže, nákladech
za energii atd.
Plánování a správa energeticky účinných datových center
Blade serverová technologie se nasazuje jak v datových centrech, tak i v serverovnách. V několika
posledních letech se trh s blade servery stal nejrychleji rostoucím tržním segmentem a je proto
důležité, aby tato technologie byla tak energetický
účinná, jak je jen možné.
Blade chassis (skříň blade serveru, viz obrázek
2.4) typicky obsahuje 7, 14 nebo více blade
serverových modulů, jeden nebo více modulů
pro správu a dále také rozhraní KVM (klávesnicevideo-myš). Skříň podporuje serverové, diskové
a síťové moduly a lze jej optimalizovat pro konkrétní aplikace a typy uživatelů. V porovnání se standardním (IT rozvaděčovým) serverem umožňuje
blade serverová technologie redukovat některé
hardwarové komponenty jako napájecí zdroje,
síťové vstupy/výstupy a kabeláž, které jsou sdíleny
několika servery umístěnými ve společné skříni.
• Používejte nástroje pro správu serverů k plánování kapacit, sledování provozního zatížení a výkonu
•
•
•
•
a konkrétnímu řízení napájení. Podrobné popisy a doporučení k používání vlastností správy
napájení se dodávají s technickou dokumentací prostředků pro správu serverů.
Používejte vyvažování aplikací a zátěže pro optimalizaci využívání hardwarových zdrojů.
Používejte vykrývání výkonu, abyste udrželi požadavek na výkon na očekávaných úrovních pro celý
systém.
Mějte užitek z optimalizovaných odolných úrovní IT hardwaru. Pro každou nasazenou službu
vyhodnoťte úroveň odolnosti hardwaru; odolnost hardwaru jasně zdůvodněte z pohledu
očekávaného vlivu na vaše podnikání v případě výpadku či selhání služby.
Vyřaďte z provozu nepoužívané služby a kompletně odstraňte hardware. Vyhodnoťte možnosti
vyřadit z provozu služby s nízkou obchodní hodnotou; identifikujte ty služby, jejichž finanční a environmentální náklady nejsou ospravedlnitelné.
Obr. 2.4 Blade
16
chassis
Hlavní výhody blade serverů jsou:
• Vysoká výpočetní hustota a nízké nároky
na prostor
• Krátká doba na údržbu a upgrade systému vyplývající z možné výměny modulů za provozu
(hot-plug) a integrovaných funkcí pro správu
• Mírně vyšší energetická účinnost v porovnání
se stojanovými servery v případě, že je optimalizována správa napájení a chlazení
Obr. 2.5 Duální
serverový uzel
2 Servery
Dvouuzlové (dual-node) a víceuzlové (multi-node)
koncepty jsou částečně založeny na podobné filozofii jako blade servery. Ve víceuzlové koncepci
se kombinuje pevný počet serverových jednotek
(běžně 2 nebo 4) do jedné skříně, která se následně
montuje do IT rozvaděče. Obdobně jako u blade
systémů, servery sdílejí napájecí zdroje a ventilátory, ale mají málo možností pro rozšiřování. Víceuzlová technologie je tedy přístupem k zavedení
vyšší výpočetní hustoty při poměrně nízkých
nákladech, často navrhovaným pro účely malých
a středních společností.
Jsou zde ale i speciální vysoce výkonné duální
serverové uzly, například pro blade systémy, které
kombinují dva serverové uzly v jednom blade
modulu. Hlavními výhodami standardních duálních a víceuzlových systémů jsou:
• Nižší náklady a prostorové nároky ve srovnání
se standardními servery určenými pro montáž
do IT rozvaděče
• Mírně nižší spotřeba energie vyplývající ze
sdílených napájecích zdrojů a ventilátorů
2.3.1 Skříň (chassis) a komponenty blade
systému
Větší napájecí zdroje jsou často účinnější a tak
nižší počet větších napájecích zdrojů v blade
systémech může zvýšit energetickou účinnost
ve srovnání se servery určenými pro přímou
montáž do IT rozvaděčů. V praxi ale účinnost také
závisí na potřebném příkonu ve vztahu ke kapacitě
napájecího zdroje. Obrázek 2.6 ukazuje křivku
účinnosti napájecího zdroje se štítkem Platinum
[80plus 2011] o nominálním výkonu 2990 W
určeného pro blade chassis, který udává účinnosti
mezi 92 % a 95 % pro celý rozsah zátěže. Účinné
napájecí zdroje pro blade systémy by měly dosahovat energetické účinnosti přes 90 % při zátěži
20 % až 100 %.
Pro nové generace produktů – blade servery
a víceuzlové servery – někteří výrobci poskytují
několik modelů napájecích zdrojů s různým nominálním výkonem, aby umožnili dimenzování podle
výkonových požadavků. Výběr napájecího zdroje
je podporován online konfigurátory nabízenými
příslušnými výrobci.
MbÞããäèéãÖåYßÚØmÝäïÙçäßÚ
¨§§
°§
¯§
MbÞããäèé
Jsou-li však realizovány vysoké hustoty blade
serverů, vyplývají z nich vysoké nároky na infrastrukturu a chlazení. Vysoká výpočetní hustota
zvyšuje výkonové hustoty na 10–25 kW/rozvaděč.
Následně se standardní systém chlazení datového centra často stává nedostatečným a jsou
vyžadovány specifické koncepce chlazení. Energetická účinnost blade serverů proto také silně závisí
na celkovém návrhu systému.
®§
§
¬§
«§
ª§
Výběr blade technologie založený na jasných rozhodovacích
kriteriích
§
©¬
¬§
®¬
¨§§
¨©¬
ÏYéeïãäâÞãYáãmÝäëèéêåãmÝäëàäãê
Účinnost napájecího zdroje pro blade
systém [3]
Fig. 2.6
• Definujte a vyhodnoťte hlavní důvody pro zavedení blade technologie
v datovém centru, např. prostorová omezení.
• Vyhodnoťte výhody, které se očekávají oproti technologii určené pro přímou
instalaci do IT rozvaděče. Ověřte, zda jsou očekávání reálná.
• Ověřte, zda by při zvážení stanovených cílů mohla být alternativním řešením
virtualizace.
• Spočítejte očekávané celkové náklady na vlastnictví (TCO) a energetickou
účinnost ve srovnání s dalšími možnostmi (na základě informací získaných
od dodavatelů).
17
Blade server Dell M610
1U Rack server R610
¨§§§
©§§§
ª§§§
§
§
«§§§
ª§°ªÚÜãâæíÚßêêáÖæçÜéØÚo¦ÎØëë
¯§
¸máäëYïYée
®§
§
¬§
«§
ª§
©§
¨§
¹gß
åØçé[ñÛåæ
§
ª®ª°
ª®©¬
ª°®
ª¬®©
ªªª®
©°°°
©©ª
©¨©¬
¨¬«°
¯¯
¨§§
°§
¯§
®§
¸máäëYïYée
°§
§
¬§
«§
ª§
©§
¨§
¹gß
åØçé[ñÛåæ
¨§§§
©§§§
ª§§§
Åçâeçã bÞãã ëàäã Ì
«§§§
©°ª¯ÚÜãâæíÚßêêáÖæçÜéØÚo¦ÎØëë
ª¯¯¬
ª°¨¨
ª¯®ª
ª®ªª
ª¬§©
ª¨¬¯
©®¬«
©©¬¬
¨¬ª
°«§
¨§§
¨§§§
©§§§
ª§§§
«§§§
§
©¬ ¬§ ®¬ ¨§§ ¨©¬ ¨¬§ ¨®¬ ©§§ ©©¬ ©¬§
Åçâeçã bÞãã ëàäã Ì
Obr. 2.7 SPECpower_ssj2008
pro blade server Dell M610 a 1U rack server R610. Blade systém obsahuje
16 blade modulů s identickou konfigurací procesoru jako 1U rack server (2 x Intel Xeon 5670, 2,93GHz).
Zdroj: SPEC (2010, www.spec.org)
Méně a více výkonné napájecí zdroje, více účinné
ventilátory a rozšířené volby správy napájení
na úrovni chassis blade systému v zásadě nabízejí
vyšší energetickou účinnost než standardní servery
pro přímou montáž do IT rozvaděčů. Na druhou
stranu, účinnost v praxi silně závisí na konfiguraci
chassis a také na použití voleb správy napájení.
Chassis nakonfigurované pouze s několika málo
blade moduly bude jasně méně účinné kvůli
nadměrnému chlazení, napájení a síťové kapacitě
(over-provisioning).
Pro přibližné porovnání energetické účinnosti
blade serverů proti standardním serverům může
být uvažován plně nakonfigurovaný blade systém.
Takové hrubé srovnání založené na údajích
o energetické účinnosti publikovaných společností
Dell ukazuje obrázek 2.7. Dell zveřejnil údaje
SPECpower (SPECpower_ssj2008) pro blade systémy a srovnatelné rackové servery v roce 2010
(www.spec.org).
18
Výsledky SPEC ukazují maximální výpočetní výkon
3885 operací/Watt při 100 % zátěži pro blade systém a 3739 operací/Watt pro rackserver systém,
což znamená, že výkon na Watt nebo energetická
účinnost je při maximální zátěži je o 4 % lepší
v blade systému než v řešení pro IT rozvaděč.
Rozdíl roste až na cca 8 % pro nízké zátěže (10%
zátěž) a na 11 % pro provoz naprázdno.
Ačkoli toto jednoduché srovnání nesmí být
přehnaně interpretováno (protože SPECpower
hodnotí pouze část účinnosti serveru), nabízí se,
že blade systémy, i když jsou v plné konfiguraci
a optimalizované pro testování, prokazují pouze
mírně lepší energetickou účinnost než standardní rozvaděčové servery, zejména při vysokých
zátěžích. Rozdíl je více významný při nízkých
úrovních zátěže, což znamená, že blade servery
mají lepší celkovou správu napájení při nízké
zátěži.
Zdá se tedy, že blade řešení nabízejí pouze omezený
potenciál pro zvýšení energetické účinnosti v porovnání například s virtualizací. Podobně jako
u serverů určených pro instalaci do IT rozvaděčů,
existuje zde také možnost kombinace blade hardwaru s virtualizací, která umožňuje silné zlepšení
energetické účinnosti.
Problémy související s vysokými tepelnými hustotami na úrovni IT rozvaděče a řady IT rozvaděčů
jsou adresovány v odstavci 2.3.2 níže.
Moderní blade chassis obsahují hardware a software pro správu, které v kombinaci se vzdálenými přístupovými řadiči v blade server modulech
umožňují inventarizovat napájení a provádět
správu napájení jednotlivých blade modulů. Konkrétní řídicí karty podporují inventarizaci hardwaru
a požadavku na napájení pro různé blade moduly. Řadič pro vzdálený přístup sděluje informace
o energetické bilanci kartě pro řízení chassis, která
potvrzuje dostupnost výkonu z úrovně systému,
na základě inventarizace výkonu v celém chassis.
2 Servery
DOPORUČENÍ
PRO NEJLEPŠÍ PRAXI
Při výběru energeticky účinného blade
hardwaru zvažte pořizovací kritéria
• Definujte provozní zátěž a očekávané úrovně
zátěže při budoucím využívání blade systémů.
• Porovnejte náklady a energetickou účinnost
blade systémů od různých dodavatelů.
• Požadujte od dodavatelů informace
CMC může nastavit napájecí politiky na systémové
úrovni a aktuální spotřeba energie se na každém
serverovém modulu monitoruje, aby se zajistilo,
že okamžitá spotřeba energie nepřekročí kalkulovanou velikost.
Základní funkce správy napájení v automatickém
režimu nejsou pro systémového administrátora
normálně viditelné. Priority pro každý serverový
modul ale také lze nastavit manuálně, například
výběrem blade serverů s nejnižší prioritou jako
prvních, které vstoupí do energeticky úsporného
režimu.
V blade chassis se může využít dynamické
vykrývání výkonu efektivněji než pro standardní
servery, jelikož dynamické vykrytí výkonu je možné
specifikovat pro četné paralelní servery. Vykrývání
výkonu může být nastavováno dynamicky administrátorem na základní desce a servisním procesorem. Blade servery běžící s lehčí pracovní zátěží
dostávají nižší vykrytí výkonu. Jelikož intenzita pracovní zátěže a dynamika jsou normálně pro různé
blade moduly rozdílné, výkonové špičky se objevují
v různé době. Návazně lze nastavit celkové vykrytí
výkonu pro chassis níže, rozuměno oproti součtu
jednotlivých vykrytí výkonu pro jednotlivé blade
moduly. HP spočítal úspory energie a snížené náklady na vlastnictví (TCO) pro blade centrum, kde
je návrh napájecího zdroje založen na vykrývání
výkonu. Maximální výkon a náklady na poskytování výkonu se oproti přístupu bez vykrývání
výkonu snížily o cca 20% [HP2011].
•
o výrobcích:
■ Celkové náklady na vlastnictví (TCO).
■ Celková energetická účinnost (např.
SPECpower_ssj2008, SPEC-SERT jakmile
bude k dispozici).
■ Energeticky účinné hardwarové
komponenty, např. účinnost a dimenzování
napájecích zdrojů.
■ Nástroje pro správu, které se týkají
zejména správy napájení a optimalizace
návrhu systému.
Vybírejte zařízení nabízející nejvyšší
energetickou účinnost pro typy provozní
zátěže a úrovně provozu, které budete
provozovat a používejte přiměřené volby
správy napájení.
2.3.2 Blade systém a problémy s jeho
napájením a chlazením
V praxi je často návrh účinných blade serverových
systémů podceňován, zejména jsou-li zaváděny
velké systémy s vysokou hustotou. Hlavními výzvami či problémy jsou:
• Dostatečná chladicí kapacita a vhodné provedení
chlazení, které zvládá vysoké teplotní hustoty
• Dostatečná výkonová kapacita napájení a distribuce (kapacita místních distribučních rozvaděčů, dimenzování silových kabelů atd.)
Tradiční koncepce chlazení často umožňují pouze
2–3 kW/rozvaděč, což je 10 krát méně než výkon
plně osazeného IT rozvaděče s blade technologiemi. To znamená, že standardní koncepce chlazení
v datových centrech a serverovnách často pro větší
blade systémy nevyhovují a musí být upravovány.
Při optimalizaci energetické účinnosti blade systémů použijte nástroje pro správu
• Pro váš blade systém použijte nástroje pro správu a inteligentní síťová a napájecí zařízení pro monitoring spotřeby energie a zátěže.
• Analyzujte možnosti pro vyrovnání a řízení provozních zátěží a spotřeby energie uvnitř blade chassis
a napříč rozvaděči.
• Používejte vykrývání špiček a funkce pro vyrovnávání výkonu na úrovni blade chassis.
• Proveďte odhad první objednávky týkající se požadavku na navýšení kapacity napájení a chlazení,
vycházejíce z výkonových kalkulátorů nabízených výrobci.
• Vyhodnoťte skutečné požadavky na energii a s dostupnými nástroji pro správu stanovte kompletní provozní cykly a vykrývání výkonu podle špičkového zatížení. Přizpůsobte napájení a chlazení
k vyladěnému systému, který je založený na vykrývání výkonu.
19
Tabulka 2.6 ukazuje typické možnosti pro
návrh různých hustot blade serverů v závislosti
na požadavcích obchodu a omezeních, která jsou
dána infrastrukturou a kapacitou chlazení. Pro
chlazení různých hustot blade technologií můžeme
volit následující koncepty [Rasmussen 2010]:
•
• Rozptýlení
•
•
teplotní zátěže blade chassis
do různých IT rozvaděčů: Jednotlivé blade chassis se instalují do různých IT rozvaděčů, aby se
rozptýlila tepelná zátěž. Pro tuto koncepci musí
být procentuální objem blade technologií vůči
celkovému objemu IT systémů velmi malý.
Vyhrazená chladicí kapacita: Nadbytečná kapacita chlazení je výslovně vyhrazena pro chlazení blade zařízení. Protože se používá pouze
existující chladicí výkon, je tento přístup vhodný
pro instalace s relativně nízkým procentuálním
podílem blade technologií.
Instalace přídavného chlazení: Přídavné chlazení se poskytuje pro IT rozvaděče s blade technologiemi. Výkonová hustota na rozvaděč může
dosáhnout až 10kW. Tento přístup umožňuje
Tab. 2.6 Koncepce
•
dosáhnout dobrého využití podlahové plochy
a vysoké účinnosti.
Definování nebo návrh zóny s vysokou výkonovou
hustotou: Konkrétní místo v datovém centru se
vyhradí pro blade technologie (ulička nebo zóna
s vysokou výkonovou hustotou). Toto řešení se
vyznačuje vysokou účinností a vysokým využitím
podlahové plochy. Hustota výkonu může dosáhnout až 25 kW na IT rozvaděč. Řešení se musí
naplánovat a nově vyprojektovat.
Návrh datového centra s vysokou výkonovou
hustotou: IT rozvaděče s výkonnými blade
zařízeními jsou v celém datovém centru. Jedná
se o extrémní a dosti neobvyklý přístup, který
pro většinu situací vede k velkým nákladům
a velmi nízkému využívání infrastruktury.
V existujících datových centrech se pro používání
blade technologie často aplikují jistá omezení,
která jsou určena konkrétní infrastrukturou.
Například systém se standardní zvýšenou podlahou nemusí umožňovat vyšší výkonovou hustotu
než 5kW na IT rozvaděč. Řádné určení výkonu
a výkonové hustoty je důležitým předpokladem
pro návrh energeticky, prostorově a provozně
úsporného řešení.
Dalším podstatným bodem pro dobrou energetickou účinnost na úrovni systému je vyvarování se
nadměrného poskytování (over-provisioning) infrastruktury a chlazení. Specifikace výkonové hustoty by
měla vzít v úvahu jak prostorovou, tak i dočasnou
variabilitu, např. různé lokální výkonové hustoty
v datových centrech s blade rozvaděči a standardními rozvaděči, kde může během doby docházet
k nárůstu výkonu. Výkonová hustota se tedy musí
specifikovat buď pro IT rozvaděč, nebo pro celou
řadu. Pro větší systémy je vhodnější specifikovat
výkon pro celou řadu, protože distribuce chlazení a napájení se zakládá převážně na řadovém
uspořádání. Jak daleko je to možné, doporučuje se,
aby specifikace výkonové hustoty byly definovány
pro rozvaděč nebo řadu. Měly by zůstat beze změny
po celou dobu provozu daného IT rozvaděče nebo
řady. Implementace nové technologie s rozdílnou
úrovní výkonové hustoty by se proto měla
rozmístění blade systémů na úrovni IT rozvaděčů a související požadavky na chlazení [podle Rasmussena 2010]
Počet blade
chassis v IT
rozvaděči
Rozptýlení zátěže mezi
rozvaděči
Vyhrazená chladicí kapacita Přídavné chlazení
Zóna s vysokou výkonovou Datové centrum s vysokou
hustotou
výkonovou hustotou
1
Možné ve většině DC
Nákladově neefektivní
2
Zřídkakdy praktické
3
Nelze
4
Nelze
Zřídkakdy praktické
5
Nelze
Nelze
Nelze
Systémy odsávající horký
vzduch
6
Nelze
Nelze
Nelze
Extrémní náklady
20
Maximum pro energeticky
Možné ve většině DC, závisí
optimalizované systémy se Nákladově neefektivní
na konkrétním řešení
zvýšenou podlahou
Odsávání horkého vzduchu,
Systémy odsávající horký
Závisí na konkrétním řešení
nový návrh místnosti
vzduch
Odsávání horkého vzduchu,
nový návrh místnosti
Extrémní náklady
2 Servery
Realizovat v novém rozvaděči nebo řadě. Existují ale také alternativy k tomuto přístupu, které
umožňují určitou variabilitu výkonových hustot
v již instalovaných rozvaděčích nebo řadách:
• Přidání UPS modulů za provozu
• Použití za provozu vyměnitelných distribučních
lišt (v IT rozvaděči)
chladicí kapacity zařízeními, která se
montují do IT rozvaděče
• Přidání
2.4 Virtualizace serverů
Virtualizace serverů nabízí velký potenciál pro
úspory energie. Technologie umožňuje konsolidovat provozní zátěže do méně fyzických zařízení
a tím silně snižuje požadavky na napájení a chlazení. Celková virtualizace nabízí řadu výhod pro
efektivní návrh IT systémů v serverovnách a datových centrech. Zde jsou některé příklady:
• Snížení požadavků na hardware a prostor za poPro určení výkonových hustot řad se pro typické řadové sestavy doporučuje stanovit maximální poměr špičkového a průměrného výkonu
na koeficient 2. Z míst, kde konkrétní IT rozvaděče
překračují průměrný výkon, by měly být IT zátěže
rozmístěny v rámci řady nebo do jiných řad. Celkově
je zřejmé, že má smysl rozestavovat rozvaděče
s vyšší výkonovou hustotou v rámci celé řady. Pro
stanovení pravidel na využívání instalovaných kapacit se mohou použít systémy správy napájení
a chlazení, například povolení pro překročení
průměrného výkonu rozvaděče se podmíní výrazně
podprůměrným výkonem sousedního rozvaděče.
Důležitou věcí je rovněž způsob zacházení s budoucím rozvojem a zohlednění budoucích potřeb
na rozšiřování IT. Je jasně nedoporučeníhodné nasazovat infrastrukturu, která od začátku pokrývá
maximální budoucí kapacitu, protože toto by znamenalo nadbytečnou kapacitu a vysoké náklady
během dlouhého období. Obecně se doporučuje
instalovat veškeré potrubní trasy a kabeláž
pro plné rozšíření kapacit a samotná napájecí
a chladicí zařízení osazovat v dalších etapách
na základě konkrétních požadavků. Tento přístup
umožňuje připravit celou základní (páteřní) infrastrukturu budovy a přitom nasadit konkrétní
zařízení pro napájení a chlazení IT až v době, kdy
je to potřeba.
•
•
moci nasazení virtuálních strojů (VM, virtual machines), které je možné provozovat na sdíleném
hardwaru a zvýšit tak využití serveru z 5–15 %
na 60–80 %.
Optimalizace testování a vývoje – Rychlé poskytování testovacích a vývojových serverů při opakovaném využívání přednastavených systémů
zvyšuje míru spolupráce vývojářů a standardizaci vývojových prostředí.
Snižování nákladů a složitosti spojených s kontinuitou podnikání (vysoká dostupnost a řešení
pro zotavení systému po nehodě, tj. disaster recovery) za pomoci zapouzdření celých systémů
do jednotlivých souborů, které lze replikovat
a obnovit na jakémkoli cílovém serveru.
Zavedené virtualizační platformy jako VMWare,
Microsoft Hyper-V a Citrix XEN nabízejí mnoho
přídavných vlastností jako vysokou dostupnost,
failover (přechod na redundantní strukturu), distribuované plánování zdrojů, vyvažování zátěže,
funkce automatického zálohování, distribuovanou
správu napájení, VMotion pro servery, datová
úložiště a síť atd.
Primární technologické volby pro virtualizaci
serveru zahrnují:
• Fyzický partitioning
• Virtualizaci založenou na níže ležícím operačním
systému
• Virtualizaci aplikace např. Microsoft Terminalserver, Citrix XenApp
• Virtualizaci založenou na tzv. hypervizoru:
VMware ESX
Citrix /Open-Source: XENServer 5
■ Microsoft Hyper-V
■
■
Při zvážení trhu, na kterém dominuje pouze několik
málo produktů, se následující kapitola soustředí
produkty založené na hypervizorech: VMware ESX,
Microsoft Hyper-V a Citrix XEN Server.
Na trhu vedoucí virtualizační platformy VMWare
ESX/ESXi/Vsphere4, Microsoft HyperV a Citrix
XEN nabízejí podporu pro nejběžnější standardní
hostovské operační systémy. Tyto systémy poskytují správcovské konzole pro administraci malých
serverových prostředí a dále také administraci
na úrovni datového centra.
VMware byl v roce 2001 prvním produktem
na trhu. Jeho architektura časově předbíhá operační
systémy s uvědomělou virtualizací a procesory jako
Intel VT a AMD-V. VMware ESX/VSphere4 nabízí
mocné nástroje pro administraci jako VMotion pro
virtuální stroje napříč servery, VMotion pro datová
úložiště, over-provisioning datových úložišť, virtualizaci pracovní plochy a sítě, virtuální zabezpečovací
technologii a dodává kompletní virtualizační platformu od pracovní plochy přes datové centrum až
po cloud computing.
Microsoft Hyper-V Server obsahuje hypervizora Windows, výkonný model Windows Serveru
a virtualizační komponenty. Poskytuje malý půdorys
a minimální rezervu. Vkládá se do existujících IT
prostředí, pákově zvedá existující patchování,
poskytování, správu, podpůrné nástroje a procesy.
Některé z klíčových vlastností v Microsoft Hyper-V
Serveru 2008 R2 jsou živá migrace, podpora
sdíleného obsahu clusteru a podpora rozšířeného
procesoru a paměti pro hostovské systémy. Živá
migrace je integrována ve Windows Serveru
2008® R2 Hyper-V™. Hyper-V™ živá migrace
může přesunout běžící virtuální stroj bez prostoje.
21
V závislosti na požadavcích uživatele, Citrix XENServer může nabídnout nákladově efektivní způsob
zavedení virtualizace, protože základní prvky jako
holý hypervizor, odolná distribuovaná architektura
pro správu, XENServer management a nástroje pro
převod jsou dodávány zdarma.
Pokročilá správa a automatizační vlastnosti jako
virtuální služby pro provisioning, distribuované
virtuální přepínání, XENMotion, živá migrace, živé
snímkování a překlopení, reporting výkonu a dynamické vyvažování pracovní zátěže dělají XENServer srovnatelným s dalšími dvěma produkty. Tyto
vlastnosti jsou však částí pokročilých komerčních
verzí.
Společnosti BMC Software, Eucalyptus Systems,
HP, IBM, Intel, Red Hat, Inc. a SUSE oznámily
vytvoření otevřené virtualizační aliance (Open
Virtualization Alliance) – konsorcia, které se
věnuje přijetí otevřených virtualizačních technologií včetně jádrově založeného virtuálního
stroje (Kernel-based Virtual Machine, KVM). Konsorcium doplňuje existující komunity propagující
otevřené zdroje tím, že spravuje vývoj KVM hypervizora a přidružené schopnosti managementu,
které rychle ženou vpřed technologické inovace
pro zákazníky, kteří virtualizují aplikace pro Linux
a Windows®. Konsorcium zamýšlí urychlit rozšíření
řešení třetích stran kolem KVM a bude poskytovat
technickou radu a příklady nejlepší praxe.
2.4.1 Potenciál energetických úspor
při virtualizaci
Virtualizace je jednou z nejmocnějších technologií
pro snížení energetických požadavků v datových
centrech a serverovnách. Konsolidace serverového
hardwaru za pomoci soustředění provozní zátěže
na menší počet fyzických serverů často umožňuje
energetické úspory od 40 do 80 % a někdy i více,
v závislosti na konkrétním případu. Současná
technologie dává možnost zavést virtualizaci
s konsolidačními faktory alespoň 10-20, v závislosti na konkrétních systémech a požadavcích.
Obrázek 2.8 ukazuje příklad konsolidace serverů
za pomoci virtualizace na Německém ministerstvu
životního prostředí. Konkrétní opatření umožnila
uspořit kolem 68 % energie. Případ znamenal
snížení hardwaru na 2 fyzické servery, na kterých
běží VMware ESX [4].
Jiný příklad od IBM [5] ukazuje projekt virtualizace
s blade serverovou technologií, kde je navržena
energetická úspora více než 90 %, budou-li vzata
v úvahu všechna relevantní opatření na úrovni
hardwaru a infrastruktury.
Takové příklady ilustrují, že konsolidace přes virtualizaci je jednou z hlavních voleb k významnému
zvýšení energetické účinnosti v datových centrech.
Avšak stejně jako u ostatních přístupů založených
na IT, k plnému potenciálu úspor zde lze přistoupit
jen za podmínky souběžné optimalizace infrastruktury včetně napájecích zdrojů a chlazení.
¬§§§
¸ÚÚÜêêºæåëéæã
ÀåëéØåÜë
¿Üãç»Üêâ
ÀåíÜåëæéðÊÜéíÜé
«¬§§
«§§§
ÀËºæåëéæããàåÞ
ºÜéëàăÚØëÜÊÜéíÜé
ÍÄîØéÜ¨
ÃæÞÞàåÞÊÜéíÜé
ÍÄîØéÜ©
¿ÜãçÃàåÜ
ª¬§§
Ê¸Å¤¼åÚãæêìéÜ
½àãÜÊÜéíÜé
ª§§§
ËàäãÐÌÒ
ÊæÝëîØéÜÇØÚâØÞàåÞ
ÄÊÊÈÃ
ÊÇÊ
©¬§§
ÊÄÊ
©§§§
Éææë»º
ÆÝăÚÜ»º
ÆÝăÚÜ»º
¨¬§§
¼ïÚßØåÞÜ
ÅæíØëàäÜ
ÊðêëÜäÄæåàëæéàåÞ
ËÜéäàåØãÊÜéíÜé
ºÄ½
½ºÊîàëÚß
ÀËÅÊÜéàÜê
¼ïÚßØåÞÜ
¼ïÚßØåÞÜ½¼
ºæåÝÜéÜåÚÜÇéæïð
«ÉØÚâÄæåàëæé
¨§§§
ÅÊÜéàÜêÊëæéØÞÜ
ÅÊÜéàÜêºæåëéæãÜé
¬§§
«ÉØÚâ½ØåÂÍÄ
¼ÊÏ¨ÊÜéíÜé
§
ÈéÖçdÚÚãm
Obr. 2.8
22
ÃäëdÚÚãm
Snížení energetické náročnosti při virtualizaci v případové studii [4]
2 Servery
2.4.2 Požadavky a nástroje pro plánování
virtualizace
Virtualizace v datových centrech by se měla zakládat na virtualizační strategii zahrnující vyhodnocení
a identifikaci vhodných serverových kandidátů.
Pro takové vyhodnocení se sbírají údaje o výkonu
a vytížení systému, časové přehledy o poskytnutí
služby, údaje z obchodní oblasti a údaje aplikační
specifikace. Jakmile jsou kandidáti na virtualizaci
identifikováni, analyzují se aplikační specifikace
a zátěž stroje. Vyhodnocení výkonu se provádí
mimo jiné jako základ pro výběr hardwaru a vyhodnocují se následující požadavky:
• Výkon procesoru (CPU)
• Požadovaná paměť
• Intenzita přístupů na disk
• Požadavky na síť
• Konfigurace operačního systému
Několik aplikací lze typicky konsolidovat na jediný fyzický server, který je imunní vůči poruše
hardwaru a přerušení napájení a má schopnost
vyvažovat zátěž. K dosažení tohoto cíle mohou
hostovské servery obsahovat duální napájecí zdroje, zrcadlené pevné disky a spřažené karty síťových
rozhraní. Pro centralizované řešení úložišť dat
se může použít SAN (Storage Area Network) se
schopností plné odolnosti vůči chybám. Vyvažování
provozní zátěže může být dále podporováno virtuální migrací strojů mezi fyzickými servery.
V závislosti na typu provozních zátěží je možné brát
v úvahu konsolidační poměr mezi 1:10 a 1:20. Co
se týče požadavků na paměť, mnohá virtualizační
prostředí nabízejí vlastnost nadměrného poskytování paměti (memory over provisioning). Za pomoci této vlastnosti může celkový rozsah paměti
přidělený všem virtuálním strojům přesáhnout
dostupnou fyzickou paměť dvou- až třínásobně.
Virtualizace se zřídka provádí pouze z důvodu
úspory energie. Tedy ačkoli jsou normálně garan-
továny velké úspory energie, úspěšné virtualizační
projekty typicky vyžadují podrobné plánování,
které také zahrnuje výpočet návratnosti investic
(ROI) a celkových nákladů na vlastnictví (TCO).
Sečtením všech souvisejících nákladových faktorů
se spočítá TCO při nasazení nového virtuálního
serveru. Pro vyhodnocení nákladů spojených
s časem se může spočítat krátkodobá a dlouhodobá návratnost investic.
Klíčem pro úspěšnou kalkulaci návratnosti investic
je porozumět nákladům na virtualizaci. Zjevnými
náklady jsou ve virtualizačních projektech náklady
za hardware, software (včetně licencí) a práci.
Virtualizace může zahrnovat zakoupení nových,
výkonnějších serverů, upgrade datového úložiště,
sítě nebo zabezpečení atd. Náklady na školení personálu a managementu jsou přídavnou záležitostí.
Všechny tyto aspekty musí být zakalkulovány
do výpočtu návratnosti investic.
Různé na trhu dostupné softwarové nástroje podporují plánování virtualizace a také výpočty ROI
a TCO. Například program Microsoftu Assessment
and Planning (MAP) Toolkit podporuje plánování
migrace včetně výpočtu TCO a ROI. MAP-Toolkit je
inventarizačním, vyhodnocovacím a reportingovým
nástrojem, který může přistupovat do IT prostředí
při migraci různých platforem a virtualizaci bez
používání softwarových agentů. Inventář MAP
a vyhodnocení připravenosti portů generují konkrétní doporučení pro migraci na operační systémy
Windows Vista a Windows Server 2008 a také
pro virtualizaci. Poskytuje doporučení k tomu, jak
mohou být fyzické servery konsolidovány ve virtualizovaném prostředí Microsoft Hyper-V. Microsoft
Obr. 2.9 Příklad
kalkulátoru ROI/TCO od VMWare [6]
23
Integrated Virtualization ROI Tool navíc podporuje
výpočet potenciálních nákladů za uspořenou
energii s Hyper-V ještě před jeho implementací.
Nástroj poskytuje podporu pro vyzkoušení stávajících produkčních a vývojových serverů a pro
příležitosti virtualizace pracovních ploch a aplikací
kvantifikací jejich potenciálních úspor, přínosy
úrovně služby, náklady a návratnost investic.
Metoda TCO/ROI nabízená společností VMware
(k dispozici jako online nástroj) umožňuje porovnávat úspory TCO, požadované investice a obchodní
výhody virtualizačních řešení. Je založena na standardních finančních postupech, údajích z praxe
VMware, zákaznických datech a uživatelských
metrikách. Z konkrétních údajů uživatele se
počítají klíčové parametry jako úspory, investice,
návratnost investic, úspory aktuální netto hodnoty,
příležitosti celkových nákladů na vlastnictví a doby
návratnosti. Kde nejsou k dispozici konkrétní údaje
od uživatele, použijí se statistické údaje z oboru,
která mohou být použita pro výpočty.
2.4.3 Správa napájení ve virtualizovaných
prostředích – migrace virtuálního serveru
Současná softwarová řešení pro virtualizaci serverů
podporují migraci virtuálních strojů a dočasné
vypnutí hostů za účelem snížení spotřeby energie. Jedním z příkladů, který takové vlastnosti
nabízí, je VMwareVsphere4 (distribuovaná správa
napájení, DPM). DPM monitoruje využití zdrojů
běžícími virtuálními stroji v clusteru. Je-li tam
nadbytek výkonu, DPM doporučuje přesunout
nějaké virtuální stroje mezi hosty převést některé
hosty do režimu standby pro úsporu energie. DPM
v případě nedostatečné kapacity standby hosty
opět zapne.
Správu napájení lze provozovat buď v manuálním, nebo v automatickém režimu. V automatickém režimu migrují virtuální stroje a hosté jsou
přesunuti do nebo ze standby režimu automaticky.
Automatické nastavení je možné trvale potlačit
a energetický management je možné také povolit
časovanou úlohou.
Cílem VMware DPM je udržovat využívání ESX
hostů v clusteru v cíleném rozsahu. Aby DPM bylo
energeticky úsporným řešením, musí splňovat
následující požadavky:
• Přesné vyhodnocení požadavků provozní zátěže
na zdroje. Nadsazený odhad může vést k menším
než ideálním úsporám energie. Podsazený odhad
může mít za výsledek slabý výkon a porušení
úrovně zdrojů DRS stanovené v SLA smlouvách.
/Pozn.: DRS = distribuovaný plánovač zdrojů,
Distributed Resource Scheduler; SLA = smlouva
o úrovni služby, Service Level Agreement.
• Vyvarovat se častého zapínání a vypínání
serverů v případě, že jsou provozní zátěže velmi
variabilní.
• Při šetření energie nesmí rychlá reakce na náhlý
nárůst požadavků provozní zátěže znamenat
obětování výkonu.
• Výběr vhodných hostů pro zapínání a vypínání.
Vypínání větších hostů s mnoha virtuálními stroji
může narušit cílený rozsah využívání na jednom
či více menších hostů.
Efektivní vyhodnocení a výběr virtualizačních řešení:
• Vytvořte si virtualizační strategii a vyhodnoťte servery z pohledu výběru dobrých kandidátů pro virtualizaci.
• Vyhodnoťte požadavky týkající se výkonu procesoru, paměti, intenzity přístupů na disk, síťových
požadavků a konfigurace operačního systému.
• Zvažte vhodný virtualizační koeficient a mix provozních zátěží (1:6 až 1:20 podle charakteru provozní
zátěže).
• Prověřte výrobky různých dodavatelů z pohledu požadovaných vlastností pro vaše konkrétní účely;
•
•
•
24
zohledněte licenční politiky, vlastnosti správy napájení a cenu. Různé hlavní produkty na trhu mají
různé výhody závisející na konkrétních aplikačních potřebách.
Spočítejte si celkové náklady na vlastnictví (TCO) a návratnost investice (ROI) abyste zjistili přínosy
snížených nákladů na napájení a chlazení. Modely poskytované výrobci by se měly upřesnit podle
potřeb konkrétní organizace.
Zvažte volby správy napájení umožňující migraci virtuálních strojů a dočasné vypnutí serverového
hardwaru.
Zvažte změněné požadavky na chlazení a zdroje napájení (snížené a dynamicky se měnící požadavky
na napájení a chlazení) a ověřte možnosti pro případnou úpravu systému chlazení.
2 Servery
• Inteligentní
redistribuce virtuálních strojů
po zapnutí a vypnutí hostů hladkou kontinuální
pákou distribuovaného plánovače zdrojů (DRS).
•
se cílový poměr požadavku a výkonu může oproti
výchozí hodnotě navýšit (např. z 63 % na 70 %).
Použití VMware DPM k nucenému zapnutí všech
hostů před začátkem pracovní doby to a pak
selektivní vypnutí hostů po špičkovém intervalu provozní zátěže. Toto je nejvíce proaktivní
přístup, kterým se vyvarujeme jakéhokoli vlivu
způsobeného čekáním VMware DPM na odezvu
při zapnutí hostů iniciovaném náhlou špičkou
požadavků provozní zátěže.
2.4.4 Chlazení a infrastruktura
pro virtualizované systémy
Pro manuální nastavení činnosti DPM lze použít
následující přístupy:
• Zvýšení cílového poměru požadavek/kapacita:
Pro ušetření více energie zvýšením využití hosta
(konsolidace více virtuálních strojů na málo hostů)
Každé využití zdroje ESX hosta se počítá jako
požadavek/kapacita daného zdroje (procesoru
a paměti), kde požadavek je celkový objem virtuálními stroji požadovaného zdroje a kapacita je celkový objem aktuálně dostupných zdrojů na hostu.
Správa napájení hostů je tedy prováděna závisle
na využití zdrojů procesor a paměť hostu, který
se porovnává s definovaným rozsahem využití.
Pro každý host vyhodnocený jako doporučený
k vypnutí DPM porovnává náklady, přičemž bere
v úvahu odhad rizik spojených s konzervativním
předpokladem dosažitelných energetických úspor.
Virtualizace významně snižuje celkovou energetickou spotřebu avšak zároveň, a to zejména u velkých
systémů, může způsobovat zvýšenou výkonovou
hustotu v IT rozvaděči. Správa napájení při migraci
virtuálních strojů dále vede k dynamické prostorové
změně hustoty výkonu a tepla, tj. lokálně zvyšuje
požadavek na napájení a chlazení. Pro uspokojení
požadavků virtualizovaných prostředí a eliminaci
hotspotů (horkých míst) se musí použít vhodné
koncepce napájení a chlazení.
Nejsou-li celkové napájení a chladicí kapacita
přizpůsobeny pro nižší požadavek zátěže, koeficient účinnosti využití energie (PUE) se po virtualizaci zhorší. Virtualizace může snížit chlazenou
zátěž v datovém centru na velmi nízkou úroveň,
která může způsobit negativní jevy. Pro vytěžení
potenciálu energetických úspor je tedy správné
dimenzování systému napájení a chlazení zcela
zásadní. Je také nezbytné snížit trvalé ztráty posouzením následujících opatření:
• Škálování dostupných kapacit napájení a chlazení směrem dolů tak, aby odpovídaly zátěži
• Ventilátory s kmitočtovým řízením výkonu (VFD)
a invertory řízená čerpadla, které se řídí podle
potřeby chladu
• Použití zařízení s vyšší účinností
• Chladicí architektura obsahující kratší trasy pro
dopravu vzduchu (např. řadové uspořádání)
PŘEED
PŘ
D
PO
PO
PO
PO
Základním způsobem používání DPM je zapínání a vypínání ESX hostů založené na typických šablonách jejich využití během pracovního
dne nebo týdne. Například služby jako e-mail,
fax, internet a databázové dotazy se intenzivněji
používají během typické pracovní doby od 9:00
do 17:00. V jiných časech se míra využití znatelně
utlumí a většina hostů zůstává podlimitně využitá.
Jejich hlavní práce během těchto mimopracovních
hodin může být provádění zálohování, archivace
dat, vyřizování požadavků ze zámoří atd. V tomto
případě konsolidace virtuálních strojů a vypínání
nepotřebných hostů snižuje spotřebu energie.
Konstantní zátěž > Stabilní chlazení
Obr. 2.10 Výkonová
Migrace zátěží s vysokou výkonovou hustoto > Nepředvídatelné chlazení
hustota před a po virtualizaci [5]
25
• Systém
•
pro řízení kapacity, který přizpůsobuje
kapacitu dle požadavku
Zaslepovací panely pro snížení míchání vzduchu
v IT rozvaděči.
V tradičním prostředí datového centra s přívodem
chladicího vzduchu pod zvýšenou podlahou je možné chladit horká místa vhodným
přeuspořádáním prorvaných podlahových panelů.
Měnící se požadavky způsobené dynamickou migrací virtuálních serverů však rovněž vyžadují dynamická řešení systému chlazení. Řešením pro tuto
výzvu je umístění chladicích jednotek do řad a vybavit je senzory tak, aby reagovaly na změny teplot.
Umístění chladicích jednotek blízko k serverům
umožňuje také zkrátit trasy vzduchu mezi chlazením a zátěží. Dynamické změny výkonu ve virtualizovaných prostředích jsou hlavním důvodem
pro zavádění řadových chladicích jednotek nebo
v rozvaděči integrovaných chladicích systémů.
Přesná informace o potřebě napájení a chlazení
je pro odpověď infrastruktury na v čase se měnící
zátěžové profily zcela zásadní.
Řízení kapacity poskytuje nástroje pro monitoring
a analýzu kapacity napájení, chlazení a fyzického
prostoru v reálném čase a umožňuje jejich efektivní a účinné využívání napříč celým datovým
centrem. Oblasti s volnou nebo nebezpečně nízkou kapacitou je možné identifikovat. Systémy
pro management kapacity by měly být schopné se
vypořádat s následujícími situacemi:
• Změna výkonové hustoty zátěže a umístění – vir•
•
•
Energeticky účinný management virtualizovaných systémů:
• Zaveďte přísnou politiku pro implementaci a správu virtualizovaných serverů. Vyvarujte se roztahování nekontrolovaných serverů.
• Používejte nástroje pro migraci virtuálních strojů pro vypnutí hardwaru v časech s nízkou zátěží.
•
•
Pro začátek používejte nastavení automatické správy napájení a v následujících etapách si
vytvořte vlastní upravená nastavení založená na typických provozních šablonách.
Snižte výkon chlazení podle potřeby a je-li to potřebné, instalujte zařízení pro dynamické lokální
chlazení. Zaměřte se na energetický požadavek plynoucí z dynamických změn v prostoru.
Přijměte IT procesy a pracovní postupy pro nasazování virtuálních strojů, obnovu dat a zálohování, správu/administraci patchování a pro určování dostupnosti.
26
tualizace může vytvořit horká místa (hotspoty),
např. při migraci virtuálních strojů.
Změny dynamického systému – Pokud změny
provádí více účastníků bez centralizované koordinace, může se stát udržování stability systému
problematické.
Vzájemné závislosti – Virtualizace zkomplexňuje
sdílené závislosti a druhotné efekty vztahu mezi
napájením, chlazením a prostorovou kapacitou.
Jalové poskytování napájení a chlazení – Během
virtualizace kapacita napájení a chlazení spadnou a znovu se navýší až při vytvoření nových
virtuálních strojů. Toto lze ošetřit použitím
škálovatelných systémů pro napájení a chlazení.
2 Servery
Reference
HP (2011):HP Power capping and HP Dynamic power
capping for ProLiant servers. Hewlett Packard
Development company.
SPEC (2011): Server Efficiency Rating Tool (SERT)
TM Design Document. 3rd draft. Standard Performance Evaluation Cooperation
Rasmussen, N. (2010): Strategies for deploying
blade servers in existing data centres. White paper
125. APC Schneider Electric
80 PLUS (2011): 80 PLUS power supplies.
[1] EPA (2010): Energy Star ENERGY STAR® Program Requirements for Computer Servers (vers
1.1)
[2] SPEC (2010): SPEC power and performance.
Benchmark methodology 2.0. Standard Performance Evaluation Cooperation
[3] 80 PLUS (2011): 80 PLUS power supplies.
www.plugloadsolutions.com
Schäppi B. et al (2009) Energy and cost savings
by energy efficient servers. IEE E-Server best practice cases. Brochure 2009
IBM (2011) Server Management suite, Module
Active Energy Manager
www-03.ibm.com/systems/software/director/aem/
HP (2011) Server managment suite «Systems Insight Manager» www.hp.com
VMware DPM: Information Guide: VMware Distributed Power Management Concepts and Use.
www.vmware.com
VMware TCO: VMware ROI TCO Calculator,
Overview and Analysis.
www.plugloadsolutions.com
[4] Schäppi B. et al (2009): Energy and cost
savings by energy efficient servers. IEE E-Server
best practice cases. Brochure 2009
[5] BITKOM (2010): Bitkom/Beschaffungsamt
des Bundesministeriums des Innern, Leitfaden
Produktneutrale Leistungsbeschreibung x86-Server, 2010
[5] Comtec Power: Overcoming the Challenges
of Server Virtualization. www.comtec.com
[6] VMware TCO: VMware ROI TCO Calculator,
Overview and Analysis.
http://roitco.vmware.com/vmw/
[7] The Green Grid (2010): White paper Nr. 33
„A roadmap for the adoption of power-related
features in servers”, Pflueger, J., et al., The Green
Grid, 2010
http://roitco.vmware.com/vmw/
27
3 Vybavení datových úložišť
Marcos Dias de Asuncao, Laurent Lefevre, INRIA
Informace jsou v jádru jakéhokoli podnikání, ale jejich ukládání a zpřístupnění všech informací požadovaných pro běh dnešních podniků se stalo
skutečnou výzvou. Společnosti očekávají 44 násobný nárůst potřeby datových úložišť mezi lety 2010 a 2020 [1] a strategie pro vysokou efektivitu
nikdy nebyly tak populární. Neustálý propad ceny za MB úložiště dat vedl
ke scénáři, ve kterém je jednodušší a levnější přidat další kapacitu než se
poohlížet po alternativách pro vyvarování se duplikovaným datům a dalším
neefektivnostem.
Avšak náklady na napájení a chlazení datových úložišť se stávají čím dál
více problematičtějšími, neefektivnosti se již nadále nepřipouštějí. Studie
ukazuje, že velké společnosti v současnosti čelí velkému úkolu poskytovat
dostatečné kapacity napájení a chlazení, zatímco středně velké společnosti
čelí hledání dostatečné podlahové plochy pro jejich systémy pro ukládání
dat [2]. Jelikož datové úložiště je zodpovědné za velkou část energie
spotřebovanou v datovém centru, je zásadní, aby se systémy datových
úložišť dělaly energeticky účinnější a aby se při implementaci infrastruktury datových úložišť volila vhodná řešení.
Tato kapitola pojednává o několika málo technologiích, které podporují energetickou
účinnost řešení datových úložišť. Navíc poskytuje doporučení pro nejlepší praxi, která
mohou, tam kde se diskutovaná řešení používají, zlepšit energetickou účinnost infrastruktury datových úložišť ve společnostech a datových centrech.
Řešení datových úložišť jako disková pole obsahují pevné disky, které poskytují neupravenou úložnou kapacitu a přídavné komponenty pro zajištění rozhraní s touto prvotní úložnou kapacitou a pro zlepšení celkové spolehlivosti. Na jednotlivé komponenty
tvořící surový úložný prostor se odkazujeme jako na jednotlivá zařízení (např. páskové
zavaděče, mechanické pevné disky (HDD), paměťové disky (SSD)). Smíšená řešení pro
ukládání dat jako produkty připojené v síti jsou referovány jako prvky pro ukládání dat.
Diskutujeme-li schémata pro zlepšení energetické účinnosti řešení pro ukládání dat,
jsou zde hlavně dvě úrovně, na kterých se používá většina technologií. Proto si nejdříve
představíme energeticky efektivní koncepce jednotlivých zařízení a pak budeme analyzovat, jak se tyto techniky používají a kombinují pro zlepšení energetické účinnosti
prvků.
28
3.1 Zařízení pro ukládání dat
3.1.1 Páskové systémy
Páskové systémy jsou často zmiňovány jako jeden
z nákladově nejefektivnějších typů zařízení pro
dlouhodobé ukládání dat. Analýzy [3][4] ale ukazují, že:
• Za daných dlouhodobých scénářů pro ukládání
•
dat, jako je zálohování a archivace ve středně
velkých datových centrech, mechanické pevné
disky mohou být 23 krát dražší než páskové systémy a jejich napájení a chlazení může stát 290
krát více než pro páskové systémy.
Konsolidace dat při použití páskových archivačních systémů může značně snížit provozní
náklady datových skladů. Páskové knihovny
s velkou úložnou kapacitou mohou nahradit
ostrovy dat za pomoci konsolidace záložních
operací, a takto snížit náklady na infrastrukturu a možná tím i zvýšit svoji energetickou
účinnost.
S archivační lhůtou 30 let a velkou úložnou kapacitou jsou páskové systémy přitažlivým řešením
pro datová centra s velkými dlouhodobými zálohami a archivačními požadavky. Pro prostředí
s více vrstvami zálohování jsou tedy páskové systémy doposud energeticky nejúčinnějším řešením,
vezmeme-li v úvahu dlouhodobou archivaci a nízkou četnost vyzvedávání uložených souborů. Existují i řešení diskových knihoven, která se pokoušejí
minimalizovat energetickou spotřebu pevných
disků například použitím techniky snížení otáček
(disk spin-down). Tyto technologie jsou diskutovány níže
osa akčního členu
akční člen
čtecí/zápisová hlava
rameno akčního členu
plotna
hnací hřídel
konektor napájení
propojovací blok
Obr. 3.1
Součásti pevného disku
konektor diskového rozhraní (IDE)
3.1.2 Pevné disky (HDD)
Pevné disky (hard disk drives, HDD) jsou již
dlouhou dobu upřednostňovaným médiem pro ukládání stálých dat, nabízejícím krátké doby zápisu
a čtení dat. Pohyblivé části jako motor a rameno
akčního členu jsou zodpovědné za většinu energie, kterou pevný disk spotřebuje (viz obrázek 3.1).
Pro zlepšení datové propustnosti pevného disku
výrobci zvyšují rychlost otáčení rotujícího magnetického média (ploten) a tím dále zvyšují spotřebu
energie. V současných pevných discích s vysokou
propustností se plotny běžně otáčejí rychlostí
15000 otáček za minutu.
Pro zlepšení energetické účinnosti pevných disků
se používá několik způsobů, včetně ukládání dat
Tab. 3.1 Technologický
na určitá místa plotny tak, aby se snížily mechanická náročnost při čtení dat, řízení rychlosti otáček
a energetická náročnost v době běhu naprázdno.
se deaktivuje servo systém, pak se zaparkují
hlavičky, později se sníží otáčky ploten). Například
technologie Seagate PowerChoice [5] je ukázkou,
kdy počet deaktivovaných komponent narůstá
s tím, jak pevný disk dosahuje určitých prahů běhu
naprázdno. Střední stavy běhu naprázdno mají
dobu návratu disku do plné funkce obecně kratší
než je doba zotavení ze stavu spin-down.
Obecná metoda, která se jmenuje disk spin-down
(snížení otáček disku), spočívá ve snížení otáček
ploten a zaparkování hlaviček v bezpečné zóně
po určité, výrobcem nastavené době nečinnosti.
Navíc, místo úplného zastavení ploten, některé
pevné disky otáčejí své plotny proměnlivou rychlostí podle velikosti zátěže čtení/zápis.
Tabulka 3.1 ukazuje, že spotřeba při standby
režimu je cca o 50% menší než spotřeba při
běhu naprázdno. Takové přístupy mohou umožnit
podstatné úspory energie v systémech RAID
a v masivních diskových polích s disky běžícími
naprázdno (MAID, Massive Arrays of Idle Disks).
Některé pevné disky zavádějí vícečetné stavy
běhu naprázdno a standby. Při nárůstu doby běhu
naprázdno se uplatňují různé akce (např. zpočátku
profil PowerChoice pro 2,5“ pevný disk Constellation
Stav
Příkon (W)
Úspora energie* (%)
Doba zotavení (s)
Výchozí nastavení časovače
2,82
0
0
nedostupné
Idle_A (chod naprázdno A)
2,82
0
0
1 s.
Idle_B (chod naprázdno B)
2,18
23
0,5
10 min.
Idle_C (chod naprázdno C)
1,82
35
1
30 min.
Standby (pohotovostní režim)
1,29
54
8
60 min.
Idle
(chod naprázdno)
* Odhadované úspory energií a doby zotavení jsou předběžné; hodnoty se vztahují k pevnému disku Seagate Constellation SAS 2,5“.
29
Protože snížení otáček plotny může ohrozit výkon,
výrobci objevují přídavné způsoby, jako například
větší velikosti vyrovnávacích pamětí a zařazování
požadavků na čtení a zápis do fronty.
Dále, aby se využilo technik jako spin-down
a proměnlivé rychlosti otáčení, jsou navrhovány
na úrovních operačního systému a aplikací schémata, která prodlužují délku intervalu, kdy je disk
neaktivní. Některé z těchto přístupů se skládají
z přesunu požadavků na přístup k datům změnou
kódu aplikace nebo struktury dat. Existují i méně
rušivé způsoby, které poskytují zákaznické úpravy
kompilátoru, který změní dobu pro požadavky
na přístup k datům při kompilaci a to bez potřeby
měnit zdrojový kód aplikace. Ačkoli tyto způsoby
mohou snížit spotřebu energie, často se také tvrdí,
že časté cykly vypínání a zapínání pevných disků
mohou zkrátit jejich životnost.
Protože motory a akční členy odpovídají za většinu
energie spotřebované pevnými disky, je z pohledu
energetické účinnosti efektivnější volit disky
malého formátu (Small Form Factor, SFF). Protože
2,5“ pevné disky mají přibližně čtvrtinovou velikost oproti větším 3,5“ diskům (viz Obr. 3.2),
může být chassis s dostatečným prostorem pro
16ks 3,5“ pevných disků konstrukčně předěláno,
bez navýšení celkového objemu, až pro 48ks 2,5“
disků. Vysokovýkonné pevné disky v pouzdře 2,5“
Obr. 3.2 Pevný
disk 2,5“ položený na pevném disku 3,5“ (z Wikipedie)
vykazují sníženou spotřebu energie, protože jejich
motory a akční členy jsou menší a produkují proto
také méně tepla. Výrobci udávají, že pro 2,5“ pevné disky Tier-1 může být IOPS/W (Input/Output
Operations Per Second/Writing) až 2,5 krát lepší
než u srovnatelných 3,5“ pevných disků Tier-1 [6].
Navíc jsou nižší energetické požadavky systému
chlazení, protože je menší tepelný výkon, a menší
požadavky na podlahovou plochu.
Tabulka 3.2 ukazuje přibližný příkon dvou modelů
vysokovýkonných pevných disků vyráběných společností Seagate. Je evidentní, že disk menších
Tab. 3.2 Spotřeba
energie dvou vysokovýkonných pevných disků Seagate
Specifikace
Cheetah 15K.7 300GB* Savvio 15K.2 146GB*
Rozdíl
3.5“
2.5“
–
Kapacita
300GB
146GB
–
Rozhraní
SAS 6Gb/s
SAS 6Gb/s
–
Rychlost otáčení (ot./min.)
15K
15K
–
Příkon – běh naprázdno (W)
8,74
4,1
o 53 % méně
Příkon – aktivní stav (W)
12,92
6,95
o 46,2 % méně
Formát
* Data získána z katalogových listů dostupných na webu výrobce.
30
rozměrů spotřebovává podstatně méně energie.
Je-li aktivní, spotřebovává přibližně o 46% méně
energie než jeho 3,5“ protějšek, přičemž tento
rozdíl může dosáhnout až 53% když disk běží
naprázdno. Zvážíme-li náklady na energii pouze
u 24 pevných disků za 1 rok, založené na spotřebě
v aktivním stavu a ceně 0,11 za kWh, vychází rozdíl mezi 3,5“ a 2,5“ pevnými disky na cca 140
za rok. V datových centrech se systémy datových
úložišť čítajícími stovky nebo tisíce pevných disků
pak mohou úspory vyšplhat na tisíce či desetitisíce
Eur.
3.1.3 RAM-disky (Solid State Drives, SSD)
RAM disky jsou, mimo dalších komponent, vybaveny sadami flash pamětí a řadičem, který
vykonává různé úlohy. RAM disky se spoléhají
na flash paměti typu NAND které používají jeden
ze dvou typů paměťových buněk podle počtu bitů,
které jedna buňka může uložit. Jednoúrovňová
flash buňka (SLC) ukládá jeden bit na buňku
a paměti s víceúrovňovými buňkami (MLC) často
mohou uložit 2 nebo 4 bity na buňku. Většina dostupných RAM disků se spoléhá na MLC, zatímco
high-end zařízení jsou často založená na SLC.
Tab. 3.3 Porovnání
podnikového RAM disku Seagate Pulsar a pevného disku Savvio 15K
Specifikace
Savvio 15K.2 73GB*
Pulsar SSD 50GB*
Rozdíl
3,5“
2,5“
–
Kapacita
73GB
50GB
–
Rozhraní
SAS 3Gb/s
SAS 6Gb/s
Formát
Rychlost otáčení (ot./min.)
SATA 3Gb/s
–
15K
–
–
–
SLC
o 53 % méně
Příkon - běh naprázdno (W)
3,7
0,65
o 82,4 % méně
Příkon – aktivní stav (W)
6,18
0,8
o 87 % méně
Typ NAND Flash
* Data získána z katalogových listů dostupných na webu výrobce.
RAM disky jsou energeticky účinnější a spolehlivější
díky nepřítomnosti mechanických částí jako motory
a akční členy. Dále produkují méně tepla a mohou
být zapouzdřeny do menších pouzder, a tím snížit
nároky na podlahovou plochu a chlazení. Tabulka
3.3 ukazuje jednoduché srovnání mezi podnikovým
RAM diskem Seagate Pulsar a vysokovýkonným
pevným diskem SAS s 15000 otáčkami/min. RAM
disk spotřebuje přibližně o 87% méně energie než
tento pevný disk v aktivním režimu a o 82% méně
při chodu disku naprázdno. V praxi však budou
energetické úspory záviset na tom, jak řešení datového úložiště nakládá s RAM disky a pevnými
disky a na charakteristikách provozní zátěže, se
kterou zařízení datového úložiště pracují.
3.1.4 Hybridní pevné disky (HHD)
Hybridní pevné disky jsou vybaveny velkými zásobníky, které tvoří stálé flash paměti, jejichž cílem
je minimalizovat přístupy (zápis/čtení) na rotující
disky. Pro používání zásobníků se používá několik
algoritmů [7]. Poskytováním velkého zásobníku
zůstávají disky v klidu po delší dobu. Tato přídavná
flash paměť může minimalizovat spotřebu energie
v rámci řešení datového úložiště snížením spotřeby
energie pro motory a mechanická ramena. Hybridní pevné disky mohou znamenat potenciálně
nižší požadavky na energii při srovnání s pevnými
disky, ale nabídky pro podniková datová úložiště
jsou skromné.
Při nákupu a návrhu systému zvažte výhody různých technologií pro ukládání dat
• Páskové systémy mají nejlepší energetickou účinnost pro dlouhodobé ukládání dat.
• Současné pevné disky mají rotující plotny, které se mohou točit s různými rychlostmi a tím
šetřit energii při nízkých rychlostech.
• Vícečetné stavy chodu naprázdno implementované u pevných disků umožňují dosáhnout
•
•
významných úspor energie, jsou-li nasazeny v kompozitních systémech pro ukládání dat, tj.
v diskových polích (RAID) a masivních polích disků běžících naprázdno (MAID).
Ačkoli jsou dražší, RAM disky jsou mnohem účinnější než pevné disky.
Zvažte používání RAM disků jako vysokovýkonné vrstvy datového úložiště.
31
3.2 Prvky datového úložiště
Tato kapitola představuje metody, které se mohou použít a kombinovat na úrovni zařízení, aby
se zlepšila účinnost kompozitních řešení datových
úložišť jako diskových polí, přímo připojených datových úložišť a síťových úložišť (tzn. prvků pro
ukládání dat). Rovněž jsou zde analyzovány koncepty specifické pro úroveň prvků úložiště dat.
3.2.1 Velkokapacitní disky
a maloformátové provedení
Pro aplikace nevyžadující vysoce výkonná úložiště
dat je obvykle energeticky účinnější použít pevné
disky s větší kapacitou. Typický pevný disk SATA
spotřebuje až o 50% méně energie na 1 Terra-
byte úložné kapacity než pevné disky s kanály pro
optická vlákna [8].
Jak již bylo dříve diskutováno, SSF (Small Form Factor) zapouzdření disků může v datových centrech
ušetřit podlahovou plochu a snížit energetickou
stopu tím, že používá energeticky účinnější 2,5“
pevné disky.
Například, za použití výkonnostního hodnocení
SPC-C1, což je průmyslový standard pro měření
datových úložišť (Storage Performance Council,
SPC), společnost Dell srovnávala dvě svá disková
pole, jedno s 3,5“ pevnými disky a druhé s 2,5“
pevnými disky [9]. Výsledky ukázaly, že pole s 2,5“
pevnými disky poskytlo nejen o 93% vyšší výkon
než pole s 3,5“ pevnými disky, ale také že přitom
spotřebovalo o 40% energie méně.
MAID je technologie, která pro vyřízení požadavků
používá kombinaci vyrovnávací paměti a disky
běžící naprázdno, přičemž se otáčejí pouze
potřebné disky. Zastavení rotace u disků, na které
se méně často přistupuje, může snížit spotřebu energie (viz obrázek 3.3).
Fujitsu například povoluje zákazníkům určit si
tabulku intervalů, během kterých by pevné disky
měly snížit otáčky (nebo se vypnout) v souladu
s provozním zatížením nebo politikami zálohování.
Kolik energie mohou vlastnosti technologie MAID
ušetřit závisí na aplikaci, která používá disky a jak
často se na disky přistupuje. Kritéria používaná k rozhodnutí, kdy mají pevné disky snížit otáčky (nebo se
přepnout do standby režimu) nebo se roztočit, mají
vliv na energetické úspory a rovněž na výkon.
Když je technologie MAID prvně koncipována,
umožňuje pevným diskům být ve stavu zapnuto
nebo vypnuto, což může, jsou-li požadována data
ze zastavených pevných disků, vyvolat vážnou penalizaci ve výkonu aplikace. Druhá generace MAID
technologií by již měla umožňovat inteligentní
správu napájení (Intelligent Power Management,
IPM) s různými energeticky úspornými režimy
a výkonem. MAID 2.0, jak se často nazývá, má více
režimů pro úsporu energie, které přiřazují spotřebu
energie k různým potřebám QoS (Quality of Service). Uživatel si může nakonfigurovat kompromis
mezi dobou odezvy a úsporami energie. Vícečetné
energeticky úsporné režimy používají například
dříve uvedené různé stavy provozu pevného disku
naprázdno.
Všechny disky
se točí plnou
rychlostí; vysoký
výkon ale žádná
úspora energie
25% disků
snížilo otáčky;
úspora energie
je až 25% ale
za cenu penalizace ve výkonu
aplikace
Obr. 3.3 Znázornění
32
3.2.2 Velká pole neaktivních disků (MAID)
pole disků MAID
Dalším způsobem šetření energie v diskových
polích je koncentrace populárních dat (Popular
Data Concentration, PDC) [10] a alokační mechanismy pro rozdílné soubory [11].
Racionální pozadí tohoto přístupu je provádět
konsolidaci ukládáním nebo migrací dat, ke kterým
se často přistupuje, na podmnožinu disků. Vychýlením zátěže směrem k menšímu počtu disků
se umožní, aby ostatní disky přecházely do energeticky úsporných provozních režimů.
Server
Virtuální jednotka (10TB)
(Kapacita disku rozpoznaná serverem)
Fyzický diskový prostor (2TB)
(Aktuální dostupná disková kapacita)
ZÁPIS
Zápis dat
ZÁPIS
ZÁPIS
Obr. 3.4 Tenký
3.2.3 Efektivní úrovně redundantních
diskových polí (RAID)
Rozdílné úrovně RAID technologie poskytují rozdílné účinnosti datového úložiště. Bereme-li
na zřetel ochranu dat, některé RAID úrovně jako
RAID 6 představují významný objem režijního
výkonu. Vysoce výkonné implementace RAID 6 ale
mohou poskytnout stejný výkon jako RAID 5 a až
48% snížení požadavků na kapacitu disku v porovnání s RAID 10.
3.2.4 Horizontální vrstvy datových úložišť,
virtualizace datových úložišť a tenký provisioning
Pro efektivní využití infrastruktury datového
úložiště je důležité navrhnout a posílit zdravé politiky pro management dat, které využívají vrstvy
(tiers) datových úložišť podle toho, jak často se
k datům přistupuje, zda se opakovaně používají
a po jak dlouhou dobu se musí udržovat (pro účely
podnikání nebo případnou kontrolu dle zákona).
Výrobci řešení datových úložišť navrhli softwarové
systémy umožňující hladké a automatické vrstvení
dat přesouváním dat do příslušné úrovně založené
provisioning (z řešení Fujitsu ETERNUS)
na neustálém monitoringu výkonu. Jsou to
například: FAST (Fully Automated Storage Tiering),
tj. plně automatizovaný tiering datových úložišť
od EMC2; System Storage Easy Tier od IBM; Data
Progression od společnosti Compellent; Data Migration Facility (DMF) od SGI.
Kombinací virtualizace serverů s virtualizací datových úložišť je možné vytvořit diskové prostory a virtuální jednotky, jejichž kapacitu lze podle
požadavků navyšovat v souladu s požadavky aplikací. Typická účinnost datového úložiště pracujícího v tradičním poli úložišť je mezi 30-40%. Podle jistých referátů [12] může virtualizace datových
úložišť zvýšit účinnost na 70% i více, přičemž se
sníží požadavky na úložiště a zvýší energetické
úspory.
Virtualizace vrstev datových úložišť (storage tiering), která je také známa jako hierarchický management datových úložišť (Hierarchical Storage Management, HSM), umožňuje automatickou migraci
dat mezi různými typy úložišť, aniž by si toho byli
uživatelé vědomi. Pro provádění takovýchto aktivit
s migrací dat se používají softwarové systémy pro
automatizovaný tiering. Tento přístup může snížit
náklady a spotřebu energie, protože na vysoce
výkonném úložišti umožňuje uložit pouze data,
ke kterým se často přistupuje, zatímco méně často
používaná data se mohou uložit na méně drahá
a energeticky úspornější zařízení která používají
technologie jako je MAID a de-duplikace dat.
Tenký provisioning, technologie která obecně
doplňuje virtualizaci datových úložišť, má za cíl
maximalizovat využívání datových úložišť a eliminovat předem alokovanou avšak nevyužitou
úložnou kapacitu. S tenkým provisioningem je
prostor datového úložiště poskytnut v okamžiku,
kdy jsou zapisována data. Rezervní kapacita není
definována maximálním požadovaným prostorem datového úložiště, ale je obecně nastavena
na nulu.
Virtuální jednotky se rozšiřují online a kapacita
se přidává za letu tak, aby kontinuálně vyhověla
změnám (viz obrázek 3.4). Tenký provisioning
může vést k energetickým úsporám, protože
snižuje potřebu nadměrného poskytování kapacity
datového úložiště aplikacím.
33
3.2.5 Konsolidace na vrstvě datového
úložiště a systémových zdrojů
3.2.6 De-duplikace dat
(odstranění vícenásobných záloh)
Konsolidace datových úložišť není nedávným
tématem – určitou úroveň konsolidace úložišť
a zlepšenou účinnost již několik let poskytují sítě
SAN (Storage Area Network), které přes privátní
síť sdílejí disková pole napříč mnoha servery,
přičemž nevytvářejí ostrovy dat. Přesunutí přímo
připojeného datového úložiště do síťového systému pro ukládání dat nabízí řadu výhod, které
mohou zvýšit energetickou účinnost. Konsolidace
zařízení datových úložišť může vést k podstatným
úsporám podlahové plochy a ke snížení spotřeby
energie. Někteří výrobci tvrdí, že poskytováním
síťového zařízení s více protokoly lze konsolidovat strukturu sítě na méně zdrojích, a proto také
snížit požadavky na podlahovou plochu, napájení
a chlazení.
Infrastruktury datových úložišť často skladují více
kopií stejných dat. V datových centrech se používá
několik úrovní duplikací dat, některé jsou vyžadovány
pro zvýšení spolehlivosti a datové propustnosti. Je
zde ale také „odpad“, který může být minimalizován, z tohoto důvodu se poskytuje recyklační
kapacita datového úložiště. Stávající řešení SAN
používají technologii de-duplikace dat (de-dupe)
s cílem omezit duplikáty dat. Tyto postupy pracují
hlavně v úrovních datových bloků a souborů.
34
K úrovni de-duplikace dat se navíc přidávají metody de-duplikace, které se také liší podle toho,
kdy je de-duplikace dat prováděna: před nebo
po uložení dat na disk. Oba způsoby mají své
výhody a nevýhody. Přestože reduplikace vede
ke snížení požadavků na úložná média, de-duplikace poté, co jsou data uložena na disk, vyžaduje
dočasné úložiště, které se použije při odstraňování
duplikátů. Pro zálohovací aplikace de-duplikace
po uložení dat obvykle vede ke kratším zálohovacím oknům a k menší degradaci výkonu.
Navíc se způsoby de-duplikace liší podle toho,
kde se de-dupe provádí: na straně zdroje (klienta), na straně cíle (target) nebo de-duplikačním
zařízením připojeným k serveru.
Jelikož de-duplikační řešení povolují organizacím
recyklovat kapacitu úložiště dat a snížit požadavky
na média, jsou také brány v úvahu jako jeden
z obecných přístupů pro snížení spotřeby energie.
Aktuální úspory datových úložišť dosažené za pomoci řešení pro de-duplikací dat se liší podle jejich granularity (spojitosti). Řešení, která provádějí
transformaci klíčů (hašování, hashing) a de-duplikaci na úrovni souborů, mají tendenci být méně
efektivní. Avšak nabízejí malou rezervu. Účinnost
technologií, které pracují na úrovni datových bloků,
je obecně nepřímo úměrná velikosti bloku.
Přestože de-duplikace dat je slibnou technologií
pro snížení odpadu a minimalizaci energetické
spotřeby, nemohou z ní mít prospěch všechny
aplikace. Například provedení de-duplikace před
uložením dat na disk může vést k vážné degradaci
výkonu, která by byla nepřijatelná pro databázové
aplikace. Aplikace a služby, které drží velké objemy
dat po dlouhou dobu, mají z de-duplikace větší
prospěch. Čím více dat organizace má a čím déle je
potřebuje držet, tím lepší výsledky technologie pro
de-duplikaci dat přinesou. Obvykle de-duplikace
dat nejlépe pracuje pro zálohování dat, replikaci
dat a udržení dat.
Reference
McClure T. (2009): Driving Storage Efficiency
in SAN Environments, Enterprise Strategy Group White Paper, November 2009.
Craig B. and McCaffrey T. (2009): Optimizing
Nearline Storage in a 2.5-inch Environment Using
Seagate Constellation Drives, Dell Power Solutions, Jun. 2009.
SNIA (2010): Storage Power Efficiency Measurement Specification: Working Draft Version 0.2.10,
SNIA Green Storage Initiative, August 2010.
Storage Tiering with EMC Celerra FAST, EMC2
[1] IDC (2010): The Digital Universe Decade –
Are you ready? IDC, May, 2010.
[2] McClure T. (2009): Driving Storage Efficiency in SAN Environments, Enterprise Strategy
Group - White Paper, November 2009.
[3] Reine D. and Kahn M. (2008): Disk and
Tape Square Off Again – Tape Remains King of the
Hill with LTO-4. Clipper Notes, February 2008.
[4] ORACLE (2010): Consolidate Storage Infrastructure and Create a Greener Datacentre. Oracle
White Paper, April 2010.
[5] Seagate (2011): PowerChoice Technology
Provides Unprecedented Hard Drive Power Savings
and Flexibility - Technology Paper, Seagate, 2011.
[6] Seagate (2010): Seagate Savvio 15K.2
Data Sheet, Seagate, 2010.
[7] Bisson T., Brandt S., Long D. (2006): NVCache: Increasing the Effectiveness of Disk SpinDown Algorithms with Caching, 14th IEEE International Symposium on Modeling, Analysis, and
Simulation, pp. 422-432, 2006.
[8] Freeman L. (2009): Reducing Data Centre
Power Consumption Through Efficient Storage.
White Paper. NetApp, July 2009.
[9] Craig B. and McCaffrey T. (2009): Optimizing Nearline Storage in a 2.5-inch Environment
Using Seagate Constellation Drives, Dell Power
Solutions, Jun. 2009.
[10] Pinheiro E. and Bianchini R. (2004):
Energy Conservation Techniques for Disk ArrayBased Servers. 18th Annual International Conference on Supercomputing (ICS 2004), pp. 68-78.
Malo, France, 2004.
[11] Otoo E. D., Rotem D. and Tsao S.C. (2009):
Analysis of Trade-Off between Power Saving and
Response Time in Disk Storage Systems, IEEE International Symposium on Parallel Distributed
Processing (IPDPS 2009), pp. 1-8, May 2009.
[12] Blade Network (2009): Storage Consolidation for Data Centre Efficiency, BLADE Network
Technologies White Paper, Jun. 2009.
www.snia.org/sites/default/files/Storage_Power_
Efficiency_Measurement_Spec_v0.2.10_DRAFT.pdf
Clark T. and Yoder A. (2008): Best Practices for
Energy Efficient Storage Operations Version 1.0,
SNIA Green Storage Initiative, October 2008.
Freeman L. (2009): Reducing Data Centre
Power Consumption Through Efficient Storage.
White Paper. NetApp, July 2009.
35
4 Síťové prvky a zařízení
Alexander Schlösser, Technická univerzita v Berlíně, Lutz Stobbe, Fraunhofer IZM
Podle současných informací dosahuje spotřeba energie související s napájením switchů, routerů a dalších síťových prvků přibližně 8–12 % celkové
spotřeby datového centra. Z důvodu tohoto dosti malého procentního
podílu na celkové energetické spotřebě nebyla dosud síťová zařízení
v hledáčku zlepšovacích opatření. Nicméně toto vnímání se mění, a to zejména ve středních a velkých datových centrech. Existuje několik důvodů,
4.1 Technický a provozní rámec
proč se spotřeba energie síťových zařízení a energetické aspekty imple-
4.1.1 Funkční model
mentované síťové architektury nyní stávají významným předmětem úvah
Obrázek 4.1 ukazuje zjednodušený funkční model
energeticky propojených oblastí v datových centrech včetně zohlednění sítí a síťového vybavení.
Funkční model pomáhá zviditelnit překrývající se
oblasti napájecí a chladicí infrastruktury a dále také
vzájemné vztahy mezi sítí s hlavním IT zařízením
včetně serverů a systémů datových úložišť. Model
také nastiňuje hlavní prvky pro zlepšení na síťové
úrovni. To zahrnuje vybranou síťovou architekturu
a aktuální topologii, fyzickou infrastrukturu, hardwarové komponenty a kabeláž, a dále také konfiguraci softwaru a schopnost virtualizovat.
Energetická účinnost síťové infrastruktury a síťového zařízení je také ovlivněna aplikacemi, smlouvami o úrovni služeb, požadavky na šířku pásma
a rychlost odezvy, které byly definovány provozovatelem datového centra. Tyto aspekty související
s výkonem se při plánování procesu, jehož cílem je
zlepšení energetické účinnosti, musí brát v úvahu.
při návrhu a provozu datových center.
Funkční význam síťového zařízení a sítí v datových centrech s rostoucími
požadavky na kvalitu služby (QoS) v souvislosti s aplikacemi citlivými na rychlost odezvy roste. Spotřeba energie se mění podle zvolené technologie
a architektury zahrnující kabeláž, systém napájení a systém chlazení.
Síť
Virtualizace a konfigurace
Komponenty a kabeláž
Síť
Obr. 4.1: Funkční
36
model sítí v datovém centru
Zařízení
Zdroj napájení a UPS
Server
Architektura a topologie
Datové úložiště
Serverovna / Datové centrum
Chlazení a průtok vzduchu
Monitoring a řízení
Infrastruktura
4.1.2 Vlastnosti sítě
Zlepšení energetické účinnosti s ohledem na síťovou
infrastrukturu v datových centrech vyžaduje strukturovaný přístup. Plánování by mělo začlenit strategický nebo dlouhodobý výhled kvůli skutečnosti,
že síťová infrastruktura typicky zůstává o něco déle
na místě. Předpokládá se, že základní síťová infrastruktura se používá více než 8 let. Změna základní
architektury sítě a aktuální topologie včetně zařízení
atd. je značnou investicí a rizikovým faktorem.
Nicméně zlepšení sítě nejen zvyšuje výkonové charakteristiky datového centra, ale v mnoha případech
i energetickou účinnost. Plánování pro zlepšení
začíná strategickou analýzou.
ou pro tento trend je širokopásmová konektivita
a nízká latence (krátká doba odezvy).
Tento obecný trend vede nejen ke zvýšenému
datovému provozu mezi klientem a serverem,
ale také ke zvýšenému toku dat mezi servery
navzájem a mezi datovým úložištěm a serverem.
Enterasys [1] v tomto ohledu uvádí, že architektura sítě a konfigurace se změní ve prospěch podpory rostoucího datového provozu mezi servery
a mezi serverem a datovým úložištěm. Pro zvýšení
výkonu (produktivity IT zařízení) technické trendy
směřují ke sdruženému propojení sítí (agregovaný
networking zdola nahoru) a k virtualizovanému
propojení sítí (virtualizovaný networking shora
dolů).
Provozovatel datového centra potřebuje definovat
vlastnosti sítě a výkonové požadavky. Tato úloha by
měla obsahovat analýzu trhu. Svět IT v současnosti
(2011) zažívá ohromný posun směrem k centralizované produkci aplikací, z čehož vyplývají nové
objemy datového provozu a šablony. Jinými slovy
aplikace nevznikají na straně koncového uživatele
s významným výpočetním výkonem a softwarovými balíky. Použitím softwaru jako služby (SaaS,
Software-as-a-Service) a cloud computingu se aplikace a datový provoz tvoří v datových centrech
a cloudech datových center. Nezbytnou podmínk-
Architektura sítě se bude skládat z méně vrstev,
jelikož do určité míry dojde ke spojení přístupové
a agregační a dále také agregační a jádrové
páteřní sítě (viz také obrázek 4.3). Tento trend má
potenciál snížit spotřebu energie díky unifikovanému propojení sítí. Toto je ale bilanční usnesení.
Je k dispozici málo informací a údajů a na trhu
není vidět jediné řešení. Virtualizace bude také
rozšiřovat další začleňování síťových zařízení
a lokálních sítí (VLAN). Virtualizace má výhodu
spočívající v konsolidaci fyzických zařízení a má
proto potenciál pro vyšší energetickou účinnost.
DOPORUČENÍ PRO NÁVRH SÍTĚ
Podle Enterasy [1] společné cíle pro návrh sítí v datových centrech zahrnují:
• Šířku pásma a rychlou odezvu (výběr síťové
technologie)
• Škálovatelnost a schopnost rychle reagovat
na změny (architektura sítě)
• Flexibilita pro podporu různých služeb (toto hledisko míří na konsolidaci)
• Bezpečnost (stále více důležité a ovlivňující
režijní náklady)
• Vysoká dostupnost a redundance (požadavky
na kvalitu služby)
• Řiditelnost a průhlednost (toto hledisko je podporováno virtualizačními řešeními)
• Optimalizace nákladů (cílem je vždy nižší CAPEX
a OPEX)
4.1.3 Vyvážení výkonu sítě a spotřeby
energie
Šířka pásma, vysoká rychlost, nízká latence (krátká
doba odezvy) a bezeztrátový provoz jsou důležitá
kritéria výkonu sítě. Spokojenost zákazníka
neboli kvalita služby (QoS, Quality of Service) je
doplňkovým výkonnostním požadavkem. QoS se
definuje v rámci smluv o úrovni služby (SLA, Service
Level Agreement) s charakteristikami jako minimální propustnost dat, maximální doba odezvy nebo
doba latence. Reagující, konvergovaná a inteligentní
síťová architektura mající schopnost dynamicky řídit
datový provoz podle smluvených kontraktů SLA je
důležitá nejen pro budoucí konkurenceschopnost,
ale může také stanovit základ pro systematický
přístup při zvyšování energetické účinnosti.
Z důvodu velkého množství různorodých produktů na trhu a mnoha volitelných nastavení pro jejich
práci v síti se doporučuje, aby si provozovatelé datových center nebo IT administrátoři vytvořili
seznam priorit, který zohlední vlastnosti sítě jako:
• služby sítě,
• požadavky na latenci,
• kvalita služby,
• podpora virtualizace a
• další výkonnostní a součinnostní aspekty (interoperabilita).
Nejlepším přístupem je optimalizace systému. Odráží vzájemnou interakci síťové infrastruktury
a výkon s dalšími IT zařízeními a podpůrnou infrastrukturou.
37
Ve skutečnosti ale může zavádění QoS zvýšit
celkový datový provoz na síti a tím i energetickou
spotřebu datového centra. Z tohoto pohledu mají
individuální síťové technologie a jim příslušná
zařízení své výhody a nevýhody.
Jako všeobecný trend bylo pozorováno, že v datových centrech se 10 gigabitová síť Ethernet
(10 GbE) stává vybranou technologií. Ethernet
propojuje nejen servery (LAN), ale stále více roste
jeho použití v sítích datových úložišť (SAN).
Pro datový provoz úložiště dat jsou však základními požadavky nízká latence a bezeztrátové sítě.
Podle [2] současné 10 GbE switche vykazují latenci
400 až 700 ns. Pro rok 2014 se předpokládá, že
100 GbE switchování sníží latenci téměř na 100 ns.
To ukazuje, že s rostoucí šířkou pásma se latence
zlepšuje. Z pohledu spotřeby energie je nezbytné
vyvažovat mezi zlepšením latence (síťová technologie) a potenciálně vyšší spotřebou energie pro
širokopásmový výkon (prvek). Hlediska, na která se
musíme v tomto ohledu zaměřit, jsou výběr prvků
a konsolidace vstupů a výstupů.
Podobně je nezbytné prozkoumat bezeztrátové
propojení sítí (dostupnost) proti charakteristice
šířky pásma a následné energetické účinnosti.
Například bezeztrátové propojení sítí obvykle
znamená komplexnější protokoly (režijní náklady)
a přidanou latenci spojenou s vyšším výkonem
na zpracování dat a menší účinnost ve využívání
38
šířky pásma. Bezeztrátové propojení sítí je však
nutným předpokladem pro sítě datových úložišť.
V minulosti byl (ztrátový) Ethernet překážkou svému použití v sítích datových úložišť.
Optický kanál (Fiber Channel, FC) a Infiniband
(IB) byly nejobvyklejšími technologiemi. Dnes ale
pro sítě s více datovými úložišti existují možnosti
založené na dostupném Ethernetu jako konvergovaný rozšířený Ethernet (Converged Enhanced
Ethernet, CEE), optický kanál přes Ethernet (Fibre Channel over Ethernet, FCoE), rozhraní iSCSI
přes Ethernet (Internet Small Computer System
Interface (iSCSI) over Ethernet), rozhraní ATA
přes Ethernet (ATA over Ethernet, AoE) a síťově
připojené úložiště dat (Network-attached Storage, NAS). Tyto volby pomáhají unifikovat propojování sítí (a vyvarovat se přídavných adapterů),
ale vytvářejí dodatečný režijní výkon, ze kterého
vyplývá nižší účinnost při využívání šířky pásma.
Spojitosti s energetickou účinností (pokud existují)
nejsou v současné době známy.
Závěrem: Provozovatel musí brát v úvahu vliv
zvýšeného výkonu, škálovatelnosti a přizpůsobivosti
nových konsolidovaných síťových řešení. Je pravděpodobné, že z nových řešení vyplynou pozitivní energetické kompromisy. Zcela zásadní je
ale správné dimenzování. Doporučuje se, aby se
provozovatelé, kteří si pořizují nová zařízení nebo
kompletní řešení sítě, ptali na celkový energetický
vliv / kompromis vyplývající z nového řešení.
4.2 Zlepšení energetické
účinnosti
4.2.1 Slučování provozních tříd
(konsolidace vstupů/výstupů)
Sítě v datovém centru musí přenášet různé typy
provozu v různých typech aplikačních oblastí. Toto
vedlo ke specializovaným protokolům a síťovým
topologiím (architekturám). Ve výsledku značně
komplexní sítě často nesdílejí své zdroje. Základním cílem pro zlepšení je fyzické snížení počtu komponent a sdílení síťové kapacity různými funkčními
jednotkami. Všeobecný technický trend směrem
k jednoduššímu, méněvrstvému a vstupně/výstupně
konvergovanému propojování sítí založenému na
Ethernetu je také popoháněn úvahami o energetické účinnosti. Celkové téma je konsolidace sítě.
Toto téma míří na sítě serverů a datových úložišť
a dále také na topologii sítě. Konvergentní síťový
adapter (Convergent Network Adapter, CAN) směšuje dřívější samostatná rozhraní:
• Sběrnicový adapter hosta (Host Bus Adapter,
HBA) na podporu datového provozu sítě datových úložišť (SAN)
• Síťový řadič rozhraní (Network Interface Controller, NIC) na podporu datového provozu lokální
sítě (LAN)
• Adapter hostovského kanálu (Host Channel Adapter, HCA) na podporu datového provozu mezi procesory (IPC, Inter Procesor Communication)
Konsolidace vstupů a výstupů je schopnost switche
nebo hostovského adapteru používat stejnou fyzickou infrastrukturu pro přenášení více typů datového provozu, kde typicky každý datový provoz
má svůj unikátní charakter a specifické požadavky
na zacházení s daty. Ze strany sítě se to rovná situaci, kdy musíme instalovat a provozovat jedinou
síť místo tří sítí, jak ukazuje obrázek 4.2.
Ze strany hostů a polí datových úložišť se to rovná
situaci, kdy musíme koupit méně konvergovaných
síťových adapterů (CNA) místo Ethernetových
síťových řadičů rozhraní (NIC), opticko-kanálových
hostovských sběrnicových adapterů (FC HBA)
a InfiniBand hostovských kanálových adapterů (IB
HCA). Typický opticko-kanálový HBA spotřebovává
kolem 12,5W [3]. Pokud jde o redundanci sítě,
musí se pro návrh spolehlivých sítí náležitě uvážit
několik možností.
Komunikace
mezi procesory
(IPC)
Lokální síť
(LAN)
Síť datových
úložišť
(SAN)
EN Switch
FC Switch
Ethernet
HCA
IPC
LAN
SAN
NIC
EN Switch
Fibre Channel/
Infiniband
10G / 40G / 100G Ethernet
HBA
Procesor
CNA
Paměť
Procesor
Paměť
Server
Obr. 4.2
Konsolidace vstupů a výstupů a konvergence sítí v datovém centru
VÝHODY KONVERGOVANÝCH SÍTÍ
Konsolidace vstupů a výstupů umožní konsolidaci různých typů sítí (LAN, SAN) na vyšší úrovni,
která představuje přípravné opatření pro virtualizaci systému. Dále významně sníží množství fyzické infrastruktury včetně switchů, portů, spojek a kabelů mezi různými sítěmi. Konvergované sítě
mají za následek:
• až 80% snížení počtu adapterů a kabelů
• až 25% snížení switchů, adapterů a uvolnění místa v IT-rozvaděčích
• až 42% snížení nákladů na napájení a chlazení [4]
39
4.2.2 Konsolidace sítě
Hlavní způsob optimalizace spotřeby energie v síti
datového centra zahrnuje zavedení nových síťových
architektur a konvergenci dříve oddělených sítí
(pod jedinou technologii). Typická architektura sítě
se skládá ze tří směrovacích a přepínacích zařízení
(více pater/vrstev) s více specializovaným a drahým
zařízením na vrcholu síťové hierarchie.
Cílem by měla být konsolidace síťové infrastruktury vytvořením ploché síťové architektury založené
na funkční struktuře sítě.
Opatření, která se musí udělat, jsou:
• Sdružte switche. Znásobte fyzické switche tak,
aby pracovaly v jednom logickém zařízení.
• Snižte patra (vrstvy). Použijte sdružený switch,
•
aby udělal práci za vícenásobné vrstvy switchů).
Promyslete si služby sítě a bezpečnost.
Vytvořte jednotnou strukturu sítě. Toto kombinu
je oba kroky a dovoluje provozní jednoduchost
a vysoký výkon. Znovu si promyslete služby sítě
a bezpečnost.
Konvergence serverové sítě (LAN) a sítě datových
úložišť (SAN) je obecným trendem majícím potenciál pro energetické úspory. Udržování dvou
oddělených sítí by zvýšilo celkové provozní náklady a spotřebu energie tolikrát, kolik adapterů,
kabelů a switchových portů je potřeba pro přímé
připojení každého ze serverů do podpůrných sítí
(LAN a SAN). Pro zjednodušení nebo zploštění
struktury sítě datového centra se v současné době
v datových centrech implementují konvergované
síťové technologie jako iSCSI, Fibre Channel přes
Ethernet (FCoE) a Data Centre Bridged (DCB).
Routery
N
W
Jádro
S
Agregace
Přístup
Fig. 4.3 Konsolidace
40
E
sítě
4.2.3 Virtualizace sítě
Virtualizace je vžitou technologií pro konsolidaci fyzických serverů s více virtuálními stroji.
Virtualizace sítě sleduje stejný princip a popisuje různé přístupy hardwaru a softwaru k řízení
síťových zdrojů, například logických jednotek,
které nezávisí na vlastní fyzické topologii. To
má za následek snížení datového provozu v síti,
jednodušší zabezpečení a zlepšené řízení sítě.
Klíčovými prvky pro vysoce výkonné sítě jsou
na síťové úrovni uvědomění si a viditelnost
životního cyklu virtuálních strojů (VM). Možnost
konfigurovat dovednosti (schopnosti) úrovně sítě
a portů na jednotlivých úrovních VM stejně jako
dynamické sledování běžících VM při jejich pohybu
datovým centrem jsou pro efektivní správu virtualizovaných prostředí důležité. Energetická účinnost
se dosahuje hlavně konsolidací routerů, fyzických
adapterů pro vstupně-výstupní porty a přídavného
hardwaru pro konkrétní síťové služby.
Rozšiřování virtualizace systému do sítě zahrnuje:
• Virtuální router (software s funkcí směrování,
více systémů na jednom reálném stroji)
• Virtuální
•
vazby (logické propojení virtuálního
routeru)
Virtuální sítě (virtuální routery spojené virtuálními vazbami)
Nárůst ve virtualizaci serverů bude mít za následek
navýšení složitosti a režijního provozu sítě. Zastaralé síťové switche si neuvědomují virtuální
stroje a toto je vystavuje riziku výpadku služby
a bezpečnostním průlomům kvůli nesprávné konfiguraci sítě. Spojování sítí je klíčovou oblastí, která
také potřebuje být virtualizována, aby dosáhla stejné úrovně přizpůsobivosti na změny, šířky pásma
a výkonu.
Virtualizace služeb sítě je strategií pro zjednodušení
síťových operací a konsolidaci vícečetných zařízení.
Virtualizace firewallového modulu nebo IPS (Intrusion Prevention System) poskytnutím softwarového obrazu různým aplikacím přes jediný
síťový hardware by snížila potřebu samostatných
zařízení použitím softwaru ve stejném hardwaru.
Snížená spotřeba energie se dosahuje konsolidací
více služeb na jedno fyzické zařízení bez potřeby
instalace vyhrazeného hardwaru pro každý případ
(instanci). Vyloučením potřeby dodatečných
fyzických zařízení se také efektivně odstraní
potřeba dodatečných napájecích zdrojů, chlazení
a úložného prostoru v IT rozvaděčích, které by jinak byly požadovány.
Sumarizace výhod virtualizovaných služeb sítě:
• Rozhraní pro správu jsou pružnější
• Použití softwaru znamená nižší pořizovací náklady
• Jednodušší rozšiřování a alokace služby znamená vyšší aplikační výkon
• Konsolidace zařízení znamená potenciální pokles spotřeby energie
Úspěšná implementace virtualizace sítě závisí
na hlediscích jako investiční náklady (CAPEX), definice přesných cílů nebo kompatibilita se stávajícím
hardwarem. Proto virtualizační projekty vyžadují
velmi vyrovnanou analýzu nákladů a výhod, komplexní projektový management a následné zvážení
možných bezpečnostních rizik.
DOPORUČENÍ PRO MALÁ A STŘEDNÍ DATOVÁ CENTRA
Pro malé a střední společnosti výběr mezi FCoE a iSCSI široce závisí na aplikačních
požadavcích a na dostupnosti personálu školeného pro technologii optických kanálů
(Fibre Channel).
• Jsou-li databáze orientované na vysokou kapacitu a výkon pro danou společnost kritickými aplikacemi, pak jsou FCoE a iSCSI vhodnými řešeními ke zlepšení úrovně služby a snížení spotřeby energie.
• Centralizované poskytování úložiště dat a záchrany pro havárii (disaster recovery) vyžadují společnou
síť datových úložišť (SAN) > preferován je iSCSI.
• Pro sítě s převahou optických kanálů se doporučuje FCoE [5].
41
4.2.4 Výběr komponent a zařízení
Spotřeba energie síťovými zařízeními je obecně
ovlivněna výběrem komponent a aktuální konfigurací systému. Hlavní vliv má podporovaný standard
síťové technologie (např. 10GbE). Úroveň návrhu
čipu a systémové integrace má nejvyšší pákový
efekt. Trend je popoháněn zlepšováním výkonu
polovodičové technologie, která stále sleduje
Mooreův zákon. Ten také zahrnuje tepelný výkon
čipu a propojovací technologii. Spolehlivost je
v tomto ohledu rostoucím problémem. Dalšími
faktory jsou konfigurace systému znamenající typy
a počty portů instalovaných v zařízení. A konečně,
spotřeba energie síťovými zařízeními je ovlivněna
účinností napájecích zdrojů a možnostmi správy
napájení.
Správa napájení
Velikost energetické spotřeby síťových zařízení
se vztahuje k aktivnímu používání a intervalům
provozu naprázdno. Rozdíl ve spotřebě energie
mezi aktivním stavem (zátěž 100%) a provozem
naprázdno (s vytvořeným spojením) je typicky
kolem násobku 1,1 (méně než 10% rozdíl). Je-li
spojení deaktivováno, spotřeba energie spadne
dvojnásobně (na 50% aktivního stavu).
Ovšem očekává se, že v malých instalacích (např.
serverovna, malé datové centrum) by se mohly fáze
běhu naprázdno vyskytovat zejména v nočních
hodinách. Pokročilá správa napájení včetně
režimu „síťové standby“ zatím není běžná. Termín
„síťové standby“ (network standby) byl vytvořen
přípravnou studií ENER Lot 26 (příprava evropské
směrnice o spotřebičích v pohotovostním režimu).
Tato studie tvrdila, že „čas pro návrat do aplikace”
je klíčovým kritériem pro implementaci síťového
standby (pohotovostního režimu). Správa napájení
síťového zařízení je úzce spjata se systémy serverů
a datových úložišť, které se připojují.
V případě clusteru serverových zařízení nebo datových úložišť by se vypnuly do standby (spacího)
režimu a bylo by také možné vypnout části
přístupových switchů. Znovu je kritickým faktorem
latence a spolehlivost systému při probuzení.
42
Při pořizování energeticky účinného síťového hardwaru a zejména při
volbě napájecích jednotek vezměte v úvahu tato kritéria:
• Zvolte zařízení s funkcemi pro správu napájení a porovnejte spotřebu různých
•
•
zařízení při běhu naprázdno a ve stavu standby (v pohotovostním režimu).
Porovnejte náklady a energetickou účinnost síťových systémů od různých
dodavatelů.
Vyžadujte údaje o produktech od dodavatelů týkající se celkové energetické
účinnosti zařízení (např. ECR, TEER jakmile bude k dispozici), účinnosti a modularity napájecích jednotek, účinnosti a škálovatelnosti ventilačních jednotek
(variabilní rychlost ventilátorů atd.)
Představením standardů IEEE 802.3az „Energeticky účinný Ethernet” a ECMA-393 „proxZzzyTM
pro spící hosty” se přístupy pro nízkoenergetický
management dostaly do plného proudu.
Napájecí jednotka
Spolehlivost a účinnost konverze napájecích jednotek (Power Supply Units, PSU) ovlivňují celkovou
spotřebu energie. Konverzní účinnost velkých PSU
(výkon >500W) se během minulých let zlepšila
na typické úrovně přes 85% a výjimečně i nad
90%. Kvůli skutečnosti, že velké switche a routery spotřebují až několik kW, mají dokonce i malá
zlepšení (i 1%) za následek pozoruhodné energetické úspory. Dále, specifikace výrobků nutně
nezveřejňují informace o konverzní účinnosti
napájecí jednotky (PSU).
4.2.5 Směrování dat na úrovni patra
Pro rozmístění switchů v patrové nebo aplikační
úrovni jsou k dispozici dva základní způsoby:
na konci řady (End-of-Row, EoR) a v horních pozicích IT rozvaděčů (Top-of-Rack, ToR). Přepínání
na konci řady (EoR) je konvenční metodou spojování sítí, která představuje podporu poskytovanou
jediným velkým switchem (v chassis provedení)
pro jeden nebo více IT rozvaděčů. Z pohledu energetické účinnosti existují pro umístění switche
na konci řady (EoR) dvě úvahy:
• Výhoda:
•
Centralizované přepínání s dobrou
škálovatelností a vyššími energetickými úsporami proti suboptimálnímu umístění switchů
v horních pozicích IT rozvaděčů (ToR).
Nevýhoda: Značná intenzita kabeláže a neefektivita při hustých systémech
Přepínání v horních pozicích rozvaděčů (ToR) definuje systém se switchem integrovaným v každém
IT rozvaděči. Tato koncepce zajišťuje krátkou latenci a vysoký přenos dat. Výhoda a nevýhoda
rozmístění switchů do horních pozic IT rozvaděčů
jsou:
48 Port
48 Port
Všechny porty
využity,
Switch pro
48 portů
Switch pro
48 portů
Switch pro
48 portů
Switch pro
48 portů
10 serverů
14 serverů
16 serverů
8 serverů
jednoduchá
kabeláž
Rack #1
Rack #2
• Výhoda: Decentralizované přepínání pro hustá
serverová prostředí (konsolidace vstupů a výstupů), které snižuje náročnost práce s kabeláží.
Kratší délka kabelů mezi serverem a switchem
zlepšuje přenosovou rychlost a snižuje spotřebu
energie pro tento přenos.
Nevýhoda: Používá-li se přepínání v horní pozici
rozvaděče v méně hustém výpočetním prostředí
(kde je málo serverů v IT rozvaděči), systém je
naddimenzovaný. Energetická účinnost je pak
nízká kvůli suboptimálnímu využívání dostupných portů.
Závěrem: Přepínání v horních pozicích IT rozvaděčů
má eko-výhody používá-li se ve správně dimenzovaných systémech.
Obrázek 4.4 ukazuje koncepci přepínání v horních
pozicích IT rozvaděčů a své vhodné použití.
Rack #2
Rack #3
Rack #4
Suboptimální použití ToR
Obr. 4.4: Přepínání
•
s nevyužitými
porty
Rack #1
Optimální přepínání ToR
Suboptimální
serverová sestava
v horních pozicích IT rozvaděčů (na úrovni patra)
Reference
Hintemann R. (2008): Energy Efficiency in the
Data centre, A Guide to the Planning, Modernization and Operation of Data centres, BITKOM, Berlin, online available:
[1] Enterasys (2011): Data centre Networking
– Connectivity and Topology Design Guide; Inc Enterasys Networks, Andover.
[2] Lippis (2011): Open Industry Network Performance & Power Test Industry Network Performance & Power Test for Private and Public Data
centre Clouds Ethernet Fabrics Evaluating 10 GbE
Switches; Lippis Enterprises, Inc, Santa Clara.
[3] Cisco (2008): Converging SAN and LAN Infrastructure with Fibre Channel over Ethernet for
Efficient, Cost-Effective Data centres; Intel, Santa
Clara.
[4] Emulex (2008): Sheraton Case Study. Virtual
Fabric for IBM BladeCentre Increases Server Bandwidth, Reduces Footprint and Enables Virtualization for High-performance Casino Applications;
Emulex, Costa Mesa 2010.
[5] Blade.org (2008): Blade Platforms and Network Convergence; Blade.org,White Paper 2008.
http://www.bitkom.org/de/publikationen/38337_53432.
aspx
EC JRC ISPRA (2011): Best Practices for the EU
Code of Conduct on Data centres
European Commission (2011), EC Joint Research Centre, Ispra, online available:
http://re.jrc.ec.europa.eu/energyefficiency/html/
standby_initiative_data_centres.htm
Juniper (2010): Government Data centre Network Reference Architecture, Using a High-Performance Network Backbone to Meet the Requirements of the Modern Government Data centre
Juniper (2010), Juniper Networks, Inc., Sunnyvale, available online:
http://www.buynetscreen.com/us/en/local/pdf/
reference-architectures/8030004-en.pdf
43
5 Chlazení a napájení v datových centrech
a serverovnách
Andrea Roscetti, Politecnico di Milano, Thibault Faninger, Shailendra Mudgal, Bio Intelligence Service
Chlazení v serverovnách nebo datových centrech může být zodpovědné až
za 50% jejich celkové energetické spotřeby. Koncepce energeticky efektivního
chlazení jsou proto zcela zásadní jak v malých, tak i ve velkých IT instalacích.
Následující sekce ukazuje několik obecných možností, jejichž cílem je snížení
spotřeby energie.
5.1 Chlazení v serverovnách
Serverové komory nebo malé serverovny jsou obvykle vybaveny komfortními chladicími systémy
(typicky kancelářskými klimatizačními systémy1).
Malá datová centra jsou obvykle vybavena 1–5 serverovými rozvaděči s celkovým výkonem IT zařízení
maximálně 20 kW.
5.1.1 Split systémy a přenosné systémy
Obr. 5.1: Vnitřní
jednotka splitového chladicího systému
Splitové chladicí systémy se běžně používají
v malých serverovnách. Rozsah chladicího výkonu
této skupiny systémů je 1–100 kW. Obecně mají
splitové/DX2 systémy několik výhod:
• Investiční náklady jsou zpravidla nízké.
• Návrh a instalace jsou vcelku jednoduché.
• Požadovaná podlahová plocha pro instalaci je
malá (jednotky se zpravidla montují na zeď).
• Instalace je možná téměř ve všech situacích.
• Údržba a výměna systémů je vcelku jednoduchá
a rychlá.
Na druhou stranu, musí být zváženy následující
nevýhody:
• Celková účinnost malých, starších nebo naddimenzovaných systémů je docela nízká.
• Komfortní chlazení má špatné řízení vlhkosti.
• Potrubní trasa mezi venkovní a vnitřní jednotkou má délkové a výškové omezení.
venkovní jednotka (Zdroj: Daikin)
Přenosné (kompaktní) systémy je možné instalovat
například pro zabránění vzniku hotspotů (horkých
míst). Tato technologie poskytuje následující výhody:
• Investiční náklady jsou velmi nízké.
• Instalace je jednoduchá.
• Podlahová plocha požadovaná pro instalaci je
malá.
• Údržba a náhrada systému je jednoduchá
a rychlá.
1) HVAC: heating, ventilation and air conditioning – ohřev, ventilace a klimatizace
2) DX: direct expansion – přímý výpar
44
Musí se zvážit následující nevýhody:
• Celková účinnost je docela nízká: Mobilní systémy třídy A jsou méně účinné než splitové systémy třídy D.
• Chlazení má špatné řízení vlhkosti a teploty.
• Instalace je možná pouze tam, kde je možné
ohřátý vzduch odvětrat ven.
5.1.2 Opatření pro optimalizaci
energetické účinnosti v serverovnách
Naddimenzování chlazení je v malých serverovnách
běžnou praxí. Pro hrubý odhad a vyvarování se
naddimenzovaného chlazení u dobře izolované
serverovny platí pravidlo, že by chladicí kapacita
neměla překročit 120% instalovaného výkonu IT.
Při nákupu nových zařízení s chladicím výkonem
do 12kW může být podpůrným vodítkem při výběru
energeticky účinného zařízení energetický štítek
EU. Správnou volbou jsou vysoké úrovně EER3 /
SEER4 a třída účinnosti A nebo vyšší. SEER a ze
štítku předběžně spočtená roční spotřeba v kW/h
jsou nejdůležitějšími kritérii pro porovnávání. Tabulka 5.1 ukazuje účinnost v současnosti nejlepší
dostupné technologie.
Štítek se používá s přechodným obdobím do 1. ledna 2013. Před tímto datem již výrobci mohou štítek
používat, ale není povinný. Během přechodného
období se pro klimatizační jednotky smí ještě také
používat staré štítky (2002/31/EC).
Obr. 5.2: Energetický štítek pro klimatizační jednotky, které pouze
chladí (Zdroj: regulační doplňující směrnice 2010/30/EU Evropského parlamenty a Evropské rady ohledně energetického značení klimatizací)
Tab. 5.1: Hodnoty účinnosti nejlepší dostupné technologie pro malé chladicí systémy <12kW
(Zdroj: Regulační požadavky ekodesignu na klimatizace a komfortní ventilátory)
Výkonnostní hodnocení klimatizací
Klimatizace s vyloučením dvojitých a jednoduchých potrubí
Klimatizace s dvojitým potrubím
Klimatizace s jednoduchým potrubím
SEER
SEER
SEER
8,50
3,00
3,15
3) Koeficient energetické účinnosti: poměr výstupního chladicího výkonu k elektrickému
příkonu při daném provozním bodu (vnitřní a venkovní teplota a vlhkostní poměry)
4) Sezónní EER: představuje očekávaný celkový výkon v daném místě (testovací metoda)
45
Stávající serverovny
• Eliminujte solární tepelný zisk, přenos tepla a ventilační ztráty do dalších místností a venkovního prostoru.
• Řiďte a spravujte podmínky prostředí (set-pointy): vzduch na vstupu IT zařízení (nikoli set-point) musí být v rozsahu 18–27°C avšak navrhovaný rozsah je 24 až 27°C.
• Zkontrolujte izolaci potrubí a vzduchotechnických tras (studený a horký vzduch/voda/kapalina).
• Vyhodnoťte nahrazení zastaralých nebo méně účinných komponent chladicího systému (porovnejte třídu účinnosti stávajících systémů s těmi
nejúčinnějšími dostupnými na trhu).
• Řiďte a ověřte půdorys instalovaného chladicího systému (např. vzdálenosti mezi chladicími systémy a zátěžemi).
• Je-li to možné, vypněte světla a odstraňte další mechanické a elektrické zátěže a zdroje tepla.
Nové serverovny
• Vyhodnoťte použití přesných klimatizačních systémů (za účelem odstranění citelného tepla z IT a vyvarování se nadměrného odvlhčení)
• Definujte a vyhodnoťte místnost a charakter IT, vezměte v úvahu prostorová omezení a vzdálenost mezi zátěží a venkovními jednotkami.
• Vyvarujte se používání mobilních (kompaktních) jednotek nebo kanálových jednotek s nízkým EER (poznámka: Mobilní systémy třídy A jsou
méně účinné než splitové systémy třídy D!).
• Porovnejte různé systémy:
■ Rozhodněte se pro vyšší třídu energetického štítku (povinná pro malé systémy).
■ Maximalizujte chladicí účinnost (SEER), viz tabulka nejlepších dostupných technologií.
• Zvažte použití volného chlazení (free coolingu).
5.2 Chlazení pro střední a velká
datová centra
5.2.1 Hlavní hlediska
Tradiční způsob chlazení ve středních a velkých
datových centrech se zakládá na chlazení vzduchem. Standardní datové centrum je navrženo
pro uchlazení průměrných 7,5–10 kW/m2, což
odpovídá 1 až 3 kW/rack. Novější datová centra jsou navrhována pro uchlazení průměrných
20 kW/m2, což stále omezuje výkonovou hustotu
na rack na 4–5 kW (vzpomeňte si, že plná kapacita
IT rozvaděče s plně konsolidovanými systémy nebo
blade servery může být vyšší než 25 kW/rack).
IT zařízení je uspořádáno do řad, nasávání vzduchu je situováno čelem ke studené uličce. Studený
vzduch je dopravován do studené uličky, prochází
skrz zařízení a pak je vypouštěn do horké uličky.
46
Důležitým základem pro zvážení jsou charakteristiky průtoku vzduchu. Doporučené směry proudění
vzduchu jsou zpředu dozadu, zpředu nahoru nebo
zpředu+shora dozadu (viz reference). Jsou-li různá
zařízení s různými provozními podmínkami nebo
směry proudění vzduchu instalována ve stejné
místnosti, měly by se pro ně vytvořit samostatné
oblasti. V případě zařízení s různými požadavky
na prostředí je vhodnější poskytnout oddělené
řízení parametrů prostředí za účelem vyvarování se
neefektivností způsobených nízkým set-pointem
nebo špatným řízením průtoku vzduchu. Více podrobností naleznete v referenci [1].
5 Chlazení a napájení v datových centrech a serverovnách
5.2.2 Nastavení teploty a vlhkosti
Datová centra by měla být navrhována a provozována na jejich nejvyšší možné účinnosti za daných
klimatických podmínek (suchý teploměr5). Doporučená teplota je mezi 18 a 27 °C relativní vlhkost
nižší než 60% (vzduch na nasávání do IT zařízení).
Příslušný rosný bod měl by být mezi 5,5 a 15 °C.
Studie o teplotě nasávaného vzduchu navrhují jako
optimální rozsah 24–27 °C. Při vyšších teplotách
bude spotřeba vnitřních ventilátorů v serverech
a dalším IT zařízení již převažovat nad zlepšenou
účinností chladicího systému datového centra (viz
reference). Nižší nastavení teploty plýtvá energií,
protože přechlazuje.
Vedle nastavování teploty a optimalizace proudění
vzduchu (např. horká ulička/studená ulička,
zaslepovací panely a utěsňování netěsností) je
zcela nezbytné zajišťovat vysokou účinnost – viz
reference [2] týkající se optimalizace uspořádání
horká ulička/studená ulička. Pro zamezení tvorby
hotspotů se zvláště při nastaveních s vyšší teplotou vyžaduje optimalizované proudění vzduchu.
Při velmi vysokých hustotách výkonu (např. 25 kW
na IT rozvaděč) tradiční chlazení místnosti založené
na systémech CRAC/CRAH pro zabránění vzniku
hotspotů již nepostačuje. Detailní informace naleznete v referencích [3], [4] a [5]. V tomto případě
může být vhodné speciální chlazení rozvaděče
(uzavřený systém) nebo chlazení založené na řadových jednotkách.
Management chladicích systémů:
• Řiďte a spravujte podmínky prostředí (set-point, časový plán, pozice a počet senzorů a čidel).
• Vyměňte zastaralé a málo účinné komponenty chladicího systému (porovnejte třídu účinnosti
stávajících systémů s účinnějšími systémy dostupnými na trhu).
• Zkontrolujte izolaci vzduchotechnických tras a potrubí (studený a horký vzduch/voda/kapalina).
• Umístěte sálové chladicí jednotky (CRAC) na konec horké uličky (jednotky se musí umístit kolmo
k horkým uličkám).
• Oddělte zařízení s různými požadavky na průtok vzduchu a teplotu.
• Proudy vzduchu:
■ Umístěte zdroje vzduchu (perforované podlahové panely nebo difuzéry) pouze ve studených
uličkách, blízko k aktivnímu IT zařízení.
■ Instalujte blokátory proudění vzduchu, aby se vytvořila uzavřená horká nebo studená ulička
pro snížení vzájemného míchání horkého vzduchu z výdechu IT zařízení a chladnějšího vzduchu
z místnosti (respektive od chladicích jednotek).
■ Instalujte podlahové záslepné panely na všechny otevřené pozice pro IT rozvaděče a v IT
rozvaděčích použijte záslepky a separační rámy, abyste zabránili recirkulaci horkého vzduchu.
• Organizace kabeláže:
■ Použijte horem vedené kabelové žlaby.
■ Řiďte umístění a utěsnění kabelových prostupů a podlahových panelů.
Kritéria pro výběr nových energeticky účinných chladicích systémů:
• Porovnávejte účinnost blokových chladicích jednotek (chillerů), více viz reference týkající se
požadavků na chlazení.
• Porovnejte různé možnosti uspořádání pro různá proudění vzduchu (koncepty studená/horká
ulička, zvýšená podlaha/komínové řešení návratu vzduchu).
• Vyhodnoťte použití následujících technologií:
uzavřený systém chlazení pro vysokovýkonné rozvaděče (pro systémy s vysokou výkonovou
hustotou)
■ volné chlazení přímé a nepřímé (free-cooling přímý/nepřímý)
■ volné chlazení vodou
■ instalace vodního chlazení (přímé/nepřímé)
■ získávání odpadního tepla
• Zaveďte modulární chladicí systém (propojený na koncepci návrhu a managementu IT).
• Na optimalizaci procesu chlazení použijte simulační software pro termodynamické modelování
(CFD, Computational Fluid Dynamics).
■
5) hodnota naměřená teploměrem volně vystaveným na vzduchu avšak odstíněným od tepelného záření a úrovně vlhkosti, typicky teplota vzduchu
47
5.2.3 Účinnost komponent – zdroje chladu,
ventilátory, vzduchotechnické jednotky
Chladivem chlazené a kapalinou chlazené zdroje
chladu (chillery) se liší svojí energetickou účinností,
kterou reprezentuje parametr EER (Energy Efficiency Ratio6), jehož hodnota je typicky kolem 3,5
pro systémy pracující s chladící vodou a kolem 2,5
pro systémy s plynným chladivem.
Hodnocený „poměr energetické účinnosti“
vyjadřuje deklarovaný chladicí výkon [kW] dělený
nominálním příkonem jednotky [kW] při chlazení
za standardních provozních podmínek. Eurovent poskytuje údaje, které umožňují srovnání
charakteristické účinnosti několika chladicích
a ventilačních systémů a komponent (www.eurovent-certification.com). Vodou chlazené chillery jsou
první volbou před systémy s přímým výparem (DX)
z důvodu své vyšší termodynamické účinnosti.
Příležitost snížit kondenzační teplotu nebo zvýšit
5.2.4 Volné chlazení (Free cooling)
výparnou teplotu by se měla vyhodnotit. Snížení
rozdílu teplot (delta T) mezi těmito teplotami
znamená, že je v tomto chladicím cyklu potřeba
méně práce, tudíž zlepšení účinnosti. Teploty závisí
na požadovaných vnitřních teplotách vzduchu (viz
kapitola Nastavení teploty a vlhkosti).
Účinnost ventilátorů v první řadě závisí na účinnosti
motoru. Používání ventilátorů s konstantní rychlostí
spotřebovává značnou energii a znesnadňuje
teplotní management v datovém sále. Ventilátory
s variabilní rychlostí jsou zvláště účinné v případě
vysoké redundance v chladicím systému nebo při
velmi proměnlivé velikosti IT zátěže. Ventilátory
lze řídit podle teploty návratového vzduchu nebo
podle tlaku chladicího vzduchu v prostoru pod
podlahou.
6) Energy Efficiency Ratio: poměr výstupního chladicího výkonu k elektrickému příkonu při
daném pracovním bodě (vnitřní a venkovní teplota a vlhkostní poměry)
Naddimenzovaný
Neefektivní, vysoké ztráty
Distribuce elektřiny
Transformátor
veřejné napájecí sítě
Nepřerušitelný zdroj
napájení (UPS)
Distribuční
rozvaděče
Nízká zatížitelnost
Neefektivní topologie UPS
Nízký vstupní účiník
Vysoký náběhový proud
Neefektivní transformátory
Nadměrné používání
Záložní
dieselagregát
Naddimenzovaný
Nadměrná redundance
Nadměrné zátěže předehřevů
Obr. 5.3: Části
48
„Free cooling” je technika poskytující chlazení
využitím nižších teplotních úrovní venkovního
vzduchu nebo vody v porovnání s požadovanými
podmínkami uvnitř. Čím nižší je během roku
průměrná teplota venkovního prostředí, tím vyšší
je příležitost využít free cooling a zlepšit účinnost.
Tepelné úsporníky (ohřívače vody) na vodním nebo
vzduchovém okruhu mohou poskytovat alternativu k přídavnému chlazení. Návratnost investic
a ekonomickou účinnost je dána klimatickými
podmínkami. Plný free coolingový režim provozu
je možné použít, je-li rozdíl mezi návratovou teplotou chladicí vody a teplotou prostředí větší než
přibližně 11 K (1 Kelvin = 1 °C). Z toho plyne: Čím
vyšší je navrhovaná vstupní teplota (na nasávání IT
zařízení), tím vyšší jsou energetické úspory. Je-li při
návrhu chladicího systému zvolena vyšší teplota
v serverovně, pak se může používat free cooling po delší období roku. Nasazení free coolingu
vyžaduje kontrolu proveditelnosti a ekonomické
vyhodnocení. Pro odhad očekávaných úspor při
free coolingu se podívejte také na vyhodnocovací
nástroj vyvinutý organizací The Green Grid.
Doporučené zdroje obsahující konkrétní informace
o volném chlazení jsou uvedeny níže, v sekci Další
materiály ke čtení.
IT zátěž
Nízký účiník
Vysoký proud
Celkové harmonické zkreslení
Nízké využívání
Další zátěže (chlazení, osvětlení atd.)
Ztráty na kabelech (typicky)
Osvětlení
Nevyužitá podlahová plocha
Chybějící řízení osvětlení
Chlazení
Vysoká teplota
v zóně serverů
napájecí infrastruktury a neefektivita v datovém centru (ASHRAE: Save Energy Now Presentation Series, 2009).
5.2.5 Chlazení pro jednotlivé IT rozvaděče /
řadové jednotky
5.3 Napájení a záložní zdroje
(UPS) v datových centrech
Je-li výkonová hustota moderního IT zařízení přes
25 kW na rozvaděč, tradiční systémy chlazení
místnosti založené na sálových klimatizačních
systémech (CRAC/CRAH) už pro zabránění vzniku
hotspotů nestačí. Podrobnější informace o řešeních
pro IT prostředí s velmi vysokou výkonovou hustotou naleznete v referencích.
Napájecí systém v datovém centru v první řadě
mění proud ze střídavého (AC) na stejnosměrný
(DC). Ztráty v důsledku konverze se mění podle velikosti zátěže. Nejvyšší účinnost typicky dosahuje
hodnot mezi 80 a 90% celkové zátěže přičemž pro
zátěže pod 50% se energetická účinnost výrazně
snižuje.
Obrázek 5.3 ukazuje typický napájecí řetězec datových center. U všech komponent jsou uvedeny
typické příčiny jejich neefektivnosti.
Vedle jejich primární funkce, kterou je poskytování
krátkodobého napájení v případě selhání vstupního zdroje napájení, UPS také poskytují různé
vlastnosti pro nápravu jiných poruch napájecí sítě.
bypassu (obtoku) veřejné sítě. Tato topologie je
běžnější v aplikacích s malými výkony.
Line-interaktivní UPS: Tato topologie UPS, též
označovaná jako napěťově nezávislá (VI, Voltage Independent), je schopna ochránit zátěž
jako VFD technologie a navíc poskytuje ochranu
zátěže regulací napětí v optimálních mezích.
Zejména chrání před trvalým podpětím nebo
trvalým přepětím vstupní sítě. Tato topologie se
běžně nepoužívá pro výkony nad 5000 VA [7].
Dvojkonverzní UPS (Double conversion): Tato
topologie UPS, též nazývaná jako napěťově
a kmitočtově nezávislá (Voltage and Frequency
Independent, VFI), je schopna chránit zátěž
před nepříznivými vlivy napětí (stejně jako VI
topologie) nebo změn kmitočtu bez vyčerpávání
zásobníku energie, jelikož kontinuálně dodává
celý potřebný výkon pro zátěž jako regulační
mezičlánek mezi sítí a zátěží. Tato topologie se
zřídkakdy vyskytuje pro zálohování zátěže pod
750 VA.
K dispozici jsou tři hlavní topologie systému,
v závislosti na vyžadované aplikaci:
• Standby UPS (Passive standby, pasivní pohotovostní režim): Tato topologie UPS, rovněž
nazývaná jako napěťově a kmitočtově závislá
(VFD, Voltage and Frequency Dependent),
je pouze schopna chránit zátěž před poruchami sítě (výpadky napájení, poklesy napětí,
přepěťové špičky). Při normálních podmínkách
sítě UPS nemá žádnou interakci s napájecí
(veřejnou) sítí. Když se vstupní síťové napájení
dostane mimo toleranci nastavenou v UPS,
spustí se invertor (střídač) a energie pro zátěž
se čerpá ze zásobníku energie, při současném
Každá topologie má své výhody a nevýhody. V rozsahu 750 VA až 5000 VA mají line-interaktivní UPS
tendenci dosahovat delší provozní životnosti a rostoucí spolehlivosti při nízkých celkových nákladech
na vlastnictví, zatímco dvojkonverzní on-line UPS
zabírají méně prostoru a mohou regulovat výstupní kmitočet. UPS také nabízejí různé mechanismy pro ukládání energie pro napájení připojené
zátěže v případě výpadku napájení:
• Elektrochemické baterie, ukládání a vybíjení
elektrické energie konverzí chemické energie;
• Rotační systémy (flywheel), poskytující krátkodobou zásobu energie ve formě rotujícího
masivního setrvačníku.
•
•
Nepřerušitelné zdroje napájení (UPS) jsou systémy,
které často poskytují velký potenciál pro energetické úspory. UPS se provozují trvale, aby poskytly
záložní napájení a úpravu parametrů napájení pro
IT zařízení a součásti infrastruktury.
49
Tab. 5.2: Typické
účinnosti UPS topologií
UPS topologie
Dvojkonverzní
Line-interaktivní
Účinnost při
zátěži 25%
Účinnost při
zátěži 50%
Účinnost při
zátěži 75%
Účinnost při
zátěži 100%
81–93 %
85–94 %
86–95 %
86–95 %
nedostupné
97–98 %
98 %
98 %
Tab. 5.3: Minimální požadavky na průměrnou účinnost UPS se střídavým výstupem navržené
v Energy Star UPS (P je činný výkon ve Wattech (W), ln je přirozený logaritmus)
Požadavky na průměrnou účinnost (EffAVG_MIN)
Třída UPS
Výstupní výkon
Datové centrum P > 10 kW
Vstupní závislost UPS (třída UPS)
podle definice testovací metody ENERGY STAR
VFD
VI
VFI
0,97
0,96
0,0058 x ln (P) + 0,86
Pro dodání energie zátěži jsou k dispozici dvě
možnosti:
• Statická UPS: na cestě napájení nemá žádné
mechanické části (s výjimkou ventilátorů
pro chlazení). Přeměňuje střídavé napájení
na stejnosměrné (usměrňovač dobíjí baterie pro
zajištění bezvýpadkového napájení v případě
výpadku sítě) a pak invertor opět vyrábí střídavé
napájení pro síťové napájecí zdroje instalované
v serverech.
• Rotační UPS: převádí energii přes motor či generátor a používá se pro aplikace, které vyžadují
překlenutí krátkodobých výpadků napájecího
systému, poklesů napájení atd.
Energetické ztráty UPS jsou způsobeny konverzními ztrátami (na usměrňovači/nabíječce a invertoru
UPS) a ztrátami při nabíjení baterie nebo ztrátami
v inerčních (setrvačníkových) systémech. Energetické ztráty (a generované teplo) jsou významnější
u dvojkonverzních UPS (usměrňovač, invertor, filtr,
ztráty na pospojování) než u line-interaktivních
a standby UPS (filtr, transformátor, ztráty na pospojování). Pro některé aplikace lze použít, s výhodou eliminace ztrát na invertoru a usměrňovači,
UPS se stejnosměrným výstupem (tj. usměrňovače)
a kombinované UPS se střídavým i stejnosměrným
výstupem.
Kritéria pro nové instalace
• Správně vyhodnoťte vaše potřeby a velikost UPS systémů (vyhodnoťte vícenásobné nebo
modulární UPS, škálovatelná a rozšířitelná řešení): dobu autonomního provozu (dobu zálohování
z baterie), náklady, velikost, počet zásuvek atd.
• Analyzujte technologii UPS a účinnost. Zohledněte účinnost při částečném zatížení UPS.
• Zvolte správnou topologii napájecích systémů.
• Zvolte UPS systémy vyhovující kodexu EU pro UPS (EU Code of Conduct for UPS) nebo kriteriím
programu Energy Star.
Kritéria pro optimalizaci
• Analyzujte UPS technologii a účinnost.
• Vyhodnoťte možnosti a výhody při výměně starého zařízení.
• Vyhodnoťte náklady a výhody redundance.
50
Většina výrobců UPS uvádí účinnost UPS při 100%
zátěži. Při částečném však účinnost výrazně klesá.
Většina UPS běží na 80% a při redundanci padá
zátěž na 50% a méně. Při zátěžích 50% nebo
méně pracují moderní i dřívější UPS systémy méně
efektivně, s významnými propady účinnosti při
zátěži pod 20%. Pro nejlepší praxi by měla UPS
co nejvíce odpovídat zátěži datového centra. Pro
efektivní dimenzování kapacity UPS jsou k dispozici škálovatelná UPS řešení.
Minimální požadavky na účinnost UPS jsou specifikovány v kodexu EU (EU Code of Conduct for UPS
– nové vydání 2011) a v požadavcích programu
Energy Star (pracovní verze 2011). Ve vývoji jsou
v současné době nové požadavky programu Energy Star na energetickou účinnost UPS se střídavým
a stejnosměrným výstupem (viz tabulka 5.3).
Reference
ASHRAE (2011): Thermal Guidelines for Data
Processing Environments – Expanded Data centre
Classes and Usage Guidance – ASHRAE, 2011,
online available at: http://tc99.ashraetcs.org/
[1] ASHRAE: Save Energy Now Presentation
Series, 2009.
[2] Niemann, J. et al. (2010). Hot-Aisle vs.
Cold-Aisle Containment for Data centres; APC by
Schneider Electric White Paper 135, Revision 1.
[3] Rasmussen, N. (2010). An improved architecture for High-efficiency High-density data centres; APC by Schneider Electric White Paper 126,
Revision 1.
[4] Blough, B. (2011). Qualitative analysis of
cooling architectures for data centres; The Green
Grid White Paper #30.
[5] Bouley, D. and Brey, T. (2009). Fundamentals of data centre power and cooling efficiency
zones; The Green Grid White Paper #21.
[6] Rasmussen, N. (2011). Calculating Total
Cooling Requirements for Data centres; APC by
Schneider Electric White Paper 25, Revision 3.
[7] ENERGY STAR Uninterruptible Power
Supply Specification Framework (2010).
Available at:
documents/ASHRAE%20Whitepaper%20-%20
2011%20Thermal%20Guidelines%20for%20Data%20
Processing%20Environments.pdf
EU Code of conduct for data centres (2009):
Full list of identified best practice options for data
centre operators as referenced in the EU Code of
Conduct:
http://re.jrc.ec.europa.eu/energyefficiency/pdf/CoC/
Best%20Practices%20v3.0.1.pdf
The Green Grid (2011): Evaluation tool for free
cooling.
http://cooling.thegreengrid.org/europe/WEB_APP/
calc_index_EU.html
Program Energy Star také uvažuje o začlenění
požadavků na vícerežimové UPS (multi-mode
UPS). Tento typ UPS se provozuje s více než jednou sadou charakteristik vstupní závislosti (např.
funguje buď jako VFI nebo jako VFD). Vícerežimové
UPS mohou pracovat účinněji v méně chránících
režimech a přepínat se podle potřeby do méně
účinných avšak více chránících režimů. Tím je
možné významně ušetřit energii.
ENERGY STAR (2011): UPS efficiency
http://www.energystar.gov/index.cfm?c=new_specs.
uninterruptible_power_supplies
The Green Grid (2011): Evaluation tool for
power supply systems
http://estimator.thegreengrid.org/pcee
High Performance Buildings: Data centres
Uninterruptible Power Supplies (UPS)
http://hightech.lbl.gov/documents/UPS/Final_UPS_
Report.pdf
EU CODE of CONDUCT (2011): EU code of
conduct on Energy Efficiency and Quality of AC
Uninterruptible Power Systems (UPS):
http://re.jrc.ec.europa.eu/energyefficiency/html/
standby_initiative.htm
www.energystar.gov/ia/partners/prod_development/
new_specs/downloads/uninterruptible_power_supplies/
UPS_Framework_Document.pdf
[8] Ton, M. and Fortenbury B. (2008). High
Performance Buildings: Data centres - Uninterruptible Power Supplies. Available at
http://hightech.lbl.gov/documents/UPS/Final_UPS_
Report.pdf
[9] Samstad, J. and Hoff M.; Technical Comparison of On-line vs. Line-interactive UPS designs;
APC White Paper 79. Available at
http://www.apcdistributors.com/white-papers/Power/
WP-79%20Technical%20Comparison%20of%20Online%20vs.%20Line-interactive%20UPS%20designs.pdf
51
foorfour Agentura pro komunikaci
Partneři
Podpořili
Kontakt: SEVEn, Středisko pro efektivní využívání energie, o.p.s.
Ing. Petr Chmel | Americká 17 | 120 00 Praha 2 | Tel. +420 224 252 115
[email protected] | www.efficient-datacenters.eu