petr_jasa_datove_sklady

Petr Jaša
Obsah
Úvod do problematiky
Datový sklad
Důvody pro budování datových skladů
Definice, znaky
Schéma vazeb
Proces ETL
Data vs. informace
Operační vs. analytická databáze
Relační vs. multidimenzionální model
Jednotlivé kroky
Analýza OLAP
Definice
Schémata a operace
2
Datové sklady
Úvod do problematiky
Data vs. informace
Operační vs. analytická databáze
Relační vs. multidimenzionální model
Nevýhody operačních databází pro analýzy
3
Datové sklady
Data versus informace
Data
Znalosti
Data, která pro nás mají smysl a přínos
Proces transformace údajů na informace a převod informací na
poznatky pro koncového uživatele
Vstup: velké objemy dat
Výstup: dosud neznámé poznatky, které lze využít v procesu
rozhodování
Prostředky Business Inteligence:
Informace
Data
Business Inteligence
Moudrost
Informace
Surové hodnoty
Datové sklady (data warehouses)
Analýza OLAP (On-line Analytical Processing)
Data Mining (Získávání (dolování) znalostí z dat)
4
Datové sklady
Operační vs. analytická databáze
Operační databáze
Transakční databáze, OLTP databáze
Umožnit klientům provést velké množství transakcí online
Automatizace každodenních činností
Uložení dat do systému, jejich správa
Např.: vytvoření objednávky, rezervace letu, přijetí platby apod.
Analytická databáze
Informační databáze, OLAP databáze
Analýza velkého množství údajů, výsledkem jsou souhrny a
reporty, podpora rozhodování
Využití (analýza) uložených dat
Např.: zjištění, které produkty se nejlépe prodávají nebo v
kterém regionu jsou tržby nejnižší apod.
5
Datové sklady
Relační model
Relační databázový model sdružuje data do tzv. relací
(tabulek), které obsahují n-tice (řádky).
Normalizace, vysoce strukturovaná data
Výhody
Potenciál odborníků ve firmách, kteří tento model několik let
rutině používají
Potenciál softwaru a vývojových nástrojů
Použitelnost v transakčních databázích i datových skladech
Nevýhody
Absence analytických nástrojů
Objemy dat se kterými je možné v rozumném čase pracovat
6
Datové sklady
Multidimenzionální model
Podklad pro získání sumarizovaných a agregovaných dat
Obsahuje především nenormalizované tabulky
Redundance není tak podstatným problémem (rychlost)
Tabulky faktů – obsahují velké množství dat
Tabulky dimenzí – nenormalizované, menší množství dat
Výhody
Předem jsou provedeny a uloženy opakující se výpočty
Rychlý komplexní přístup k velkému množství dat
Možnost komplexních analýz
Silné schopnosti pro modelování a prognózy
Nevýhody
Vyšší nároky na kapacitu úložiště
Problémy při změně dimenzí – nutnost přepočítat agregovaná
data (informace)
7
Datové sklady
Multidimenzionální databáze - krychle
Krychle (kostka) = ekvivalent tabulky v relační DB
Pro její výpočet je nutné velké množství výpočtů
Může mít i více než tři dimenze
Pomocí průniků jednotlivých dimenzí lze získat údaje (např. za
určité časové období nebo určitý region)
Produkt
Region
Region
Čas
Čas
Analýza údajů
pro určitý produkt
8
Produkt
Produkt
Analýza pro určité
časové období
Region
Čas
Analýza údajů podle
regionálních kritérií
Datové sklady
Nevýhody transakčních DB pro analýzy
Primárně určené pro ukládání operačních dat
Dosahují vysokých výkonů při transakcích online
Bankovní operace, skladové hospodářství, mzdy, fakturace, …
Normalizace, vysoce strukturované
Výsledky operací jsou především tabulky s daty
explicitně uvedenými v databázi
Obtížné hledání závislostí mezi jednotlivými veličinami
Velmi rozsáhlé výstupy
9
Datové sklady
Nevýhody transakčních DB pro analýzy
Data jsou často v několika heterogenních systémech
Degradace výpočetního výkonu databázového stroje
Vysoká časová složitost i relativně jednoduché analýzy
Složité spojování tabulek, příprava dat
Neustále se opakující stejné výpočty
Nehomogenní záznamy (názvy, formáty, datové typy)
Nejsou uchovávány historické údaje
Je potřeba spolupráce analytika s databázovým
odborníkem
nástroje nejsou dostatečně intuitivní
10
Datové sklady
Datový sklad
Důvody pro budování datových skladů
Definice, znaky
Srovnání s „klasickými“ operačními databázemi
Budování a provoz
Schéma vazeb
Popis jednotlivých částí
11
Datové sklady
Důvody pro budování
Obrovské množství nashromážděných dat v databázích,
které samy osobě nepřináší žádný užitek
Potřeba získávat z těchto dat strategické informace
(znalosti), které v nich nejsou explicitně uvedeny
Následná analýza dat pomocí OLAP, data mining
Na základě těchto dat je možné provádět rozhodnutí
Supermarkety, banky, mobilní operátoři, podnikové systémy, …
Povolení úvěru, reklamní kampaň, rozmístění zboží, …
Data warehousing
Proces konstrukce a používání datových skladů
12
Datové sklady
Definice datového skladu
Strukturované úložiště údajů
Lze definovat mnoha způsoby, většinou neformálně
Definice Billa Inmona:
Databáze sloužící k podpoře rozhodování, která je uložena
odděleně od operační databáze
Podpora pro zpracování informací poskytnutím platformy
sloučených historických dat pro analýzu
„Podnikově strukturovaný depozitář subjektově orientovaných,
integrovaných, časově proměnlivých, historických dat použitých
na získávání informací a podporu rozhodování, obsahuje
atomická i sumární data.“
Nabízí jak prostředky pro samotné uložení dat, tak pro
jejich analýzu.
13
Datové sklady
Znaky datových skladů - subjektová orientace
Údaje jsou zapisovány podle předmětu zájmu
Data jsou organizována podle hlavních subjektů
(zákazník, výrobek, apod.)
Poskytuje jednoduchý a výstižný pohled související s
konkrétní analýzou, data, která aktuálně nejsou potřeba,
nejsou zobrazována
Orientace na aplikaci: ukládání na základě aplikace
(např. data pro fakturaci, personalistiku…)
14
Datové sklady
Znaky datových skladů - integrovanost
Údaje týkající se konkrétního předmětu se ukládají pouze
jednou -> jednotná terminologie, jednotky veličin
Vytvořen spojením několika heterogenních zdrojů dat relační databáze, textové soubory, on-line transakce
Problém nekonzistentních zdrojů dat
Nutnost úpravy, vyčištění a sjednocení (integrace)
vstupních dat
Je nutné ověřit konzistenci v pojmenování proměnných, jejich
struktury a jednotkách pro různé zdroje dat
15
Datové sklady
Znaky datových skladů - časová variabilita
Čas = klíčový atribut
Časový horizont datového skladu je zpravidla podstatně
delší než u operační databáze
Každá klíčová struktura v datovém skladu
Operační databáze: pouze současně aktuální data
Data v datovém skladu: poskytují informace z historické
perspektivy (např. posledních 5-10 let)
obsahuje časový element, explicitně nebo implicitně
ale klíč u operačních dat nemusí vždy obsahovat časový
element
Data jsou ukládána jako série snímků, jeden snímek
reprezentuje určitý časový úsek
16
Datové sklady
Znaky datových skladů - neměnnost
Fyzicky oddělené uložení dat transformovaných z
operačních databází
V datových skladech se data většinou nemění ani
neodstraňují, jen se přidávají – manipulace s daty je tedy
jednodušší.
Jen dva typy operací: vkládání dat a přístup k datům
Optimalizace a normalizace ztrácí smysl…
Nepotřebuje zpracování transakcí, zotavení, mechanismy pro
řízení souběžného přístupu
17
Datové sklady
Datový sklad vs. klasická DB
Odlišné vlastnosti (OLTP vs. OLAP):
Uživatelé a orientace systému: zákazník vs. obchodník
Datový obsah: současná, detailní vs. historická, sloučená
Návrh databáze: ER model + aplikace vs. schéma hvězdy + subjekt
Přístupové vzory: aktualizace vs. read-only, ale komplexní dotazy
Vlastnost
Klasická DB
Datový sklad
Čas odezvy
ms – s
s–h
Operace
DML, např SQL
Jen čtení, zápis
Původ dat
30 – 60 dní
Snímky za čas. úsek
Organizace dat
Podle aplikace
Podle předmětu, času
Velikost
Malá až velká
Velká až velmi velká
Zdroje dat
Operační, interní
Operační, interní, externí
Činnosti
Procesy
Analýza
18
Datové sklady
Příklady použití
Maloobchod
Věrnost zákazníků
Marketing
Bankovnictví
Výdělečnost linek
Správa zisků
19
Výroba
Detekce podvodů
Odhad rizik
Aerolinie
Služby
Redukce cen
Správa logistiky
Správa majetku
Správa prostředků
Vláda
Kontrola cen
Plánování lidských
zdrojů
Datové sklady
Schéma vazeb datového skladu
Operační
prostředí
Extrakce
Transformace
Zavedení
OLAP
Uživatelé
DATOVÝ SKLAD
Získání údajů -> úprava a zavedení do datového skladu -> analýza -> zpřístupnění uživatelům
20
Datové sklady
Součásti datového skladu
Předání informace
Externí
Zdrojová data
Management & Správa
Datový
sklad
Multidimenz.
DB
Interní
(DBMS)
Produkční
Metadata
Data Mining
Archivní
OLAP
Místo
přípravy dat
Datové trhy
Reports/Dotazy
Získání dat
21
Uložení dat
Datové sklady
Získání informací
Zdrojová data
Produkční data
Interní data
Data uložená v privátních souborech (zpravidla XLS)
zaměstnanců organizace
Archivní data
Data získaná z různých operačních DB podniku pomocí
jednoznačných dotazů
Jeden ze základních předpokladů úspěšné analýzy – jde
většinou o velká kvanta dat
Externí data
Data z různých zdrojů, která mohou být pro organizaci užitečná
Externí zdroje dat třetích stran, například dlouhodobé
informace o kurzech akcií apod.
22
Datové sklady
Místo přípravy dat
Místo, kde probíhá tzv. příprava údajů – fáze ETL
(mezistupeň mezi vstupními daty a datovým skladem)
Může být i součástí datového skladu
Místo speciálně k tomuto účelu určené
Extrakce, Transformace, Loading
Výsledkem jsou data, která jsou připravena pro analýzu a
je možné je uložit do datového skladu
Soubory ve formátu vhodném pro nahrávání do datového
skladu
Relační DB (jednodušší manipulace s daty)
23
Datové sklady
Uložení dat
Jde o oddělené „skladiště“ pro uložení velkého množství
především historických dat
Je navrženo pro analýzu, ne pro rychlý přístup k datům
Jsou většinou pro uživatele „read-only“, s výjimkou
administrátora
Musí být přístupná pro více druhů nástrojů – odpovídající
rozhraní
Metadata
(DBMS)
Datový
sklad
24
Relační DB
(E-R model)
Datové trhy
Datové sklady
Relační DB
(dimenzionální
model)
Předání informace
Poskytuje informace pro různé uživatele
Začínající uživatelé: tiskové sestavy, jednoduché dotazy
Běžní uživatelé: statistická analýza, různá zobrazení dat,
předdefinované dotazy
Pokročilí uživatelé: provádí multidimenzionální analýzu,
formuluje vlastní OLAP dotazy, používá exekutivní IS
(data mining…)
25
Datové sklady
Složka managementu a správy
Nadřazena všem součástem datového skladu
Koordinace jednotlivých složek datového skladu
Používá informace uložené v metadatech
Zpravidla je spravováno administrátorem
Nejdůležitější funkce
Monitoring všech operací s datovým skladem
Ošetření a zotavení po chybách
Extrakce dat ze zdroje pro účely aktualizace datového skladu
Kontrola správnosti transformace dat
Zajištění správné funkce při získávání informací
Zajištění bezpečnosti dat a autorizace uživatelů
26
Datové sklady
Metadata – data popisující data
Popis struktury datového skladu
Operační metadata
Historie (původ) dat, monitorovací informace (statistiky, chyby
apod.), stav dat (archivní, aktuální)
Obsahují informace o všech zdrojích dat pro datový sklad
(struktura, umístění atd.)
Metadata o extrakci a transformaci
Schéma, dimenze, hierarchie, umístění a obsah datových trhů
Jaké metody byly použity při ETL fázi, různá omezení
Algoritmy používané pro sumarizaci
Metadata pro koncového uživatele
Informace o datovém skladu a datech v něm, další obchodní a
jiné informace, které může využít pro analýzu
27
Datové sklady
Příprava údajů - etapa ETL
Klíčová úloha správy datového skladu
ETL = Extraction, Transformation, Loading
Extrakce – výběr dat různými metodami
Transformace – ověření, čištění, integrace a časové
označení dat
Loading – přesun dat do datového skladu
Hlavní cíl: centralizace údajů
Nutné především proto, aby v datovém skladu byla dostatečně
kvalitní data
Nikdy nekončící proces (neustále nutnost aktualizovat).
28
Datové sklady
Hlavní úkoly ETL etapy
Určit data, která mají být uložena v datovém skladu
Určit zdroje dat, interní i externí
Příprava mapování mezi zdrojovými a cílovými daty
Stanovení pravidel pro extrakci dat
Určit pravidla pro transformaci a čištění dat
Plán pro agregaci tabulek
Návrh oblasti přípravy dat
Napsat procedury pro nahrávání dat
ETL pro tabulky dimenzí a faktů
29
Datové sklady
Extrakce
Zdroj: Data z nehomogenního operačního prostředí,
popř. z archivních dat
Identifikace zdrojů (struktury a aplikace)
Metoda extrakce pro každý zdroj
Manuální – napíši si sám SQL příkazy
S využitím nástrojů
Frekvence extrakcí pro každý zdroj
Periodická extrakce – z interních zdrojů
Občasná extrakce – z externích zdrojů (např. Internet)
První extrakce – provádí se především z archivních dat
30
Datové sklady
Extrakce – identifikace zdrojů
Výpis všech datových položek potřebných v tabulce faktů
Výpis všech dimenzí
Pro každou cílovou položku najít zdroj a jeho položku
Je-li více zdrojů pro jednu cílovou položku, vyber
preferovaný zdroj
Identifikace vícenásobných zdrojů pro jeden cíl –
stanovení konsolidačních pravidel
Identifikace vícenásobných cílů na jeden zdroj –
stanovení dělících pravidel
Určení implicitních hodnot
Zjištění chybějících hodnot ve zdrojových datech
31
Datové sklady
Extrakce – metody extrakce
Metoda extrakce statických dat
Vytvoření obrazu zdrojové databáze na výstupu
Používá se při iniciálním nahrávání dat do skladu
Metody extrakce při aktualizaci dat
Metody přímé extrakce
Metody odložené extrakce
32
Datové sklady
Extrakce – metody přímé extrakce
Liší se způsobem zachycení změn v DB od posledního
nahrání
Zachycení pomocí log souborů (vytvořených databází)
Zachycení pomocí databázových triggerů
Při každé změně se spustí trigger, který zapíše změnu do souboru
Zachycení pomocí samotných databázových aplikací
Editace aplikace tak, aby ukládala záznamy o provedených změnách v
DB
33
Datové sklady
Extrakce – metody přímé extrakce
SŘBD
Zdrojová DB
OPERAČNÍ
SYSTÉM
log
soubory
Zdrojová data
Triggery
Zachycení
pomocí
log souborů
Zachycení
Soubory
pomocí
generované DB aplikací
Výstupní
soubory
triggerů
Zachycení
pomocí
DB triggerů
Oblast přípravy dat
aplikací
34
Datové sklady
Extrakce – metody odložené extrakce
Nezachycují změny při jejich vzniku, ale až při nahrávání
se porovnává zdrojová a cílová DB
Zachycení pomocí časových razítek
Razítky jsou označeny záznamy, které byly přidány nebo editovány – ty
se pak při nahrávání dat naleznou (problém s mazáním)
Zachycení pomocí porovnávání souborů
Vytvoří se soubor s kopií dat ve stavu současném a včerejším, pak se
soubory porovnají (velmi neefektivní)
35
Datové sklady
Extrakce – metody odložené extrakce
SŘBD
Zdrojová DB
OPERAČNÍ
SYSTÉM
Zdrojová data
Včerejší
stav
Programy pro
extrakci
Soubory
získané z
razítek
36
Dnešní
stav
Programy pro
porovnání
Soubory
Zachycení
získané
pomocí
porovnáním porovnávání souborů
Zachycení
pomocí
časových razítek
Oblast přípravy dat
Datové sklady
Transformace
Cílem je zvýšit kvalitu vstupních dat a zvýšit jejich
použitelnost pro cílového uživatele
Někdy je kvalita vstupních dat velmi proměnlivá -> čištění
dat (odstranění nekvalitních dat)
Často je potřeba odstranit tzv. „anomálie“, které v
klasických databázích běžně vznikají
Příklady anomálií:
Např. atribut Adresa – 3 vs. 1 hodnota
Přechod z MS-DOSu na Windows – např. kódování češtiny
Lidský faktor – různé překlepy, pravopisné chyby
Potřeba rozdělení složených atributů na atomické
37
Datové sklady
Transformace – typické úkony
Selekce
Rozdělování/spojování
Konverze záznamů (standardizace různých zdrojů, lepší
použitelnost a srozumitelnost)
Sumarizace
Rozdělení záznamu (datum…), spojování více záznamů z
různých zdrojů
Konverze
Výběr vhodných atributů pro cílový sklad
Místo detailních dat je vhodnější je sumarizovat
Obohacení
Vytvoření lepšího pohledu na data na základě různých zdrojů
38
Datové sklady
Transformace – časté problémy
Konvence názvů pojmů a objektů
Nejednoznačnost údajů
Použití různých datových typů pro ukládání čísel
Chybějící hodnoty
Pohlaví zákazníka (M, muž, Muž), rodné číslo
Formáty čísel a textových řetězců
Nutné sjednotit terminologii požívanou různými zdroji dat
Doplnit, popř. ignorovat nebo označit nějakým příznakem
Duplicitní hodnoty
Většinou není příliš velký problém je odstranit, někdy je to však
časově náročné
39
Datové sklady
Transformace – časté problémy
Různé peněžní měny
Referenční integrita
Problém vznikne např. při přechodu z CZK na Euro
Neustálé změny v reálném světě zkreslují data – např. i po
zrušení oddělení firmy zůstanou v DB údaje o jeho
zaměstnancích
Chybějící datum
Časový aspekt je v datových skladech velmi důležitý, ve
vstupních datech však čas často chybí – často je nutné jej
doplnit
40
Datové sklady
Přenos dat
Přesun údajů a jejich uložení do tabulek datového skladu
Většinou jde o časově náročnou operaci, především u
iniciálního přenosu
Iniciální nahrávání
Inkrementální nahrávání
Nahrávání všech dat do prázdného skladu
Promítnutí změn v DB do datového skladu (provádí se
periodicky)
Přepis dat
Kompletní smazání obsahu skladu a nahrání aktuálních dat
41
Datové sklady
Přenos dat - módy nahrávání
Nahrání (Load)
Přidání (Append)
Přidání nových dat ke stávajícím, při duplicitě může uživatel
zvolit další postup
Destruktivní sloučení
Pokud cílová tabulka obsahuje data, pak jsou smazána a
nahrazena aktuálními
Stejné jako přidání, při stejných klíčích se přepíše hodnota
daného řádku
Konstruktivní sloučení
Při stejných klíčích se přidá nový prvek a označí se jako nový,
starý v datovém skladu zůstane
42
Datové sklady
Problémy fáze ETL
Je nutné zkontrolovat správnost dat v datovém skladu
Dochází k chybám na HDD, výpadkům spojení
Problémy mohou vzniknout při změně formátu vstupních
dat
43
Datové sklady
Shrnutí fáze ETL
EXTRAKCE DAT
Extrakce z heterogenních
a vnějších zdrojů dat
TRANSFORMACE DAT
Konverze a změna struktury
dat, podle transformačních
pravidel
INTEGRACE DAT
Kombinace dat z různých
zdrojů, založeno na principu
mapování zdrojů a cílů
ČIŠTĚNÍ DAT
Zlepšení kvality dat na základě
čistících pravidel
SUMARIZACE DAT
Vytvoření agregací dat,
založeno na předdefinovaných
procedurách
INICIÁLNÍ NAHRÁNÍ DAT
Natáhnutí velkého objemu
vstupních dat do datového
skladu
AKTUALIZACE METADAT
Ukládání a používání metadat
při každé z fází ETL
DALŠÍ NAHRÁVÁNÍ
Periodická aktualizace dat
v datovém skladu
44
Datové sklady
Analýza OLAP
Definice
Schémata
Operace
45
Datové sklady
Analýza OLAP
Slouží pro zpracování údajů uložených v datovém skladu
do podoby pro koncového uživatele, tedy manažera,
analytika
Definice (E. F. Codd)
„OLAP je volně definovaný řád principů, které poskytují
dimenzionální rámec pro podporu rozhodování“
Systémy OLAP umožňují pracovníkům přijímajícím rozhodnutí
přístup k údajům potřebným na tvorbu rozhodnutí.
46
Datové sklady
Fakta a dimenze
Každá OLAP krychle obsahuje 2 typy údajů – fakta a
dimenze
Fakta
Největší tabulka v DB, zpravidla jen jedna
Obsahuje numerické měrné jednotky obchodování
V kombinaci s tabulkami dimenzí tvoří určitá schémata
Dimenze
Logicky nebo hierarchicky uspořádané údaje
Textové popisy obchodování
Jsou menší a nemění se tak často
Nejčastěji: časové, geografické a produktové dimenze
(stromové struktury)
47
Datové sklady
Schémata tabulek dimenzí
Hvězdicové schéma (Star schema)
Tabulka faktů obsahuje cizí klíče do tabulky dimenzí, ty se
vztahují k jejím primárním klíčům
Snadno pochopitelné
Tabulky dimenzí však nejsou normalizované, je to tedy
poměrně pomalé
Tabulka dimenzí
Tabulka dimenzí
Tabulka faktů
Tabulka dimenzí
48
Tabulka dimenzí
Datové sklady
Schémata tabulek dimenzí
Schéma „sněhové vločky“ (snowflake schema)
Některé dimenze jsou složeny z mnoha relačně svázaných
tabulek
Rychlejší zavedení údajů
Nižší dotazovací výkon – více spojení tabulek
Tabulka dimenzí
Tabulka dimenzí
Tabulka dimenzí
49
Tabulka dimenzí
Tabulka faktů
Datové sklady
Schémata tabulek dimenzí
Model „souhvězdí“
Slouží pro sofistikované aplikace vyžadující více tabulek faktů
Sdílení tabulek dimenzí více tabulkami faktů
Jde spíše o spojení více hvězdicových schémat do jednoho
schématu
Tabulka dimenzí
Tabulka dimenzí
Tabulka faktů
Tabulka dimenzí
50
Tabulka dimenzí
Tabulka faktů
Datové sklady
Základní operace OLAP analýzy
Operace Drill-Down (vnoření) a Roll-Up (vynoření)
Operace Drill-Across
Posuny v hierarchii pro danou dimenzi směrem k detailní
úrovni, resp. k obecnější úrovni
Operace Roll-Up zahrnuje především sumační operace, drilldown přepočítání hodnot…
Přechod na jinou hierarchii definovanou nad stejnou dimenzí
Operace Drill-Through
Přechod na úroveň záznamů v tabulce – čtení konkrétních
hodnot tabulky faktů.
51
Datové sklady
Základní operace OLAP analýzy
Operace Slice & Dice
Jde o pohled na kostku pro jednu hodnotu jedné z dimenzí
Operace Rotation
Umožňuje pohled na kostku z různých úhlů pohledu – jde o
„změnu os“ datové kostky a tím o změnu výsledku operace
slice & dice (viz příklad)
52
Datové sklady
Úložiště multidimenzionálních údajů
Relační x Multidimenzionální databázový model
MOLAP (multidimenzionální OLAP)
ROLAP (relační databázový OLAP)
Údaje získávány z relačních tabulek
Uživateli předkládány jako multidimenzionální pohled
HOLAP (hybridní OLAP)
Data se získávají z DB nebo datového skladu
Ukládají se do vlastních datových struktur
Výkon x redundance dat (nároky na prostor)
Údaje v relačních tabulkách
Agregace se ukládají do multidimenzionálních struktur
DOLAP (desktop OLAP)
53
Datové sklady
Reference
Lacko L.: Datové sklady, analýza OLAP a dolování dat,
Computer Press, Brno 2003
Bartík V.: Datové sklady – přednášky, dostupné na
http://www.fit.vutbr.cz/~bartik/prednasky.zip
54
Datové sklady
Děkuji za pozornost
55
Datové sklady