SQL programmering för Data Warehousing och Data Mining

Översikt

Kursen är normalt 2 dagar men kan anpassas till längre eller kortare utbildning

Företagsintern kurs

Vill ni genomföra denna kurs skräddarsydd internt hos er? Anmäl intresse

Kursmål

Du får lära dig hur företagets rådata kan förvandlas till ett värdefullt Data Warehouse. Vilka särskilda krav som ställs på informationen i datalagret. Hur informationen kan samlas in, tvättas, aggregeras (slås samman) och slutligen presenteras på ett lättillgängligt sätt.

Sammanfattning

Företags möjligheter att generera och samla data har ökat lavinartat under det senaste decenniet i och med att datorkraft, lagringsutrymme och relationsdatabaser har blivit bättre och gått ned i pris. Ofta har insamlandet skett utan urskiljning. På senare tid har man börjat uppmärksamma att behovet av såväl tekniker som verktyg för att bearbeta och analysera datat ökat.

De flesta företag och myndigheter är idag fullt datoriserade och varje transaktion, varje e-post, varje kundkontakt, ger upphov till elektronisk information. Informationen lagras ofta i någon databas - och där blir det ofta liggande utan vidare bearbetning! Det är med andra ord viktigt att inse att "värdefull information" inte alltid är samma sak som "en stor mängd data". Det är också viktigt att inse att omvandlingen från data till information är långtifrån trivial. Utan rätt kunskaper inom området så är det lätt att misslyckas!

Under denna kurs får du lära dig hur du skriver SQL-kod så att organisationens rådata kan förvandlas till ett värdefullt Data Warehouse, vilka särskilda krav som ställs på informationen i datalagret, hur informationen kan samlas in, tvättas, aggregeras (slås samman) och slutligen kod för presentera datat på ett lättillgängligt sätt.

Mycket bra strukturerat.
Yngve Öst, Alandia Bolagen

Rekommenderar kursen
Oscar Persson, Tunstall

Rekommenderar kursen
Sarah Eriksson, Connecta

Rekommenderar kursen
Lotta Carlsson, Kollmorgen Särö AB

Rekommenderar kursen
Viveca Håkansson, FAGERHULTS BELYSNING

Vem bör deltaga

Kursen vänder sig till projektledare, datamodellerare, process- och verksamhetsutvecklare, dataadministratörer, systemutvecklare och personer ur verksamheter som har behov av att sätta sig in i vad ett Data Warehouse är, hur det struktureras och hur det praktiskt byggs upp.

Kursinnehåll

Bakgrund och grundläggande begrepp

Grundbegrepp
ETL-verktyg (Extrahera Transformera Ladda)
Data warehouse
Data warehouse, definition
- Ämnesindelning
- Integration
- Tidsberoende
Data Mining
Data mart
Vad skiljer en vanlig databas från ett data warehouse?
Vilka problem löser vi med ett data warehouse?

Angreppssätt och utvecklingsformer

Steg vid genomförande av data warehouse-utveckling?
- Nyttjande av ett data warehouse
Angreppssätt för att genomföra utvecklingsarbetet:
- Top-down
- Bottom-up
- Vattenfallsmodellen
- Spiralmodellen
Fungerar något angreppssätt bättre än ett annat?
- Bottom up
- Vattenfallsmodellen
- Spiralmodellen
Hur väljer vi angreppssätt?

Analys

Varför är analysfasen extra viktig?
- Klasser och koncept
- Karaktärisering
- Diskriminering
Följande analyser måste göras:
- Behovsanalys: behöver vi ett nytt system?
- Källsystemsanalys: vad har vi att utgå ifrån idag?
- Datamodellering: hur kommer datamodellen i systemet att se ut?
- Attributorienterad induktion
- Induktion: Attributseliminering
- Induktion: Generalisering
- Induktion: Ett exempel
- Attributsrelevans
- Klassjämförelser
- Hitta mitten
- Spridning

Metadata

Metadata: "data om data"
Varför är metadata viktigt i ett data warehouse?
Hur definieras metadata?
Hur används metadata?
- Relationer
- Vilka typer av relationer har vi?
- Nycklar
- Regler
- Cascade och Restrict vid Update och Delete
- Stored Procedures
- Triggers
- Funktioner
- Metadata i SQL server
- Exempel på info i Metadata

Design och arkitektur

Verktyg och tekniker för beslutsstöd
- Group by
- Aggregeringsfunktioner
- Aggregering och group by
- Having
Olika typer av sätt att strukturera datat i ett data warehouse:
- Datakuber
- Superaggregat – Rollup
- Kombinerad summering – CUBE
- Faktatabeller
- Dimensioner
- Stjärnor/Stars
- Flingor/Snowflakes
- Källsystemsanalys: vad har vi att utgå ifrån idag?
- Datamodellering: hur kommer den att se ut i systemet?
Multidimensionella modeller
Verktyg för att presentera informationen i ett data warehouse
OLAP (on-line analytical processing) och varianter:
- Olika typer av data
- ROLAP: Relational OLAP
- MOLAP: Multidimensional OLAP
- HOLAP: Hybrid Olap
Hur skiljer sig de olika varianterna av OLAP åt?

Preprocessning: att förbereda data för flytt till ett data warehouse

Metoder och arbetssätt för att förbereda befintlig data för flytt till ett data warehouse:
- Tvättning: rensa från oanvänd information
- Tvättning av data
- Tvättning: Brus
- Integrering: slå ihop med ny information
- Transformering: Omvandla data
- Reduktion: rensa bort data som är överflödig
- Kubaggregering
- Dimensionsreducering
- Kompression
- Parametrisering
- Hierarkisk generalisering
- Reduktion allmänt
- Omvandling till/från diskreta värden
Att kontinuerligt flytta data från olika applikationer
SQL-tips

Data Mining

Att lösa uppgiften
- Relevanta data
- Typ av kunskap
- Bakgrundskunskap
- Relevansmått
- Presentation
- Förhållandet till DB och DW
Data mining: att gräva i sitt data warehouse
- Begreppsbeskrivning
Att avgränsa data så att rätt information presenteras
Olika sätt att presentera data
- Presentationerna
- Associationsregler
- Trösklar

Övningar

Teori kommer att varvas med praktiska övningar vid dator.

Förkunskaper

Allmänna kunskaper om relationsdatabaser.

Tipsa kollega

Företagsintern kurs

Vill ni genomföra denna kurs skräddarsydd internt hos er? Anmäl intresse

Översikt

Kursen är normalt 2 dagar men kan anpassas till längre eller kortare utbildning

Tipsa kollega