Projektowanie hurtowni danych. Tworzenie procesów ETL

Zajęcia projektowe dedykowane są dla studentów i studentek semestrów V do VII studiów I i I semestru II stopnia Wydziału IMiI.

Zakres merytoryczny szkolenia obejmuje następującą tematykę:

1. Dokumentacja hurtowni danych. Model analityczny. Model logiczny i fizyczny. Przypadki użycia.
2. Instalacja środowiska hurtowni danych. Wybór bazy danych – MySQL, PGSQL
3. Narzędzia klienckie i praca w konsoli. Sterowniki i macierz uprawnień.
4. DDL – Data Definition Language. Tworzenie struktur. Modele danych. Postać normalna. Redundancja.
5. Modele hurtowni – model relacyjny vs model gwiazdy.
6. Ekstrakcja danych z systemów zewnętrznych – sposoby pozyskiwania danych.
7. Warstwy hurtowni danych. model transportowy, warstwa detaliczna (STG, DDS, CRD).
8. Wymagania funkcjonalne vs procesy przetwarzania danych. PL/SQL.
9. Procesy ETL. Narzędzia natywne, niskopoziomowe.
10. Narzędzia wysokopoziomowe. SAS, IBM InfoSphere, Narzędzia OpenETL
11. Wyodrębnienie miar i wymiarów. Warstwa agregowana (struktury płaskie, data mart). Wykorzystanie PL/SQL i narzędzi ETL.
12. Wersjonowane źródło danych. Wersje rekordu. Sposoby zamykania rekordów. SCD.
13. Flow i harmonogramowanie procesów ETL.
14. Wydajność hurtowni danych. Przetwarzanie bez transakcji i transakcyjna baza danych. Indeksy. Partycjonowanie.
15. Warstwa raportowa, Bussiness Inteligence.