01 Data engineering
Dáta z rôznych systémov na jednom mieste
Postavíme spoľahlivú dátovú vrstvu, na ktorej môže stáť celý reporting. Dáta z ERP, CRM, databáz, API aj Excelov spojíme do jedného konzistentného zdroja.
- ETL/ELT pipeline Pravidelné a overiteľné loady z Oracle, SQL Servera, Hadoopu, API či súborov.
- Dátový sklad a modelovanie Dimenzionálny model, historizácia a jasne definované metriky.
- Automatizácia a orchestrácia Plánované spracovanie v Apache Airflow s monitoringom a notifikáciami.
- Výkon a kvalita dát Optimalizácia SQL, kontroly úplnosti a riešenie pomalých dávkových úloh.