Czym jest hurtownia danych?

Jeżeli potrzebujesz szerszego wprowadzenia, zobacz również materiał: czym jest hurtownia danych i jak działa.

Hurtownia danych jest środowiskiem zaprojektowanym przede wszystkim do integracji danych, przechowywania danych historycznych oraz ich analizy.

Nie zastępuje systemów operacyjnych. Działa ponad nimi.

Przykładowo firma może posiadać ERP, CRM, WMS, MES, system księgowy, platformę e-commerce i pliki Excel. Każdy z tych systemów ma własne źródła danych i własną strukturę danych.

Hurtownia pozwala pobierać dane z różnych źródeł, standaryzować je i budować jeden wspólny model analityczny.

Dlaczego zwykła baza danych często nie wystarcza do analiz zarządczych?

Wyobraźmy sobie firmę produkcyjną.

ERP zawiera informacje o sprzedaży. MES przechowuje dane produkcyjne. WMS posiada dane magazynowe. System księgowy zawiera koszty. CRM posiada informacje o klientach.

Zarząd zadaje jednak pytanie:

Ile naprawdę zarobiliśmy na produkcie X sprzedanym klientowi Y, po uwzględnieniu materiałów, produkcji, logistyki, rabatów i pozostałych kosztów?

Żaden pojedynczy system może nie posiadać wszystkich informacji potrzebnych do udzielenia odpowiedzi.

ERP + MES + WMS + księgowość + CRM nie muszą zostać zastąpione. Hurtownia tworzy warstwę ponad istniejącymi systemami.

Jak hurtownia danych łączy różne źródła danych?

W uproszczeniu:

ERP → MES → WMS → CRM → HURTOWNIA DANYCH → analiza / controlling / raportowanie

Do tego mogą dochodzić księgowość, Excel, e-commerce, systemy sprzedażowe i inne aplikacje biznesowe.

Proces wymaga pobrania danych, ich transformacji, ujednolicenia i załadowania do środowiska docelowego.

Tradycyjnie proces ten określany jest jako ETL: Extract → Transform → Load.

W nowoczesnych architekturach spotykamy również podejście ELT.

Najważniejsza z perspektywy biznesowej nie jest jednak sama technologia. Kluczowe jest to, aby dane oznaczały to samo niezależnie od źródła.

Spójność danych – jedna wersja prawdy

Jedną z najważniejszych korzyści z tworzenia hurtowni danych jest spójność danych.

W wielu przedsiębiorstwach na tym samym spotkaniu pojawiają się trzy raporty pokazujące trzy różne wartości sprzedaży: sprzedaż ma swój Excel, finanse raport z systemu księgowego, operacje raport ERP.

Hurtownie danych pozwalają zbudować wspólne zasady dotyczące klientów, produktów, kosztów, przychodów, marży, czasu, oddziałów, kanałów sprzedaży i KPI.

Dane historyczne – kolejna ważna różnica

Baza systemu operacyjnego przede wszystkim odzwierciedla aktualny stan procesu.

Hurtownie danych są natomiast projektowane tak, aby umożliwiać również analizę danych historycznych.

Firma może chcieć wiedzieć:

• jak zmieniała się marża produktu przez 36 miesięcy,

• jak zmieniała się rentowność klientów,

• jak zmieniały się ceny zakupu,

• jak wzrost kosztów energii wpływał na produkcję,

• jak zmieniała się rotacja zapasów,

• jak kształtowały się wyniki poszczególnych oddziałów.

Czy hurtownia danych działa w czasie rzeczywistym?

W zależności od potrzeb biznesowych dane mogą być aktualizowane raz w miesiącu, raz dziennie, co godzinę, co kilka minut albo w wybranych zastosowaniach niemal w czasie rzeczywistym.

Nie każda firma potrzebuje jednak danych w czasie rzeczywistym. Częstotliwość powinna wynikać z potrzeb biznesowych, a nie z samej możliwości technologicznej.

Hurtownia danych chroni systemy operacyjne

Zaawansowane zapytania analityczne mogą wymagać przetworzenia bardzo dużej ilości danych.

Gdyby wszystkie takie analizy wykonywać bezpośrednio na produkcyjnej bazie ERP, mogłyby zwiększać jej obciążenie.

Hurtownia pozwala oddzielić dwa światy:

operacje → systemy transakcyjne

oraz

analiza → środowisko analityczne.

Baza danych czy hurtownia danych – czego potrzebuje Twoja firma?

Sama baza danych może wystarczyć, jeśli:

• firma korzysta przede wszystkim z jednego systemu,

• raportowanie jest proste,

• potrzebne są głównie aktualne dane,

• nie występują istotne problemy ze spójnością,

• ilości danych są niewielkie,

• analiza danych nie wymaga łączenia wielu systemów.

Hurtownia danych staje się szczególnie wartościowa, gdy:

• firma posiada wiele różnych systemów,

• dane są ręcznie łączone w Excelu,

• przygotowanie raportów zajmuje wiele godzin albo dni,

• poszczególne działy pokazują różne wyniki,

• trudno analizować dane historyczne,

• firma potrzebuje analiz przekrojowych,

• system ERP nie odpowiada na wszystkie pytania zarządcze,

• organizacja chce ograniczyć ręczne przygotowywanie raportów,

• zarząd potrzebuje jednego wiarygodnego źródła informacji.

Przykład: firma produkcyjna z ERP, MES i WMS

Firma produkcyjna może mieć dobrze działające systemy ERP, MES i WMS.

ERP – zamówienia, dokumenty, sprzedaż, część procesów finansowych.

MES – przebieg produkcji, maszyny, operacje, czasy.

WMS – ruch magazynowy, zapasy, lokalizacje.

Księgowość – ostateczne ujęcie finansowe kosztów i przychodów.

Problem pojawia się, gdy CFO albo prezes chce zobaczyć rentowność produktu uwzględniając jednocześnie dane operacyjne i finansowe.

Jeżeli problem dotyczy przede wszystkim ograniczeń systemu ERP, warto przeczytać również: Hurtownia danych a ERP – czym się różnią.

Hurtownia danych a jezioro danych

Jeziora danych – Data Lake – pozwalają przechowywać ogromne ilości danych w bardziej surowej postaci, również danych nieustrukturyzowanych.

Hurtownie danych są natomiast historycznie mocniej związane z uporządkowanym modelem przygotowanym do analizy biznesowej.

Współczesna architektura danych coraz częściej łączy elementy obu podejść.

Jak wygląda architektura hurtowni danych?

W klasycznym ujęciu architektura hurtowni danych może być przedstawiona w trzech warstwach.

1. Warstwa danych

Odpowiada za pobieranie i przechowywanie informacji pochodzących z różnych źródeł.

2. Warstwa analityczna

Tutaj dane są porządkowane, agregowane i przygotowywane do wykonywania analiz.

3. Warstwa dostępu

Obejmuje narzędzia dostępu wykorzystywane przez użytkowników końcowych do raportowania, eksploracji danych i analizy biznesowej.

Jeżeli interesuje Cię techniczna strona projektu, zobacz: Architektura hurtowni danych – jak ją zaprojektować.

Jak wygląda wdrożenie hurtowni danych?

Dobre wdrożenie hurtowni danych nie zaczyna się od wyboru serwera czy technologii.

Najpierw trzeba zrozumieć, jakie problemy organizacja chce rozwiązać.

Proces może obejmować:

1. zdefiniowanie celów biznesowych,

2. określenie potrzeb użytkowników końcowych,

3. identyfikację źródeł danych,

4. analizę jakości danych,

5. zaprojektowanie modelu danych,

6. przygotowanie procesów integracji danych,

7. budowę i testowanie,

8. walidację wyników,

9. udostępnienie rozwiązania użytkownikom,

10. regularne monitorowanie i utrzymanie hurtowni danych.

Więcej opisujemy w osobnym materiale: Wdrożenie hurtowni danych krok po kroku.

Jakie są przykłady zastosowania hurtowni danych?

Najczęstsze przykłady obejmują:

• analizę wyników finansowych,

• analizę rentowności klientów,

• analizę rentowności produktów,

• controlling,

• analizowanie trendów sprzedaży,

• porównywanie oddziałów,

• monitorowanie kosztów,

• forecasting,

• analizę zapasów,

• analizę produkcji,

• analizę zachowań klientów,

• wykorzystanie danych przez modele uczenia maszynowego.

Jakie są 3 rodzaje baz danych?

Istnieje wiele sposobów klasyfikowania baz danych. W praktycznym uproszczeniu można wskazać:

1. relacyjne bazy danych,

2. nierelacyjne bazy danych – NoSQL,

3. analityczne magazyny danych i hurtownie danych.

Czym jest hurtownia?

W kontekście IT słowo „hurtownia” jest skrótem od hurtownia danych.

Nie chodzi po prostu o bardzo dużą bazę danych. Hurtownię wyróżnia przede wszystkim jej przeznaczenie: integruje dane pochodzące z różnych źródeł, przechowuje historię oraz przygotowuje je do analizy i podejmowania decyzji.

Czy każda firma potrzebuje hurtowni danych?

Nie.

Jeżeli firma ma jeden system, niewielką liczbę danych i proste potrzeby raportowe, budowa hurtowni może być niepotrzebnym skomplikowaniem infrastruktury.

Ale wraz ze wzrostem organizacji pojawia się coraz więcej aplikacji biznesowych, źródeł danych, raportów, użytkowników, definicji KPI i danych historycznych.

W pewnym momencie problemem przestaje być zdobycie danych. Problemem staje się zarządzanie danymi i ich spójność.

Hurtownia danych a baza danych – podsumowanie

Baza danych służy przede wszystkim bieżącej obsłudze danych określonego systemu lub procesu. Hurtownia danych służy przede wszystkim ich integracji i analizie.

Baza danych odpowiada na pytanie:

„Co dzieje się teraz w systemie?”

Hurtownia pomaga odpowiedzieć:

„Co wydarzyło się w całej firmie, dlaczego tak się stało i co wynika z tego dla kolejnych decyzji?”

Najczęściej firma potrzebuje obu.

System ERP, CRM czy WMS korzysta ze swojej bazy danych i realizuje bieżące procesy. Hurtownia danych buduje nad nimi wspólną warstwę analityczną.

Jeśli Twoja firma ma dane rozproszone między ERP, księgowością, CRM, Excelem lub innymi systemami i przygotowanie jednego raportu wymaga ręcznego łączenia informacji, warto najpierw sprawdzić, czy problem rzeczywiście wymaga nowej technologii, czy przede wszystkim uporządkowania obecnych źródeł danych.

Zobacz, jak VNAV podchodzi do tworzenia hurtowni danych dla firm lub skontaktuj się z naszymi ekspertami, aby omówić źródła danych i obecny sposób raportowania.