Hurtownia danych a baza danych – czym się różnią?

OLTP – baza danych do bieżących operacji

Wiele baz systemów operacyjnych działa w modelu OLTP, czyli Online Transaction Processing. Najważniejsze są tutaj szybki zapis i obsługa dużej liczby pojedynczych operacji: utworzenie zamówienia, aktualizacja klienta, wystawienie faktury, rejestracja płatności czy zmiana stanu magazynowego.

System transakcyjny powinien działać szybko i stabilnie w czasie rzeczywistym lub w rytmie bieżącej pracy firmy.

Problem zaczyna się wtedy, gdy chcemy na tej samej bazie wykonywać złożone analizy obejmujące wiele lat i duże ilości danych.

Czym jest hurtownia danych?

Hurtownia danych to środowisko przeznaczone do integracji danych, przechowywania historii i wykonywania analiz. Hurtownie danych pojawiły się jako odpowiedź na potrzebę oddzielenia analityki od codziennej pracy systemów transakcyjnych.

Hurtownie danych pobierają informacje z różnych źródeł, np. ERP, CRM, WMS, MES, księgowości, platform e-commerce, aplikacji biznesowych, aplikacji mobilnych, arkuszy, API, urządzeń IoT i wybranych zewnętrznych źródeł.

W przeciwieństwie do bazy konkretnej aplikacji nowoczesna hurtownia tworzy wspólny model analityczny ponad wieloma systemami.

Centralna baza danych nie zawsze jest hurtownią

Firma może zbudować jedną dużą, centralną bazę danych i skopiować do niej tabele z kilku systemów. To jednak nie wystarczy, żeby powstała dobrze zaprojektowana hurtownia danych.

Jeżeli dane nie są harmonizowane, w centralnej bazie nadal mogą istnieć różne definicje klienta, różne identyfikatory produktu, niespójne waluty, odmienne kalendarze i kilka wersji sprzedaży lub marży.

Hurtownia danych powinna porządkować znaczenie danych, a nie tylko ich lokalizację.

Jak hurtownia integruje dane z różnych źródeł?

Integracja danych polega na pobieraniu informacji, mapowaniu ich do wspólnych struktur i stosowaniu reguł jakości.

Przykład: ERP może identyfikować klienta numerem 100234, CRM adresem e-mail, a system e-commerce własnym ID. Hurtownia danych musi powiązać te rekordy tak, aby użytkownik biznesowy widział jednego klienta.

Integracja może obejmować mapowanie danych, standaryzację nazw, usuwanie duplikatów, ujednolicanie walut, wspólne definicje KPI i kontrolę jakości danych.

Procesy ETL i ELT

Procesy ETL odpowiadają za pobieranie i przygotowanie danych.

ETL oznacza Extract, Transform, Load:

1. ekstrakcja danych,

2. transformacja danych,

3. ładowanie do hurtowni.

Transformacja może obejmować czyszczenie, mapowanie, walidację i agregację. W nowoczesnych środowiskach stosuje się również ELT – dane są najpierw ładowane, a następnie przekształcane w docelowej platformie.

Więcej znajdziesz w materiale ETL w firmie.

Dane historyczne – jedna z kluczowych różnic

Baza danych systemu operacyjnego koncentruje się na obsłudze bieżącego procesu. Hurtownia danych jest projektowana tak, aby przechowywać i analizować dane historyczne.

Dzięki temu firma może sprawdzić, jak zmieniała się marża produktu, rentowność klientów, koszty, stany magazynowe, wyniki oddziałów i trendy sprzedaży.

To ważne dla controllingu, forecastingu i analizy przyszłych wyników.

OLTP a OLAP

Baza transakcyjna i hurtownia mają inne profile obciążeń.

OLTP – wiele małych operacji, szybki zapis i aktualizacja.

OLAP – wykonywanie analiz, agregacje i eksploracja danych.

To jeden z powodów, dla których zwykła relacyjna baza systemu ERP nie powinna automatycznie pełnić roli całej platformy analitycznej.

Wydajność i duże ilości danych

Zaawansowane analizy mogą wymagać odczytania milionów rekordów, agregacji danych z kilku lat i porównania wielu wymiarów jednocześnie.

Baza operacyjna jest projektowana tak, aby obsługiwać transakcje. Hurtownia jest projektowana pod analizę.

W zależności od technologii hurtownia może wykorzystywać przetwarzanie kolumnowe, partycjonowanie, indeksowanie, agregaty, kompresję i skalowanie mocy obliczeniowej.

Celem jest szybkie generowanie raportów bez obciążania systemów transakcyjnych.

Hurtownia chroni systemy operacyjne

Jeżeli każdy raport BI wykonuje ciężkie zapytania bezpośrednio na produkcyjnej bazie ERP, może to zwiększać jej obciążenie i komplikować utrzymanie.

Hurtownia oddziela dwa światy:

operacje → systemy transakcyjne

analizy → magazyn danych / hurtownia

To pozwala projektować środowiska zgodnie z ich rzeczywistą rolą.

Model danych w hurtowni

Model relacyjny stosowany w aplikacji jest często zoptymalizowany pod spójność transakcji i ograniczenie redundancji. Projekt hurtowni danych ma inny cel: ułatwić analizę.

Popularny model wymiarowy wykorzystuje tabele faktów, tabele wymiarów, miary, hierarchie i schemat gwiazdy.

Dzięki temu użytkownicy końcowi mogą analizować sprzedaż według klienta, produktu, czasu, kanału czy lokalizacji.

Szerzej: Architektura hurtowni danych.

Hurtownia danych a Business Intelligence

Business Intelligence wykorzystuje przygotowane dane do raportowania, dashboardów i eksploracji danych.

Power BI może łączyć się bezpośrednio z bazą danych. Przy prostym środowisku jest to poprawne. W większej organizacji problemem stają się jednak różne modele w wielu raportach, powielane transformacje, inne definicje KPI, wiele połączeń do systemów źródłowych i trudne utrzymanie.

Hurtownia danych tworzy wspólną warstwę pod Business Intelligence.

Zobacz Business Intelligence dla firm.

Microsoft SQL Server a hurtownia danych

Microsoft SQL Server lub Microsoft SQL może być zarówno technologią używaną przez zwykłą bazę aplikacyjną, jak i elementem środowiska hurtowni.

Technologia sama w sobie nie definiuje, czy mamy do czynienia z bazą operacyjną czy hurtownią. Decydują przeznaczenie, model danych, sposób zasilania, źródła, historia i charakter zapytań.

Dlatego pytanie „Microsoft SQL czy hurtownia?” jest źle postawione. Hurtownia może być zbudowana z wykorzystaniem Microsoft SQL Server albo innej platformy.

Hurtownia danych a ERP

ERP jest systemem operacyjnym i korzysta z własnej bazy danych. Hurtownia może pobierać dane z ERP i łączyć je z CRM, WMS, księgowością i innymi źródłami.

ERP odpowiada za procesy. Hurtownia za integrację, historię i analizę.

Pełne porównanie znajdziesz w artykule Hurtownia danych a ERP.

Hurtownia danych a jezioro danych

Jeziora danych przechowują zwykle bardziej surowe i nieprzetworzone dane, także dane nieustrukturyzowane.

Hurtownia danych jest mocniej związana z uporządkowanym modelem i potrzebami analizy biznesowej.

Współczesne platformy mogą łączyć oba podejścia, szczególnie gdy firma potrzebuje zaawansowanych analiz albo modeli uczenia maszynowego.

Nie rozwijamy tutaj szerzej architektury lakehouse, ponieważ główną intencją tej strony jest porównanie hurtowni i bazy danych.

Czy hurtownia musi działać w czasie rzeczywistym?

Nie.

Dane mogą być ładowane raz dziennie, co godzinę, co kilka minut albo w wybranych zastosowaniach w czasie rzeczywistym. Częstotliwość powinna wynikać z potrzeb biznesowych.

Raport finansowy może być aktualizowany raz dziennie, podczas gdy monitoring operacyjny może wymagać częstszych danych.

Różne rodzaje baz danych a rola hurtowni

Baza danych nie oznacza wyłącznie klasycznej relacyjnej bazy SQL. W firmach spotykamy relacyjne bazy danych, rozwiązania NoSQL, bazy dokumentowe, systemy in-memory oraz specjalizowane magazyny danych. Każda technologia ma inne mocne strony.

Relacyjna baza dobrze sprawdza się tam, gdzie potrzebne są uporządkowane rekordy, transakcje i spójne relacje. Rozwiązania NoSQL bywają używane przy dużej zmienności struktur lub danych nieustrukturyzowanych. Microsoft SQL Server jest przykładem technologii, która może obsługiwać zarówno bazę systemu operacyjnego, jak i element środowiska analitycznego.

Rodzaj silnika nie odpowiada jednak na pytanie „hurtownia danych a baza danych”. Typowa hurtownia jest definiowana przede wszystkim przez cel, architekturę, źródła danych, historię i sposób wykonywania analiz.

Dlatego tworzenie hurtowni danych nie oznacza po prostu wyboru innego produktu bazodanowego. Projekt hurtowni musi obejmować integrację, reguły jakości, model biznesowy i warstwę dostępu.

Gdy centralna baza przestaje wystarczać

Centralna baza może przez pewien czas upraszczać raportowanie, szczególnie gdy firma ma niewiele źródeł. Wraz ze wzrostem organizacji pojawiają się jednak kolejne aplikacje biznesowe, źródła danych i definicje.

Dane muszą wtedy nie tylko znaleźć się w jednym miejscu. Muszą zostać zharmonizowane.

Jeżeli centralna baza zawiera kilka wersji klienta, produktu lub marży, użytkownik nadal musi sam ustalać, która liczba jest prawidłowa. To ogranicza szybki dostęp do cennych informacji i utrudnia lepsze zarządzanie firmą.

Nowoczesna hurtownia rozwiązuje ten problem przez wspólne modele i reguły. Nie chodzi o same dane, lecz o ich znaczenie i możliwość ponownego wykorzystania w wielu raportach.

Utrzymanie hurtowni danych i dalszy rozwój

Po uruchomieniu środowiska potrzebne jest utrzymanie hurtowni danych. Systemy źródłowe zmieniają struktury, pojawiają się nowe pola, aplikacje mobilne, platformy sprzedażowe, urządzenia IoT i kolejne źródła zewnętrzne. W wybranych organizacjach dochodzą także dane z mediów społecznościowych.

Dlatego projekt powinien obejmować monitoring zasileń, obsługę błędów, jakość danych, bezpieczeństwo, dokumentację i odpowiedzialność za zmiany.

Dla działu IT kluczowe są następujące elementy: stabilność integracji, kontrola kosztów, łatwa integracja nowych źródeł i wsparcie techniczne. Dla biznesu kluczowe elementy to z kolei wiarygodne KPI, szybki dostęp do informacji i możliwość wykonywania analiz bez ręcznego przygotowywania danych.

Wraz z rozwojem organizacji dobra architektura może wspierać także zaawansowane analizy, prognozowanie, zarządzanie relacjami z klientami oraz modele uczenia maszynowego.

Baza danych czy hurtownia – czego potrzebuje firma?

Sama baza danych może wystarczyć, gdy:

• firma korzysta głównie z jednego systemu,

• raportowanie jest proste,

• potrzebne są przede wszystkim bieżące informacje,

• nie trzeba łączyć wielu źródeł,

• obecne systemy dostarczają wystarczające raporty,

• skala danych i liczba użytkowników są niewielkie.

Hurtownia staje się potrzebna, gdy:

• istnieje wiele baz i systemów,

• raporty są łączone ręcznie,

• różne działy pokazują różne wyniki,

• potrzebna jest historia,

• Power BI korzysta z wielu bezpośrednich połączeń,

• integracja danych staje się trudna,

• ilości danych rosną,

• przygotowanie danych zajmuje więcej czasu niż analiza.

Wtedy problem nie dotyczy już pojedynczego raportu. Dotyczy architektury całego środowiska.

Co to oznacza dla CFO i controllingu?

CFO nie potrzebuje „większej bazy” jako celu samego w sobie. Potrzebuje rzetelnych informacji, jednej wersji marży, historii kosztów i przychodów, łatwego dostępu do danych, możliwości porównania planu i wykonania, szybkiego raportowania i wsparcia świadomych decyzji.

Hurtownia może być elementem, który porządkuje te dane, udostępnia je do analiz i wspiera świadome decyzje.

Co to oznacza dla COO i IT?

Dla COO i IT kluczowe są stabilność systemów, liczba integracji, jakość danych, bezpieczeństwo, wydajność, łatwa integracja kolejnych źródeł, utrzymanie hurtowni danych, wsparcie techniczne i odpowiedzialność za rozwiązanie.

To dlatego decyzja o tworzeniu hurtowni danych powinna uwzględniać zarówno potrzeby biznesu, jak i architekturę technologiczną.

Jak wygląda projektowanie i tworzenie hurtowni danych?

Projektowanie hurtowni danych zaczyna się od problemu, a nie od wyboru technologii.

Typowy proces obejmuje następujące elementy:

1. określenie celów,

2. identyfikację źródeł danych,

3. analizę jakości,

4. model danych,

5. procesy ETL/ELT,

6. integrację,

7. testy,

8. udostępnienie użytkownikom,

9. monitoring i utrzymanie.

Pełny proces opisujemy w artykule Wdrożenie hurtowni danych.

Jak podchodzi do tego VNAV?

VNAV nie zakłada z góry, że firma potrzebuje hurtowni.

Najpierw analizujemy, gdzie dane są rozproszone, jakie raporty powstają ręcznie, które wskaźniki są niespójne, co ogranicza obecne systemy, czego potrzebuje CFO, controlling, COO i zarząd oraz czy problemem jest baza, integracja, model danych czy cały sposób raportowania.

Dopiero potem projektujemy rozwiązanie.

Wartość VNAV polega na połączeniu perspektywy biznesowej i technologicznej: CFO + controlling + hurtownia danych + Business Intelligence.

Przykład: firma produkcyjna

Firma korzysta z ERP, MES, WMS i księgowości. Każdy system działa poprawnie jako narzędzie operacyjne.

Problem pojawia się, gdy CFO chce zobaczyć rentowność produktu z uwzględnieniem materiałów, produkcji, magazynu, logistyki, rabatów i kosztów pośrednich.

Żadna pojedyncza baza danych może nie zawierać całego obrazu. Hurtownia integruje dane i pozwala wykonać kompleksową analizę bez zastępowania istniejących systemów.

FAQ

Czy hurtownia danych jest bazą danych?

Może korzystać z technologii bazodanowej, ale jej przeznaczenie i architektura są inne niż w typowej bazie systemu operacyjnego.

Czy hurtownia zastępuje ERP?

Nie. ERP pozostaje systemem operacyjnym i jednym ze źródeł danych.

Czy Power BI wymaga hurtowni?

Nie zawsze. Przy małej liczbie źródeł bezpośrednie połączenie może być wystarczające.

Jakie są 3 rodzaje baz danych?

Istnieje wiele klasyfikacji. W praktycznym uproszczeniu można wskazać relacyjne bazy danych, nierelacyjne bazy NoSQL oraz specjalizowane systemy analityczne / magazyny danych.

Czy hurtownia wspiera uczenie maszynowe?

Tak. Uporządkowane dane historyczne mogą być podstawą do modeli predykcyjnych i uczenia maszynowego.

Kiedy warto zbudować hurtownię?

Gdy problemem staje się rozproszenie danych, ręczne raportowanie, brak historii i kilka wersji tych samych KPI.

Źródła

• Oracle – What Is a Data Warehouse?

• Microsoft Learn – Dimensional modeling in Fabric Data Warehouse

• IBM – OLTP vs OLAP

• Microsoft – SQL Server

Następny krok

Jeżeli Twoja firma ma kilka baz danych, ERP, CRM i Excela, a przygotowanie jednego raportu nadal wymaga ręcznego łączenia informacji, zobacz Hurtownia danych dla firm – projektowanie i wdrożenie albo skontaktuj się z Venture Navigator.