Data-Warehouse-Modernisierung

Big Data

Was ist Big Data eigentlich? Aus Sicht der viadee geht es dabei um neue Technologien, die vor allem in zwei Bereichen neue Möglichkeiten bieten:

• Es stehen hochgradig parallele, günstige Plattformen für die klassische Massendatenverarbeitung zur Verfügung. Verarbeiten Sie täglich viele Daten und stoßen an Lastgrenzen? Dann ist Big Data vielleicht ein Thema für Sie.
• Die breite Speicherung und Nutzung von Text, Fotos, Videos und anderer bisher schwer analytisch fassbarer Datenformate wird vereinfacht bzw. überhaupt erst erschwinglich. Heben Sie diesen Datenschatz – wir unterstützen Sie gerne!

Die viadee forscht aktiv auf diesem Gebiet und betreibt eine eigene Big Data-Installation zu Testzwecken. Mit Apache Spark können wir Ihnen ein leistungsfähiges, bereits etabliertes Big Data-Framework vorstellen, das sich sehr gut für ETL, aber auch für andere Einsatzzwecke eignet.

Wir beraten Sie darüber hinaus zu in Frage kommenden Architekturen, beispielsweise bei der Nutzung von Echtzeit-Analysen oder bei der Integration von Big Data-Technologien mit Ihren vorhandenen Data-Warehouse-Lösungen sowie mit SAS.

Data Vault

Data Vault

Das Zauberwort „Agilität“ ist in aller Munde und erfasst auch die BI-Welt. Doch nicht nur die Vorgehensweisen, auch die Architekturen sollten agil werden. Konstant ist nur der Wandel. Wenn Sie Ihr Data Warehouse darauf vorbereiten möchten, ist die Data Vault-Methodik vielleicht etwas für Sie.

Ein Data Vault speichert die Daten in Ihrem Kern-Data-Warehouse so, dass die fachliche und technische Weiterentwicklung Ihres Unternehmens von vornherein mit eingeplant wird. Änderungen lassen sich dank der auf allgemeinen Schablonen basierenden Datenverarbeitung in sehr kurzer Zeit umsetzen. Um die Data-Vault-Methodik einzuführen, benötigen Sie keine „Big Bang“-Lösung – Ihr vorhandenes DWH kann durchaus Schritt für Schritt umgestellt werden.

Unsere zertifizierten Berater:innen bringen Expertise aus langjährigen Data-Warehouse-Projekten auf allen Ebenen ein, schulen bei Bedarf Ihre Mitarbeiter:innen und begleiten Ihr Projekt von Anfang an. Sprechen Sie uns an!

Power BI

Power BI

Treffen Sie fundierte Entscheidungen! Daten werden erst wertvoll, wenn sie zur Verbesserung von Handlungen genutzt werden. Mit Power BI können Sie eindrucksvolle Visualisierungen, interaktive Datenerlebnisse und prägnante Bericht erstellen. So bieten Sie Ihren Entscheider:innen und Analyst:innen stets den passenden Zugang zu den Daten, die sie brauchen. Gerne beraten wir Sie in allen Fragestellungen, um das Erlebnis für Ihren Nutzer:innen noch weiter zu verbessern:

• Datenintegration und /-Aufbereitung aus vielfältigen Quellen
• Aufbau von Datenmodellen, die für Ihre Nutzer verständlich sind und vielseitige, performante Abfragen ermöglichen
• Erstellen von Measures mit DAX
• Einführung von Continuous Integration und Deployment
• Aufbau der Governance, z.B. row-level-security
• Migration von anderen BI Werkzeugen (z.B. Congos) zu Power B

data build tool

data build tool (dbt)

Das „data build tool“ (dbt) ist im Kern ein in Python geschriebenes Open Source Werkzeug zum Erstellen und Verwalten von SQL-Transformationen. dbt ist kein grafisches ETL (Extract – Transform – Load) Werkzeug, sondern folgt dem Trend zu ELT (Extract – Load – Transform). dbt liefert ein sehr hilfreiches Gründgerüst für den Aufbau eines DWH – vor allem wenn sich dieses in den Wolken befindet – bei dem viele wichtige Funktionen für Continuous Integration und Deployment bereits definiert sind. Damit bringt dbt die Standards aus der Softwareentwicklung in die Welt der Datentransformation. So können sich die Entwickler:innen auf die Kernaufgaben der Datenmodellierung und Geschäftslogik konzentrieren.

Besonders, aber nicht nur für kleinere Projekte bietet dbt eine leichtgewichtige und offene Alternative zu Data-Warehouse-Automatisierungslösungen (DWA) wie Wherescape. Ähnlich wie DWA-Lösungen bietet dbt den Rahmen für eine schnelle und strukturierte DWH-Entwicklung. Dabei schreibt man tendenziell mehr Code selbst, hat so aber auch höhere Freiheitsgrade.

Gerne beraten wir Sie, wie auch ihr DWH von dbt profitieren kann.

Cloud Data Warehouse Lösungen

Cloud Data Warehouse Lösungen

Immer höhere Datenvolumen, unterschiedliche Datenformate und technologische Verbesserungen haben zu einer neuen Klasse von DWH Lösungen in der Cloud geführt, die Unzulänglichkeiten bisheriger Lösungen überwinden. Dies wird vor allem durch die Trennung von Rechenleistung und Datenspeicherung erreicht. Data Warehouse und Data Lake wachsen damit auch ohne spezielle „Big Data“ Technologien wieder enger zusammen und ermöglichen einen einheitlichen Zugriff. Die Prominentesten Vertreter dieser neuen Ära sind Snowflake, Google BigQuery, Azure Synapse Analytics und Amazon Redshift. Im Gegensatz zu anderen Lösungen für „Big Data“ sind die Cloud DWHs sind hoch verteilt und flexibel skalierbar, dabei aber sehr wartungsarm und erfordern keine komplizierte Cluster Verwaltung. So ergibt sich eine niedrige Einstiegshürde, die einen Start ohne große Kosten für Infrastruktur und Betrieb ermöglichen.

Neben allen Vorteilen bedeutet der Einsatz dieser Lösungen auch einen Paradigmenwechsel, bei dem wir Sie gerne beraten:

• Wir helfen Ihnen bei der Migration bestehender Daten und der Anbindung Ihrer Systeme
• Die Abrechnung nach tatsächlich verbrauchter Leistung bietet einerseits großes Einsparpotential, aber auch Fallstricke die zu unvorhergesehen hohen Kosten führen können. Wir helfen Ihnen diese Fallen zu vermeiden und Ihre Kosten zu optimieren.
• Sind Ihre Daten in der Cloud sicher? Wir helfen Ihnen Ihre Systeme vor unerlaubtem Zugriff zu schützen.