SortCL: Datendefinition und -manipulation 4GL! IT- und Datenabteilungen sind auf Metadaten angewiesen, um ihre eigenen Systeme zu verstehen und ihre Tools und Prozesse aufeinander abzustimmen. Einige Tools verwenden jedoch: kryptische Metadaten, die nicht leicht verständlich sind versteckte Metadaten, so dass sie nicht geändert werden können binäre Metadaten, die andere Tools nicht verwenden können Die Metadaten, […]
continue reading
Datenklassifizierung: Daten katalogisieren und durchsuchen – und Datentransformations- + Schutzfunktionen anwenden! Benutzer von PII-Maskierungswerkzeugen wie FieldShield für strukturierte Flat-Files, DarkShield für semi/unstrukturtierte Datenquellen und CellShield für gezielte Datenmaskierung in Microsoft Excel®-Tabellen können ihre Daten katalogisieren und durchsuchen – und Datentransformations- und Schutzfunktionen als Regeln anwenden – unter Verwendung der integrierten Datenklassifizierungsinfrastruktur in ihrer gemeinsamen Front-End-IDE, […]
continue reading
. Paralleles Entladeprogramm für sehr große Datenbanken: ETL, Reorgs & Migration! Ein schneller Extraktionsschritt kann eine kritische Komponente sein: Datenbankarchivierung und -replikation Datenbankberichte und Migrationen Data Warehouse ETL-, ELT- und ODS-Operationen Offline-Berichterstattung und Schutz von Massendaten IRI FACT™ ist ein Dienstprogramm zum parallelen Entladen von sehr großen Datenbanktabellen (VLDB). FACT verwendet einfache Job-Skripte (unterstützt in […]
continue reading
. Integrieren, bereinigen, analysieren und auf Daten reagieren – alles auf einmal! Eine "Production Analytic Platform" ist ein modernes Datenintegrations-Paradigma, das von Barry Devlin, PhD, definiert wurde und Datenprozesse mit Informationen in einer Post-Data-Warehousing- und Data-Lake-Welt gleichsetzt. Die Production Analytic Platform vermählt Datenaufbereitung und -präsentation in Design- und vor allem Laufzeitaspekten, um Predictive Analytics mit […]
continue reading
PII in unstrukturierten Datenquellen: Definieren, erkennen und de-identifizieren! Mit IRI DarkShield können Sie Daten in mehreren semistrukturierten und unstrukturierten Dateiformaten und RDB-Spalten auf einmal klassifizieren, finden und löschen oder anderweitig maskieren (ebenso wie Gesichter und NoSQL DBs), indem Sie gemeinsame Datendefinitionen und benutzerdefinierte Kombinationen von Such- und Maskierungsfunktionen verwenden. Dabei können Sie auch Auftragsergebnisse […]
continue reading
Echtzeit-Datenmaskierung mit Triggern: In früheren Artikeln wurde die statische Datenmaskierung neuer Datenbankdaten mit Hilfe der /INCLUDE-Logik oder der /QUERY-Syntax in geplanten IRI FieldShield-Job-Skripten beschrieben, die Änderungen der Spaltenwerte erforderten, um Aktualisierungen zu erkennen. Dieser Artikel beschreibt einen passiveren, aber integrierten Weg zum Auslösen von FieldShield-Maskierungsfunktionen auf der Basis von SQL-Ereignissen, d.h. zum Maskieren von Daten, […]
continue reading
Herausforderungen: Möglicherweise haben Sie eines oder mehrere dieser zeitaufwendigen Probleme bei der Arbeit mit MS SQL Server-Datenbanken vor Ort oder in der Azure-Cloud: Datenermittlung: Profilerstellung, Klassifizierung, ERDs Be- und Entladen großer Tabellen Routinemäßige Versorgungsoperationen (Reorgs) Komplexe Abfragen oder PowerBI-Performance Migrations- oder Replikationsarbeiten Schlechte Datenqualität oder Einheitlichkeit Zugriffs- und Aktivitätskontrolle, Überwachung und Audit (Firewall) Maskierung von […]
continue reading
Herausforderungen: Anwendungen und Datenbanken haben ihre eigene Logik und einzigartigen Eigenschaften. Damit Testdaten in diesen Kontexten nützlich sind, müssen sie Produktionsmerkmale widerspiegeln, wie z.B: Auswahlbedingungen (Geschäftsregeln) Spaltenattribute und Transformationen Inter-Feld/Schlüssel-Beziehungen (referentielle Integrität) Wertebereiche und spaltenübergreifende Berechnungen Auch Testdaten zur Produktionsqualität müssen diese Attribute aufweisen: Typ – korrekte Spalten-/Feldwerte und Formate Breite – Werte mit aktuellen […]
continue reading
Herausforderungen: Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend! Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar […]
continue reading
Datenmaskierung: Der Schutz von personenbezogenen Daten! Inmitten pausenloser Berichte über Datenschutzverletzungen und einem wachsenden regulatorischen Umfeld für persönliche identifizierbare Informationen (PII) weltweit, sind mehrere Technologielösungen und Compliance-Dienste entstanden, um den Schutz von PII zu thematisieren. Die logische Sicherheit durch Verschlüsselung in der einen oder anderen Form ist ein gemeinsamer Nenner des Ansatzes, aber die meisten […]
continue reading