Talend

Daten­in­te­gra­tion

Tal­end bietet hier­bei einen ein­heitlichen Ansatz, der die schnelle Inte­gra­tion von Dat­en, die Trans­for­ma­tion und Zuord­nung mit automa­tisierten Qual­ität­sprü­fun­gen kom­biniert, um bei jedem einzel­nen Schritt ver­trauenswürdi­ge Dat­en zu gewährleis­ten. Die Daten­in­te­gra­tion bildet das Zen­trum von Tal­end Data Fab­ric. Das Ein­le­sen von Dat­en aus diversen Quellen und die inte­gri­erte Date­nauf­bere­itungs­funk­tion zählen zu den Self-Ser­vice-Tools die Dat­en vom ersten Tag an nutzbar machen. Sowohl Cloud Data Ware­house als auch kom­plexe Mul­ti-Cloud-Pro­jek­te kön­nen mit Tal­end Data Fab­ric bear­beit­et wer­den. Diverse Daten­in­te­gra­tions­möglichkeit­en wer­den von Tal­end darunter angeboten:

Data Inte­gra­tion

Mit den Daten­in­te­gra­tionslö­sun­gen kön­nen Unternehmen auf alle Dat­en zugreifen und diese von über­all aus ver­wal­ten. Mehr als 1.000 Kon­nek­toren und Kom­po­nen­ten kön­nen dabei ver­wen­det wer­den, um jede Daten­quelle in jed­er Datenumge­bung verbinden zu kön­nen. Dieser Vor­gang kann in ein­er Cloud oder on-premis­es erfol­gen. Die Entwick­lung und Imple­men­tierung von Daten­pipelines, die darüber hin­aus wiederver­wen­det wer­den kön­nen, kön­nen hier­bei mit Drag-and-Drop ein­fach auf die Benutze­r­ober­fläche gezo­gen werden.

Vorteile:

• Die Skalierung von riesi­gen Daten­sätzen für Advanced Ana­lyt­ics und Spark-Plattformen
• Zusam­me­nar­beit mit führen­den Cloud-Anbietern
• Qual­i­ta­tiv hochw­er­tige Daten
• Diverse Ver­wal­tungsmöglichkeit­en
• Flex­i­bil­ität inner­halb der Datenintegration

Pipeline Design­er

Tal­end Pipeline Design­er ist eine web­basiere Self­ser­vice Anwen­dung, die Roh­dat­en ver­ar­beit­en kann und zur Analyse dieser Dat­en beiträgt. Pipelines kön­nen Dat­en aus fast jed­er Quelle extrahieren, verbessern und trans­formieren und sind darüber hin­aus wiederver­wend­bar. Diese kön­nen im Anschluss an das Ziel­sys­tem des Unternehmens weit­ergeleit­et wer­den und dienen dabei als Grund­lage für Dashboards.

Vorteile:

• Schnelle Entwick­lung von Pipelines
• Möglichkeit der Skalierung mit nativ­er Unter­stützung für die neusten Hybrid- und Multi-Cloud-Technologien
• Pro­duk­tiv­itätssteigerung durch Echtzeit-Entwick­lung und- Debugging
• Sofor­tiger Erhalt von Erkenntnissen
• Tal­end Sup­port Teams
• Native Aus­führung von Pipelines

Data Inven­to­ry

Diese leicht­gewichtige Lösung dient zur Datenüber­prü­fung in der Tal­end Cloud. Ein­fache Werkzeuge des Dat­en- und Meta­daten­man­age­ments unter­stützen den Vor­gang, dass Datenkon­sumenten, Data Sci­en­tists und Data Stew­ards, die gesam­melten Dat­en kol­lab­o­ra­tiv nutzen kön­nen, leicht auffind­en kön­nen und gegebe­nen­falls Verbesserun­gen vornehmen können.

Vorteile:

• Sofor­tige Ein­blicke in die Ver­trauenswürdigkeit von Daten
• Ver­wand­lung der Daten­qual­ität und ‑kuratierung in eine sys­tem­a­tis­che und automa­tisierte Disziplin
• Trust Score
• Lokalisierung von Datensilos
• Iden­ti­fika­tion von wiederver­wend­baren und kol­lab­o­ra­tiv nutzbaren Datenbeständen
• Nachver­fol­gung von Datenbestän­den mit Tal­end Pipeline Design­er und Data Preparation
• Ein­fache Gestal­tung von inter­nen Prozessen
• Such­funk­tion
• Überblick über alle Daten­sätze und deren Herkunft

Data Prepa­ra­tion

Das Point-and-Click-Self­ser­vice-Tool iden­ti­fiziert schnell Fehler und ermöglicht die Anwen­dung von Regeln inner­halb großer Daten­men­gen, die sich wiederver­wen­den lassen und gemein­sam genutzt wer­den können.

Vorteile:

• Intu­itive Benutze­r­ober­fläche und Selfservice-Funktionalität
• Ein­bet­tung von Batch‑, Bulk- und Live-Szenar­ien in Datenintegrationsprozesse
• Voll­ständi­ge Ver­wal­tung von Ad-hoc Date­nan­re­icherungs- und Analy­seaufträge und Umwand­lung in wiederver­wend­bare Prozesse
• Date­nauf­bere­itung mit den neuesten Daten­sätzen, ein­schließlich Ter­a­da­ta, AWS, Mar­ke­to und Salesforce
• Gewährleis­tung von Compliance
• Risiko­re­duzierung bezüglich des Datenzugriffs

Stich

Inner­halb von Stich lassen sich Dat­en in der Cloud Data Ware­house replizieren, sodass schnellere, effizien­tere Entschei­dun­gen anhand von Analy­sen getrof­fen wer­den kön­nen. Mit dem skalier­baren Ser­vice Stich kön­nen mehr als 100 Daten­quellen durch vorge­fer­tigte Kon­nek­toren in weni­gen Minuten abge­fragt werden.

Vorteile:

• Zugänglichkeit neuer Datenquellen
• Ein­fache Wiz­ard- artige Benutze­r­ober­fläche und Abfrage-bere­it­en Schemata
• Pro­dukt- und Sup­port-SLAs sowie Sicherheitsfunktionen
• Sicher­heit für höchst sen­si­tive Dat­en durch SOC 2 und HIPAA-Kon­for­mität, sowie erweit­ere Kon­nek­tiv­ität­sop­tio­nen wie SSH-Tun­nel­ing zur Sicherung der Datenpipeline

Anwen­dungs- und API-Integration

Mit dieser Anwen­dung kön­nen ver­trauenswürdi­ge Dat­en über interne und externe Vorgänge mit­tels APIs geteilt wer­den. Dabei kön­nen DevOps opti­miert wer­den und durch die Inte­gra­tion von APIs und Microser­vices Betrieb­skosten gesenkt wer­den. Tal­end bietet hier­bei APIs und eine ereignis­ges­teuerte Architek­tur, sodass Unternehmen die Echtzeit-Anforderun­gen erfüllen können.

Appli­ca­tion Integration 

Tal­end vere­int hier­bei API, die Anwen­dungs- und Daten­in­te­gra­tion sowie die Daten­qual­ität. Punkt-zu-Punkt-SaaS-Inte­gra­tio­nen sowie skalier­bare, mod­u­lare API‑, Data-as-a-Ser­vice‑, Pub­/­Sub-Mes­sag­ing- und ESB-Use-Cas­es kön­nen hier­bei ein­fach in die ereignis­ges­teuerte Architek­tur imple­men­tiert werden.

Vorteile:

• Schnelles Erstellen von Dien­sten und Anwendungen
• Vere­in­fachen von kom­plex­en JSON, AVRO, XML und B2B-Inte­gra­tio­nen mit erweit­erten Data Map­ping- und Trans­for­ma­tion­stools sowie Indus­tri­e­s­tandards wie HL7 und EDI
• Erstel­lung von zuver­läs­si­gen Datenser­vices intern und extern, sowie Microservices

API-Ser­vices

Tal­end unter­stützt hier­bei beim Entwurf und der Doku­men­ta­tion von APIs.

Vorteile:

• Entwick­lung von APIs inner­halb von Tagen
• Kol­lab­o­ra­tives API-Design-Tool
• Ratio­nal­isiert­er und vere­in­fachter Arbeitsablauf
• Echtzeitvorschau
• Automa­tisierung der API-Dokumentation
• Sich­er­stel­lung der Datenintegrität
• Prü­fung des API-Ver­hal­ten durch kon­tinuier­liche Tests
• Data-Gov­er­nance-Kon­trolle
• Kom­bi­na­tion von Con­tin­u­ous Inte­gra­tion und Con­tin­u­ous Deliv­ery (CI/CD), mit der Möglichkeit Web-Ser­vice-Mod­ule als con­tainer­isierte Microser­vices bereitzustellen

Daten­in­tegrität und Governance 

Mit der automa­tisierten Qual­ität­sprü­fung und den browser­basierten Point-and-Click-Tools wird beson­ders die Ver­trauenswürdigkeit von Dat­en verbessert. Sobald die Cloud-Daten­in­fra­struk­tur mod­ernisiert wird, Unternehmen die Ein­hal­tung geset­zlich­er Vorschriften über­prüfen möchte oder der interne Dat­en-Mark­t­platz entwick­elt wird, greift Tal­end Data Fab­ric und unter­stützt Unternehmen bei allen Vorgängen.

Data Cat­a­log

Data Cat­a­log erle­ichtert den Daten­schutz und das Man­age­ment der Daten­pipelines, sorgt für eine ver­trauenswürdi­ge Busi­ness Intel­li­gence und beschle­u­nigt ETL-Prozesse.

Vorteile:

• Automa­tisierte Datenentdeckung
• Erstel­lung und Führung eines zen­tralen Datenkatalogs
• Intel­li­gente Nachver­fol­gung der Daten­herkun­ft und Compliance-Tracking
• Erle­ichterte Daten­suche mit anschließen­der Validitätsprüfung
• Kol­lab­o­ra­tive Benutzererfahrung

Data Stew­ard­ship

Diese Funk­tion fördert den team-basierten Work­flow, indem Pri­or­itäten definiert wer­den und der Fortschritt inner­halb des gesamten Unternehmens über­schaubar bleibt. Jed­er User kann Dat­en bere­ini­gen, zer­ti­fizieren und abgle­ichen. Zudem kön­nen Auf­gaben an die Per­so­n­en delegiert wer­den, die das entsprechende Knowhow für die jew­eili­gen Dat­en mitbringen.

Vorteile:

• Pro­duk­tiv­itäts­seigerung aller Beteiligten durch Point-and-Click Lösun­gen zur Datenku­ratierung und- zertifizierung
• Schnelle und ein­fache Def­i­n­i­tion von Mod­ellen und Regeln
• Machine Learn­ing
• Verbesserung der Fehler­be­he­bung und Daten­in­tegrität durch die Kom­bi­na­tion aus Automa­tisierung und men­schlich­er Verantwortung
• Leis­tungsstarkes Monitoring