Sie sind hier: Startseite » Markt » Unternehmen

Offener Standard für Data Lakes werden

Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud: Das Delta Lake Projekt wird an die Linux Foundation übergeben
Das zunehmende Engagement der Community zeigt die Begeisterung für Open Source und fördert branchenweite Innovationen für datengesteuerte Initiativen

Die Linux Foundation, die gemeinnützige Organisation, die Masseninnovationen durch Open Source ermöglicht, gab bekannt, dass sie Delta Lake hosten wird, ein Projekt, das sich auf die Verbesserung der Zuverlässigkeit, Qualität und Leistung von Data Lakes konzentriert. Delta Lake wurde von Tausenden von Organisationen übernommen und verfügt über ein florierendes Ökosystem von Unterstützern, darunter Intel, Alibaba und Booz Allen Hamilton. Um die Akzeptanz und die Beiträge zur Weiterentwicklung weiter zu steigern, wird Delta Lake zu einem Linux Foundation-Projekt und einem offenen Governance-Modell.

Jedes Unternehmen strebt danach, durch Data Science, Machine Learning und Analytics mehr Werte aus Daten zu ziehen, aber sie werden massiv durch die mangelnde Datensicherheit in den Data Lakes behindert. Delta Lake löst Herausforderungen bei der Datenzuverlässigkeit, indem es die Transaktionen ACID-konform macht und gleichzeitiges Lesen und Schreiben ermöglicht. Seine Fähigkeit zur Durchsetzung von Schemas trägt dazu bei, dass der Data Lake frei von korrupten und nicht konformen Daten ist. Seit seiner Einführung im Oktober 2017 wurde Delta Lake von über 4.000 Unternehmen angenommen und verarbeitet jeden Monat über zwei Exabyte an Daten.

"Delta Lake unter das neutrale Haus der Linux Foundation zu bringen, wird der vom Projekt abhängigen Open-Source-Community helfen, die Technologie zu entwickeln, die sich mit der Speicherung und Verarbeitung großer Datenmengen sowohl vor Ort als auch in der Cloud befasst", sagte Michael Dolan, VP of Strategic Programs bei der Linux Foundation. "Die Linux Foundation unterstützt Open-Source-Communities dabei, ein offenes Governance-Modell zu nutzen, um einen weitgefächerten Beitrag der Industrie und die Konsensbildung zu ermöglichen, was den Stand der Technik für Datenspeicherung und -zuverlässigkeit verbessern wird."

Die Mitbegründer von Databricks sind die ursprünglichen Entwickler des Open-Source-Projekts Apache Spark, der Unified Analytics-Plattform, die sich zum Standard für die groß angelegte Datenverarbeitung entwickelt hat. Der CEO und Mitbegründer von Databricks, Ali Ghodsi, zeigt sich begeistert, diese Reise mit dem Delta Lake Projekt erneut zu unternehmen. "Unser Team hat weiterhin Open-Source-Projekte entwickelt und unterstützt, weil wir wissen, dass dies der schnellste und umfassendste Weg zur Innovation ist. Um die Datenherausforderungen von Unternehmen zu bewältigen, wollen wir sicherstellen, dass dieses Projekt Open Source in der wahrsten Form ist. Durch die Stärke der Linux Foundation Community und die Beiträge sind wir zuversichtlich, dass Delta Lake schnell zum Standard für die Datenspeicherung in Data Lakes werden wird."

Delta Lake wird über ein offenes Governance-Modell verfügen, das die Beteiligung und den technischen Fortschritt fördert und einen Rahmen für eine langfristige Betreuung durch ein Ökosystem bietet, das in den Erfolg von Delta Lake investiert hat. Obwohl Delta Lake ursprünglich für die Zusammenarbeit mit Apache Spark konzipiert war, hat es eine florierende Community entwickelt, die Unterstützung für andere Open-Source-Datensysteme bietet. (Linux Foundation: ra)

eingetragen: 17.10.19
Newsletterlauf: 28.11.19

Linux Foundation: Kontakt und Steckbrief

Der Informationsanbieter hat seinen Kontakt leider noch nicht freigeschaltet.

Meldungen: Unternehmen

Aufbau souveräner Cloud-Umgebungen
enclaive präsentierte ihre Lösungen für sichere Cloud-Umgebungen und KI-Nutzung in Nürnberg auf der it-sa. Highlight des Auftritts: Post-Quanten-sichere Enklaven und Key-Management-Lösungen. Die Messe stand auch in diesem Jahr wieder im Zeichen der Cloud und Künstlicher Intelligenz.
Digitale Souveränität in der Cloud
Bitdefender hat ihre strategische Partnerschaft mit secunet bekanntgegeben, einem Unternehmen, das auf digitale Souveränität und den Schutz hochkritischer Umgebungen, etwa von Behörden, spezialisiert ist. In Deutschland kann Bitdefender ab sofort Bitdefender GravityZone, ihre umfassende Plattform für Cybersicherheit, Risikomanagement und Compliance, in der souveränen OpenStack Cloud von SysEleven, einem Tochterunternehmen von secunet, hosten. Kunden- und Konfigurationsdaten, Sicherheitsereignisse und Telemetriedaten werden so ausschließlich innerhalb der Europäischen Union verarbeitet.
Automatisierung und KI
Tata Consultancy Services (TCS) intensiviert ihre strategische Partnerschaft mit Tryg, einem skandinavischen Sachversicherer, der in Dänemark, Schweden und Norwegen tätig ist. Im Rahmen der siebenjährigen Vereinbarung im Wert von 550 Millionen Euro unterstützt TCS Tryg dabei, die Betriebsabläufe in ihren drei Kernmärkten zu vereinfachen, zu standardisieren und die technologische Transformation voranzutreiben, um das Unternehmenswachstum zu beschleunigen.
Mehr als nur ERP-Kernfunktionen
Haufe X360 wächst mit den Anforderungen ihrer Nutzer und entwickelt sich stetig zur zentralen Business-Management-Plattform für den Mittelstand. Durch die nahtlose Anbindung spezialisierter Best-of-Breed-Partnerlösungen bietet Haufe X360 immer mehr Funktionen, die Unternehmen direkt aus Haufe X360 heraus nutzen können - ob für HR, Logistik, Buchhaltung oder Zollabwicklung. So lassen sich noch mehr Prozesse einfach steuern - in einer einzigen, integrierten Lösung.
Google Cloud Day 2025
Unter dem Motto "The Future of Business with Agentic AI" laden Devoteam und Google Cloud Entscheider und IT-Experten am 22. Oktober zum Google Cloud Day 2025 (GCD 2025) in das Devoteam Büro in Frankfurt ein. Die Veranstaltung bietet Keynotes, praxisorientierte Breakout-Sessions und Networking-Möglichkeiten - und zeigt, wie intelligente Agenten Geschäftsprozesse revolutionieren und bis zu 90 Prozent effizienter machen können.
Neue Lösungen für Aufbau von KI-Agenten
Neo4j gab die Investition von 100 Millionen US-Dollar bekannt. Damit will das Unternehmen seine Position als Standard-Knowledge-Layer für agentenbasierte Systeme (Agentic Systems) und als zentrale Infrastruktur für KI (GenAI, Generative AI) weiter ausbauen. Die Investition fließt in Produktinnovationen - darunter zwei neue Angebote für KI-Agenten - sowie in den Start eines der bislang größten Startup-Programme für KI-native Unternehmen. Innerhalb der nächsten zwölf Monate sollen damit weltweit 1.000 Startups unterstützt werden.
Cyberresilienz durch "Commvault Cloud"
Commvault und BeyondTrust, Anbieterin von Identitätssicherheit, haben die Integration der Cyberresilienz-Plattform "Commvault Cloud" und der Password-Safe-Privileged-Access-Management (PAM)-Lösung auf der BeyondTrust Pathfinder-Plattform bekanntgegeben. Diese Zusammenarbeit will Kunden unterstützen, Risiken zu minimieren, den Status ihrer IT-Sicherheit zu verbessern und die Effizienz der Datenwiederherstellung zu steigern.
Cyberresilienz und Data Security
Die DMP DataManagement Professionals GmbH hat bekannt gegeben, dass das Unternehmen unter dem neuen Namen Pink Elephant GmbH firmieren wird. Die Namensänderung ist ein weiterer Schritt in der strategischen Ausrichtung des Unternehmens und unterstreicht die Zugehörigkeit zur Muttergesellschaft Pink Elephant B.V. mit Hauptsitz in Naarden, Niederlande. Die Pink Elephant B.V. wiederum ist eine 100prozentige Tochtergesellschaft der The Digital Neighborhood B.V. (TDN).
Bereich Cloud Financial Management
Flexera, Anbieterin für Software-Lizenzmanagement und Technology Intelligence, zählt zum zweiten Mal in Folge zu den "Leadern" im Gartner Magic Quadrant 2025 für Cloud Financial Management Tools. Der aktuelle Bericht hebt nach Flexera die kontinuierliche Stärke des Unternehmens in der Umsetzung sowie die Vollständigkeit der Vision im Bereich Cloud Financial Management (auch bekannt als FinOps) hervor.
Cloud-Edge-Konzepte und Datenräume
Der eco - Verband der Internetwirtschaft e. V. und die IndustryFusion Foundation haben eine weitreichende Kooperation vereinbart, um den Ausbau digitaler Infrastrukturen und souveräner Datenräume für industrielle Anwendungen in Europa voranzutreiben. Im Mittelpunkt steht die gemeinsame Weiterentwicklung von Open-Source-Datenräumen, Edge-/Cloud-Infrastrukturen sowie interoperablen Standards für Industrie 4.0.

SD-WAN und moderne Sicherheitsfunktionen Vereinheitlichung von Multi-Cloud-Umgebungen

Fachbeiträge: Hintergrund

Künstliche Intelligenz in der Cloud
Die Giganten der Tech-Branche planen in diesem Jahr mehr als 300 Milliarden US-Dollar auszugeben, um im KI-Wettrüsten wettbewerbsfähig zu bleiben. Allein Amazon hat über 100 Milliarden US-Dollar angekündigt, während Microsoft, Alphabet und Meta jeweils weitere Dutzende Milliarden für den Bau riesiger Rechenzentren, den Ausbau von GPU-Clustern und die Sicherung ihrer Dominanz im Bereich der Cloud-basierten KI ausgeben wollen. Investitionen in dieser Größenordnung sorgen für Schlagzeilen und viele Unternehmen, die selbst dabei sind, ihre KI-Strategie zu planen, sehen sich gezwungen, ihrerseits hohe Budgets einzuplanen. Für die meisten Unternehmen ist es jedoch weder praktikabel noch notwendig, den Plänen der Hyperscaler zu folgen. IT-Führungskräfte fragen sich deshalb zurecht, was für den Einsatz der KI im Unternehmen tatsächlich benötigt wird.
Tape hat ausgedient, Public Cloud ist verzichtbar
Zwei in der Datensicherung eingesetzte Technologien stehen derzeit bei vielen Unternehmen und Behörden auf dem Prüfstand. Bei Tape sind mit der Einführung von LTO-10 die Verbindungen zu Vorgängergenerationen komplett abgeschnitten worden, was eine vollständige Migration aller Systeme und Daten notwendig macht. Die Public Cloud entpuppt sich in vielen Fällen als wesentlich teurer als angenommen und zudem bestimmen rechtlichen Bedenken hinsichtlich Datenschutz und Datenhoheit die Diskussion.

Fachbeiträge: Grundlagen

Beispiel für die 3-2-1-Backup-Regel
Die 3-2-1-Backup-Regel ist ein einfacher, aber wirkungsvoller Ansatz zur Datensicherung. Diese Strategie gewährleistet, dass Daten unter nahezu allen Umständen sicher und wiederherstellbar sind. Sie minimiert Risiken und maximiert die Ausfallsicherheit, indem mehrere Kopien der Daten an verschiedenen Orten aufbewahrt werden. Interessant wird das Thema jedoch, wenn Cloud-Ressourcen bzw. Cloud-Tools mieteinbezogen werden.
Cloud-Repatriierung richtig planen
Lange galt die Cloud als Endpunkt der IT-Modernisierung. Doch mit dem Aufkommen rechenintensiver KI-Workloads, neuen regulatorischen Pflichten und intransparenten Kostenmodellen stellt sich für viele Unternehmen die Frage neu: Welche Workloads gehören wirklich in die Cloud und welche besser zurück ins eigene Rechenzentrum? Dieser Leitfaden gibt Orientierung für die Rückverlagerung geschäftskritischer Anwendungen.

IT Security

Paket-Lösung aus Hardware und Software
NCP und Rohde & Schwarz Cybersecurity gehen technologische Partnerschaft mit HP.Wie sich dies in der Praxis auswirkt, wird mit der "HP Sure Station" deutlich - einer Lösung, die ein ideales Zusammenspiel von Hardware und Software gewährleistet.
Warum die Chatkontrolle der falsche Weg ist
Der Verband der Internetwirtschaft e.V. eco warnt vor der im Zuge der EU-Verordnung zur Verhütung und Bekämpfung von sexuellem Kindesmissbrauch (CSAM-VO) geplanten Chatkontrolle und fordert die Bundesregierung und EU-Mitgliedstaaten auf, den Vorschlag der dänischen Ratspräsidentschaft abzulehnen.

IT Security - Angriffe & Lecks

Trügerisches Vertrauen in populäre Pakete
Open Source ist das Rückgrat der digitalen Infrastruktur, doch die jüngste Shai-Hulud-Angriff offenbart, wie fragil ihre Lieferkette tatsächlich ist. Das JFrog Security Research Team hat 164 kompromittierte npm-Pakete in 338 Versionen identifiziert, die darauf ausgelegt waren, Zugangsdaten von Entwickler-Rechnern und CI/CD-Umgebungen abzugreifen. Betroffen waren Tokens für AWS, GCP, GitHub und npm, die in von Angreifern kontrollierte GitHub-Repositories exfiltriert wurden.
Ransomware-as-a-Service (RaaS)-Kit
Die Security Operations Center (SOC)-Analysten von Barracuda Managed XDR haben kürzlich einen Ransomware-Angriff der Gruppe Akira erfolgreich abgewehrt - und dabei ein ungewöhnliches Vorgehen beobachtet.

IT Security - Fachbeiträge

DORA: Der Weckruf für den Finanzsektor
Es gibt nur wenige Branchen, die so stark reguliert sind wie der Finanzsektor. In regelmäßigen Abständen erscheinen neue Gesetzesrahmen und das aus gutem Grund: Finanzdienstleister gehören zum Rückgrat nationaler Infrastruktur und sind deshalb ein Hauptziel von Cyber-Angriffen und Betrugsmaschen. Jede neue Regulierung muss daher wasserdicht sein.
Infiltrationsmethoden von Hackern
"Sie hacken nicht mehr, sie loggen sich ein" ist ein oft zitierter Satz zu zeitgenössischen Infiltrationsmethoden von Hackern - und das mit Recht: Im Juni verkaufte ein Mitarbeiter eines Software-Dienstleisters für Banken seine Logindaten für 920 Dollar an Cyberkriminelle. Die Hacker wussten genau, wen sie bestechen mussten, denn mit seinen Zugangsdaten und der Verbindungen der Firma zu diversen Finanzhäusern waren sie in der Lage, sechs Banken auf einmal zu infiltrieren und dabei 140 Millionen Dollar zu entwenden. Ein lukratives Tauschgeschäft für die Drahtzieher, das keinen Bankraub mit Skimasken und Schusswaffen erforderte. Für den Raubzug selbst mussten sie kaum vor die Tür gehen; lediglich einmal, um den Mitarbeiter vor einer Bar abzufangen und ihn für den Coup einzuspannen.

IT Security - Tipps / Hintergrund / Wissen

Ransomware-Angriff auf Flughafen-Software
Jüngste Cyberangriffe auf europäische Flughäfen haben deutlich gemacht, wie verletzlich die digitale Infrastruktur des Luftverkehrs ist. Nach einem von der EU-Cybersicherheitsagentur ENISA bestätigten Ransomware-Angriff auf Flughafen-Software kam es zu massiven Störungen für Reisende. Am Berliner BER mussten Fluggäste stundenlang warten, Flüge verspäteten sich um mehr als eine Stunde, weil die Systeme nicht wiederhergestellt waren. In Brüssel fiel sogar die Hälfte aller Abflüge aus. Diese Vorfälle zeigen, wie schnell digitale Ausfälle den gesamten Betrieb lahmlegen können - und wie wichtig widerstandsfähige Sicherheitsstrategien für Flughäfen sind.
PKI-basiertes Zertifikat-Lifecycle-Management
Digitale Zertifikate spielen eine wichtige Rolle in vernetzten Produktionsanlagen. Sie ermöglichen beispielsweise die Authentifizierung von Geräten und Nutzern oder die Verschlüsselung von Kommunikation. Zertifikate sind daher ein zentraler Baustein für sichere, vertrauenswürdige und zukunftsfähige OT-Umgebungen. Um das Sicherheitsniveau hoch zu halten, müssen sie in regelmäßigen Abständen erneuert werden.