Eine offene Plattform für KI-Modelle in der Hybrid Cloud

Künstliche Intelligenz (KI), maschinelles Lernen (ML) und Deep Learning (DL) beeinflussen zunehmend die Modernisierung von Anwendungen in verschiedenen Unternehmen und Branchen. Die Notwendigkeit, innovativ zu arbeiten und aus Daten einen strategischen Nutzen und neue Erkenntnisse zu gewinnen, fördert den zunehmenden Einsatz KI-gestützter, cloudnativer Anwendungen und MLOps-Methoden. Diese schöne neue Welt kann gleichzeitig auch komplex sein, was sich auf sämtliche Beteiligten auswirkt: von Entwicklungsteams über Data Scientists bis hin zu Operations-Teams. Die Operationalisierung von KI/ML ist nicht trivial – oft dauert sie Monate, während Innovationen mit gen AI (generativer KI) täglich vorankommen. Dies kann zu Fehlschlägen in Projekten führen, die Ihr Unternehmen inmitten zahlreicher Herausforderungen gefährden:

• Mit dem Tempo des KI-Fortschritts Schritt halten zu müssen, kann entmutigend sein – von der Aktualisierung und Konsistenz der sich schnell entwickelnden Tools und Anwendungsdienste bis hin zur Bereitstellung von Hardware-Ressourcen wie Grafikprozessoren (GPUs) und der Skalierung KI-gestützter Anwendungen.
• Unternehmen müssen bei Investitionen in KI die Risiken minimieren und dennoch einen Mehrwert erzielen, insbesondere wenn sie sensible Daten bei der Erstellung von Modellen und Anwendungen verwenden.
• Die Verwendung unterschiedlicher Plattformen für Anwendungsentwicklung und Data Science können die Zusammenarbeit erschweren und die Entwicklungsgeschwindigkeit beeinträchtigen.
• Die Bereitstellung KI-gestützter Anwendungen muss in großem Umfang und nahe an der Datenerzeugung erfolgen.

Red Hat OpenShift AI basiert auf Red Hat® OpenShift®, einer führenden Hybrid Cloud-Anwendungsplattform und Teil des Red Hat AI Portfolios, und bietet Data Scientists und Entwicklungsteams eine leistungsstarke AI/ML-Plattform für die Erstellung und Bereitstellung intelligenter Anwendungen. Über eine einzige gemeinsame Plattform können Unternehmen mit verschiedenen Tools experimentieren, zusammenarbeiten und Markteinführungszeiten verkürzen. Red Hat OpenShift AI kombiniert die Self Service-Umgebung, die sich Data Scientists sowie Entwicklerinnen und Entwickler wünschen, mit der Zuverlässigkeit, die eine Unternehmens-IT erfordert.

Eine vertrauenswürdige Basis reduziert Reibungsverluste im gesamten Lifecycle. Red Hat OpenShift AI bietet eine robuste Plattform, ein umfassendes IT-Ökosystem gängiger zertifizierter Tools und vertraute Workflows für das Deployment von Modellen in der Produktion. Mit diesen Vorteilen können Teams reibungsloser zusammenarbeiten und KI-gestützte Anwendungen effizienter auf den Markt bringen, was letztlich einen höheren Mehrwert für das Unternehmen schafft.

Red Hat OpenShift AI ist eine flexible, skalierbare KI-Plattform mit Tools zum Entwickeln, Bereitstellen und Verwalten von KI-gestützten Anwendungen. Auf Basis von Open Source-Technologien bietet es zuverlässige, operativ konsistente Funktionen, mit denen Teams experimentieren, Modelle bereitstellen und innovative Apps präsentieren können. Red Hat OpenShift AI beschleunigt die Bereitstellung intelligenter Anwendungen und hilft ML-Modellen, sich auf einer gemeinsamen, konsistenten Plattform schneller von frühen Pilotprojekten zu intelligenten Anwendungen zu entwickeln. 

Red Hat OpenShift AI bietet eine integrierte Benutzeroberfläche (UI) mit Tools zum Erstellen, Trainieren, Tuning, Bereitstellen und Überwachen von prädiktiven und gen KI-Modellen. Sie können die Modelle lokal oder in den wichtigen Public Clouds bereitstellen und erhalten so die Flexibilität, Workloads dort auszuführen, wo sie benötigt werden, ohne an eine kommerzielle Cloud gebunden zu sein. Red Hat OpenShift AI basiert auf dem Community-Projekt Open Data Hub sowie gängigen Open Source-Projekten wie Jupyter, Pytorch, vLLM und Kubeflow.

Niedrigere Skalierungskosten in der Produktion    

Als Add-On zu Red Hat OpenShift bietet OpenShift AI eine Plattform, die für die anspruchsvollsten Workloads ausgelegt ist. OpenShift AI senkt die laufenden Kosten für Training, Bereitstellung und Infrastruktur für generative und prädiktive KI-Projekte beim Übergang vom Experiment zur Produktion, indem es die Ressourcenbereitstellung vereinfacht und mehrere Aufgaben durch Datenpipelines automatisiert. OpenShift AI reduziert die Kosten für die Modellinferenz durch die Verwendung optimierter Serving Engines und Laufzeiten wie vLLM, und die Skalierung der zugrundeliegenden Infrastruktur entsprechend den Anforderungen der Workloads.  

Data Scientists können ihre vertrauten Tools und Frameworks verwenden oder auf ein wachsendes Netzwerk von Technologiepartnern zugreifen, um ihr KI/ML-Fachwissen zu vertiefen, ohne dass sie mit einer vorgeschriebenen Toolchain konfrontiert werden. Statt darauf zu warten, dass die IT-Abteilung die erforderlichen Ressourcen bereitstellt, erhalten sie die On-Demand-Infrastruktur mit nur einem Klick, statt mit einem IT-Ticket. 

Reduzieren operativer Komplexität

Red Hat OpenShift AI sorgt für ein einheitliches Benutzererlebnis, das Data Scientists, Data Engineers, Application Engineers und DevOps-Teams die Zusammenarbeit und so die zügige und effiziente Bereitstellung von KI-Lösungen ermöglicht. Es ermöglicht Self Service-Zugriff auf kollaborative Workflows, Beschleunigung durch Zugriff auf GPUs und optimierte Abläufe. Unternehmen können KI-Lösungen konsistent und in großem Umfang in Hybrid Cloud-Umgebungen und am Edge bereitstellen.

Da es sich bei OpenShift AI um ein Zusatzangebot zu Red Hat OpenShift handelt, können IT-Operationen Data Scientists und Anwendungsentwicklungsteams einfachere Konfigurationen auf einer stabilen und bewährten Plattform zur Verfügung stellen, die sie mit geringem Aufwand skalieren können. Die IT-Abteilung muss sich weniger um Governance und Sicherheit kümmern und keine verdächtigen Cloud-Plattformkonten aufspüren.

Flexibilität der Hybrid Cloud

Red Hat OpenShift AI bietet die Möglichkeit, KI/ML-Workloads in einer Cloud-Umgebung, in lokalen Rechenzentren oder am Netzwerkrand zu trainieren, bereitzustellen und zu überwachen, also in der Nähe des Ortes, an dem die Daten generiert oder gespeichert werden. Dank dieser Flexibilität können KI-Strategien weiterentwickelt werden, indem Abläufe je nach Bedarf in die Cloud oder an den Edge verlagert werden. Unternehmen können Modelle und KI-gestützte Anwendungen dort trainieren und bereitstellen, wo sie die entsprechenden gesetzlichen, sicherheitsrelevanten und datenbezogenen Anforderungen erfüllen müssen, auch in nicht verbundenen und Air Gapped-Umgebungen.

Abbildung 1 zeigt, wie der Model Operation Lifecycle OpenShift AI als gemeinsame Plattform integriert und die Möglichkeiten der führenden Anwendungsplattform Red Hat OpenShift AI erweitert. Unternehmen bauen auf einer bewährten Hybrid Cloud-Plattform auf, die entweder selbst gemanagt als herkömmliche Software oder als gemanagter Cloud Service angeboten wird. Dies sorgt für enorme Flexibilität. Die selbst gemanagte Version kann dort laufen, wo Red Hat OpenShift ausgeführt wird, entweder lokal oder in einer der 3 großen Public Cloud-Umgebungen. Die Cloud Service-Version ist über Red Hat OpenShift Service on AWS und Red Hat OpenShift Dedicated (über AWS oder Google Cloud Platform) verfügbar. 

Unsere Lösungen ermöglichen auch die Erweiterung der KI-Funktionen durch die Zusammenarbeit mit einem umfangreichen Netzwerk von Dutzenden von KI-Software- und SaaS-Partnern (Software as a Service).Red Hat OpenShift AI ist flexibel und kombinierbar, sodass Kunden eine End-to-End KI/ML-Plattform zusammenstellen können, die ihren spezifischen Anforderungen entspricht.

Für die, die gerade erst mit der Arbeit mit gen KI-Modellen beginnen, enthält OpenShift AI die folgenden Komponenten: Red Hat Enterprise Linux® AI als Plattform für Basismodelle, mit der Sie Unternehmensanwendungen mithilfe von Large Language Models (LLM) der Granite-Familie entwickeln, testen und bereitstellen können. Zusätzlich zu den mit Red Hat OpenShift AI bereitgestellten Granite-Modellen unterstützt das Framework auch Modelle von HuggingFace, Stability AI und anderen Modell-Repositories.

Red Hat OpenShift AI ist eine Basiskomponente in IBM watsonx.ai, die grundlegende KI-Tools und -Services für gen KI-Workloads bereitstellt. Watsonx bietet ein unternehmensgerechtes Studio für KI-Entwicklungsteams zur Bereitstellung von gen KI-Anwendungen mit geringen oder ohne Code-Anforderungen, benutzerfreundlichen Workflows für die Modellentwicklung und Zugriff auf eine Library mit IBM-Basismodellen und kuratierten Open Source-Modellen. Red Hat OpenShift und OpenShift AI sind eingebettete technische Voraussetzungen für die Software watsonx.

Die mit Red Hat OpenShift AI bereitgestellten zentralen Tools und Funktionen bieten eine solide Basis:

• Modellentwicklung und Finetuning: Data Scientists können explorative Data Science in einer JupyterLab-Benutzeroberfläche durchführen, die sofort einsatzbereite, sicher erstellte Notebook Images mit gängigen Python-Libraries und -Paketen bietet, darunter TensorFlow, PyTorch und CUDA. Zusätzlich können Unternehmen ihre eigenen, benutzerdefinierten Notebook Images zur Verfügung stellen, die es ermöglichen, Notebooks zu erstellen und gemeinsam daran zu arbeiten, während die Arbeiten in Projekten und Workbenches organisiert werden.
• Modellbereitstellung: Red Hat OpenShift AI bietet eine Vielzahl von Frameworks für das Routing der Modellbereitstellung, um das Deployment von Modellen für prädiktives Machine Learning oder Basismodelle in Produktivumgebungen unabhängig von den Anforderungen an die Rechenleistung zu vereinfachen. Für generative KI-Workloads bietet OpenShift AI eine vLLM-basierte Modellinferenzierung, die branchenführende Performance und Effizienz für die beliebtesten Open Source LLMs (Large Language Models) liefert. Die Lösung ermöglicht es den Kunden außerdem, ihre bevorzugten Laufzeiten einzubringen und zu nutzen, was Flexibilität und Kontrolle gewährleistet.
• Data Science Pipelines: Red Hat OpenShift AI Es enthält auch eine Komponente für Data Science Pipelines, mit der Sie Data Science-Aufgaben in Pipelines orchestrieren und Pipelines über ein grafisches Frontend erstellen können. Unternehmen können Prozesse wie Datenaufbereitung, Modellentwicklung und Modellbereitstellung miteinander verknüpfen.
• Modellüberwachung: Red Hat OpenShift AI unterstützt Ops-orientierte Nutzende bei der Überwachung von Betriebs- und Performance-Metriken für Modellserver und bereitgestellte Modelle. Data Scientists können sofort einsatzbereite Visualisierungen für Performance- und Betriebsmetriken verwenden oder Daten mit anderen Beobachtungsdiensten integrieren.
• Verteilte Workloads: Mit verteilten Workloads können Teams die Datenverarbeitung sowie das Training, Tuning und die Bereitstellung von Modellen beschleunigen. Diese Fähigkeit unterstützt die Priorisierung und Verteilung der Ausführung von Aufgaben zusammen mit einer optimalen Knotenauslastung. Die fortschrittliche GPU-Unterstützung hilft bei der Bewältigung der Workload-Anforderungen von Basismodellen.
• Erkennen von Verzerrungen und Abweichungen: Red Hat OpenShift AI umfasst Tools, mit denen Data Scientists überwachen können, ob die Modelle auf der Basis der Trainingsdaten korrekt und unvoreingenommen arbeiten, aber auch, ob sie im realen Einsatz korrekt funktionieren. Zu den Tools zur Erkennung von Abweichungen gehören Verteilungen der Eingabedaten für ML-Modelle, um zu erkennen, wenn die für die Modellinferenz verwendeten Live-Daten erheblich von den Daten abweichen, mit denen das Modell trainiert wurde.
• KI-Richtlinien (in Technologievorschau): Die Unterstützung von KI-Richtlinien umfasst Eingabedetektoren zum Schutz der Arten von Interaktionen, die ein Nutzender anfordern kann, und Ausgabedetektoren zur Sicherheitsprüfung der Modellausgaben. KI-Richtlinien helfen, hasserfüllte, beleidigende oder vulgäre Äußerungen, personenbezogene Daten, Wettbewerbsinformationen oder andere domainspezifischen Beschränkungen unterliegende Informationen herauszufiltern. Wir stellen eine Reihe von Detektoren zur Verfügung, und Kunden können ihre eigenen hinzufügen.
• Modellbewertung: In der Phase der Modellexploration und -entwicklung liefert die Komponente LM-Eval (LM-Evaluation) wichtige Informationen über die Qualität des Modells. Mit LM-Eval können Data Scientists die Performance von LLM-Modellen in einer Vielzahl von Aufgaben vergleichen, wie etwa logisches und mathematisches Schlussfolgern, widersprüchliche natürliche Sprache und viele weitere. Die von uns bereitgestellten Benchmarks beruhen auf Branchenstandards.
• Model Registry: Red Hat OpenShift AI ermöglicht die zentrale Anzeige und Verwaltung registrierter Modelle und unterstützt Data Scientists bei der Freigabe, Versionierung, Bereitstellung und Nachverfolgung von prädiktiven und gen KI-Modellen, Metadaten und Modellartefakten.

Zusätzlich zu den Jupyter Notebook-Images und einem Jupyter Spawner, mit dem vorgefertigte oder unternehmensspezifische Images für Data Science-Teams bereitgestellt werden können, enthält OpenShift AI auch das Git-Plugin für JupyterLab, das die Integration mit Git direkt über die Benutzeroberfläche beschleunigt. Weitere gängige Analysepakete werden als Teil des Produkts bereitgestellt, um Abläufe zu vereinfachen und den Einstieg mit den geeigneten Tools für Ihr Projekt zu erleichtern, darunter Pandas, scikit-learn und NumPy. RStudio Server (getestet und verifiziert) und VS Code Server werden auch als alternative IDEs zu JupyterLab angeboten. So erhalten Data Scientists mehr Auswahl. Die Benutzeroberfläche des Projekts ermöglicht Data Scientists das Erstellen eigener Arbeitsbereiche, in denen sie ihre Notebook Images und Artefakte als Projekte organisieren und mit anderen Nutzenden zusammenarbeiten können.

Für gen KI-Projekte ermöglicht OpenShift AI ein verteiltes InstructLab Training als Vorschaufunktion. InstructLab ist eine Schlüsselkomponente von Red Hat Enterprise Linux AI und enthält Model Alignment Tools. Diese unterstützen Unternehmen dabei, kleinere Sprachmodelle effizienter mit ihren eigenen Daten abzustimmen, selbst wenn ihre Teams über wenig KI-Fachwissen verfügen. Red Hat OpenShift AI unterstützt auch ein effizientes Fine Tuning von LLMs (Large Language Models) mit LoRa/QLoRA, um Rechenaufwand und Speicherbedarf zu reduzieren, sowie die Unterstützung von Embeddings zur einfacheren Integration von Textinformationen in die für RAG erforderlichen Vektordatenbanken.

Da sowohl prädiktive als auch gen KI-Modelle verwendet werden sollen, ist ein flexibler Ansatz für die Modellverwaltung erforderlich. Red Hat OpenShift AI unterstützt mehrere Model Serving Frameworks, und Sie können zwischen den verfügbaren Mehrfach- und Einzelmodell-Inferenzservern oder Ihrem eigenen Inferenzserver wählen. Die Model Serving UI ist direkt in das Dashboard von Red Hat OpenShift AI sowie in den Projektarbeitsbereich integriert. Die zugrundeliegenden Cluster-Ressourcen können je nach Workload skaliert werden. Für LLMs, die maximale Skalierbarkeit erfordern, bietet Red Hat OpenShift AI parallelisiertes Serving über mehrere Knoten mit vLLM-Laufzeiten, die die Möglichkeit zur Bearbeitung mehrerer Anfragen in Echtzeit bieten. 

Red Hat OpenShift bietet die Services und Software, mit denen Unternehmen ihre Modelle erfolgreich trainieren, bereitstellen und in die Produktion bringen können (Abbildung 2). Zusätzlich zu OpenShift AI ist dieser Prozess in Red Hat Application Foundations integriert, das Streams für Apache Kafka für Echtzeitdaten und Event Streaming, Red Hat 3scale für API-Management und Red Hat Build von Apache Camel für Datenintegration umfasst.

Das Dashboard von Red Hat OpenShift AI ist ein zentraler Ort zum Auffinden von und Zugreifen auf Anwendungen und Dokumentationen und erleichtert so die Einführung. Die Smart Start-Tutorials bieten Best Practice-Anleitungen für gängige Komponenten und integrierte Partnersoftware und sind direkt über das Dashboard verfügbar. So können Data Scientists in kürzester Zeit lernen und starten. In den folgenden Abschnitten werden die in Red Hat OpenShift AI integrierten Tools der Technologiepartner beschrieben. Für einige Tools ist eine zusätzliche Lizenz des jeweiligen Technologiepartners erforderlich. 

Starburst

Starburst beschleunigt Analysen, indem es Ihren Teams die schnelle und einfache Nutzung Ihrer Daten ermöglicht, um Prozessabläufe im Unternehmen zu verbessern. Starburst wird als selbst gemanagtes Produkt oder als vollständig gemanagter Service bereitgestellt. Es demokratisiert den Datenzugriff und bietet Daten-Consumers umfassendere Insights. Das Tool basiert auf Open Source Trino (früher bekannt als PrestoSQL), der ersten MPP-SQL-Engine (Massively Parallel Processing). Starburst wurde von Expertinnen und Experten von Trino und Presto entwickelt und wird von ihnen betrieben. Mit diesem Tool können Sie flexibel verschiedene Datensätze unabhängig vom jeweiligen Speicherort abfragen, ohne Ihre Daten verschieben zu müssen.

Starburst lässt sich in die skalierbaren Cloud Storage- und Computing-Services von Red Hat OpenShift integrieren und bietet damit eine stabile, sicherheitsorientierte, effiziente und kostengünstige Möglichkeit zur Abfrage Ihrer Unternehmensdaten. Zu den Vorteilen zählen:

• Automatisierung: Operatoren von Starburst und Red Hat OpenShift bieten automatische Konfiguration, automatische Optimierung und automatisches Management von Clustern.
• Hohe Verfügbarkeit und einfache Skalierung: Der Red Hat OpenShift Load Balancer kann Services wie den Trino-Koordinator in einem ständig aktiven Zustand halten.
• Elastische Skalierbarkeit: Red Hat OpenShift kann den Trino-Worker-Cluster basierend auf der Abfragelast automatisch skalieren.

Unternehmen benötigen Datenverwaltungslösungen, die unterschiedliche Vorgänge, von Laptop-Experimenten bis hin zu kritischen Unternehmensbereitstellungen, erleichtern. HPE Machine Learning Data Management Software (vormals Pachyderm) ermöglicht Data Scientists containerisierte, datengesteuerte ML-Pipelines mit einer garantierten Datenherkunft zu erstellen und zu skalieren, die durch automatische Datenversionierung bereitgestellt wird. Pachyderm wurde zur Lösung realer Data Science-Probleme entwickelt und bietet die Datengrundlage, mit der Teams ihren ML-Lifecycle automatisieren, skalieren und gleichzeitig für Reproduzierbarkeit sorgen können. Mit Use Cases, die von unstrukturierten Daten bis hin zu Data Warehouses, Natural Language Processing, Video- und Bild-ETL (Extrahieren, Transformieren und Laden), Finanzdienstleistungen und Life Sciences reichen, bietet die HPE Machine Learning Data Management Software:

• Automatisierte Datenversionierung, die Teams eine leistungsstarke Möglichkeit bietet, den Überblick über Datenänderungen zu behalten
• Datengesteuerte containerisierte Pipelines zur Beschleunigung der Datenverarbeitung und Verringerung der Computing-Kosten
• Eine unveränderliche Datenherkunft, die einen festen Datensatz für Aktivitäten und Assets im ML-Lifecycle bereitstellt
• Eine Konsole zur intuitiven Visualisierung Ihres Directed Acyclical Graph (DAG) und Hilfestellung beim Debuggen sowie bei der Reproduzierbarkeit
• Support für Jupyter Notebooks mit der JupyterLab Mount Extension für eine Point and Click-Schnittstelle zu versionierten Daten
• Enterprise Administration mit robusten Tools für die Bereitstellung und Verwaltung von HPE Machine Learning Data Management Software in großem Umfang und in verschiedenen Teams innerhalb des Unternehmens

Hardware- und Software-Plattformen für Accelerated Computing von NVIDIA sorgen für eine neue Ära in diesem Bereich

Da KI/ML-Anwendungen zunehmend wichtiger für geschäftlichen Erfolg werden, benötigen Unternehmen Plattformen, die komplexe Workloads bewältigen, die Hardwareauslastung optimieren und Skalierbarkeit bieten können. Skalierbare Datenverarbeitung, Datenanalyse, Training für Machine Learning und Inferenz stellen sehr ressourcenintensive Berechnungsaufgaben dar, die sich gut für beschleunigtes Rechnen eignen. Die NVIDIA AI Enterprise-Software optimiert die Bereitstellung und den Einsatz produktionsreifer KI-Lösungen. NVIDIA NIM, ein Teil von NVIDIA AI Enterprise, ist eine Reihe bedienungsfreundlicher Microservices, die für eine sichere und zuverlässige Bereitstellung von hochleistungsfähiger KI-Modellinferenzierung entwickelt wurden. NVIDIA NIM verbessert das Management und die Performance von KI-Modellen innerhalb der Red Hat OpenShift-Umgebung, so dass KI-Anwendungen das volle Potenzial von NVIDIA Accelerated Computing und NVIDIA AI Enterprise Software nutzen können. Die Kombination aus NVIDIA Accelerated Computing, NVIDIA AI Enterprise und Red Hat OpenShift AI ermöglicht eine bessere Ressourcenzuweisung, höhere Effizienz und die schnellere Ausführung von KI-Workloads.

Intel OpenVINO Toolkit

Die Intel-Distribution des OpenVINO Toolkits beschleunigt die Entwicklung und Bereitstellung leistungsstarker DL-Inferenzanwendungen auf Intel-Plattformen. Mit dem Toolkit können Sie praktisch beliebige, neuronale Netzwerkmodelle übernehmen, optimieren und abstimmen und umfassende KI-Inferenzierung mit dem OpenVINO-Ökosystem von Entwicklungstools durchführen.

• Modellieren: Softwareentwicklungsteams haben die Flexibilität, ihre eigenen DL-Modelle zu verwenden. Für eine schnellere Markteinführung können sie auch vortrainierte und optimierte Modelle verwenden, die durch die Zusammenarbeit von Intel mit Hugging Face für das OpenVINO-Toolkit verfügbar sind.
• Optimieren: Das OpenVINO-Toolkit bietet mehrere Möglichkeiten zur Konvertierung von Modellen für mehr Komfort und Performance und unterstützt Softwareentwicklungsteams dabei, KI-Modelle schneller und effizienter auszuführen. Entwicklungsteams können die Modellkonvertierung überspringen und die Inferenz direkt aus den Formaten TensorFlow, TensorFlow Lite, ONNX oder PaddlePaddle ausführen. Die Konvertierung in OpenVINO IR bietet eine optimale Performance, verkürzt den Zeitraum für die erste Inferenz und spart Speicherplatz. Das Neural Network Compression Framework kann zusätzliche Verbesserungen bewirken.
• Bereitstellen: Die OpenVINO Runtime Inference Engine ist eine API (Application Programming Interface), die zur Beschleunigung des Inferenzprozesses in Ihre Anwendungen integriert werden kann. Der Ansatz „einmal erstellen, ortsunabhängig einsetzen“ ermöglicht die effiziente Ausführung von Inferenzaufgaben auf verschiedener Hardware von Intel, einschließlich CPUs (Central Processing Units), GPUs und Beschleunigern.

KI-Tools von Intel®

Mit den KI-Tools von Intel (ehemals Intel AI Analytics Toolkit) erhalten Data Scientists, KI-Entwicklungs- und Forschungsteams vertraute Python-Tools und -Frameworks, um End-to-End-Pipelines für Data Science und Analysen auf Intel-Architekturen zu beschleunigen. Die Komponenten verwenden oneAPI-Libraries von Intel für Low-Level-Rechenoptimierungen. Dieses Toolkit maximiert die Performance von der Vorverarbeitung bis hin zu ML und bietet Interoperabilität für eine effiziente Modellentwicklung.

Mit KI Tools von Intel können Sie:

• Mit Intel-optimierten DL-Frameworks für TensorFlow und PyTorch, einschließlich vorab trainierten Modellen sowie Tools mit niedriger Präzision, leistungsstarkes DL-Training auf Intel XPUs bieten und schnellere Inferenz in Ihren KI-Entwicklungsworkflow integrieren
• Mit rechenintensiven Python-Paketen, Modin, scikit-learn und XGBoost, optimiert für Intel, eine Drop-in-Beschleunigung für die Datenvorverarbeitung sowie für ML-Workflows erzielen
• Direkten Zugriff auf Analysen und KI-Optimierungen von Intel erhalten, um sicherzustellen, dass Ihre Software unterbrechungsfrei zusammenarbeitet

Elastic

Elastic Search AI Platform (auf dem ELK Stack basierend) kombiniert die Präzision der Suche mit der Intelligenz der KI, sodass Nutzende Prototypen schneller erstellen und mit LLMs integrieren und gen KI zur Erstellung skalierbarer, kosteneffizienter Anwendungen einsetzen können. Mit dieser Plattform können Nutzende transformative RAG-Anwendungen (Retrieval Augmented Generation) erstellen, proaktiv Beobachtbarkeitsprobleme lösen und komplexe Sicherheitsbedrohungen beseitigen. Elasticsearch kann dort eingesetzt werden, wo sich Ihre Anwendungen befinden: lokal, bei dem von Ihnen gewählten Cloud-Anbieter oder in Air Gapped-Umgebungen.

Elastic lässt sich mit Einbettungsmodellen aus dem IT-Ökosystem wie Red Hat OpenShift AI, Hugging Face, Cohere, OpenAI und anderen über einen einzigen, unkomplizierten API-Aufruf integrieren. Dieser Ansatz gewährleistet einen sauberen Code zur Verwaltung hybrider Inferenzen für RAG-Workloads und bietet unter anderem folgende Funktionen:

• Chunking, Connectors und Webcrawler für die Aufnahme verschiedener Datensätze in Ihre Suchschicht
• Semantische Suche mit ELSER (Elastic Learned Sparse EncodeR), dem integrierten ML-Modell und dem E5-Einbettungsmodell, das eine mehrsprachige Vektorsuche ermöglicht
• Sicherheit auf Dokumenten- und Feldebene, Implementierung von Zugriffsrechten, die der Role-based Access Control Ihres Unternehmens entsprechen

Mit Elastic Search AI Platform sind Sie Teil einer weltweiten Community von Entwicklerinnen und Entwicklern, in der Inspiration und Support stets in Reichweite sind. Besuchen Sie die Elastic Community auf Slack, in unseren Diskussionsforen oder in den sozialen Medien.

Mit Red Hat OpenShift AI können Unternehmen experimentieren, zusammenarbeiten und letztendlich die Entwicklung KI-gestützter Anwendungen beschleunigen. Data Scientists erhalten die Flexibilität, Red Hat OpenShift AI als cloudbasierten Add-on Service zu nutzen, der von Red Hat verwaltet wird, oder als selbst gemanagtes Softwareangebot, das Aufgaben vereinfacht, egal wo sie ihre Modelle entwickeln. IT-Abläufe profitieren von MLOps-Funktionen, die eine schnellere Bereitstellung von Modellen in der Produktion ermöglichen. Self-Service für Entwicklungs- und Data Science-Teams, einschließlich Zugriff auf GPUs, fördert Innovationen auf einer Anwendungsplattform, die bereits genutzt wird und auf die sich die Unternehmens-IT voll und ganz verlassen kann. Im Gegensatz zu Ansätzen von Mitbewerbern können Data Scientists Tools ohne restriktive Toolchain auswählen und so für neue, datenbasierte Erkenntnisse sorgen – ohne unnötige Beschränkungen.