Red Hat AI 3 offre vitesse, distribution accélérée et évolutivité.

En mai dernier, lors du Red Hat Summit, nous avons fait plusieurs annonces concernant la gamme de produits Red Hat AI, notamment le lancement de Red Hat AI Inference Server et des modèles validés tiers de Red Hat AI, l'intégration des API Llama Stack et Model Context Protocol (MCP) en version préliminaire pour les développeurs, et la mise en place du projet communautaire llm-d. La dernière version de la gamme, Red Hat AI 3, propose un grand nombre de ces fonctionnalités prêtes pour la production destinées aux entreprises. En outre, nous fournissons davantage d'outils et de services qui permettent aux équipes d'améliorer leur productivité, de collaborer plus efficacement et de déployer leurs applications dans tous les environnements. Voyons ce que Red Hat AI 3 peut faire pour votre entreprise.

1 Atteignez de nouveaux niveaux d'efficacité grâce à l'inférence compatible avec les contrats de niveau de service.

Notre stratégie consiste à utiliser n'importe quel modèle, quel que soit l'accélérateur et l'environnement. Les dernières améliorations de l'inférence incluent des fonctions qui permettent de respecter les contrats de niveau de service (SLA) des applications d'IA générative, la prise en charge d'accélérateurs matériels supplémentaires, ainsi qu'un catalogue étendu de modèles tiers validés et optimisés. Voici quelques-uns des points forts :

• llm-d est désormais disponible au sein de Red Hat OpenShift AI 3.0. llm-d fournit une inférence distribuée native pour Kubernetes, ce qui est primordial pour assurer l'évolutivité et la gestion de la nature imprévisible des grands modèles de langage (LLM). Contrairement au comportement cohérent de nombreuses charges de travail classiques à évolutivité horizontale, les requêtes des grands modèles de langage, telles que les invites et les réponses, peuvent varier considérablement, ce qui rend la mise à l'échelle monolithique particulièrement inefficace. En distribuant le processus d'inférence de manière intelligente, llm-d propose une allocation cohérente des ressources et des temps de réponse prévisibles, ce qui est crucial pour respecter des contrats de niveau de service (SLA) exigeants et optimiser la rentabilité et les performances des applications d'IA générative en entreprise.
• La dernière version de Red Hat AI Inference Server, version 3.2, permet une inférence cohérente, rapide et économique via une version d'entreprise de vLLM et un accès aux fonctionnalités d'optimisation de modèle de Red Hat AI, et étend la prise en charge des GPU NVIDIA et AMD pour inclure désormais IBM Spyre. L'intégration de nouveaux accélérateurs offre aux clients la flexibilité, l'optimisation et la gestion des risques nécessaires à leurs futures stratégies d'IA.
• La solution Red Hat AI 3 comprend un nouveau lot de modèles tiers validés et optimisés, qui englobent des modèles Open Source d'avant-garde de fournisseurs tels qu'OpenAI, Google et NVIDIA. Cette approche simplifie la sélection des modèles et aide les entreprises à réduire les coûts matériels, à augmenter le débit et à diminuer la latence lors de l'inférence. Ces modèles optimisés pour les entreprises sont mis à disposition dans le référentiel Red Hat AI Hugging Face repository et dans le catalogue de modèles de Red Hat OpenShift AI en tant que conteneurs analysés et traçables. Les nouveaux modèles incluent des capacités multilingues, de codage, de synthèse, de chat, et plus encore.
• Pour les services informatiques qui souhaitent devenir des fournisseurs de modèles pour leurs utilisateurs, OpenShift AI 3.0 donne accès à des fonctionnalités MaaS (Model-as-a-Service) sous forme de version préliminaire pour les développeurs. Le MaaS permet aux entreprises d'exploiter différents modèles basés sur des API et des modèles autogérés pour les cas d'utilisation qui ne peuvent pas être exécutés dans des environnements de cloud public. Cette version comprend un plan de contrôle MaaS, une passerelle d'API intégrée, un contrôle d'accès basé sur les rôles et des indicateurs de mesure des coûts qui permettent aux entreprises de centraliser les ressources, d'accélérer l'innovation et de réduire les coûts d'exploitation associés à l'IA privée.

2 Accélérer l'innovation dans le domaine de l'IA agentique

L'évolution du développement cloud-native a révolutionné la manière dont de nombreuses entreprises ont créé des applications au cours de la dernière décennie. De même, l'IA générative a transformé les normes de développement logiciel. Aujourd'hui, une troisième vague d'IA est sur le point d'amorcer une transformation d'une ampleur considérable : l'IA agentique.

Plusieurs des nouvelles capacités de la version OpenShift AI 3.0 aident à poser les bases de systèmes et workflows d'IA évolutifs, avec les structures, outils et capacités nécessaires pour accélérer la distribution de l'IA agentique, notamment :

• Plateforme d'IA modulaire et adaptative avec Llama Stack : Afin d'améliorer la flexibilité et de simplifier l'exploitation des agents d'IA, nous avons publié l'API Llama Stack sous forme de version préliminaire dans OpenShift AI 3.0. Ce point d'entrée fournit une approche standardisée pour un large éventail de capacités d'IA (de la génération augmentée par récupération (RAG), la sécurité et l'évaluation à la télémétrie, l'inférence avec vLLM, et les appels d'outils avec MCP) permettant aux organisations d'intégrer leurs propres API, leurs fournisseurs externes et leurs frameworks agentiques préférés. Red Hat AI fournit une plateforme fiable, complète et cohérente qui simplifie le déploiement, la gestion et l'exécution sécurisées des agents d'IA à grande échelle dans les environnements de production.
• Prise en charge du MCP Afin d'accélérer le déploiement des systèmes d'agents d'IA, OpenShift AI 3.0 prend en charge la norme ouverte MCP en tant que version préliminaire pour les développeurs. Le serveur MCP agit comme un « traducteur » standardisé pour un large éventail d'outils externes, de sources de données et d'applications. Il complète l’API Llama Stack en gérant les intégrations complexes avec les applications et les sources de données externes, évitant ainsi à la pile Llama de nécessiter une intégration personnalisée pour chaque outil externe. Nous avons également organisé un ensemble de serveurs MCP. Les ISV peuvent ainsi connecter leurs outils et services directement à Red Hat AI.
• Des expériences spécialisées rationalisées : OpenShift AI 3.0 propose des expériences dédiées, telles que l'AI Hub et le Gen AI Studio, qui répondent aux besoins spécifiques des ingénieurs en plateforme et en IA. L'AI Hub permet aux ingénieurs en plateforme d'explorer, de déployer et de gérer des ressources essentielles telles que des grands modèles de langage et des serveurs MCP. L'AI Hub sert de point central pour la gestion du cycle de vie et la gouvernance des ressources d'IA. Le Gen AI Studio fournit aux ingénieurs en IA un environnement pratique pour découvrir, tester et gérer les ressources d'IA déployées. Les ingénieurs en IA peuvent expérimenter avec différents modèles, ajuster des hyperparamètres et prototyper des applications d'IA générative, telles que le chat et le RAG.

3 Connexion de modèles à vos données privées

Avec Red Hat AI 3, les équipes peuvent améliorer les performances et la précision de leurs modèles à l'aide de plusieurs options de personnalisation de l'IA pour leur domaine. Les outils de la plateforme Red Hat AI 3 sont accessibles à tous les contributeurs de tous les niveaux d'expertise en IA (développeurs, data scientists, ingénieurs en IA), ce qui simplifie la collaboration et l'interopérabilité. Voici les nouvelles fonctions :

• Une approche modulaire et extensible OpenShift AI 3.0 introduit une nouvelle boîte à outils modulaire et extensible pour la personnalisation des modèles, qui illustre la progression d'InstructLab au fil de son passage d'une méthodologie puissante et complète de bout en bout à une approche davantage axée sur la flexibilité. Ce kit comprend des bibliothèques Python spécialisées pour l'ingestion de données, la génération de données synthétiques (SDG), ainsi que le réglage et l'évaluation de modèles. Les équipes bénéficient ainsi d'un contrôle accru et d'une personnalisation optimisée des modèles. Ainsi, les data scientists, les chercheurs en IA et les ingénieurs en IA peuvent sélectionner uniquement les composants dont ils ont besoin pour travailler avec une rapidité et une efficacité accrues.
• Amélioration des capacités RAG : OpenShift AI permet d'accéder à une nouvelle expérience RAG étendue. Ce workflow rationalisé permet aux développeurs et aux ingénieurs en IA d'accéder facilement aux sources de données à l'aide de technologies Open Source, telles que docling, et de les connecter à des modèles, des applications et des agents. La plateforme prend désormais en charge les API d'intégration et de complétion d'OpenAI en plus des options Llama Stack, ce qui permet de déployer des solutions RAG dans différents environnements tout en conservant des fonctionnalités cohérentes.

4 Mettre à l'échelle l'IA dans le cloud hybride

Une stratégie d'IA réussie repose sur la productivité, la cohérence et l'amélioration de l'expérience utilisateur. Chez Red Hat, notre objectif est de fournir une plateforme d'IA qui permet aux entreprises de créer, de paramétrer, de déployer et de gérer de manière cohérente les modèles d'IA et les applications agentiques à grande échelle dans le cloud hybride, avec à la clé une expérience unifiée qui accélère la rentabilisation. Les avantages d'OpenShift AI 3.0 : 

• Contrôle centralisé via un registre de modèles : Le registre de modèles offre une expérience rationalisée pour la gestion des modèles d'IA, permettant aux équipes de découvrir, de réutiliser et de gérer avec aisance un large éventail de ressources, des propres modèles et artefacts du client aux options communautaires et tierces largement utilisées. Ces capacités visent à dynamiser la productivité, à favoriser la cohérence et à assurer la gestion centralisée du cycle de vie.
• Expérience utilisateur améliorée pour les pipelines d'IA : l'expérience utilisateur améliorée des pipelines d'IA fournit les outils dont les data scientists et les ingénieurs en IA ont besoin pour entraîner et ajuster les modèles avec une rapidité accrue, en rationalisant les workflows au moyen d'exemples exécutables et de composants réutilisables, ainsi que la possibilité d'utiliser leurs propres workflows Argo pour une flexibilité optimale.
• Observabilité améliorée : Afin de fournir aux entreprises une perspective centralisée sur les performances de l'IA, un contrôle et une cohérence améliorés, OpenShift AI 3.0 inclut des indicateurs de mesure de base de plateforme avec la norme d'observabilité OpenTelemetry, la surveillance de GPU sans configuration requise, ainsi que des tableaux de bord de référence pour les indicateurs de mesure clés en matière d'IA, tels que le temps avant le premier jeton et le débit. La plateforme offre également la possibilité d'exporter des API pour une intégration fluide avec les plateformes de surveillance d'entreprise.
• GPU-as-a-service intelligent : OpenShift AI 3.0 utilise des fonctions avancées pour améliorer l'utilisation du processeur graphique, optimiser l'efficacité et prendre en charge un large éventail de charges de travail. Avec le découpage des accélérateurs pour tous les périphériques NVIDIA MIG, les entreprises peuvent partitionner les GPU pour plusieurs utilisateurs, ce qui évite le gaspillage de ressources. Grâce à Kueue, la plateforme prend en charge un ensemble diversifié de charges de travail d'IA, notamment les tâches d'entraînement de Ray, les tâches d'entraînement basées sur les opérateurs et les services d'inférence pour la planification et la gestion efficaces sur du matériel partagé.

Une nouvelle approche de l'IA d'entreprise

Nous sommes convaincus que l'IA d'entreprise n'est pas une solution universelle. Il s'agit d'une approche stratégique globale qui tient compte de la complexité et de la diversité des défis métier concrets. Red Hat fournit une plateforme flexible qui permet aux entreprises de dépasser le statu quo en offrant la liberté de choisir le modèle, le matériel ou la stratégie de déploiement dans le cloud hybride. C'est cet engagement en faveur du choix, du contrôle et de l'efficacité qui nous permet de nous distinguer. Nous ne nous contentons pas de proposer l'IA, nous créons une base fiable et complète qui permet aux entreprises de tirer le meilleur parti de leurs investissements dans ce domaine.

Afin d'en savoir plus sur la solution d'IA Red Hat 3 et de découvrir comment développer l'IA pour votre monde, regardez notre session en direct Quelles sont les nouveautés et les prochaines étapes et rendez-vous notre site web.