Red Hat AI 3 offre velocità, distribuzione accelerata e scalabilità

Lo scorso maggio, in occasione del Red Hat Summit, abbiamo fatto diversi annunci relativi al portfolio Red Hat AI. Questi includono l'introduzione di Red Hat AI Inference Server e dei modelli di terze parti convalidati di Red Hat AI, l'integrazione delle API Llama Stack e Model Context Protocol (MCP) in anteprima per gli sviluppatori, e la creazione del progetto della community llm-d. L'ultima versione del portafoglio, Red Hat AI 3, offre alle aziende molte di queste funzionalità, disponibili in produzione. Inoltre, forniamo più strumenti e servizi per consentire ai team di aumentare l'efficienza, collaborare in modo più efficace e distribuire ovunque. Scopri cosa può fare Red Hat AI 3 per la tua azienda.

1. Raggiungi nuovi livelli di efficienza con l'inferenza consapevole degli SLA

La strategia di Red Hat è quella di supportare qualsiasi modello su qualsiasi acceleratore ed in qualsiasi ambiente. I più recenti miglioramenti all'inferenza offrono funzionalità per soddisfare gli accordi sul livello di servizio (SLA) delle applicazioni di IA generativa (gen AI), il supporto per acceleratori hardware aggiuntivi e un catalogo ampliato di modelli di terze parti convalidati e ottimizzati. Ecco alcune novità degne di nota:

• llm-d è ora generalmente disponibile in Red Hat OpenShift AI 3.0. Fornisce l'inferenza distribuita Kubernetes-native, essenziale per la scalabilità e la gestione dell'imprevedibilità dei modelli linguistici di grandi dimensioni (LLM). A differenza del comportamento coerente di molti carichi di lavoro tradizionali con scalabilità orizzontale, le richieste LLM, come i prompt e le risposte, possono variare notevolmente, rendendo la scalabilità monolitica altamente inefficiente. Distribuendo in modo intelligente il processo di inferenza, llm-d offre un'allocazione delle risorse coerente e tempi di risposta prevedibili, fondamentali per rispettare gli SLA rigorosi e ottimizzare la fattibilità economica e delle prestazioni per le applicazioni di IA di livello enterprise.
• L'ultima versione di Red Hat AI Inference Server (3.2), fornisce un'inferenza coerente, rapida ed economica tramite una versione di livello enterprise di vLLM e consente l'accesso alle funzionalità di ottimizzazione dei modelli di Red Hat AI, estendendo al contempo il supporto delle GPU NVIDIA ed AMD includendo IBM Spyre. Questa integrazione di nuovi acceleratori offre ai clienti la flessibilità, l'ottimizzazione e la gestione del rischio necessarie per supportare le loro future strategie di IA.
• Red Hat AI 3 include un nuovo set di modelli di terze parti convalidati e ottimizzati, che comprende modelli open source di frontiera da provider come OpenAI, Google e NVIDIA. Ciò semplifica la selezione dei modelli e aiuta le organizzazioni a ridurre i costi dell'hardware, ad aumentare la produttività e a ridurre la latenza durante l'inferenza. Questi modelli pronti per l'impresa sono disponibili nel repository Red Hat AI Hugging Face e nel catalogo dei modelli di Red Hat OpenShift AI come container scansionati e tracciabili. I nuovi modelli includono funzionalità multilingua, di codifica, di riepilogo, chat e altro ancora.
• Per le organizzazioni IT aziendali che desiderano diventare provider di modelli per i propri utenti, OpenShift AI 3.0 offre l'accesso alle funzionalità Models as a Service (MaaS) in anteprima per gli sviluppatori. MaaS consente alle organizzazioni di sfruttare una combinazione di modelli autogestiti e basati su API per scenari di utilizzo che non possono essere eseguiti in ambienti hybrid cloud. Questa versione include un piano di controllo MaaS, un gateway API integrato, il controllo degli accessi basato sui ruoli (RBAC) e metriche di monitoraggio dei costi, che insieme consentono alle organizzazioni di centralizzare le risorse, accelerare l'innovazione e ridurre i costi operativi associati all'IA privata.

2. Accelera l'innovazione dell'Agentic AI

L'evoluzione dello sviluppo cloud native ha rivoluzionato il modo in cui molte organizzazioni hanno creato applicazioni negli ultimi dieci anni. Allo stesso modo, l'IA generativa ha trasformato gli standard di sviluppo del software. Ora, una terza ondata di IA è destinata a dare il via a una trasformazione ancora più grande: l'Agentic AI.

Molte delle nuove funzionalità di OpenShift AI 3.0 contribuiscono a gettare le basi per sistemi e flussi di lavoro di Agentic AI scalabili, fornendo i framework, gli strumenti e le funzionalità necessari per accelerare la distribuzione dell'Agentic AI, tra cui:

• Piattaforma di IA modulare e adattiva con Llama Stack - Per migliorare la flessibilità e semplificare le operazioni degli agenti di IA, abbiamo rilasciato l'API Llama Stack come anteprima tecnica in OpenShift AI 3.0. Fornisce un punto di accesso standardizzato per un'ampia gamma di funzionalità di IA. Queste includono la retrieval-augmented generation (RAG), la sicurezza e la valutazione, la telemetria, l'inferenza con vLLM e il tool calling con MCP. Questo approccio consente alle organizzazioni di integrare le proprie API, i provider esterni ed i framework agentici preferiti. Red Hat AI offre una piattaforma affidabile, completa e coerente che semplifica il deployment, la gestione e l'esecuzione degli agenti di IA con un approccio incentrato sulla sicurezza e scalabile negli ambienti di produzione.
• Supporto MCP - Per accelerare il deployment dei sistemi di Agentic AI, OpenShift AI 3.0 fornisce supporto per lo standard emergente aperto MCP, come anteprima per gli sviluppatori. Il server MCP funge da "traduttore" standardizzato per un'ampia gamma di strumenti esterni, sorgenti di dati e applicazioni. Integra l'API Llama Stack gestendo le complesse integrazioni con applicazioni ed sorgenti di dati esterne, liberando Llama Stack dalla necessità di un'integrazione personalizzata per ogni strumento esterno. Abbiamo anche curato una raccolta di server MCP. Ciò consente agli ISV di connettere i propri strumenti e servizi direttamente a Red Hat AI.
• Esperienze dedicate e semplificate - OpenShift AI 3.0 offre esperienze dedicate, come AI hub e gen AI studio, che soddisfano le esigenze specifiche degli ingegneri della piattaforma e dell'IA. AI hub consente agli ingegneri della piattaforma di esplorare, distribuire e gestire risorse di base come server LLM e server MCP. Funge da snodo centrale per la gestione del ciclo di vita e della governance delle risorse di IA. Gen AI studio offre agli ingegneri dell'IA un ambiente pratico per scoprire, testare e gestire le risorse di IA distribuite. Gli ingegneri dell'IA possono sperimentare diversi modelli, ottimizzare gli iperparametri e creare prototipi di applicazioni di IA generativa, come chat e RAG.

3. Connetti i modelli ai tuoi dati privati

Red Hat AI 3 consente ai team di migliorare le prestazioni e la precisione dei modelli offrendo diversi modi per personalizzare l'IA per il tuo dominio. Gli strumenti di Red Hat AI 3 sono accessibili ai contributori di tutti i livelli di esperienza nell'IA, dagli sviluppatori, ai data scientist ed agli ingegneri dell'IA, semplificando la collaborazione e l'interoperabilità. Le nuove funzionalità includono:

• Un approccio modulare ed estensibile - OpenShift AI 3.0 introduce un nuovo toolkit modulare ed estensibile per la personalizzazione dei modelli, esemplificando l'evoluzione di InstructLab nel passaggio da una metodologia end-to-end efficace a un approccio più flessibile. Il toolkit include librerie Python individuali e specializzate per l'acquisizione dei dati, la generazione di dati sintetici (SDG), l'ottimizzazione dei modelli e la valutazione, offrendo ai team un maggiore controllo e un percorso più efficiente per la personalizzazione dei modelli. Ciò consente a data scientist, ricercatori ed ingegneri di IA di selezionare solo i componenti di cui hanno bisogno, aiutandoli a lavorare in modo più rapido ed efficiente.
• Funzionalità RAG migliorate - Una nuova esperienza RAG ampliata è ora disponibile in OpenShift AI. Questo flusso di lavoro semplificato consente a sviluppatori ed ingegneri di IA di accedere facilmente alle sorgenti di dati con tecnologie open source come docling e di collegarle a modelli, applicazioni ed agenti. La piattaforma ora supporta le API di incorporamento e completamento di OpenAI insieme ed alle opzioni Llama Stack, offrendo la flessibilità necessaria per distribuire le soluzioni RAG in diversi ambienti, mantenendo una funzionalità coerente.

4. IA scalabile nel cloud ibrido

Produttività, coerenza e un'esperienza utente migliorata sono fondamentali per una strategia di IA di successo. L'obiettivo di Red Hat è fornire una piattaforma di IA che consenta alle aziende di creare, ottimizzare, distribuire e gestire in modo coerente modelli di IA e agentic application scalabili nel cloud ibrido, offrendo un'esperienza unificata che accelera la generazione di valore. OpenShift AI 3.0 offre: 

• Controllo centralizzato tramite un registro dei modelli - Il registro dei modelli offre un'esperienza più snella per la gestione dei modelli di IA, consentendo ai team di individuare, riutilizzare e gestire più facilmente un'ampia gamma di risorse, dai modelli e dagli artefatti dei clienti alle più diffuse opzioni della community e di terze parti. Queste funzionalità sono progettate per aumentare la produttività, promuovere la coerenza e garantire una gestione centralizzata del ciclo di vita.
• Esperienza utente migliorata per le pipeline di IA  - L'esperienza utente migliorata per le pipeline di IA fornisce gli strumenti necessari a data scientist ed ingegneri dell’IA per addestrare e ottimizzare i modelli più rapidamente, semplificando i flussi di lavoro attraverso esempi eseguibili e componenti riutilizzabili, oltre alla possibilità di utilizzare i propri flussi di lavoro Argo per la massima flessibilità.
• Osservabilità migliorata - Per offrire alle organizzazioni una prospettiva centralizzata sulle prestazioni dell'IA e per migliorare il controllo e la coerenza, OpenShift AI 3.0 include le metriche della piattaforma di base con lo standard di osservabilità OpenTelemetry, il monitoraggio della GPU senza configurazione e dashboard di riferimento per le metriche chiave dell'IA come il time-to-first-token e il throughput, e la possibilità di esportare le API per un'integrazione agevole con le piattaforme di monitoraggio aziendali.
• GPU-as-a-Service intelligente - OpenShift AI 3.0 utilizza funzionalità avanzate per ottimizzare l'utilizzo della GPU, massimizzare l'efficienza e supportare un'ampia gamma di carichi di lavoro. Con lo slicing dell'acceleratore per tutti i dispositivi abilitati NVIDIA MIG, le aziende possono partizionare le GPU per più utenti, contribuendo a garantire che nessuna risorsa vada sprecata. Grazie all'utilizzo di Kueue, la piattaforma supporta un insieme più diversificato di carichi di lavoro di IA, tra cui i job di addestramento di Ray, i job basati sull'operatore per l’addestramento ed i servizi di inferenza, per una pianificazione e una gestione efficienti su hardware condiviso.

Un nuovo approccio all'IA di livello enterprise

L'IA di Red Hat si basa sulla convinzione che l'IA di livello enterprise non sia una soluzione standard adatta a tutti. Si tratta di un approccio strategico e olistico che riconosce la complessità e la diversità delle sfide aziendali reali. Red Hat offre una piattaforma flessibile che consente alle organizzazioni di andare oltre lo status quo, offrendo la libertà di scegliere qualsiasi modello, hardware o strategia di deployment nel cloud ibrido. L’impegno per offrire scelta, controllo ed efficienza è ciò che ci contraddistingue: oltre all’IA, forniamo una base affidabile e completa che consente alle organizzazioni di ottenere il massimo dai loro investimenti nell'IA.

Per sapere di più su Red Hat AI 3 e scoprire come adattare l'IA alle tue esigenze, guarda la registrazione del nostro evento live intitolato What’s new and what’s next e visita il nostro sito web.