L'IA in produzione per i cloud privati e ibridi
Sviluppa, addestra e distribuisci modelli e applicazioni di IA
Red Hat® OpenShift® AI è una piattaforma MLOps che consente di sviluppare, addestrare e distribuire i modelli e le applicazioni di IA in modo scalabile negli ambienti di cloud privato e ibrido. OpenShift AI offre alle organizzazioni un modo efficiente per distribuire un set integrato di strumenti open source e di terze parti comunemente usati per la creazione di modelli di IA generativa (IA gen), IA predittiva e machine learning (AI/ML). Gli utenti possono così avvalersi di una piattaforma e di un set di strumenti open source collaborativi per la creazione di modelli sperimentali e la loro distribuzione coerente in produzione, in un formato predisposto per i container, su ambienti di cloud pubblico e privato, on premise e all'edge.
OpenShift AI, componente chiave di Red Hat AI, offre ai responsabili delle operazioni IT e agli ingegneri della piattaforma un ambiente semplice da gestire, scalabile e focalizzato sulla sicurezza. Inoltre, mette a disposizione di data scientist e ingegneri dell'IA una piattaforma completa e unificata per lo sviluppo e la distribuzione scalabili di soluzioni di IA.
OpenShift AI supporta i modelli fondativi di IA gen, consentendone il fine tuning e l'utilizzo con dati privati. I carichi di lavoro possono essere distribuiti su più cluster Red Hat OpenShift, a prescindere dalla loro posizione. La piattaforma è integrata e basata su Red Hat OpenShift, semplificando l'accelerazione hardware per l'IA e supportando infrastrutture basate su unità di elaborazione centrale (CPU) e unità di elaborazione grafica (GPU), incluse le GPU NVIDIA e AMD e le XPU Intel, sia on premise sia in ambienti cloud sovrani o pubblici.
Tabella 1. Caratteristiche e vantaggi di Red Hat OpenShift AI
Vantaggi principali
Semplifica e incrementa l'adozione dell'IA nella tua azienda per offrire una maggiore flessibilità nelle iniziative di IA.
Garantisci l'uniformità delle operazioni con AI/ML grazie a un'esperienza dell'utente omogenea, che rende più efficiente la collaborazione tra ingegneri dell'IA, data scientist, data engineer e team DevOps.
Offre flessibilità e coerenza nello sviluppo, nella distribuzione e nella gestione scalabile dell'IA su qualsiasi infrastruttura hardware e su cloud ibridi, rispondendo ai vincoli legati ai dati, alla privacy, alla sicurezza e al controllo dei costi.
Caratteristiche | Vantaggi |
Sviluppo e personalizzazione dei modelli | Un'interfaccia JupyterLab interattiva con librerie e ambienti di lavoro AI/ML. Integra funzionalità di acquisizione dei dati e generazione di dati sintetici, il toolkit InstructLab e la Retrieval Augmented Generation (RAG) per la connessione a dati privati. |
Addestramento e sperimentazione dei modelli | Organizza file e artefatti di sviluppo. Supporta carichi di lavoro distribuiti per un addestramento e un'ottimizzazione efficienti. Include funzionalità di monitoraggio degli esperimenti e allocazione semplificata dell'hardware. |
Velocità intelligente di GPU e hardware
| È disponibile l'accesso self service alla GPU. Consente un utilizzo intelligente della GPU per la pianificazione dei carichi di lavoro, la gestione delle quote, l'accesso prioritario e la visibilità dell'utilizzo tramite profili hardware. |
Pipeline IA | Possono automatizzare la distribuzione e i test dei modelli. Le pipeline sono soggette a controllo delle versioni, monitoraggio e gestione per ridurre gli errori degli utenti e semplificare i flussi di lavoro di sperimentazione e produzione. |
Model serving ottimizzato | Mette a disposizione modelli di diversi provider e framework tramite un modello di linguaggio virtuale di grandi dimensioni (vLLM), ottimizzato per un throughput elevato e una latenza ridotta. Il framework di inferenza distribuita llm-d supporta prestazioni prevedibili e scalabili e una gestione efficiente delle risorse. Include un LLM compressor e consente di accedere a modelli di IA gen comuni, ottimizzati e convalidati. |
Interfacce utente per l'Agentic AI e l'IA gen | Velocizza i flussi di lavoro dell'Agentic AI grazie ai principali servizi della piattaforma. Offre un livello di API (interfaccia di programmazione delle applicazioni) unificato (MCP e Llama Stack API), insieme a una dashboard dedicata (AI hub e gen AI studio). |
Osservabilità e governance dei modelli | Strumenti open source comuni per la gestione del ciclo di vita, le prestazioni e l'operatività. Consente il monitoraggio delle metriche, incluse le prestazioni, il rilevamento di data drift e bias e i meccanismi di guardrail dell'IA in fase di inferenza. Offre funzionalità di valutazione degli LLM (LM Eval) e di benchmarking degli LLM (GuideLLM) a supporto delle distribuzioni di inferenza in contesti reali. |
Catalogo e registro | Gestione centralizzata dei modelli di IA predittiva e IA gen, dei server MCP e dei relativi metadati e artefatti. |
Feature store | Un'interfaccia utente che consente di gestire feature di dati pulite e ben definite per i modelli di ML, migliorando le prestazioni e accelerando i flussi di lavoro. |
Models-as-a-Service | Consente agli ingegneri dell'IA di utilizzare i modelli attraverso un gateway API integrato e gestito per l'accesso self-service e il monitoraggio dell'utilizzo (funzionalità di anteprima per gli sviluppatori). |
Ambienti disconnessi ed edge | Supporta cluster disconnessi e isolati per la sicurezza e la conformità normativa. |
Oltre alle funzionalità di OpenShift AI, sono disponibili i seguenti prodotti partner integrati:
- Starburst per l'accesso distribuito ai dati su set di dati eterogenei.
- HPE per il data lineage e la gestione delle versioni.
- NVIDIA per la gestione delle prestazioni delle GPU.
- AMD per l'accelerazione delle GPU.
- Intel per l'inferenza ad alte prestazioni su hardware Intel.
- Elastic ed EDB per database vettoriali utilizzati in applicazioni di Retrieval Augmented Generation (RAG).
Passaggi successivi:
Scopri di più su Red Hat OpenShift AI e guarda il video informativo.
