A nova experiência de driver acelerador de IA no Red Hat Enterprise Linux

Muitas cargas de trabalho existentes estão sendo integradas e aprimoradas com a IA, e provavelmente surgirá uma nova onda de aplicações de IA no futuro. Isso aumentou a importância dos aceleradores de IA, como as unidades de processamento gráfico (GPU) e os mecanismos personalizados de inferência e treinamento. De GPUs independentes a aceleração de IA integrada on-die com a CPU tradicional, é evidente que um hardware especializado e acelerado é necessário para oferecer o desempenho necessário para desenvolver e implantar as cargas de trabalho do futuro.

É por isso que estamos anunciando uma nova experiência simplificada de driver de acelerador de IA no Red Hat Enterprise Linux (RHEL). Seja você um desenvolvedor criando a próxima aplicação de IA inovadora ou um administrador de sistemas de TI provisionando servidores para implantar cargas de trabalho de IA, o RHEL oferece uma experiência simplificada para colocar sistemas acelerados em funcionamento. Agora você pode adquirir drivers de acelerador de IA da NVIDIA e da AMD nos repositórios da Red Hat, criados e assinados pela Red Hat, usando práticas seguras da cadeia de suprimentos de software e tecnologias de Secure Boot. Com apenas um comando, você pode instalar os drivers de acelerador mais recentes disponíveis.

O desafio do gerenciamento de drivers de GPU e nossa solução

Historicamente, a instalação e a manutenção de drivers de acelerador de GPU com distribuições Linux de nível empresarial sempre apresentaram um conjunto único de desafios. Os usuários frequentemente enfrentavam obstáculos como:

• Compatibilidade de driver: garantia da versão correta do driver para kernels e hardware específicos.
• Segurança e confiança: verificação da autenticidade e integridade de drivers de terceiros com suporte ao Secure Boot.
• Sobrecargos de manutenção: atualização manual de drivers e gerenciamento de possíveis conflitos com atualizações do sistema.

Essa nova oferta da Red Hat supera esses desafios. Ao fornecer drivers AMD, Intel e NVIDIA por meio de repositórios da Red Hat, simplificamos a implantação e o gerenciamento de cargas de trabalho de IA no RHEL, oferecendo a você mais confiança e controle.

Nossa nova experiência inclui:

• Drivers de kernel e de modo de usuário para aceleradores de IA da NVIDIA e AMD, criados e assinados pela Red Hat (quando aplicável) e empacotados em repositórios da Red Hat.
• Um script para instalar perfeitamente os drivers mais recentes do acelerador de IA de data center da NVIDIA e da AMD.
• Drivers de modo kernel AMD e Intel integrados ao kernel upstream do Linux.

Por que isso é importante para suas iniciativas de IA

Esse novo recurso traz vários benefícios importantes para os usuários do RHEL que aproveitam os aceleradores de IA:

• Aceleração do time to value: ao reduzir o atrito da instalação e do gerenciamento de drivers, suas equipes podem dedicar mais tempo à criação e implantação de cargas de trabalho de IA de missão crítica importantes para seus negócios, e menos tempo para fazer as coisas funcionarem.
• Mais segurança e confiança: todos os drivers são criados e assinados pela Red Hat, aumentando a segurança da cadeia de suprimentos e integrando-os à computação confidencial. Você pode fazer a implantação com mais confiança, sabendo que os drivers são autênticos e não foram adulterados.
• Acesso simplificado: obtenha todos os drivers necessários para operar seu hardware acelerador de IA, entregues pelo ecossistema da Red Hat (Extensões e Repositórios Complementares), integrando-se perfeitamente com seus fluxos de trabalho de atualização do RHEL existentes usando comandos dnf.
• Confiança na compatibilidade por meio da validação de parceiros: os drivers são testados e validados por nossos parceiros, garantindo estabilidade e compatibilidade com os kernels do RHEL. Isso reduz o risco de instabilidade do sistema e melhora a confiabilidade geral da infraestrutura de IA.

Instalação fácil com rhel-drivers

O novo comando rhel-drivers detecta automaticamente o hardware acelerador de IA da classe de data center presente no seu sistema e instala automaticamente o driver do modo kernel mais recente disponível com base na versão do kernel do Linux. Essa ferramenta eficiente elimina a necessidade de examinar a documentação ou páginas de compatibilidade de soluções, oferecendo as inovações mais recentes em acelerador necessárias para aproveitar as ferramentas de IA que você deseja usar.

Validação de parceiros: confiança na execução de aceleradores de IA no RHEL

A Red Hat tem um longo histórico de colaboração com a AMD, a Intel e a NVIDIA para oferecer soluções empresariais aos nossos clientes em comum. Nossos parceiros realizaram testes significativos no RHEL para garantir sua compatibilidade, desempenho e estabilidade.

Repositório de Extensões e Repositório Complementar do RHEL

O ecossistema de software atual tem uma grande variedade de modelos de desenvolvimento e licenciamento. Entendemos que um ambiente de TI moderno depende de um conjunto diversificado de softwares e ferramentas para entregar o valor de negócio necessário. É por isso que oferecemos aos clientes acesso a vários repositórios para atender a esse ecossistema diverso.

Da mesma forma, o ecossistema de aceleradores de IA depende de uma mistura de conteúdo open source e proprietário. Com as Extensões do RHEL e os Repositórios Complementares, você obtém o que precisa para executar seus aceleradores de IA, tudo no ecossistema da Red Hat.

Repositório de Extensões do RHEL

O RHEL Extensions Repository foi criado para distribuir conteúdo open source de terceiros, criado e assinado pela Red Hat para oferecer confiança em uma cadeia de suprimentos segura.

Repositório Complementar da Red Hat

O Repositório Complementar da Red Hat é o local para conteúdo proprietário de terceiros, criado e assinado pela Red Hat.

Computação confidencial

Os drivers criados e assinados pela Red Hat habilitam a computação confidencial, sendo extremamente importantes para implantações de nuvem seguras e multitenant.

Veja por onde começar

Confira este guia detalhado para ajudar você a começar a usar esses novos drivers no RHEL.

Pré-requisitos

• Red Hat Enterprise Linux 10.1: certifique-se de que seu sistema esteja executando o RHEL 10.1 ou superior.
• Subscrição ativa da Red Hat: é necessário ter uma subscrição ativa que ofereça acesso às Extensões da Red Hat e aos Repositórios Complementares.
• Acelerador de IA NVIDIA ou AMD compatível: verifique se o seu sistema tem uma GPU compatível instalada. Para AMD, leia Requisitos do sistema (Linux) — Instalação do ROCm (Linux) e, para GPUs Instinct, siga estas dicas de otimização do sistema para obter informações sobre configurações da BIOS e argumentos do kernel.

Instalação de comando único com rhel-drivers

O rhel-drivers é uma nova ferramenta de linha de comando que oferece uma experiência de instalação simplificada e tranquila para drivers de acelerador de IA da NVIDIA e AMD. O pacote está disponível no repositório Application Streams (AppStreams) no RHEL 10.1. O AppStreams é habilitado por padrão. Tudo o que você precisa fazer é instalar o pacote rhel-drivers e pronto. 

O rhel-drivers automatiza várias etapas que, caso contrário, precisariam ser feitas manualmente:

1. Detecta automaticamente o acelerador de IA presente no sistema local
2. Habilita as Extensões do RHEL e os Repositórios Complementares
3. Instala os drivers mais recentes disponíveis dos repositórios da Red Hat
   • Para os aceleradores de IA de data center da NVIDIA, ele instalará o OpenRM mais recente e os drivers do kit de ferramentas cuda.
   • Para os aceleradores de IA de data center da AMD, ele instalará o driver AMDGPU mais recente do Repositório de Extensões do RHEL. O usuário precisará instalar separadamente o pacote AMD ROCm a partir do Repositório de Extensões.

Instalação do kernel da NVIDIA e dos drivers do modo de usuário com rhel-drivers

# Install the rhel-drivers package (not installed by default) sudo dnf install rhel-drivers # Install the NVIDIA kernel and user mode drivers sudo rhel-drivers install nvidia sudo reboot

Para testar se ele foi instalado corretamente, execute o seguinte comando:

nvidia-smi

Instalação do kernel AMD e drivers do modo de usuário com rhel-drivers

# Install the rhel-drivers package (not installed by default) sudo dnf install rhel-drivers # Install the AMD kernel mode drivers sudo rhel-drivers install amdgpu # Install the AMD ROCm (user mode drivers) from the Extensions Repository sudo dnf install rocm rocm-devel sudo reboot

Teste se ele foi instalado conforme o esperado:

$ rocm-smi --showid --showtemp --showpower --showmeminfo vram

Instalação manual de drivers

Sabemos que cada ambiente de TI é diferente e exige versões diferentes de drivers que nem sempre são as mais recentes. Para ambientes que exigem outras versões existentes dos drivers de acelerador de IA, os clientes podem instalar diretamente das Extensões e Repositórios Complementares do RHEL.

1. Habilitar as Extensões e os Repositórios Complementares

Primeiro, habilite o repositório apropriado para sua versão do RHEL. Para o RHEL 10:

sudo subscription-manager repos  --enable=rhel-10-for-x86_64-supplementary-rpms sudo subscription-manager repos  --enable=rhel-10-for-x86_64-extensions-rpms

Certifique-se de que seu sistema RHEL esteja atualizado com os pacotes mais recentes:

sudo dnf update sudo reboot

Uso paralelo de repositórios de Extensões e EPEL

Embora não seja recomendado, caso queira habilitar as Extensões e os repositórios Extra Packages for Enterprise Linux (EPEL) em paralelo, você deve ajustar a prioridade do repositório para garantir que os pacotes disponíveis de ambos os repositórios sejam instalados a partir de Extensões por padrão.

sudo subscription-manager repo-override  --repo=rhel-10-for-x86_64-extensions-rpms --add=priority:98

Consulte o DNF Configuration Reference para ver a definição da prioridade do repositório.

2. Identificar e instalar os pacotes de driver

Os nomes específicos dos pacotes variam um pouco entre NVIDIA e AMD.

Drivers da NVIDIA

$ sudo dnf install nvidia-driver cuda-toolkit

Para ver uma lista de metapacotes disponíveis, consulte a lista de metapacotes da NVIDIA.

Drivers do acelerador de IA da NVIDIA

Normalmente, você instalará o pacote kmod-nvidia com os componentes de espaço do usuário {2&g>idia-driver<2}.

$ sudo dnf install kmod-nvidia nvidia-driver

Esse comando extrai automaticamente o módulo do kernel correto e os drivers de espaço do usuário para seu sistema.

Drivers de acelerador de IA da AMD (ROCm)

Para AMD, instale o driver do kernel amdgpu mais recente e a pilha de espaço do usuário ROCm.

$ sudo dnf install kmod-amdgpu rocm rocm-devel

3. Reinicialize o sistema

Após a instalação, é essencial reinicializar o sistema para garantir que os novos módulos do kernel sejam carregados corretamente.

$ sudo reboot

4. Verifique a instalação

Depois que o sistema for reinicializado, você poderá verificar se o driver foi carregado com um comando específico do fornecedor. Por exemplo, para verificar se o driver NVIDIA está carregado e a GPU é reconhecida:

$ nvidia-smi

Você verá uma saída semelhante a esta, detalhando sua GPU NVIDIA e a versão do driver:

Driver de modo kernel Intel NPU: validação no BaseOS

O driver Intel está incluído no repositório BaseOS porque está no kernel do Linux. As CPUs compatíveis com Intel NPU são validadas nos SoCs Core Ultra Meteor Lake, Arrow Lake e Lunar Lake. Para verificar o suporte ao driver do kernel:

sudo modprobe -v intel_vpu lsmod | grep intel_vpu

RHEL: a base para criar as aplicações de IA do futuro

Aqui na Red Hat, estamos trabalhando para tornar o RHEL a plataforma Enterprise Linux que permite o desenvolvimento e a implantação das aplicações e cargas de trabalho de IA mais avançadas. Adoraríamos saber a sua opinião sobre como podemos melhorar a experiência dos drivers de acelerador no RHEL. Teste esses drivers e a nova experiência de instalação hoje mesmo no RHEL.