일관된 AI 플랫폼 구축: 커스터마이징과 엔터프라이즈 데이터의 만남

생성형 AI(생성 AI)가 기업의 운영 방식을 재편하고 있다는 점은 의심의 여지가 없지만, AI에서 진정한 가치를 실현하려면 사전 학습된 모델을 연결하고 최상의 결과를 기대하는 것 이상이 필요합니다.

AI 솔루션은 즉시 배포 가능한 것으로 여겨지지만, 엔터프라이즈 환경에서 성공적으로 구현하려면 전략적 계획과 체계적인 통합이 필요합니다. 엔터프라이즈 환경이 요구하는 일관되고 안정적인 결과를 얻으려면, 포괄적인 모델 맞춤 설정과 강력한 엔터프라이즈 데이터 통합을 결합하는 체계적인 접근 방식이 필요합니다.

이러한 접근 방식을 통해 AI 솔루션은 기존 비즈니스 프로세스와 더 잘 연계되고, AI 거버넌스 및 규정 준수 요구 사항을 보다 효과적으로 충족하며, 엔터프라이즈 운영에 필요한 안정성과 확장성을 유지하면서 측정 가능한 비즈니스 가치를 제공할 수 있습니다.

플랫폼 관점이 중요한 이유

이렇게 생각해보세요. 플랫폼 전략 없이 AI를 사용하는 것은 설계도 없이 초고층 빌딩을 지으려는 것과 같습니다. 어느 정도 진행은 되겠지만, 계속해서 잘못 맞춰진 부분을 고치고 같은 일을 반복하느라 시간을 낭비하게 되고, 결국 처음에 머릿속에 그렸던 비전을 완전히 실현하지는 못하게 됩니다.

진정한 AI 플랫폼은 통합된 기반을 제공하므로, AI 프로젝트는 일관된 도구와 워크플로를 사용하여 구축, 훈련 및 배포됩니다. 이러한 일관성은 팀, 사용 사례 및 환경 전반에서 AI의 신뢰성을 높이는 요소입니다.

엔터프라이즈 리더와 IT 설계자에게 플랫폼 접근 방식은 운영 효율성 그 이상을 의미합니다. 이는 확장성, 거버넌스, 조직의 특정 지식과 컨텍스트를 모델 자체에 직접 통합할 수 있는 역량을 의미합니다.

과제: 범용 모델과 고유 요구사항의 간극

기초 모델(Foundation model)은 매우 강력합니다. 인터넷에서 얻은 광범위한 지식을 바탕으로 사전 학습되어 제공되기 때문입니다. 그러나 이러한 모델은 특정 산업에 대한 일반적인 이해를 바탕으로 만들어졌기 때문에 귀사의 엔터프라이즈 환경이나 최신 규정 준수 요구 사항을 제대로 파악하지 못할 수 있습니다. 고객에 대한 정보가 부족하고, 기업의 독점적인 기밀 데이터에 접근하지 못하는 것은 당연합니다. 물론, 이러한 데이터는 AI를 최대한 활용하는 데 매우 중요합니다.

현재 귀사의 조직은 문서, 위키, 채팅 기록, 기술 자료, 연구 보고서 등 다양한 형식으로 분산된 독점 데이터라는 풍부한 자산을 보유하고 있을 것입니다. 이러한 데이터를 활용하는 것이 일반적인 결과물을 의미 있고 풍부한 컨텍스트 기반 응답으로 전환하고, 범용 LLM을 귀사의 엔터프라이즈 환경에 맞게 조정하는 비결입니다. 

범용 모델과 엔터프라이즈의 구체적인 요구 사항 간의 간격을 좁히려면 단순히 데이터를 추가하는 것 이상의 작업이 필요합니다. 모델 동작을 맞춤 설정하고, 강력한 데이터 파이프라인을 구축하며, 전체 에코시스템에서 인프라 일관성을 유지하려는 의도적인 노력이 필요합니다.

해결책: 일관된 AI 플랫폼

일관된 AI 플랫폼은 팀이 실험적인 상태에서 운영 상태로 전환하는 데 도움을 주어, 그 과정에서 발생하는 장애물을 줄여줍니다. 이 플랫폼은 통합 프레임워크 내에서 프롬프트 엔지니어링, 미세 조정, 검색 증강 생성(RAG)과 같은 다양한 모델 맞춤 설정 기술을 지원합니다.

이러한 일관성이 없으면 팀은 각 프로젝트마다 동일한 작업을 반복하게 될 수 있습니다. 이러한 일관성을 통해 AI는 확장 가능하고 유지 관리하기 쉬우며 일관성이 향상되어 기업의 요구 사항을 충족할 수 있습니다.

예를 들어 프롬프트 엔지니어링을 통해 신중하게 작성된 지침으로 모델 동작을 형성할 수 있습니다. InstructLab Toolkit, LoRA, 또는 QLo RA와 같은 방법을 사용한 미세 조정을 통해 모델에 도메인별 언어와 논리를 학습시킬 수 있습니다. 또한 RAG를 사용하면 모델이 쿼리 시 내부 데이터 저장소에서 최신의 관련 정보를 가져올 수 있습니다.

검색 증강 미세 조정(RAFT)과 같은 고급 기법은 RAG와 파인튜닝을 결합하여 긴 형식의 콘텐츠를 생성할 때 추론력과 정확성을 한층 더 강화합니다.

데이터 통합: 지능형 AI의 핵심

모델 맞춤 설정은 절반에 불과합니다. 나머지 절반은 무엇일까요? 데이터 통합입니다.

비즈니스 관련 답변을 얻으려면 AI는 조직의 최신 지식, 제품 업데이트, 내부 정책 변경, 고객 기록 등에 실시간으로 액세스할 수 있어야 합니다. 이는 PDF, HTML 페이지 등과 같은 비정형 데이터를 수집, 분할 및 색인화하여 추론 시 액세스할 수 있도록 하는 강력한 파이프라인을 의미합니다.

그 결과, AI는 단순히 유창하기만 한 답변을 넘어서 맥락적으로 정확한 답변을 제공할 수 있게 됩니다.

Red Hat AI를 통한 이론에서 현실로의 전환

이 모든 것을 현실로 구현하려면 적절한 인프라가 필요합니다. Red Hat OpenShift AI는 Red Hat AI Inference Server(오픈소스vLLM엔진에 구축됨)와 함께 하이브리드 클라우드 환경 전반에서 이러한 AI 기능을 실행하는 데 필요한 확장 가능한 기반을 제공합니다.

모델을 미세 조정하거나 검색 파이프라인을 배포하는 경우 OpenShift AI는 개발 및 프로덕션 전반에서 일관성을 제공하여 거버넌스, 강력한 보안 상태, 규모에 따른 성능을 지원합니다.

결론

AI를 안전하게 운영하려면, 조직은 개별적인 실험 그 이상이 필요합니다. 팀이 모델을 심층적으로 맞춤화하고 의미 있는 방식으로 엔터프라이즈 데이터와 연결할 수 있는 일관된 플랫폼이 필요합니다.

또한 팀이 엔터프라이즈 데이터를 실수로 유출할 위험 없이, AI를 비즈니스 라인에 통합하는 새로운 방법을 실험하고 배우고 발견할 수 있는 환경이 필요합니다.  강력한 플레이그라운드, 고성능 추론, 엔터프라이즈에 맞는 AI 모델을 통해 Red Hat AI는 엔터프라이즈 AI 애플리케이션을 대규모로 구축할 수 있는 강력한 플랫폼을 제공합니다.  

향후 기사에서는 프롬프트 튜닝, 미세 조정, RAG, RAFT 및 데이터 파이프라인 아키텍처와 같은 각 핵심 요소를 자세히 살펴보고, AI를 파일럿 프로젝트에서 지속적인 기능으로 전환하려는 개발자, 설계자 및 AI 플랫폼 팀에 실질적인 통찰력을 제공할 것입니다.

더 자세히 알아보고 싶으신가요? RAG,Red Hat AI,Red Hat AI Learning Hub에 대한 자세한 내용은 이 블로그 시리즈의 2부를 참조하세요.