企业 AI 正从单个模型演变为统一的数据生态系统。

随着企业组织扩展其 AI 计划,一个令人兴奋的机会随之出现:构建一个统一的数据网关,连接 AI 管道的每一步,从原始数据到计算处理,再到特征目录和模型服务。这不仅关乎管理复杂性,还关乎为加速创新奠定基础。

企业经常面临的一个挑战是,数据科学家最终会一遍又一遍地重建相同的功能。一个团队为客户流失预测模型计算客户生命周期价值,3 个月后,另一个团队需要为推荐引擎进行相同的计算,但不知道该计算已经存在。因此,他们需要从头开始重建,不仅引入了不一致的情况,还浪费了数周的开发时间。

这就是特征复用问题,它会浪费企业组织的时间和质量。

什么是特征存储?

特征存储是一个集中式平台,用于管理、存储和提供机器学习特征(模型用于进行预测的输入变量)。可将其视为专为 AI 设计的数据目录。数据科学家可以在所有机器学习 (ML) 项目中发现、复用和共享特征,无需费力地翻阅文档或询问同事“以前是否有人计算过月购买速度?”

但是,特征存储的功能不仅仅是目录特征。它解决了 3 个关键问题:

  1. 特征复用: 它使开发人员能够发现和复用现有特征,而无需从头开始重建。
  2. 训练与服务一致性: 它有助于增强一致性,使模型在训练和生产中使用相同的特征计算,从而消除“它在我的 Notebook 中有效”这一问题。
  3. 运维简单性: 它支持通过单一界面管理特征管道、版本控制和监控。

红帽 OpenShift AI 包含内置的特征存储功能,该功能基于 开源 Feast 项目,是平台的原生组件。无需单独安装。当您的团队准备好采用特征优先的开发实践时,即可使用并启用。

统一数据网关带来的机遇

Feast 可作为所有 AI 数据管道的统一访问层。Feast 建立在经过验证的开源基础之上,拥有 6500 多个 GitHub 星标和 1600 多万次下载,可将数据源、计算引擎 (Ray/Spark) 和编排器 (KFP/Airflow) 连接到统一的目录中,从而使企业组织能够构建供应商中立的数据。

管道前端:简化复杂的 AI 数据工作流

红帽 OpenShift AI 的特征存储支持这种统一方法:

  • 供应商中立的基础: 与 Spark、Ray、Milvus、Elastic、Postgres 和许多其他常用数据库集成,您可以选择自己的基础架构。
  • 完整的管道可见性: 从原始数据到特征工程再到模型推理
  • 混合部署自由: 可在本地、云和边缘环境中一致运行
  • 开源创新: 构建于 Feast 经过验证的基础之上,Feast 的下载量已超过 1600 万次,Shopify、英伟达、沃尔玛等众多企业都在使用 Feast 并为其做贡献。

这种方法还可以解决实际的企业挑战。联邦机构可以在利用云计算的同时在本地处理敏感数据。金融机构可以满足合规性要求,同时保持运维灵活性。制造公司可以在边缘处理数据,同时连接到集中式分析。

三层架构:数据、计算和目录

红帽的 AI 数据管理方法建立在一个简单但强大的洞察之上:最好的企业平台连接现有基础架构,而不是取代它。我们将通过金融服务公司采用特征存储的案例,向您展示其在实践中的运作方式。

第 1 层:数据源 — 就地掌握数据

以一家实施欺诈检测的大型银行为例。客户数据存储在本地 Oracle 数据库中(满足监管合规要求),事务流通过 AWS 上的 Kafka 传输(现代实时处理),而历史模式则存储在 Snowflake 数据仓库中(分析团队 3 年前的投资)。

传统的特征存储解决方案迫使人们做出选择:将所有内容迁移到平台,或者根本不使用特征存储。这就造成了一个非常困难的局面:Oracle 数据库由于合规性而无法移动,团队不会放弃其 Snowflake 投资,而实时 Kafka 管道对运维至关重要。

红帽的特征存储借助通用数据连接解决了这个问题:

  • 随处连接: 可以从本地数据库、云存储、边缘传感器和流媒体平台提取特征,所有特征都在同一个特征定义中
  • 保护投资: 欺诈检测团队可以继续使用现有的基础架构,不会产生迁移成本,也不会中断运维
  • 保持合规性: 敏感的客户数据会保留在合规的本地数据库中,同时特征存储会编排受监管的访问权限

该银行的欺诈检测团队只需定义一次特征(“customer_transaction_velocity_30d”、“account_risk_score”、“merchant_category_pattern”),然后特征存储解决了从 Oracle 提取数据、与 Kafka 流进行关联,以及利用 Snowflake 历史数据进行特征增强的复杂过程。数据科学家再也不会编写另一个 JOIN 语句来将这些来源拼接在一起。

第 2 层:计算处理——灵活应对各种工作负载

现在,我们来谈谈如何计算这些特征。欺诈检测团队每天需要处理数十亿笔交易,但不同的功能具有不同的计算需求:

  • 在 SQL 中高效运行简单的聚合(事务计数)
  • 复杂模式检测(行为异常)需要使用 Spark 进行分布式处理
  • 实时风险评分(亚秒级延迟)需要轻量级流计算

大多数特征平台会将您锁定在其偏好的计算引擎上。如果您已经投资了 Spark 专业知识和基础架构,那么您会被告知放弃它,并学习他们的专有系统。如果您需要 Ray 来进行 ML 密集型转换,那么您就不走运了。

红帽的特征存储提供计算灵活性:

  • 供应商中立的引擎: 原生支持 Ray 和 Spark,并且能够引入您自己的计算框架(Spark、Ray 等)
  • 开放标准: 使用标准 Python 和 SQL 定义的特征,而不是使用会造成锁定的专有 DSL

欺诈检测团队在 Postgres 中运行简单的聚合(已部署),在现有的 Spark 集群中执行复杂的行为模型(保留多年的基础架构投资),并在分支机构位置部署实时评分引擎以进行即时欺诈检测。相同的功能定义,不同的计算策略(基于业务需求)。

第 3 层:统一目录 — 所有功能的单一界面

这就是挑战的开端。欺诈检测团队定义了从 3 个数据源提取并在 2 个计算平台上执行的 50 多个功能。如果没有统一的目录,会出现以下情况:

  • 数据科学家浪费大量时间在 Git 存储库、Jupyter Notebook 和团队知识中搜寻,试图弄清楚是否有人已经构建了月度交易速度计算器
  • 当确实找到某个功能时,却发现它不兼容——不同的列名称、不同的时间戳、不同的聚合窗口
  • 生产工程师很难理解功能的依赖关系,即哪些功能依赖于哪些数据源和计算作业?
  • 合规官无法回答“谁有权访问敏感的客户功能?”这个问题。

统一目录 (Feast) 可以解决所有这些问题:

  • 单一界面: 数据科学家通过一个搜索界面即可发现所有 50 个特征,无需搜索存储库或在 Slack 中询问
  • 完整的管道可见性: 每项功能都能准确显示数据的来源、所需的计算资源以及哪些模型在使用这些数据
  • 企业就绪型治理: 内置的基于角色的访问权限控制 (RBAC) 意味着只有授权团队才能访问敏感功能,完整的审计跟踪可跟踪每次访问,审批工作流则强制执行生产部署标准

以下是两个不同用户的情况:

管理工作流(平台团队):

  1. 启用特征存储: 在 OpenShift AI 信息面板中,前往特征存储设置并启用组件(内置,无需单独安装)
  2. 配置权限: 定义哪些数据科学团队可以创建功能,哪些只能使用功能,以及每个团队可以访问哪些数据源
  3. 监控运维: 信息面板显示功能管道运行状况、资源利用率和数据新鲜度

数据科学家工作流:

  1. 探索功能: 在功能目录中搜索“transaction” - 查找 12 个现有功能,包括反欺诈团队上个季度构建的“customer_transaction_velocity_30d”
  2. 了解上下文: 点击功能可查看数据源(Kafka 事务 + Oracle 客户)、计算要求(Spark 作业、每日运行)和示例使用代码
  3. 在新模型中复用: 将特征定义复制到其推荐引擎项目中,并在欺诈检测和建议之间获得相同的计算逻辑和一致性
  4. 快速迭代: 直接从功能目录启动预集成的 Jupyter Notebook,并已配置身份验证

成果:过去需要 3 天的研究、5 次 Slack 对话以及调试不一致的计算,现在只需要 10 分钟。当反欺诈团队改进其交易速度计算时,所有下游模型都会自动从增强中受益。

这就是统一目录的复合价值,创建的每一项功能都能使整个企业的 AI 开发更快、更可靠、更一致。

业务影响:从战术工具到战略平台

这种三层架构将特征存储从战术组件转变为战略数据网关,以编排所有 AI 数据消耗。您无需为不同的 AI 计划管理单独的管道,而是建立一个受监管的单一入口点,为传统 ML 模型、生成式 AI 应用和高级混合工作流提供服务。

业务影响是变革性的:

  • 加快创新速度: 数据科学家可以跨项目发现和复用功能,而不是从头开始重建,从而缩短产品上市时间
  • 加强监管: 所有 AI 计划中数据访问策略、审计跟踪和合规性要求的单一控制点
  • 更好的经济效益: 共享基础架构和可重复使用的资产可降低每个项目的成本,同时提高质量
  • 战略灵活性: 独立于平台的架构可随着技术堆栈的发展进行调整,从而保持创新能力

随着 AI 成为业务运营的核心,供应商中立数据基础架构的早期采用者将在创新速度和卓越运维方面获得可持续的竞争优势。

总结:打造制胜未来的 AI 数据基础

红帽 OpenShift AI 的特征存储功能不仅仅是一种特征管理解决方案,更是您构建供应商中立 AI 数据生态系统的平台,有助于加速创新、优化运维并保持战略灵活性。

您的数据策略为您的 AI 未来赋能——建立在随着企业能力的增长而发展的基础上,同时保留创新的灵活性。

开始使用

准备好探索适合您企业的特征存储方法了吗?

资源

自适应企业:AI 就绪,从容应对颠覆性挑战

这本由红帽首席运营官兼首席战略官 Michael Ferris 撰写的电子书,介绍了当今 IT 领导者面临的 AI 变革和技术颠覆挑战。

关于作者

Jonathan Zarecki is Principal Product Manager for AI data infrastructure at Red Hat, focusing on vendor-neutral solutions that accelerate enterprise AI innovation. He leads product strategy for feature stores, and enterprise AI data management within the Red Hat AI portfolio. Prior to Red Hat, Jonathan was a Co-founder & CPO at Jounce (acquired by Red Hat), where he specialized in MLOps platforms and enterprise AI deployment strategies.

Francisco has spent over a decade working in AI/ML, software, and fintech at organizations like AIG, Goldman Sachs, Affirm, and Red Hat in roles spanning software, data engineering, credit, fraud, data science, and machine learning. He holds graduate degrees in Economics & Statistics and Data Science & Machine Learning from Columbia University in the City of New York and Clemson University. He is a maintainer for Feast, the open source feature store and a Steering Committee member for Kubeflow, the open source ecosystem of Kubernetes components for AI/ML.

Seasoned Software and Security Engineering professional.
Primary interests are AI/ML, Security, Linux, Malware.
Loves working on the command-line.

UI_Icon-Red_Hat-Close-A-Black-RGB

按频道浏览

automation icon

自动化

有关技术、团队和环境 IT 自动化的最新信息

AI icon

人工智能

平台更新使客户可以在任何地方运行人工智能工作负载

open hybrid cloud icon

开放混合云

了解我们如何利用混合云构建更灵活的未来

security icon

安全防护

有关我们如何跨环境和技术减少风险的最新信息

edge icon

边缘计算

简化边缘运维的平台更新

Infrastructure icon

基础架构

全球领先企业 Linux 平台的最新动态

application development icon

应用领域

我们针对最严峻的应用挑战的解决方案

Virtualization icon

虚拟化

适用于您的本地或跨云工作负载的企业虚拟化的未来