RHEL AI 1.3增加了Granite 3.0 8b 模型，助力简化AI训练数据的准备工作，并扩展了对最新加速计算硬件的支持
中国北京 – 2024年12月20日 – 全球领先的开源解决方案提供商红帽公司宣布推出最新版本的红帽企业Linux AI（RHEL AI），这是红帽的基础模型平台，可为企业应用开发、测试和运行生成式人工智能（gen AI）模型提供更无缝的支持。RHEL AI 1.3支持Granite大型语言模型（LLM）系列的最新进展，纳入了数据准备方面的开源进展，同时仍保持了混合云部署的更多选择，包括底层加速计算架构。
IDC的《Market Analysis Perspective：开放生成式人工智能、大型语言模型和不断演进的开源生态系统》指出，61%的企业计划在gen AI用例中使用开源基础模型，而超过56%的企业部署的基础模型已经开源。红帽认为，这一趋势验证了该公司对企业gen AI的愿景，即：
· 更小的开源许可模型，可以根据需要在混合云的任何地方运行。
· 微调功能，使企业能够更轻松地根据私有数据和特定用例定制LLM。
· 由推理性能工程专业技术驱动的优化和更高效的人工智能模型。
· 强大的合作伙伴和开源生态系统支持，为客户提供更广泛的选择。
RHEL AI是红帽人工智能愿景的关键支柱，它汇集了开源许可的Granite模型系列和基于大规模对话机器人对齐（LAB）方法的InstructLab模型对齐工具。然后，这些组件被打包成优化的、可启动的红帽企业Linux镜像，用于在混合云的各种地方部署单个服务器。
支持Granite 3.0 LLMs
RHEL AI 1.3扩展了红帽对Granite LLM的承诺，支持Granite 3.0 8b英语语言用例。Granite 3.0 8b 是一个融合模型，不仅支持英语，还支持其他数种自然语言、代码生成和函数调用。非英语语言用例以及代码和函数在RHEL AI 1.3中作为开发人员预览版提供，这些功能有望在未来的RHEL AI版本中得到支持。
利用Docling简化数据准备工作
Docling是一个上游社区项目，近期由IBM Research开源，可帮助解析常见文档格式并将其转换为Markdown和JSON等格式，从而为gen AI应用和训练准备好这些内容。现在，RHEL AI 1.3 将这一创新作为一项受支持的功能，使用户能够将PDF转换为Markdown，从而简化数据摄取，以便使用InstructLab进行模型调整。
通过Docling，RHEL AI 1.3现在还包括上下文感知分块，它考虑到了用于gen AI训练的文档的结构和语义元素。这有助于生成的gen AI应用程序保持更好的一致性，并根据上下文对问题和任务做出适当的回应，如果不这样的话它们就需要进一步调整和对齐。
未来的RHEL AI版本将继续支持和完善Docling组件，除了 InstructLab 知识调整外，还包括其他文档格式以及检索增强生成（RAG）管道的集成。
拓宽gen AI生态系统
选择是混合云中的基本元素，gen AI作为混合环境的标志性工作负载，这种可选择性需要从底层芯片架构开始。RHEL AI已经支持NVIDIA和AMD的领先加速器，1.3版本现在还以技术预览版的形式包括了Intel Gaudi 3。
除芯片架构外，RHEL AI还支持各大云提供商，包括AWS、Google Cloud和Microsoft Azure控制台，作为“自带订阅”（BYOS）产品组合。该平台还即将作为经过优化和验证的解决方案选项在Azure Marketplace和AWS Marketplace上推出。
RHEL AI 作为首选基础模型平台，可用于红帽合作伙伴提供的加速硬件产品组合，包括Dell PowerEdge R760xa服务器和Lenovo ThinkSystem SR675 V3 服务器。
利用红帽OpenShift AI改进模型服务
由于用户希望扩展LLM的服务，红帽OpenShift AI现在支持使用vLLM运行时跨多个节点并行服务，从而提供了实时处理多个请求的能力。红帽OpenShift AI还支持用户在被服务时动态更改LLM的参数，例如将模型分片到多个GPU上，或将模型量化到更小的占用空间。这些改进旨在加快用户的响应速度，提高客户满意度，降低客户流失率。
支持红帽AI
RHEL AI和红帽OpenShift AI共同支持着红帽AI。红帽AI是红帽的解决方案组合，可加快产品面市时间并降低在混合云上交付AI解决方案的运营成本。RHEL AI支持单个Linux服务器环境，而红帽OpenShift AI则赋能分布式Kubernetes平台环境，并提供集成的机器学习运营（MLOps）能力。这两种解决方案相互兼容，红帽OpenShift AI将整合RHEL AI 的所有功能，以实现大规模交付。
可用性
RHEL AI 1.3现已全面可用。有关附加功能、改进、错误修复以及如何升级到最新版本的更多信息，请访问此处。
支持证言
红帽副总裁兼人工智能业务部总经理 Joe Fernandes
“要利用gen AI的变革力量，我们认为必须具备更小的、优化的模型，这些模型需要在混合云中的各种地方进行部署。我们对RHEL AI的增强正是基于这一信念，通过Docling更轻松地为私有模型训练准备组织数据，并结合了开源许可的LLMGranite系列的最新进展。”
