紅帽5月19日宣布推出紅帽 AI 推理服務(wù)器，該服務(wù)器使企業(yè)能夠更快、更高效地運行生成式 AI 應(yīng)用。

本周在波士頓舉行的紅帽峰會上發(fā)布的這款全新 AI 推理服務(wù)器軟件，基于開源 vLLM project 開發(fā)，并融合了紅帽近期收購初創(chuàng)公司 Neural Magic 的技術(shù)成果。

該服務(wù)器具備對訓(xùn)練好的 AI 模型進行壓縮的工具，從而使模型運行更加高效。公司表示，它還更高效地利用處理器內(nèi)存，能夠在混合云環(huán)境中實現(xiàn)更快的推理速度。

業(yè)內(nèi)分析師認為，紅帽的這一舉措表明，AI 加速不僅依靠高速處理器，還需要經(jīng)過優(yōu)化的軟件支持。

IDC 全球研究集團副總裁 Rick Villars 對 Data Center Knowledge 表示：“AI 對計算系統(tǒng)的壓力很大，隨著 AI 代理的出現(xiàn)，未來這種壓力會更大。紅帽的意思是，他們希望幫助你優(yōu)化投資。

“從模型構(gòu)建到將其嵌入到業(yè)務(wù)流程或客戶體驗中，他們將在軟件層面竭盡全力確保你能獲得最佳性能?！?

優(yōu)化后的 AI 模型

紅帽 AI 推理服務(wù)器能夠加速推理過程，這意味著它不僅能更快速地響應(yīng)生成式 AI 模型，還能同時處理更多用戶請求而無需額外硬件，紅帽表示。

該軟件通過像更好的內(nèi)存管理和持續(xù)批量處理等技術(shù)，優(yōu)化了 GPU 的使用。紅帽一位發(fā)言人稱，這項技術(shù)可以優(yōu)化 AMD 和 Nvidia GPU、Intel 的 Gaudi AI 加速器以及 Google TPU。

此外，AI 推理服務(wù)器還可用于優(yōu)化 AI 模型，例如 DeepSeek、Google 的 Gemma、Meta 的開源 Llama、Mistral、Microsoft 的 Phi 及其他大語言模型。

紅帽表示，會在 Hugging Face 平臺上提供經(jīng)過驗證和優(yōu)化的 AI 模型。

紅帽高級副總裁兼 AI 首席技術(shù)官 Brian Stevens 在媒體簡報會上表示：“基于 vLLM 運行的預(yù)優(yōu)化模型通常能實現(xiàn)兩到四倍的 Token 產(chǎn)出 —— 即擁有更高的效率?！?

Stevens 補充道，在 vLLM 兩年前推出之前，推理服務(wù)器選項十分有限，唯有 Nvidia 在其軟件堆棧中提供了一個解決方案。而如今，由于其易用性、能夠運行 Hugging Face 上的模型、兼容 OpenAI 接口以及支持多種 AI 加速器，vLLM 已獲得廣泛認可。

紅帽此次推出的 AI 推理服務(wù)器即是 vLLM 的實現(xiàn)，可作為獨立的容器化產(chǎn)品部署，同時也能整合至紅帽的 AI 軟件產(chǎn)品組合中。其中包括為 AI 定制的開源操作系統(tǒng)版本 Red Hat Enterprise Linux AI 以及基于 Kubernetes 的容器化環(huán)境中構(gòu)建和部署 AI 應(yīng)用的平臺 Red Hat OpenShift AI，無論是在本地還是云端均可使用。

虛擬化市場增長

在本周的紅帽峰會上，紅帽高管透露，自 2024 年以來，Red Hat OpenShift Virtualization 部署數(shù)量已增長超過 150%。

為吸引更多虛擬化客戶，紅帽表示，Google Cloud、Microsoft Azure 以及 Oracle Cloud Infrastructure 正在以技術(shù)預(yù)覽或公開預(yù)覽的形式推出 Red Hat OpenShift Virtualization。

此外，紅帽還宣布，其虛擬化軟件現(xiàn)已在 Amazon Web Services ( AWS ) 和 IBM Cloud 上全面推出。

紅帽混合云平臺副總裁兼總經(jīng)理 Mike Barrett 在媒體簡報會上表示：“客戶在選擇下一代虛擬化平臺時，往往會根據(jù)他們的基礎(chǔ)設(shè)施選擇而定，因此我們必須真正精煉和構(gòu)建與各大云提供商之間的合作關(guān)系?！?

IDC 軟件開發(fā)、 DevOps 和 DevSecOps 項目副總裁 Jim Mercer 指出，紅帽在改善其虛擬化軟件方面投入了大量精力。雖然該公司并未明確表示其產(chǎn)品在所有功能上與競爭對手 Broadcom 完全匹配，但紅帽暗示，其產(chǎn)品已具備客戶所需求的大部分主流虛擬化功能。

Mercer 表示：“很多使用 Red Hat OpenShift 的客戶同時也在使用 VMware vSphere，因此紅帽已經(jīng)占據(jù)了一定的市場份額。紅帽正試圖利用大家對其作為一個優(yōu)秀合作伙伴的認可，來協(xié)助客戶實現(xiàn)遷移，并盡可能讓遷移過程變得輕松。”

在紅帽峰會上，公司還宣布了以下內(nèi)容：

Red Hat Enterprise Linux 10。該新操作系統(tǒng)現(xiàn)已上市，新增的安全功能可防范未來量子計算機可能發(fā)起的攻擊。其“鏡像模式”功能允許操作系統(tǒng)作為可啟動的容器鏡像進行部署。通過對操作系統(tǒng)和應(yīng)用程序進行容器化，企業(yè)可以利用統(tǒng)一、標(biāo)準(zhǔn)化的工具和工作流程來簡化管理。

全新的 llm-d 開源社區(qū)以擴展推理能力。紅帽宣布成立 llm-d 社區(qū)，其目標(biāo)是利用 vLLM 并通過分布式方法擴展推理能力。創(chuàng)始貢獻者包括 CoreWeave、Google、IBM Research 以及 Nvidia。其他成員還包括 AMD、Cisco、Intel、Lambda 和 Mistral AI。

Lightspeed 生成式 AI 助手。為應(yīng)對技能差距問題，紅帽在 Enterprise Linux 10 中推出 Lightspeed，使 IT 管理員可以借助自然語言來獲得從故障排除常見問題到管理復(fù)雜環(huán)境等方面的幫助。紅帽計劃于六月發(fā)布 OpenShift Lightspeed —— 一款用于管理和故障排除 OpenShift 環(huán)境的生成式 AI 助手。

紅帽高級開發(fā)者套件。紅帽宣布推出高級開發(fā)者套件，該套件結(jié)合了平臺工程工具和安全能力。