CodeFlare,IBM 的開源框架,用於訓練在多雲平台上運行的 AI 模型

每天都在越來越多地使用數據分析和機器學習 嘗試冒險的公司也普遍面臨整合問題。 為了迎接這些挑戰, IBM 剛剛推出了 CodeFlare, 一個開源框架,它 基於RISE實驗室的Ray分佈式系統 來自加州大學伯克利分校的機器學習模型。

代碼耀斑 旨在通過特定元素來簡化 AI 迭代過程以擴展流程 數據工作,起源於 IBM 集團的一個項目,該項目負責創建世界上第一個 2 納米原型芯片。

IBM 表示,CodeFlare 有助於簡化多雲基礎架構中大數據和人工智能工作流的集成和高效擴展。

“CodeFlare 採用簡化機器學習的概念......更進一步,超越孤立的步驟,將端到端管道與數據科學家友好的界面(例如 Python,而不是容器)無縫集成,”首席混合雲 Priya Nagpurkar VentureBeat 在電子郵件中表示,IBM Research 的平台……通過使用統一的運行時和編程接口簡化整個管道的集成和擴展來實現差異化。”

在博客文章中, IBM 解釋說,如今創建機器學習模型是一項高度手動的任務。. 研究人員必須首先訓練和優化模型,其中涉及數據清理、特徵提取和模型優化等任務,IBM 表示 CodeFlare 可以幫助簡化這項工作。

由於 CodeFlare 使用基於 Python 編程語言的接口來創建管道, 通過它更容易集成、並行化和共享數據。 然後可以使用 CodeFlare 來統一跨多個雲計算平台的管道工作流,而無需為每種類型的基礎設施學習新的工作流語言。

IBM表示管道 可以部署在任何云基礎架構上,包括新的 IBM Cloud Code Engine, IBM 表示,這是一個無服務器平台和 Red Hat OpenShift,此外它還為事件觸發器提供適配器,例如新文件的到達,這意味著管道可以與其他雲原生生態系統集成和連接。

此外,它還允許從眾多來源加載和分區數據,例如雲對象存儲、數據湖和分佈式文件系統。

使用 CodeFlare 建立新機器學習項目的主要好處是速度. 該公司聲稱,當其一位用戶應用 CodeFlare 分析和優化 100,000 個管道來訓練機器學習模型時,它將每個管道的運行時間從 15 小時縮短到僅 XNUMX 分鐘。

速度很重要,IBM 解釋說, 因為數據集越來越大,這意味著機器學習工作流程變得越來越複雜。 因此,研究人員在完成工作之前花費更多時間配置他們的設置。

“IBM 正在通過使用 CodeFlare 的開源代碼作為數據工作者和開發人員的框架來實現這一目標,以創建可以在任何云上運行的人工智能模型,”Mueller 說。 “CodeFlare 在 RedHat OpenShift 上運行並從那裡實現其多雲功能。”

IBM 表示:

CodeFlare 今天將開源,它可以在 GitHub 上的 IBM 存儲庫中獲得,此外它還發布了幾個 CodeFlare 管道示例,這些示例由它創建並在 IBM Cloud 和 Red Hat OpenShift 上運行。

終於 如果您有興趣了解更多信息 或者能夠查看CodeFlare的源代碼,你可以做到 從以下鏈接.


發表您的評論

您的電子郵件地址將不會被發表。 必填字段標有 *

*

*

  1. 負責資料:AB Internet Networks 2008 SL
  2. 數據用途:控制垃圾郵件,註釋管理。
  3. 合法性:您的同意
  4. 數據通訊:除非有法律義務,否則不會將數據傳達給第三方。
  5. 數據存儲:Occentus Networks(EU)託管的數據庫
  6. 權利:您可以隨時限制,恢復和刪除您的信息。