基石智算CoresHub 全面升級了模型推理服務！用戶可在魔搭、huggingface 等下載模型到基石智算，通過模型推理服務進行一鍵部署推理服務，并對外提供 API 能力，也可經(jīng)過基石智算的模型調(diào)優(yōu)進行二次訓練后再部署。

推理過程中可以根據(jù)業(yè)務的并發(fā)量，進行推理服務的彈性擴縮容，提高業(yè)務運行效率的同時，節(jié)省算力成本。

以下是通過模型推理服務一鍵部署模型的詳細步驟，以魔搭下載的模型為例：

一、從魔搭下載模型到文件存儲

1. 創(chuàng)建存儲目錄。

2. 創(chuàng)建一個用于傳數(shù)據(jù)的無卡啟動實例，掛載文件存儲。

3. 在 Web 連接窗口中輸入如下命令：


進入文件存儲中

# cd epfs

安裝 git-lfs 的軟件包

# apt install git-lfs

4. 查看魔搭中的“模型文件—模型下載—下載”命令，使用 Git 下載

在 Web 連接中繼續(xù)執(zhí)行以下步驟：


# git lfs install

# git clone https://www.modelscope.cn/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B.git

二、模型部署

1. 到“模型管理”添加模型。

選擇已下載的模型。

輸入模型名稱等信息，選擇部署方式。

2. 部署模型

選擇部署方式，支持單節(jié)點和多節(jié)點部署。

選擇資源類型。

部署成功后，點擊服務 ID 即可查看服務信息、服務監(jiān)控、服務日志。

3. 支持擴容

當推理服務需要滿足更高并發(fā)時，可以通過增加推理實例的數(shù)量，以滿足業(yè)務的高并發(fā)需求。

假設 1 張 4090 可以滿足 DeepSeek-R1-1.5B 最高 100 的并發(fā)數(shù)量，當業(yè)務并發(fā)超出 100，可以增加到 2 個 4090 的 1 卡實例進行模型部署。

三、 模型調(diào)用

1. 使用第三方客戶端 Cherry Studio 調(diào)用為例，開啟第三方工具，點擊界面左下角的設置圖標，選擇模型服務 > 添加。

2. 在彈出添加提供商窗口中，配置各項參數(shù)，點擊確定。

3. 新添加的提供商已顯示在列，配置相應的 API 密鑰和 API 路徑，并點擊管理，對應的密鑰和 API 地址在服務信息中。

4. 配置模型名稱。

5. 在 CherryStudio 平臺，點擊左側導航欄中的聊天助手，在對話框的頂部，切換已添加至平臺上的模型，即可對話。