番禺網(wǎng)站建設(shè)價格,附近有沒有學(xué)電腦的培訓(xùn)機構(gòu),蒼南網(wǎng)站建設(shè)公司,蘇州網(wǎng)頁制作免費軟在其 2025 Build 大會上發(fā)布了 Foundry Local#xff0c;能夠在本地設(shè)備上執(zhí)行 AI 推理#xff0c;意味著可以利用本地的 AI 算力#xff0c;如#xff1a;CPU/GPU/NPU#xff1b;也讓用戶在隱私方面得到了充足的保障#xff0c;還能有改善成本效益#xff01;Foundry…軟在其 2025 Build 大會上發(fā)布了 Foundry Local能夠在本地設(shè)備上執(zhí)行 AI 推理意味著可以利用本地的 AI 算力如CPU/GPU/NPU也讓用戶在隱私方面得到了充足的保障還能有改善成本效益Foundry Local 默認(rèn)除了支持 CLI外還支持 SDK、REST API 和 Catalog API用戶可以自行基于 Foundry Local 進(jìn)行開發(fā)。在未來 Foundry Local 還將內(nèi)置對 Agent/MCP 的支持。Foundry Local 還支持跨平臺除了能夠運行在Windows 11 上還能夠運行在 macOS。由于需要本地存儲和運行模型請確保有足夠的算力和存儲Foundry Local 支持硬件加速NVIDIA GPU2000系列或更高版本、AMD GPU6000系列或更高、Intel iGPU、Intel NPU32GB或更多內(nèi)存、高通 Snapdragon X Elite8GB或更多內(nèi)存、高通 NPU以及 Apple 系列。要在本地以 Foundry Local 運行 AI 模型首先需要安裝 Foundry Local。Windowswinget install Microsoft.FoundryLocalmacOSbrew tap microsoft/foundrylocalbrew install foundrylocal運行模型只需要執(zhí)行foundry model run model在 Foundry Local 上可運行的模型有很多可使用以下命令查看foundry model list還可以加載 --filter 參數(shù)對顯示列表進(jìn)行篩選。其他有用的參數(shù)還有foundry model info model 顯示有關(guān)特定模型的詳細(xì)信息foundry model download model 在不運行模型的情況下只下載模型到本地緩存foundry model load model 將模型加載到服務(wù)中foundry model unload model 從服務(wù)中卸載模要查看本地已經(jīng)下載緩存的模型可執(zhí)行foundry cache listimage要檢查 Foundry Local 服務(wù)狀態(tài)可執(zhí)行foundry service statusimageFoundry Local CLI 詳細(xì)使用可參考Foundry Local 文檔。Foundry Local SDK 目前支持 JavaScript、Python、C# 和 Rust也可以使用 REST API 去調(diào)用 Foundry Local Service。這是一個用于演示或本地實驗的示例項目可能展示如何在本地環(huán)境中使用或集成“Foundry”相關(guān)功能。核心代碼在https://github.com/andrewleader/FoundryLocalLabDemo/blob/main/FoundryLocalLabDemo/ExecutionLogic.cs封裝 FoundryLocalManager提供基礎(chǔ)模型管理? StartServiceAsync啟動本地 Foundry 服務(wù)? ListCatalogModelsAsync / ListCachedModelsAsync列出目錄/本地緩存模型? DownloadModelAsync按進(jìn)度流式下載模型IAsyncEnumerableModelDownloadProgress? LoadModelAsync / UnloadModelAsync加載/卸載模型基于選定模型進(jìn)行流式解析用戶文本為結(jié)構(gòu)化對象? ParseStudentProfileStreamingAsync? 通過 OpenAIClient Microsoft.Extensions.AI 創(chuàng)建聊天客戶端使用 FoundryLocalManager 提供的 Endpoint 和 ApiKey? 構(gòu)造一個包含字符串枚舉的 JSON Schema要求模型僅輸出 JSON? 發(fā)送提示詞并以流式方式接收回復(fù)邊接收邊通過 IAsyncEnumerableStudentProfileUpdate 返回中間文本增量? 收集完整回復(fù)后去除可能的 think 標(biāo)簽和 json 代碼塊圍欄處理嵌套對象再用 Json.NET含 StringEnumConverter反序列化為 StudentProfile? 最后返回一次包含解析好的 StudentProfile 的更新image