建網(wǎng)站賣產(chǎn)品怎么樣,滄州網(wǎng)站建設(shè) 3tseo,怎么制作自己的商城,app小程序定制本文詳細(xì)介紹了使用Ollama本地部署大模型的完整流程#xff0c;包括軟件下載安裝、以deepseek為例的模型部署、Dify平臺(tái)接入配置以及通過(guò)Chatbox實(shí)現(xiàn)可視化界面使用。文章提供模塊化學(xué)習(xí)路徑#xff0c;適合不同需求的用戶#xff0c;無(wú)論是否需要與Dify集成或直接使用Chatb…本文詳細(xì)介紹了使用Ollama本地部署大模型的完整流程包括軟件下載安裝、以deepseek為例的模型部署、Dify平臺(tái)接入配置以及通過(guò)Chatbox實(shí)現(xiàn)可視化界面使用。文章提供模塊化學(xué)習(xí)路徑適合不同需求的用戶無(wú)論是否需要與Dify集成或直接使用Chatbox界面。教程步驟清晰覆蓋從環(huán)境配置到實(shí)際應(yīng)用的完整流程是小白和程序員學(xué)習(xí)本地大模型部署的實(shí)用指南。上期文章已經(jīng)介紹了如何本地部署AI開(kāi)發(fā)平臺(tái)Dify本期為大家介紹如何通過(guò)Ollama部署本地大模型Dify如何接入Ollama部署的本地大模型以及脫離Dify如何方便使用大模型。本期具體內(nèi)容包括1.Ollama下載安裝、2.大模型部署以deepseek為例、3.Dify接入本地大模型、4.通過(guò)chatbox使用本地大模型額外內(nèi)容。如果只想本地部署大模型可以只看1、2,如果想要通過(guò)Dify接入本地大模型可以看1、2、3如果想脫離Dify直接方便的使用本地大模型可以看1、2、4。1、Ollama下載安裝大模型的本地部署方式有很多可以直接部署也可以借助其他工具進(jìn)行部署為了方便使用和管理通常是借助其他工具進(jìn)行部署例如Ollama或者LM Studio相比于LM StudioOllama下載模型方便且兼容性好但是安裝會(huì)稍微麻煩一點(diǎn)而且沒(méi)有界面不過(guò)這些都好解決。首先進(jìn)入Ollama的官網(wǎng)https://ollama.com/然后點(diǎn)擊Download即可這一步可能需要掛vpn否則會(huì)訪問(wèn)不了不過(guò)也不用擔(dān)心我已經(jīng)把安裝包放到了網(wǎng)盤(pán)私信回復(fù)“1235”可以獲取。下載好后打開(kāi)安裝包即可安裝對(duì)于Windows用戶來(lái)說(shuō)一路點(diǎn)擊下一步就好了Ollama默認(rèn)是安裝到C盤(pán)如果想遷移到其他路徑可以期待下一期文章。安裝完成之后可以進(jìn)行一下驗(yàn)證打開(kāi)cmd輸入ollama如果像下面這樣顯示即表示安裝成功了。安裝成功后可以在系統(tǒng)變量設(shè)置一下模型的下載路徑在桌面找到“此電腦”右鍵“屬性”然后點(diǎn)擊“高級(jí)系統(tǒng)設(shè)置”找到“環(huán)境變量”在系統(tǒng)變量下點(diǎn)擊“新建”在變量名輸入“OLLAMA_MODELS”在變量值輸入自己想放置模型的路徑。重啟一下Ollama注意一定要重啟否則環(huán)境配置不生效下載的模型還是默認(rèn)在C盤(pán)。2、大模型部署以deepseek為例安裝完Ollama后即可依托Ollama進(jìn)行大模型的部署此處有兩種辦法一種是在線安裝直接在Ollama的模型庫(kù)里找然后通過(guò)命令安裝Ollama會(huì)自動(dòng)下載并部署模型另一種是離線安裝離線安裝是指從其他資源網(wǎng)站下載好模型.gguf文件例如從hugging face上下載模型然后通過(guò)modlefile文件進(jìn)行安裝。此處以在線安裝作為示例。首先進(jìn)入Ollama官網(wǎng)點(diǎn)擊Models進(jìn)入模型資源庫(kù)。隨便選擇一個(gè)模型此處以deepseek-r1:1.5b為例注意名稱一定要和官網(wǎng)名稱一致。打開(kāi)cmd輸入ollama run deepseek-r1:1.5b即開(kāi)始自動(dòng)拉取模型等待完成即可。完成后即可開(kāi)始對(duì)話此時(shí)由于ollama沒(méi)有界面所以只能通過(guò)cmd進(jìn)行對(duì)話。后續(xù)可以通過(guò)打開(kāi)cmd輸入ollama run 模型名稱 使用如果不清楚已經(jīng)安裝的模型具體名稱可以輸入 ollama list 查看。第3步將介紹怎么在Dify中接入和使用本地大模型第4步將介紹通過(guò)chatbox在可視化的界面中使用大模型。3、Dify接入本地大模型完成大模型的本地部署后暫時(shí)還不能在Dify中使用還需要進(jìn)行一些配置。注Dify的安裝可以查看上一期文章首先打開(kāi)瀏覽器輸入http://localhost/apps進(jìn)入Dify點(diǎn)擊頁(yè)面右上角頭像的設(shè)置在模型供應(yīng)商中找到Ollama并點(diǎn)擊安裝。等待安裝完成后進(jìn)行模型配置此處配置包括兩部分一個(gè)是LLM模型配置所謂LLM即是大語(yǔ)言模型此處可以是deepseek的模型也可以是chatgpt的模型或者是其他模型其主要作用就是對(duì)話另一個(gè)是Text Embedding模型也叫文本嵌入模型它是應(yīng)用于知識(shí)庫(kù)的模型其主要功能是把知識(shí)庫(kù)中的文本轉(zhuǎn)換成向量因?yàn)橛?jì)算機(jī)無(wú)法直接理解自然語(yǔ)言但是當(dāng)把自然語(yǔ)言轉(zhuǎn)換成向量之后就可以通過(guò)數(shù)學(xué)的方式去進(jìn)行理解和計(jì)算例如你輸入一個(gè)問(wèn)題從知識(shí)庫(kù)中獲得結(jié)果本質(zhì)就是把問(wèn)題轉(zhuǎn)換成向量并在知識(shí)庫(kù)中檢索和問(wèn)題相似度最高的向量。此處可以用deepseek-r1模型進(jìn)行配置也可以使用其他專門(mén)的模型進(jìn)行配置。在模型名稱中填寫(xiě)上一步下載的模型如果不知道模型名稱可以打開(kāi)cmd輸入ollama list查看已經(jīng)安裝的模型。基礎(chǔ)URL代表的是Ollama 服務(wù)地址Ollama是默認(rèn)暴露11434端口進(jìn)行API調(diào)用如果Dify是通過(guò)Docker部署的話在基礎(chǔ)URL中填入http://host.docker.internal:11434即可如果是其他方式部署的Dify可以參考幫助文檔https://docs.dify.ai/zh-hans/development/models-integration/ollama。剩余參數(shù)保持默認(rèn)即可。最后點(diǎn)擊保存如果保存按鈕變成灰色并且遲遲沒(méi)有保存成功可以參考一下步驟重新啟動(dòng)Dify的Docker服務(wù)以及重新啟動(dòng)大模型。進(jìn)入到Dify的工程文件找到docker文件夾里的.env文件用記事本打開(kāi)并在最后添加以下內(nèi)容#啟用自定義模型CUSTOM_MODEL_ENABLEDtrue#指定ollama的API地址OLLAMA_API_BASE_URLhost.docker.internal:11434按照下圖步驟重啟docker服務(wù)并且運(yùn)行模型完成配置后可以看到兩個(gè)模型都處于開(kāi)啟狀態(tài)此時(shí)即可在Dify中使用本地大模型?；氐紻ify的工作空間在“工作室”中創(chuàng)建空白應(yīng)用此處以工作流為例點(diǎn)擊工作流輸入名稱和描述創(chuàng)建。在工作流中添加LLM節(jié)點(diǎn)點(diǎn)擊節(jié)點(diǎn)可以在右側(cè)進(jìn)行配置點(diǎn)擊模型可以切換為剛才安裝的deepseek-r1:1.5b模型4、通過(guò)chatbox使用本地大模型僅通過(guò)Ollama部署的本地大模型如果不借助其他工具只能在cmd中進(jìn)行對(duì)話使用如果想在可視化的界面中使用本地大模型可以考慮使用chatbox這類的AI客戶端chatbox的優(yōu)點(diǎn)在于輕量化和高性能。首先進(jìn)入官網(wǎng)https://chatboxai.app/zh?reftian 下載chatbox下載完成后一路點(diǎn)擊下一步即可安裝。安裝完成后打開(kāi)軟件會(huì)彈出提示框選擇使用自己的API Key或本地模型或者可以點(diǎn)擊設(shè)置進(jìn)入配置界面。在模型欄填入API域名和模型名稱點(diǎn)擊保存。注意配置前需要先啟動(dòng)Ollama并運(yùn)行模型。新建一個(gè)對(duì)話此時(shí)可以看到配置的模型已經(jīng)成功應(yīng)用了。后話先運(yùn)行模型無(wú)論是在Dify還是在chatbox中使用本地大模型都需要先運(yùn)行模型運(yùn)行方法是 ollama run 模型名稱。?最后我在一線科技企業(yè)深耕十二載見(jiàn)證過(guò)太多因技術(shù)卡位而躍遷的案例。那些率先擁抱 AI 的同事早已在效率與薪資上形成代際優(yōu)勢(shì)我意識(shí)到有很多經(jīng)驗(yàn)和知識(shí)值得分享給大家也可以通過(guò)我們的能力和經(jīng)驗(yàn)解答大家在大模型的學(xué)習(xí)中的很多困惑。我整理出這套 AI 大模型突圍資料包?AI大模型學(xué)習(xí)路線圖?Agent行業(yè)報(bào)告?100集大模型視頻教程?大模型書(shū)籍PDF?DeepSeek教程?AI產(chǎn)品經(jīng)理入門(mén)資料完整的大模型學(xué)習(xí)和面試資料已經(jīng)上傳帶到CSDN的官方了有需要的朋友可以掃描下方二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】??為什么說(shuō)現(xiàn)在普通人就業(yè)/升職加薪的首選是AI大模型人工智能技術(shù)的爆發(fā)式增長(zhǎng)正以不可逆轉(zhuǎn)之勢(shì)重塑就業(yè)市場(chǎng)版圖。從DeepSeek等國(guó)產(chǎn)大模型引發(fā)的科技圈熱議到全國(guó)兩會(huì)關(guān)于AI產(chǎn)業(yè)發(fā)展的政策聚焦再到招聘會(huì)上排起的長(zhǎng)隊(duì)AI的熱度已從技術(shù)領(lǐng)域滲透到就業(yè)市場(chǎng)的每一個(gè)角落。智聯(lián)招聘的最新數(shù)據(jù)給出了最直觀的印證2025年2月AI領(lǐng)域求職人數(shù)同比增幅突破200%遠(yuǎn)超其他行業(yè)平均水平整個(gè)人工智能行業(yè)的求職增速達(dá)到33.4%位居各行業(yè)榜首其中人工智能工程師崗位的求職熱度更是飆升69.6%。AI產(chǎn)業(yè)的快速擴(kuò)張也讓人才供需矛盾愈發(fā)突出。麥肯錫報(bào)告明確預(yù)測(cè)到2030年中國(guó)AI專業(yè)人才需求將達(dá)600萬(wàn)人人才缺口可能高達(dá)400萬(wàn)人這一缺口不僅存在于核心技術(shù)領(lǐng)域更蔓延至產(chǎn)業(yè)應(yīng)用的各個(gè)環(huán)節(jié)。??資料包有什么①?gòu)娜腴T(mén)到精通的全套視頻教程⑤⑥包含提示詞工程、RAG、Agent等技術(shù)點(diǎn)② AI大模型學(xué)習(xí)路線圖還有視頻解說(shuō)全過(guò)程AI大模型學(xué)習(xí)路線③學(xué)習(xí)電子書(shū)籍和技術(shù)文檔市面上的大模型書(shū)籍確實(shí)太多了這些是我精選出來(lái)的④各大廠大模型面試題目詳解⑤ 這些資料真的有用嗎?這份資料由我和魯為民博士共同整理魯為民博士先后獲得了北京清華大學(xué)學(xué)士和美國(guó)加州理工學(xué)院博士學(xué)位在包括IEEE Transactions等學(xué)術(shù)期刊和諸多國(guó)際會(huì)議上發(fā)表了超過(guò)50篇學(xué)術(shù)論文、取得了多項(xiàng)美國(guó)和中國(guó)發(fā)明專利同時(shí)還斬獲了吳文俊人工智能科學(xué)技術(shù)獎(jiǎng)。目前我正在和魯博士共同進(jìn)行人工智能的研究。所有的視頻教程由智泊AI老師錄制且資料與智泊AI共享相互補(bǔ)充。這份學(xué)習(xí)大禮包應(yīng)該算是現(xiàn)在最全面的大模型學(xué)習(xí)資料了。資料內(nèi)容涵蓋了從入門(mén)到進(jìn)階的各類視頻教程和實(shí)戰(zhàn)項(xiàng)目無(wú)論你是小白還是有些技術(shù)基礎(chǔ)的這份資料都絕對(duì)能幫助你提升薪資待遇轉(zhuǎn)行大模型崗位。智泊AI始終秉持著“讓每個(gè)人平等享受到優(yōu)質(zhì)教育資源”的育人理念?通過(guò)動(dòng)態(tài)追蹤大模型開(kāi)發(fā)、數(shù)據(jù)標(biāo)注倫理等前沿技術(shù)趨勢(shì)?構(gòu)建起前沿課程智能實(shí)訓(xùn)精準(zhǔn)就業(yè)的高效培養(yǎng)體系。課堂上不光教理論還帶著學(xué)員做了十多個(gè)真實(shí)項(xiàng)目。學(xué)員要親自上手搞數(shù)據(jù)清洗、模型調(diào)優(yōu)這些硬核操作把課本知識(shí)變成真本事?????如果說(shuō)你是以下人群中的其中一類都可以來(lái)智泊AI學(xué)習(xí)人工智能找到高薪工作一次小小的“投資”換來(lái)的是終身受益應(yīng)屆畢業(yè)生?無(wú)工作經(jīng)驗(yàn)但想要系統(tǒng)學(xué)習(xí)AI大模型技術(shù)期待通過(guò)實(shí)戰(zhàn)項(xiàng)目掌握核心技術(shù)。零基礎(chǔ)轉(zhuǎn)型?非技術(shù)背景但關(guān)注AI應(yīng)用場(chǎng)景計(jì)劃通過(guò)低代碼工具實(shí)現(xiàn)“AI行業(yè)”跨界?。業(yè)務(wù)賦能 ?突破瓶頸傳統(tǒng)開(kāi)發(fā)者Java/前端等學(xué)習(xí)Transformer架構(gòu)與LangChain框架向AI全棧工程師轉(zhuǎn)型?。獲取方式有需要的小伙伴可以保存圖片到wx掃描二v碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】**?