網(wǎng)站關(guān)鍵詞快速排名,德州seo整站優(yōu)化,網(wǎng)站建設(shè)推廣注冊公司,wordpress 首頁添加前言 hadoop 初學(xué)hadoop#xff0c;網(wǎng)上的相關(guān)資料很多#xff0c;講解大同小異#xff1a;一堆專業(yè)術(shù)語火星文 學(xué)習(xí)起來很困難#xff0c;很難探究出它的存在意義#xff0c;因此本文結(jié)合自己的理解#xff0c;用地球人的語言來描述hadoop HADOOP hadoop解決的是海量…前言hadoop初學(xué)hadoop網(wǎng)上的相關(guān)資料很多講解大同小異一堆專業(yè)術(shù)語火星文學(xué)習(xí)起來很困難很難探究出它的存在意義因此本文結(jié)合自己的理解用地球人的語言來描述hadoopHADOOPhadoop解決的是海量數(shù)據(jù)的存儲(chǔ)和計(jì)算問題為什么會(huì)有這種問題因?yàn)楝F(xiàn)在是一個(gè)信息爆炸的時(shí)代數(shù)據(jù)量大到的一臺(tái)電腦硬盤存不下且這么大的數(shù)據(jù)量在數(shù)據(jù)匯總計(jì)算時(shí)一臺(tái)電腦又算不過來hadoop怎么解決這個(gè)問題吶就在于其提供的三大核心HDFS,YARN,MAPREDUCE其中HDFS用來解決大文件的存儲(chǔ)難題YARN用于解決大文件的計(jì)算難題MAPREDUCE是一種具體的計(jì)算方式HDFS概念HDFS可以說是一個(gè)hadoop下獨(dú)立的產(chǎn)品可以單獨(dú)運(yùn)行HDFS主要是用來解決大文件的存儲(chǔ)對(duì)應(yīng)痛點(diǎn)是大數(shù)據(jù)文件的存儲(chǔ)一臺(tái)電腦硬盤有限存不下先拋開HDFS我們自己想一下解決方案加硬盤簡單粗暴加硬盤加電腦文件拆分存儲(chǔ)(分布式存儲(chǔ))加電腦第一種方案最簡單一個(gè)容量很大的超級(jí)電腦但有終歸是有上限硬盤不可能無限擴(kuò)容成本也比較高舍棄與其對(duì)比第二種方案就靠譜的多我可以用很多廉價(jià)電腦共同承擔(dān)存儲(chǔ)工作每個(gè)電腦存儲(chǔ)一部分隨著數(shù)據(jù)量不斷增多不斷的增加電腦就可以這就是一種分布式的存儲(chǔ)但實(shí)現(xiàn)起來真的很困難需要做的事情有很多把文件拆分成塊存入不同的電腦記錄每臺(tái)電腦的存儲(chǔ)位置以便取文件取文件要每臺(tái)電腦取分塊取回所有分塊后再合并恢復(fù)原文件一次存取要同時(shí)操作多臺(tái)電腦又要進(jìn)行拆分合并的操作操作多電腦而HDFS的存在就是為了讓文件的存取者從這繁雜的工作中解脫出來HDFS整合了每臺(tái)電腦的資源對(duì)外抽象出一個(gè)類似linux系統(tǒng)的目錄結(jié)構(gòu)用戶使用HDFS只需要像操作單機(jī)一樣存取文件即可HDFS內(nèi)部完成文件的分塊、分布式存儲(chǔ)等功能并且還額外提供了自動(dòng)備份功能防止丟失HDFS并且HDFS還提供了類似linux的文件操作命令mkdir/rm/cd/ls/cat等儼然成了一個(gè)和linux文件系統(tǒng)使用基本一致的分布式文件系統(tǒng)傳統(tǒng)的文件系統(tǒng)(linux/windows)基于單機(jī)磁盤抽象出文件夾我們不用關(guān)心文件到底存在哪塊硬盤上分布式文件系統(tǒng)(hdfs)基于多個(gè)傳統(tǒng)文件系統(tǒng)集群抽象出文件夾我們不用關(guān)心文件到底存在哪個(gè)電腦上原理HDFS是如何實(shí)現(xiàn)做到的吶DataNode首先要在集群每臺(tái)機(jī)器上運(yùn)行一個(gè)節(jié)點(diǎn)DataNode實(shí)際上就是一個(gè)運(yùn)行在服務(wù)器上的常駐java程序這個(gè)DataNode承擔(dān)的主要責(zé)任很簡單接收上傳的文件塊并落盤確保數(shù)據(jù)完整性(未損壞)根據(jù)下載指令獲取某文件塊每臺(tái)機(jī)器都有一個(gè)DataNode可以承擔(dān)存取的任務(wù)但有上傳任務(wù)時(shí)怎么選擇取文件有去哪幾個(gè)取吶真是三個(gè)和尚沒水喝DataNodesNameNode因此這些分布在各個(gè)機(jī)器上的DataNode需要有一個(gè)統(tǒng)一的協(xié)調(diào)者、管理者、門面擔(dān)當(dāng)就是NameNodeNameNode同樣是一個(gè)運(yùn)行在服務(wù)器的常駐java進(jìn)程它本身不具有存取功能但他負(fù)責(zé)管理協(xié)調(diào)所有的DataNode(就像產(chǎn)品經(jīng)理可能自己不會(huì)寫代碼但手下員工都會(huì)寫那么對(duì)于客戶來說產(chǎn)品經(jīng)理就有寫代碼的能力)一個(gè)NameNode多個(gè)DataNode構(gòu)成了master/slave集群(主從架構(gòu))NameNode對(duì)外抽象出一個(gè)類似linux系統(tǒng)的文件夾用戶存文件時(shí)只需告知存儲(chǔ)在哪個(gè)文件夾下NameNode內(nèi)部會(huì)協(xié)調(diào)具體存在哪個(gè)DataNode節(jié)點(diǎn)上取文件同理只需告知取哪個(gè)文件夾下的哪個(gè)文件即可NameNode同時(shí)NameNode可以提數(shù)據(jù)供備份能力可以根據(jù)用戶配置的備份數(shù)量自動(dòng)選擇備份的節(jié)點(diǎn)Fsimage和EditsNameNode作為DataNode管理者程序內(nèi)部維護(hù)了一個(gè)目錄數(shù)據(jù)結(jié)構(gòu)記錄了文件系統(tǒng)有哪些目錄每個(gè)目錄有什么文件文件被分成多少塊每一塊具體存在哪個(gè)節(jié)點(diǎn)上那么有個(gè)問題這些數(shù)據(jù)存在哪里首先為了快速響應(yīng)作為一個(gè)java程序這些數(shù)據(jù)內(nèi)存中肯定要存一份的其次為了重啟后恢復(fù)數(shù)據(jù)這些數(shù)據(jù)又一定要持久化到磁盤所以內(nèi)存和磁盤中都要有完整的最新數(shù)據(jù)這就比較麻煩因?yàn)槲覀冎来疟PIO操作性能是很差的如果每次有文件變動(dòng)都修改磁盤數(shù)據(jù)這會(huì)導(dǎo)致程序很慢其實(shí)這種問題早就有解決方案比如redis就常用用這種方式持久化快照日志Fsimage文件就是NameNode在磁盤中保存的快照存儲(chǔ)了某一時(shí)刻的內(nèi)存完整數(shù)據(jù)但會(huì)有延遲一般隔很長時(shí)間才快照一次因?yàn)檫@個(gè)快照的磁盤IO操作很耗時(shí)因?yàn)槭褂肍simage恢復(fù)數(shù)據(jù)肯定會(huì)損失很多新數(shù)據(jù)所以需要配合日志文件Edits日志文件就是每來一條修改數(shù)據(jù)的命令(創(chuàng)建文件夾或上傳文件)就追加一條操作日志到Edits文件雖然同樣是磁盤操作但這屬于順序讀寫的磁盤操作速度是很快的重啟時(shí)只需某一時(shí)刻的快照Fsimage之后的Edits文件就可以還原完整數(shù)據(jù)Fsimageedit同時(shí)生成新快照時(shí)也可以使用FsimageEdits生成新的快照文件一般隔一小時(shí)生成一次SecondaryNameNode每隔一段時(shí)間/日志文件太大情況下需要生成新的Fsimage快照文件這個(gè)過程叫checkpoint這個(gè)活本該又管理者NameNode來做但畢竟這個(gè)工作量比較負(fù)責(zé)又涉及磁盤IO做這些事會(huì)耽誤NameNode的效率既然領(lǐng)導(dǎo)有更重要的活要做這種繁瑣浪費(fèi)時(shí)間的活就交給秘書來做就可以這個(gè)負(fù)責(zé)checkpoint的秘書就是SecondaryNameNodeSecondaryNameNode同樣是一個(gè)java程序一般運(yùn)行在與NameNode不同的服務(wù)器上她負(fù)責(zé)詢問NameNode是否需要chekpoint得到肯定答復(fù)就開始執(zhí)行checkpoint操作最終生成新的快照文件傳給NameNodeSecondaryNameNodeHDFS客戶端以上講述DataNode負(fù)責(zé)存儲(chǔ)NameNode負(fù)責(zé)管理DataNode并對(duì)外提供一個(gè)文件夾目錄在上傳時(shí)指定負(fù)責(zé)存儲(chǔ)的DataNode并且記錄文件存儲(chǔ)的節(jié)點(diǎn)(實(shí)際上文件存儲(chǔ)節(jié)點(diǎn)并沒有存儲(chǔ)而是動(dòng)態(tài)更新)在下載時(shí)告訴客戶去哪里取文件那么作為用戶就需要完成其余的工作文件上傳前分塊與NameNode溝通獲取要上傳/下載的DataNode節(jié)點(diǎn)信息與指定的DataNode節(jié)點(diǎn)交互完成上傳/下載下載后合并恢復(fù)文件還是很麻煩于是HDFS又提供了一個(gè)客戶端這些活它來干客戶還是只是單純的上傳下載文件即可客戶端本質(zhì)就是一個(gè)寫好的java代碼我們執(zhí)行這個(gè)代碼就可以很輕松的完成上傳/下載包括創(chuàng)建目錄在hadoop服務(wù)器上我們可以通過hadoop fs命令或者h(yuǎn)adoop dfs命令執(zhí)行客戶端上傳/下載/目錄操作在本地ide中我們可以引入hadoop-client(包含了分塊,與NameNode和DataNode交互的邏輯)依賴來用自己的代碼實(shí)現(xiàn)客戶端的上傳/下載/目錄操作總結(jié)最終HDFS示意圖如下HDFS總結(jié)一下HDFS是一個(gè)分布式文件系統(tǒng)與我們用的windows/linux文件系統(tǒng)功能基本一致只不過它的底層是把文件存儲(chǔ)在了分布式的計(jì)算機(jī)上YARN概念yarn是hadoop的另一重要組件hdfs是解決大數(shù)據(jù)的存儲(chǔ)問題yarn是解決大數(shù)據(jù)的計(jì)算問題的大數(shù)據(jù)的存儲(chǔ)我們用多臺(tái)電腦解決了大數(shù)據(jù)的計(jì)算一樣可以用這個(gè)思維一臺(tái)電腦算不過來多來幾個(gè)電腦同時(shí)算就好了且yarn完善了hadoop如果只有hdfs集群中的每臺(tái)電腦只貢獻(xiàn)了磁盤和支持NameNode、DataNode運(yùn)行的少部分內(nèi)存和cpu剩余很多內(nèi)存和cpu限制我們知道程序的運(yùn)行最需要的資源就是內(nèi)存和CPU資源YARN把這些分布在不同電腦的cpu和內(nèi)存組織調(diào)度起來統(tǒng)一對(duì)外部形成了一個(gè)龐大的可擴(kuò)展的超級(jí)電腦YARN有了yarn提供的龐大的cpu和內(nèi)存資源我們就可以把應(yīng)用程序作業(yè)的壓力分布在不同計(jì)算機(jī)上就解決了大數(shù)據(jù)的計(jì)算難題yarn就像是一個(gè)大的操作系統(tǒng)我們可以編寫應(yīng)用程序在yarn上運(yùn)行程序中我們可以向yarn再次申請資源并在其它電腦上執(zhí)行子程序這就好比我們java程序新建一個(gè)線程去跑子任務(wù)只不過yarn中新建的子任務(wù)可能運(yùn)行在其它電腦上傳統(tǒng)的操作系統(tǒng)(linux/windows)基于單機(jī)cpu和內(nèi)存我們可以開發(fā)應(yīng)用程序程序中可以創(chuàng)建子線程線程具體執(zhí)行在哪個(gè)cpu上我們不用關(guān)心操作系統(tǒng)負(fù)責(zé)調(diào)度分布式操作系統(tǒng)(yarn)基于多個(gè)傳統(tǒng)操作系統(tǒng)集群我們可以開發(fā)應(yīng)用程序程序中可以創(chuàng)建子進(jìn)程進(jìn)程具體執(zhí)行在哪個(gè)電腦上我們不用關(guān)心yarn系統(tǒng)負(fù)責(zé)調(diào)度Containercontainer的概念container是yarn中的資源抽象所有人都這么說但這句話本身就夠抽象了。。。可以這么理解container是一個(gè)進(jìn)程(程序)或其子進(jìn)程(子程序)運(yùn)行的資源限制運(yùn)行在某個(gè)container上的進(jìn)程只能使用container規(guī)定的資源這里的資源主要指cpu和內(nèi)存我們描述某個(gè)container可以這么描述192.168.1.X這臺(tái)機(jī)器上的1G內(nèi)存和兩個(gè)cpu那么運(yùn)行在這個(gè)container上的進(jìn)程上的應(yīng)用只能使用1G的內(nèi)存和兩個(gè)CPU(yarn內(nèi)部使用linux的cgroup進(jìn)行資源限制)所以container是一個(gè)程序可使用的資源范圍這個(gè)范圍在程序啟動(dòng)前就限制住了所以container確實(shí)是一個(gè)資源的抽象也是一個(gè)進(jìn)程運(yùn)行的容器container的大小那么一個(gè)container具體是多大內(nèi)存多少cpu吶這主要取決于我們的應(yīng)用程序到底需要多少比如某個(gè)應(yīng)用程序需要2G內(nèi)存和4個(gè)CPU那么可以向yarn申請yarn如果有足夠的剩余資源就可以給應(yīng)用分配所分配的container就是某單臺(tái)機(jī)器上的2G內(nèi)存和4個(gè)CPU當(dāng)然container的大小是有限制的不可能隨意申請但這個(gè)限制可以自己配置containercontainer的作用為什么yarn要用container限制進(jìn)程的資源使用吶主要是為了合理調(diào)度比如一臺(tái)機(jī)器有8個(gè)CPU、8G內(nèi)存某個(gè)應(yīng)用程序申請了container占用了4個(gè)CPU和4G內(nèi)存這臺(tái)機(jī)器剩余就是4個(gè)CPU和4G內(nèi)存下次再有任務(wù)時(shí)就可以根據(jù)剩余資源考慮要不要在這臺(tái)機(jī)器上運(yùn)行container再就是這種資源隔離也避免了多應(yīng)用程序之間互相爭搶這就是劉華強(qiáng)口中的先明后不爭container總結(jié)yarn使用container這個(gè)概念更加細(xì)粒度的管理集群中每臺(tái)機(jī)器的資源container作為容器使各程序之間資源隔離原理接下來講一下yarn是如何實(shí)現(xiàn)的多臺(tái)機(jī)器的統(tǒng)一調(diào)度以及如何劃分管理containerNodeManage(NM)和HDFS的DataNode類似Yarn的集群每臺(tái)機(jī)器也跑了一個(gè)常駐jvm進(jìn)程N(yùn)odeManage它是單臺(tái)機(jī)器的資源管理者承擔(dān)以下責(zé)任記錄機(jī)器的所有資源可以按命令運(yùn)行應(yīng)用程序并按規(guī)定的container限制應(yīng)用程序的資源使用即在container容器中運(yùn)行程序?qū)崟r(shí)記錄拋去運(yùn)行container占用后的剩余資源ResourceManager(RM)與HDFS的NameNode類似是所有機(jī)器上的NodeManage的統(tǒng)一管理者和門面主要承擔(dān)以下責(zé)任管理NMNM要與RM進(jìn)行心跳來回報(bào)自己的狀態(tài)剩余資源等信息對(duì)外抽象出一個(gè)大的程序可用資源所有機(jī)器的內(nèi)存/CPU之和管理所有應(yīng)用程序主要為了調(diào)度其運(yùn)行時(shí)機(jī)按照應(yīng)用程序的要求選擇合適的NM以便后續(xù)運(yùn)行程序通過調(diào)度調(diào)節(jié)多應(yīng)用程序的執(zhí)行順序執(zhí)行節(jié)點(diǎn)等RM其中RM的調(diào)度器有很多種方式是一種可插拔的調(diào)度器(可以自定義)比較常用的有FIFo Scheduler(先進(jìn)先出調(diào)度器Hadoop自帶的)Capacity scheduler(容量調(diào)度器Yahoo寫的)Fair scheduler(公平調(diào)度器 FaceBook寫的調(diào)度器主要作用就是控制多程序誰先執(zhí)行誰后執(zhí)行穿插執(zhí)行等主要為了資源更好的被利用提升程序運(yùn)行速度就像windows操作系統(tǒng)也有自己的調(diào)度器它會(huì)決定哪些線程先執(zhí)行哪些后執(zhí)行如何執(zhí)行應(yīng)用上文說yarn相當(dāng)于一個(gè)操作系統(tǒng)我們可以編寫應(yīng)用程序在yarn上運(yùn)行yarn上運(yùn)行的最經(jīng)典的應(yīng)用當(dāng)屬hadoop自帶的MapReduce還有很多第三方開發(fā)的運(yùn)行在yarn上的程序如大名鼎鼎的HBase、Spark等當(dāng)然我們也可以自己寫一個(gè)應(yīng)用程序運(yùn)行在yarn上當(dāng)然運(yùn)行在yarn上的程序就要遵守yarn的規(guī)矩因?yàn)樵赮arn上運(yùn)行的程序一般都會(huì)有子程序(否則就是單機(jī)運(yùn)行了沒有必要在yarn上跑)所以Yarn中應(yīng)用的主程序成為ApplicationMaster簡稱AM就相當(dāng)于Java單機(jī)開發(fā)中的主線程Main-ThreadAM代碼中需要注冊到RM也可以向RM申請額外的container來運(yùn)行子程序有了HDFS的磁盤管理加上YARN的CPU和內(nèi)存管理HADOOP就成為了一個(gè)可擴(kuò)展的超級(jí)操作系統(tǒng)大數(shù)據(jù)的存儲(chǔ)和計(jì)算也就不在話下了MapReduce上面也提到了YARN相當(dāng)于操作系統(tǒng)MapReduce是運(yùn)行在其上的一種應(yīng)用程序準(zhǔn)確的說MapReduce更像spring這樣的一個(gè)程序框架我們可以定制map和reduce方法最終打包成應(yīng)用程序jar包運(yùn)行在yarn上MapReduce特別適合大文本文件的內(nèi)容分析比如日志分析MapReduce分為Map和Reduce其中Map主要進(jìn)行每行的分析把關(guān)鍵標(biāo)志信息作為keyvalue存儲(chǔ)相關(guān)要計(jì)算的信息生成一個(gè)Map結(jié)構(gòu)Reduce翻譯過來是“減少”減少的方式就是針對(duì)map相同key的合并類似于sql中的group by通過合并加計(jì)算可以得到最終的結(jié)果那hadoop官方WordCount程序舉例該方法主要統(tǒng)計(jì)每個(gè)單次出現(xiàn)的次數(shù)MapReduce最終計(jì)算出java出現(xiàn)2次hadoop出現(xiàn)2次。。。由于計(jì)算文件一般超大一臺(tái)電腦計(jì)算太慢MapReduce會(huì)把文件切片MapReduce的AM程序會(huì)申請多個(gè)container執(zhí)行Map任務(wù)所有Map結(jié)束后又會(huì)申請多個(gè)container執(zhí)行Reduce任務(wù)這樣就把超大文件的計(jì)算壓力分布在各個(gè)機(jī)器上最后最后在再次總結(jié)一下hadoop的hdfsyarn組成了一個(gè)可擴(kuò)展的的超級(jí)操作系統(tǒng)在這個(gè)操作系統(tǒng)上我們可以存儲(chǔ)超大數(shù)據(jù)也可以通過執(zhí)行MapReduce這樣的應(yīng)用程序來完成大數(shù)據(jù)的處理AI大模型學(xué)習(xí)福利作為一名熱心腸的互聯(lián)網(wǎng)老兵我決定把寶貴的AI知識(shí)分享給大家。 至于能學(xué)習(xí)到多少就看你的學(xué)習(xí)毅力和能力了 。我已將重要的AI大模型資料包括AI大模型入門學(xué)習(xí)思維導(dǎo)圖、精品AI大模型學(xué)習(xí)書籍手冊、視頻教程、實(shí)戰(zhàn)學(xué)習(xí)等錄播視頻免費(fèi)分享出來。一、全套AGI大模型學(xué)習(xí)路線AI大模型時(shí)代的學(xué)習(xí)之旅從基礎(chǔ)到前沿掌握人工智能的核心技能因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲取二、640套AI大模型報(bào)告合集這套包含640份報(bào)告的合集涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無論您是科研人員、工程師還是對(duì)AI大模型感興趣的愛好者這套報(bào)告合集都將為您提供寶貴的信息和啟示。因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲三、AI大模型經(jīng)典PDF籍隨著人工智能技術(shù)的飛速發(fā)展AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型如GPT-3、BERT、XLNet等以其強(qiáng)大的語言理解和生成能力正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲四、AI大模型商業(yè)化落地方案因篇幅有限僅展示部分資料需要點(diǎn)擊文章最下方名片即可前往獲作為普通人入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐不斷提高自己的技能和認(rèn)知水平同時(shí)也需要有責(zé)任感和倫理意識(shí)為人工智能的健康發(fā)展貢獻(xiàn)力量