建設(shè)企業(yè)網(wǎng)站企業(yè)網(wǎng)銀,網(wǎng)頁(yè)與網(wǎng)站的區(qū)別與聯(lián)系,網(wǎng)站建設(shè)技術(shù)人員工作,外企網(wǎng)站建設(shè)公司一、Tensorborad的發(fā)展歷史和原理 1.發(fā)展歷史 TensorBoard是TensorFlow生態(tài)中的官方可視化工具#xff08;也可無(wú)縫集成 PyTorch#xff09;#xff0c;用于實(shí)時(shí)監(jiān)控訓(xùn)練過(guò)程、可視化模型結(jié)構(gòu)、分析數(shù)據(jù)分布、對(duì)比實(shí)驗(yàn)結(jié)果等。它通過(guò)網(wǎng)頁(yè)端交互界面#xff0c;將枯燥的訓(xùn)練…一、Tensorborad的發(fā)展歷史和原理1.發(fā)展歷史TensorBoard是TensorFlow生態(tài)中的官方可視化工具也可無(wú)縫集成 PyTorch用于實(shí)時(shí)監(jiān)控訓(xùn)練過(guò)程、可視化模型結(jié)構(gòu)、分析數(shù)據(jù)分布、對(duì)比實(shí)驗(yàn)結(jié)果等。它通過(guò)網(wǎng)頁(yè)端交互界面將枯燥的訓(xùn)練日志轉(zhuǎn)化為直觀的圖表和圖像幫助開(kāi)發(fā)者快速定位問(wèn)題、優(yōu)化模型。簡(jiǎn)單來(lái)說(shuō)TensorBoard是TensorFlow自帶的一個(gè)「可視化工具」就像給機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程裝了一個(gè)「監(jiān)控屏幕」。你可以用它直觀看到訓(xùn)練過(guò)程中的數(shù)據(jù)變化比如損失值、準(zhǔn)確率、模型結(jié)構(gòu)、數(shù)據(jù)分布等不用盯著一堆枯燥的數(shù)字看對(duì)新手非常友好。TensorBoard 的發(fā)展歷程如下- 2015 年隨著 TensorFlow 框架一起發(fā)布最初是為了滿(mǎn)足深度學(xué)習(xí)研究者可視化復(fù)雜模型訓(xùn)練過(guò)程的需求。2016-2018 年新增了更多可視化功能圖像 / 音頻可視化可以直接看訓(xùn)練數(shù)據(jù)里的圖片、聽(tīng)音頻比如在圖像分類(lèi)任務(wù)中查看輸入的圖片是否正確。直方圖展示數(shù)據(jù)分布比如權(quán)重參數(shù)的分布是否合理。多運(yùn)行對(duì)比同時(shí)對(duì)比多個(gè)訓(xùn)練任務(wù)的結(jié)果比如不同學(xué)習(xí)率的效果對(duì)比。- 2019 年后與 PyTorch 兼容變得更通用了。功能進(jìn)一步豐富比如支持3D 可視化、模型參數(shù)調(diào)試等。目前這個(gè)工具還在不斷發(fā)展比如一些額外功能在tensorboardX上存在但是我們目前只需要要用到最經(jīng)典的幾個(gè)功能即可1保存模型結(jié)構(gòu)圖2保存訓(xùn)練集和驗(yàn)證集的loss變化曲線不需要手動(dòng)打印了3保存每一個(gè)層結(jié)構(gòu)權(quán)重分布4保存預(yù)測(cè)圖片的預(yù)測(cè)信息2.原理TensorBoard 的核心原理就是在訓(xùn)練過(guò)程中把訓(xùn)練過(guò)程中的數(shù)據(jù)比如損失、準(zhǔn)確率、圖片等先記錄到日志文件里再通過(guò)工具把這些日志文件可視化成圖表這樣就不用自己手動(dòng)打印數(shù)據(jù)或者用其他工具畫(huà)圖。所以核心就是2個(gè)步驟- 數(shù)據(jù)怎么存—— 先寫(xiě)日志文件訓(xùn)練模型時(shí)TensorBoard 會(huì)讓程序把訓(xùn)練數(shù)據(jù)比如損失值、準(zhǔn)確率和模型結(jié)構(gòu)等信息寫(xiě)入一個(gè)特殊的日志文件.tfevents 文件- 數(shù)據(jù)怎么看—— 用網(wǎng)頁(yè)展示日志寫(xiě)完日志后TensorBoard 會(huì)啟動(dòng)一個(gè)本地網(wǎng)頁(yè)服務(wù)自動(dòng)讀取日志文件里的數(shù)據(jù)用圖表、圖像、文本等形式展示出來(lái)。如果只用 print(損失值) 或者自己用 matplotlib 畫(huà)圖不僅麻煩還得手動(dòng)保存數(shù)據(jù)、寫(xiě)代碼尤其訓(xùn)練幾天幾夜時(shí)根本沒(méi)法實(shí)時(shí)盯著看。而 TensorBoard 能自動(dòng)把這些數(shù)據(jù) “存下來(lái) 畫(huà)出來(lái)”還能生成網(wǎng)頁(yè)版的可視化界面隨時(shí)刷新查看。二、Tensorborad的常見(jiàn)操作1.日志目錄自動(dòng)管理log_dir runs/cifar10_mlp_experiment if os.path.exists(log_dir): i 1 while os.path.exists(f{log_dir}_{i}): i 1 log_dir f{log_dir}_{i} writer SummaryWriter(log_dir) #關(guān)鍵入口用于寫(xiě)入數(shù)據(jù)到日志目錄2.記錄標(biāo)量數(shù)據(jù)Scalar# 記錄每個(gè) Batch 的損失和準(zhǔn)確率 writer.add_scalar(Train/Batch_Loss, batch_loss, global_step) writer.add_scalar(Train/Batch_Accuracy, batch_acc, global_step) # 記錄每個(gè) Epoch 的訓(xùn)練指標(biāo) writer.add_scalar(Train/Epoch_Loss, epoch_train_loss, epoch) writer.add_scalar(Train/Epoch_Accuracy, epoch_train_acc, epoch)3.可視化模型結(jié)構(gòu)Graphdataiter iter(train_loader) images, labels next(dataiter) images images.to(device) writer.add_graph(model, images) # 通過(guò)真實(shí)輸入樣本生成模型計(jì)算圖4.可視化圖像Image# 可視化原始訓(xùn)練圖像 img_grid torchvision.utils.make_grid(images[:8].cpu()) # 將多張圖像拼接成網(wǎng)格狀方便可視化將前8張圖像拼接成一個(gè)網(wǎng)格 writer.add_image(原始訓(xùn)練圖像, img_grid) # 可視化錯(cuò)誤預(yù)測(cè)樣本訓(xùn)練結(jié)束后 wrong_img_grid torchvision.utils.make_grid(wrong_images[:display_count]) writer.add_image(錯(cuò)誤預(yù)測(cè)樣本, wrong_img_grid)5.記錄權(quán)重和梯度直方圖Histogramif (batch_idx 1) % 500 0: for name, param in model.named_parameters(): writer.add_histogram(fweights/{name}, param, global_step) # 權(quán)重分布 if param.grad is not None: writer.add_histogram(fgrads/{name}, param.grad, global_step) # 梯度分布6.啟動(dòng)tensorboard運(yùn)行代碼后會(huì)在指定目錄如 runs/cifar10_mlp_experiment_1生成 .tfevents 文件存儲(chǔ)所有 TensorBoard 數(shù)據(jù)。在終端執(zhí)行需進(jìn)入項(xiàng)目根目錄tensorboard --logdirruns # 假設(shè)日志目錄在 runs/ 下打開(kāi)瀏覽器輸入終端提示的 URL通常為 http://localhost:6006。浙大疏錦行