陜西西安建設廳官方網(wǎng)站,wordpress引用圖片,軟件開發(fā)模型定義,課程分銷平臺AI智能運維系統(tǒng)架構(gòu)師常用的9款工具#xff0c;從數(shù)據(jù)采集到故障預測全覆蓋關(guān)鍵詞#xff1a;AI智能運維、系統(tǒng)架構(gòu)師、數(shù)據(jù)采集、故障預測、運維工具摘要#xff1a;本文主要介紹AI智能運維系統(tǒng)架構(gòu)師在數(shù)據(jù)采集到故障預測全流程中常用的9款工具。通過對每款工具從功能特點…AI智能運維系統(tǒng)架構(gòu)師常用的9款工具從數(shù)據(jù)采集到故障預測全覆蓋關(guān)鍵詞AI智能運維、系統(tǒng)架構(gòu)師、數(shù)據(jù)采集、故障預測、運維工具摘要本文主要介紹AI智能運維系統(tǒng)架構(gòu)師在數(shù)據(jù)采集到故障預測全流程中常用的9款工具。通過對每款工具從功能特點、適用場景等方面進行詳細講解幫助讀者了解這些工具在智能運維中的作用以及它們?nèi)绾螀f(xié)同工作實現(xiàn)從數(shù)據(jù)收集到最終故障預測的完整鏈條為相關(guān)技術(shù)人員提供全面的工具認知和實踐指導。背景介紹目的和范圍隨著信息技術(shù)的飛速發(fā)展企業(yè)的IT系統(tǒng)日益復雜傳統(tǒng)運維方式面臨巨大挑戰(zhàn)。AI智能運維應運而生它借助人工智能技術(shù)實現(xiàn)自動化、智能化的運維管理。本文旨在向大家介紹AI智能運維系統(tǒng)架構(gòu)師在數(shù)據(jù)采集到故障預測整個過程中常用的9款工具幫助大家理解這些工具的用途及如何更好地應用于實際工作。預期讀者本文主要面向AI智能運維系統(tǒng)架構(gòu)師、運維工程師、對智能運維感興趣的技術(shù)人員等希望通過介紹這些工具為他們的工作和學習提供幫助。文檔結(jié)構(gòu)概述首先我們會用有趣的故事引入智能運維工具的概念并解釋一些核心概念。接著詳細介紹9款常用工具從數(shù)據(jù)采集到故障預測進行分類講解包括每個工具的功能、使用場景等。然后會分享一些項目實戰(zhàn)案例展示這些工具在實際中的應用。之后探討實際應用場景、工具和資源推薦、未來發(fā)展趨勢與挑戰(zhàn)。最后總結(jié)所學內(nèi)容并提出一些思考題供讀者思考。術(shù)語表核心術(shù)語定義智能運維利用人工智能、機器學習等技術(shù)對IT系統(tǒng)進行自動化、智能化的運維管理提高運維效率和質(zhì)量。數(shù)據(jù)采集從各種數(shù)據(jù)源獲取運維相關(guān)數(shù)據(jù)的過程如系統(tǒng)日志、性能指標等。故障預測通過對歷史數(shù)據(jù)和實時數(shù)據(jù)的分析提前預測IT系統(tǒng)可能出現(xiàn)的故障。相關(guān)概念解釋機器學習算法讓計算機通過數(shù)據(jù)學習規(guī)律并利用這些規(guī)律進行預測或決策的算法如決策樹、神經(jīng)網(wǎng)絡等。監(jiān)控指標用于衡量IT系統(tǒng)運行狀態(tài)的參數(shù)如CPU使用率、內(nèi)存占用等?？s略詞列表AIOpsArtificial Intelligence for IT Operations即智能運維。ETLExtractTransformLoad數(shù)據(jù)抽取、轉(zhuǎn)換和加載。核心概念與聯(lián)系故事引入從前有一個超級大的城堡里面住著很多居民IT系統(tǒng)中的各種組件。城堡的管理者運維人員每天都要去查看城堡的各個角落看看有沒有什么問題。一開始管理者只能靠自己的兩條腿一個一個地方去檢查效率很低。后來管理者發(fā)現(xiàn)了一些神奇的工具有的工具可以幫他記錄每個居民的日常活動數(shù)據(jù)采集工具有的工具可以分析這些記錄提前告訴他哪個居民可能會生病故障預測工具。這些工具就像他的小助手一樣幫助他更好地管理城堡。今天我們就來認識一下AI智能運維系統(tǒng)架構(gòu)師管理“IT城堡”時常用的9款神奇工具。核心概念解釋像給小學生講故事一樣數(shù)據(jù)采集就好比我們在收集城堡里居民的各種信息比如他們每天做什么吃什么住在哪里等等。數(shù)據(jù)采集工具就是我們的小信使它們跑到城堡的各個角落把這些信息收集起來帶給我們。數(shù)據(jù)分析當我們收集了很多居民的信息后就要分析這些信息看看能發(fā)現(xiàn)什么。這就像我們在整理收集來的信息看看能不能找到一些規(guī)律。比如我們發(fā)現(xiàn)有些居民在吃了某種食物后經(jīng)常會不舒服這就是一個規(guī)律。數(shù)據(jù)分析工具就像我們的小偵探幫我們找出這些規(guī)律。故障預測我們知道了一些規(guī)律后就可以預測未來可能發(fā)生的事情。比如我們知道了吃某種食物會讓居民不舒服那下次有人再準備吃這種食物時我們就可以提前告訴他可能會不舒服哦。故障預測工具就是我們的小預言家它根據(jù)我們找到的規(guī)律提前告訴我們IT系統(tǒng)可能會出現(xiàn)什么故障。核心概念之間的關(guān)系用小學生能理解的比喻數(shù)據(jù)采集和數(shù)據(jù)分析的關(guān)系數(shù)據(jù)采集是收集信息的小信使而數(shù)據(jù)分析是找出規(guī)律的小偵探。小信使把信息收集來給小偵探小偵探才能根據(jù)這些信息找出規(guī)律。就像沒有居民的信息小偵探就沒辦法知道他們的生活規(guī)律一樣。數(shù)據(jù)分析和故障預測的關(guān)系小偵探找出規(guī)律后小預言家才能根據(jù)這些規(guī)律進行預測。如果小偵探?jīng)]有找出吃某種食物會不舒服這個規(guī)律小預言家就沒辦法提前告訴居民可能會不舒服。數(shù)據(jù)采集和故障預測的關(guān)系數(shù)據(jù)采集收集的信息是故障預測的基礎。沒有小信使收集的居民信息小預言家就沒有依據(jù)來預測未來的事情。核心概念原理和架構(gòu)的文本示意圖專業(yè)定義在AI智能運維系統(tǒng)中數(shù)據(jù)采集從各種數(shù)據(jù)源如服務器日志、網(wǎng)絡設備、應用系統(tǒng)等獲取數(shù)據(jù)這些數(shù)據(jù)源就像不同的“信息寶庫”。采集到的數(shù)據(jù)通過ETL過程進行清洗、轉(zhuǎn)換和加載然后進入數(shù)據(jù)分析模塊。數(shù)據(jù)分析模塊運用各種機器學習算法對數(shù)據(jù)進行分析挖掘數(shù)據(jù)中的模式和規(guī)律。故障預測模塊基于數(shù)據(jù)分析得到的規(guī)律結(jié)合實時數(shù)據(jù)對系統(tǒng)未來可能出現(xiàn)的故障進行預測。Mermaid 流程圖數(shù)據(jù)采集ETL數(shù)據(jù)分析故障預測AI智能運維系統(tǒng)架構(gòu)師常用9款工具介紹數(shù)據(jù)采集工具Prometheus功能Prometheus是一款開源的系統(tǒng)監(jiān)控和報警工具包。它能夠從各種數(shù)據(jù)源采集指標數(shù)據(jù)包括CPU使用率、內(nèi)存使用率、網(wǎng)絡流量等。它還可以按照一定的規(guī)則對數(shù)據(jù)進行存儲和查詢。使用場景適用于監(jiān)控容器化環(huán)境、微服務架構(gòu)等。比如在一個電商網(wǎng)站的微服務架構(gòu)中每個微服務的性能指標都可以通過Prometheus進行采集運維人員可以實時了解每個服務的運行狀況。代碼示例Pythonfromprometheus_clientimportCollectorRegistry,Gauge,push_to_gateway registryCollectorRegistry()gGauge(job_last_success_unixtime,Last time a batch job successfully finished,registryregistry)g.set_to_current_time()push_to_gateway(pushgateway.example.com:9091,jobbatch_job,registryregistry)Fluentd功能Fluentd是一個開源的數(shù)據(jù)收集器它可以統(tǒng)一收集、過濾和轉(zhuǎn)發(fā)來自不同數(shù)據(jù)源的數(shù)據(jù)。它支持多種輸入和輸出插件能夠?qū)?shù)據(jù)發(fā)送到各種目的地如Elasticsearch、Kafka等。使用場景常用于日志數(shù)據(jù)的采集。例如在一個大型網(wǎng)站中各個服務器產(chǎn)生的日志數(shù)據(jù)可以通過Fluentd收集起來然后發(fā)送到Elasticsearch進行存儲和分析。代碼示例配置文件sourcetype tail path /var/log/*.log pos_file /var/log/fluentd.pos tag app.log/sourcematchapp.logtype elasticsearch host 192.168.1.100 port 9200 index_name my_index/match數(shù)據(jù)分析工具Apache Spark功能Apache Spark是一個快速、通用的大數(shù)據(jù)處理引擎。它可以進行批處理、流處理、機器學習等多種數(shù)據(jù)處理任務。它擁有豐富的API支持多種編程語言。使用場景適用于處理大規(guī)模的運維數(shù)據(jù)。比如在分析一個云計算平臺多年的運維日志數(shù)據(jù)時Spark可以快速地對這些數(shù)據(jù)進行清洗、分析挖掘出有價值的信息。代碼示例Scalaimportorg.apache.spark.sql.SparkSessionvalsparkSparkSession.builder.appName(Simple Application).getOrCreate()valdataspark.read.csv(path/to/your/data.csv)data.show()TensorFlow功能TensorFlow是一個開源的機器學習庫由Google開發(fā)。它提供了豐富的工具和算法用于構(gòu)建和訓練各種機器學習模型如神經(jīng)網(wǎng)絡。使用場景在故障預測中可用于構(gòu)建復雜的預測模型。例如通過分析服務器的歷史性能數(shù)據(jù)和故障記錄使用TensorFlow構(gòu)建神經(jīng)網(wǎng)絡模型來預測未來可能出現(xiàn)的故障。代碼示例Pythonimporttensorflowastf modeltf.keras.Sequential([tf.keras.layers.Dense(64,activationrelu,input_shape(input_dim,)),tf.keras.layers.Dense(1,activationsigmoid)])model.compile(optimizeradam,lossbinary_crossentropy,metrics[accuracy])故障預測工具Greyhound功能Greyhound是一款基于機器學習的故障預測工具。它可以利用歷史數(shù)據(jù)進行模型訓練然后對實時數(shù)據(jù)進行分析預測系統(tǒng)是否會發(fā)生故障。它支持多種機器學習算法如決策樹、隨機森林等。使用場景適用于各種IT系統(tǒng)的故障預測尤其是網(wǎng)絡設備和服務器。例如在一個企業(yè)的網(wǎng)絡環(huán)境中Greyhound可以根據(jù)網(wǎng)絡設備的歷史性能數(shù)據(jù)和故障記錄預測網(wǎng)絡設備何時可能出現(xiàn)故障。代碼示例配置文件model:type:decision_treeparameters:max_depth:5data:train:/path/to/train_data.csvtest:/path/to/test_data.csvDynatrace功能Dynatrace是一款全棧性能管理和智能運維工具。它不僅可以實時監(jiān)控系統(tǒng)性能還能利用人工智能技術(shù)進行故障預測和根因分析。它能夠自動發(fā)現(xiàn)系統(tǒng)中的依賴關(guān)系幫助運維人員快速定位問題。使用場景適用于大型復雜的IT環(huán)境如企業(yè)級數(shù)據(jù)中心。在一個跨國公司的數(shù)據(jù)中心Dynatrace可以實時監(jiān)控各個服務器、應用系統(tǒng)和網(wǎng)絡設備的運行狀態(tài)并預測可能出現(xiàn)的故障。操作示例通過在服務器和應用程序中安裝Dynatrace的Agent它會自動收集數(shù)據(jù)并進行分析。在Dynatrace的控制臺中可以直觀地看到系統(tǒng)的性能指標和預測結(jié)果。綜合運維工具Zabbix功能Zabbix是一個基于Web界面的分布式系統(tǒng)監(jiān)視以及網(wǎng)絡監(jiān)視功能的企業(yè)級開源解決方案。它可以監(jiān)控各種網(wǎng)絡設備、服務器和應用程序?qū)崟r收集性能數(shù)據(jù)并在出現(xiàn)問題時發(fā)送警報。使用場景適用于各種規(guī)模的企業(yè)IT環(huán)境。無論是小型企業(yè)的幾臺服務器還是大型企業(yè)的數(shù)據(jù)中心Zabbix都能很好地發(fā)揮作用。代碼示例配置文件[global] Server127.0.0.1 ServerActive127.0.0.1 HostnameZabbix server [agent] ListenPort10050 StartAgents3Nagios功能Nagios是一款開源的網(wǎng)絡監(jiān)視工具用于監(jiān)控系統(tǒng)和網(wǎng)絡的運行狀態(tài)。它可以檢測服務器是否在線、服務是否正常運行等并在出現(xiàn)異常時及時通知運維人員。使用場景常用于網(wǎng)絡設備和服務器的基本狀態(tài)監(jiān)控。在一個小型企業(yè)的網(wǎng)絡中Nagios可以實時監(jiān)控服務器的運行狀態(tài)確保網(wǎng)絡服務的穩(wěn)定性。配置示例通過編輯Nagios的配置文件定義要監(jiān)控的主機和服務。例如define host{ use generic-host host_name webserver alias Web Server address 192.168.1.100 } define service{ use generic-service host_name webserver service_description HTTP check_command check_http }Grafana功能Grafana是一個開源的可視化工具它可以連接各種數(shù)據(jù)源如Prometheus、InfluxDB等將數(shù)據(jù)以圖表的形式展示出來。它支持多種類型的圖表如折線圖、柱狀圖等方便運維人員直觀地了解系統(tǒng)的運行狀況。使用場景與數(shù)據(jù)采集和分析工具配合使用用于數(shù)據(jù)可視化。比如結(jié)合Prometheus采集的數(shù)據(jù)Grafana可以繪制出服務器CPU使用率隨時間變化的折線圖讓運維人員一目了然。操作示例在Grafana中添加數(shù)據(jù)源如Prometheus然后創(chuàng)建Dashboard選擇要展示的數(shù)據(jù)指標和圖表類型即可生成可視化圖表。項目實戰(zhàn)代碼實際案例和詳細解釋說明開發(fā)環(huán)境搭建假設我們要構(gòu)建一個簡單的智能運維系統(tǒng)用于監(jiān)控服務器的CPU使用率并進行故障預測。我們需要搭建以下開發(fā)環(huán)境操作系統(tǒng)Ubuntu 20.04編程語言Python 3.8數(shù)據(jù)采集Prometheus數(shù)據(jù)分析Apache Spark故障預測Greyhound首先安裝Python和相關(guān)依賴sudoaptupdatesudoaptinstallpython3 python3-pip pip3installprometheus_client pyspark greyhound安裝Prometheus下載Prometheus安裝包wgethttps://github.com/prometheus/prometheus/releases/download/v2.33.4/prometheus-2.33.4.linux-amd64.tar.gz解壓并配置tar-xvfprometheus-2.33.4.linux-amd64.tar.gzcdprometheus-2.33.4.linux-amd64vimprometheus.yml在prometheus.yml中配置要監(jiān)控的目標global:scrape_interval:15sscrape_configs:-job_name:serverstatic_configs:-targets:[192.168.1.100:9100]安裝Apache Spark下載Spark安裝包wgethttps://downloads.apache.org/spark/spark-3.3.0/spark-3.3.0-bin-hadoop3.tgz解壓并配置環(huán)境變量tar-xvfspark-3.3.0-bin-hadoop3.tgzexportSPARK_HOME/path/to/spark-3.3.0-bin-hadoop3exportPATH$SPARK_HOME/bin:$PATH安裝Greyhoundpip3installgreyhound源代碼詳細實現(xiàn)和代碼解讀數(shù)據(jù)采集部分fromprometheus_clientimportCollectorRegistry,Gauge,push_to_gateway registryCollectorRegistry()gGauge(cpu_usage_percentage,CPU usage percentage,registryregistry)whileTrue:# 模擬獲取CPU使用率cpu_usageget_cpu_usage()g.set(cpu_usage)push_to_gateway(pushgateway.example.com:9091,jobserver_cpu_monitor,registryregistry)這段代碼使用prometheus_client庫創(chuàng)建了一個指標cpu_usage_percentage來表示CPU使用率。通過一個循環(huán)不斷獲取模擬的CPU使用率數(shù)據(jù)并將其推送到Prometheus的Pushgateway。數(shù)據(jù)分析部分frompyspark.sqlimportSparkSessionfrompyspark.sql.functionsimportcol sparkSparkSession.builder.appName(CPU Usage Analysis).getOrCreate()# 從Prometheus獲取數(shù)據(jù)假設數(shù)據(jù)已存儲在文件中dataspark.read.csv(cpu_usage_data.csv,headerTrue,inferSchemaTrue)# 分析CPU使用率超過80%的記錄high_cpu_usagedata.filter(col(cpu_usage_percentage)80)high_cpu_usage.show()這里使用Apache Spark來讀取存儲在文件中的CPU使用率數(shù)據(jù)假設數(shù)據(jù)從Prometheus采集后存儲在文件。然后通過filter函數(shù)篩選出CPU使用率超過80%的記錄并展示出來。故障預測部分fromgreyhoundimportGreyhound# 加載訓練數(shù)據(jù)train_datapd.read_csv(train_cpu_usage.csv)# 初始化Greyhound模型modelGreyhound()model.fit(train_data[[cpu_usage_percentage]],train_data[is_failure])# 加載測試數(shù)據(jù)test_datapd.read_csv(test_cpu_usage.csv)# 進行故障預測predictionsmodel.predict(test_data[[cpu_usage_percentage]])print(predictions)此代碼使用Greyhound庫進行故障預測。首先加載訓練數(shù)據(jù)包括CPU使用率和是否發(fā)生故障的標記。然后使用這些數(shù)據(jù)訓練Greyhound模型。接著加載測試數(shù)據(jù)并使用訓練好的模型對測試數(shù)據(jù)中的CPU使用率進行故障預測。代碼解讀與分析通過以上代碼我們實現(xiàn)了從數(shù)據(jù)采集到故障預測的簡單流程。數(shù)據(jù)采集部分持續(xù)收集CPU使用率數(shù)據(jù)并推送給Prometheus為后續(xù)分析提供數(shù)據(jù)基礎。數(shù)據(jù)分析部分利用Spark對采集的數(shù)據(jù)進行篩選分析找出高CPU使用率的情況。故障預測部分使用Greyhound根據(jù)歷史數(shù)據(jù)訓練模型并對新數(shù)據(jù)進行故障預測。整個流程展示了如何結(jié)合不同工具實現(xiàn)智能運維的基本功能。實際應用場景互聯(lián)網(wǎng)公司在互聯(lián)網(wǎng)公司中業(yè)務系統(tǒng)規(guī)模龐大且復雜服務器數(shù)量眾多。通過Prometheus采集服務器的性能指標Fluentd收集日志數(shù)據(jù)然后使用Apache Spark和TensorFlow對這些數(shù)據(jù)進行分析利用Greyhound和Dynatrace進行故障預測。例如在電商大促期間可以提前預測服務器是否能承受高并發(fā)以及哪些服務可能出現(xiàn)故障提前做好應對措施。金融行業(yè)金融行業(yè)對系統(tǒng)的穩(wěn)定性和可靠性要求極高。Zabbix和Nagios用于實時監(jiān)控網(wǎng)絡設備和服務器的運行狀態(tài)確保業(yè)務系統(tǒng)的正常運行。同時利用Grafana對監(jiān)控數(shù)據(jù)進行可視化展示方便運維人員及時發(fā)現(xiàn)問題。在風險控制方面通過數(shù)據(jù)分析工具對交易數(shù)據(jù)和系統(tǒng)運行數(shù)據(jù)進行分析預測可能出現(xiàn)的風險和故障。工具和資源推薦在線學習平臺Coursera提供大量關(guān)于人工智能、大數(shù)據(jù)和運維相關(guān)的課程如“Applied Data Science with Python”“Introduction to Big Data”等。edX有許多優(yōu)質(zhì)的計算機科學課程包括機器學習、數(shù)據(jù)處理等適合深入學習這些工具背后的原理。開源社區(qū)GitHub幾乎所有上述工具都在GitHub上有開源代碼和豐富的文檔。可以通過查看代碼和參與社區(qū)討論深入了解工具的使用和開發(fā)。Stack Overflow當遇到問題時這是一個很好的問答平臺?？梢栽谏厦嫠阉麝P(guān)于這些工具的使用問題也可以提問獲取其他開發(fā)者的幫助。未來發(fā)展趨勢與挑戰(zhàn)未來發(fā)展趨勢智能化程度不斷提高未來的智能運維工具將更加智能化能夠自動學習和適應不同的IT環(huán)境提供更準確的故障預測和更有效的運維建議。與新興技術(shù)融合隨著區(qū)塊鏈、物聯(lián)網(wǎng)等技術(shù)的發(fā)展智能運維工具將與之深度融合為更廣泛的領(lǐng)域提供服務。自動化運維流程從數(shù)據(jù)采集到故障處理整個運維流程將更加自動化減少人工干預提高運維效率。挑戰(zhàn)數(shù)據(jù)隱私和安全在數(shù)據(jù)采集和分析過程中如何保護企業(yè)和用戶的數(shù)據(jù)隱私和安全是一個重要挑戰(zhàn)。需要加強數(shù)據(jù)加密、訪問控制等技術(shù)手段。工具集成難度不同的智能運維工具來自不同的廠商或開源社區(qū)如何將它們有效地集成在一起實現(xiàn)無縫協(xié)作是一個技術(shù)難題。人才短缺智能運維涉及到人工智能、大數(shù)據(jù)等多個領(lǐng)域的知識對運維人員的技術(shù)要求較高目前相關(guān)專業(yè)人才相對短缺?？偨Y(jié)學到了什么核心概念回顧我們學習了數(shù)據(jù)采集、數(shù)據(jù)分析和故障預測這幾個核心概念。數(shù)據(jù)采集就像小信使收集信息數(shù)據(jù)分析像小偵探找出規(guī)律故障預測像小預言家根據(jù)規(guī)律預測未來。還了解了9款常用工具它們分別在數(shù)據(jù)采集、數(shù)據(jù)分析、故障預測和綜合運維等方面發(fā)揮作用。概念關(guān)系回顧數(shù)據(jù)采集是數(shù)據(jù)分析的基礎只有收集到足夠的信息數(shù)據(jù)分析才能找出規(guī)律。而數(shù)據(jù)分析得到的規(guī)律又是故障預測的依據(jù)故障預測基于這些規(guī)律提前發(fā)現(xiàn)可能出現(xiàn)的問題。這些工具和概念相互配合共同構(gòu)建了AI智能運維系統(tǒng)。思考題動動小腦筋思考題一在智能家居系統(tǒng)中你能想到哪些數(shù)據(jù)可以采集以及如何利用我們介紹的工具進行數(shù)據(jù)分析和故障預測思考題二如果你要設計一個針對自動駕駛汽車的智能運維系統(tǒng)你會選擇哪些工具為什么附錄常見問題與解答問題1安裝Prometheus時遇到權(quán)限問題怎么辦答在安裝和配置Prometheus時確保使用具有足夠權(quán)限的用戶。如果是在Linux系統(tǒng)中可以使用sudo命令獲取管理員權(quán)限。同時檢查文件和目錄的權(quán)限設置確保Prometheus能夠正常讀取和寫入配置文件和數(shù)據(jù)文件。問題2如何優(yōu)化Greyhound的故障預測模型答可以嘗試調(diào)整Greyhound使用的機器學習算法的參數(shù)如決策樹的最大深度、隨機森林的樹的數(shù)量等。還可以增加訓練數(shù)據(jù)的數(shù)量和多樣性提高模型的泛化能力。另外對數(shù)據(jù)進行預處理如歸一化、特征選擇等也有助于優(yōu)化模型性能。擴展閱讀 參考資料《Prometheus: Up Running》深入介紹Prometheus的使用和原理。《Learning Spark: Lightning - Fast Big Data Analytics》關(guān)于Apache Spark的學習書籍。各工具官方文檔如TensorFlow官方文檔https://tensorflow.google.cn/docs、Dynatrace官方文檔https://www.dynatrace.com/support/help/等是學習和使用這些工具的重要參考資料。