中山市企業(yè)網(wǎng)站seo營銷工具,成都旅游學院,佛山免費建站平臺,外包小程序價格上周線上服務扛不住流量#xff0c;運維群里一頓排查#xff0c;最后發(fā)現(xiàn)是內(nèi)核參數(shù)沒調(diào)。 默認配置跑個開發(fā)環(huán)境還行#xff0c;生產(chǎn)環(huán)境就是在給自己挖坑。 把這次調(diào)優(yōu)過程記錄一下#xff0c;都是踩過的坑。 背景 我們有臺服務器#xff0c;配置不差#xff1a; 32核C…上周線上服務扛不住流量運維群里一頓排查最后發(fā)現(xiàn)是內(nèi)核參數(shù)沒調(diào)。默認配置跑個開發(fā)環(huán)境還行生產(chǎn)環(huán)境就是在給自己挖坑。把這次調(diào)優(yōu)過程記錄一下都是踩過的坑。背景我們有臺服務器配置不差32核CPU64G內(nèi)存萬兆網(wǎng)卡但是一到高峰期CPU才30%連接數(shù)就上不去了大量請求超時?？戳艘蝗ΡO(jiān)控發(fā)現(xiàn)是網(wǎng)絡瓶頸但網(wǎng)卡帶寬明明還有余量。問題定位現(xiàn)象# 查看連接狀態(tài)ss -s Total:52341TCP:48234(estab12000, closed35000, orphaned0, timewait34500)# 發(fā)現(xiàn)大量TIME_WAITss -ant|awk{print$1}|sort|uniq-c|sort-rn34523TIME-WAIT12034ESTAB1234SYN-RECV423LISTEN3萬多個TIME_WAIT正常嗎短連接場景下其實很常見但這么多確實有問題。根因分析# 查看當前內(nèi)核參數(shù)sysctl net.ipv4.tcp_max_tw_buckets# 輸出net.ipv4.tcp_max_tw_buckets 180000sysctl net.core.somaxconn# 輸出net.core.somaxconn 128sysctl net.ipv4.tcp_max_syn_backlog# 輸出net.ipv4.tcp_max_syn_backlog 1024問題找到了somaxconn才128這是監(jiān)聽隊列的最大長度tcp_max_syn_backlog才1024SYN隊列太小高并發(fā)下新連接進來排隊都排不下直接被丟棄了。調(diào)優(yōu)方案一、網(wǎng)絡連接相關# /etc/sysctl.conf# 1. 監(jiān)聽隊列最大長度默認128太小net.core.somaxconn65535# 2. SYN隊列長度net.ipv4.tcp_max_syn_backlog65535# 3. 允許的最大跟蹤連接條目net.netfilter.nf_conntrack_max1000000# 4. TIME_WAIT狀態(tài)的socket數(shù)量按需調(diào)整net.ipv4.tcp_max_tw_buckets200000# 5. TIME_WAIT復用僅限客戶端發(fā)起連接時net.ipv4.tcp_tw_reuse1# 6. 開啟SYN cookies防護net.ipv4.tcp_syncookies1# 7. 減少FIN_WAIT2狀態(tài)時間net.ipv4.tcp_fin_timeout30二、TCP緩沖區(qū)相關# 接收緩沖區(qū)最小、默認、最大單位字節(jié)net.ipv4.tcp_rmem40968738016777216# 發(fā)送緩沖區(qū)net.ipv4.tcp_wmem40966553616777216# 系統(tǒng)級別的內(nèi)存頁面分配net.ipv4.tcp_mem78643210485761572864# 單個socket最大緩沖區(qū)net.core.rmem_max16777216net.core.wmem_max16777216三、文件描述符相關# 系統(tǒng)級最大文件描述符fs.file-max1000000# 單進程最大文件描述符需要配合ulimit# 在 /etc/security/limits.conf 中設置# * soft nofile 1000000# * hard nofile 1000000四、應用生效# 臨時生效sysctl -p# 驗證sysctl net.core.somaxconn# 輸出net.core.somaxconn 65535調(diào)優(yōu)前后對比壓測數(shù)據(jù)用wrk壓測同一個接口wrk -t12 -c1000 -d60s http://localhost:8080/api/test調(diào)優(yōu)前Requests/sec: 8234.56 Latency: avg 234ms, max 3.2s Socket errors: connect 3421, read 234, write 0, timeout 523調(diào)優(yōu)后Requests/sec: 23456.78 Latency: avg 42ms, max 234ms Socket errors: connect 0, read 0, write 0, timeout 0QPS從8000提升到23000延遲從234ms降到42ms錯誤歸零。生產(chǎn)環(huán)境表現(xiàn)高峰期同樣流量CPU使用率從30%提升到65%資源用起來了連接錯誤率從5%降到0.01%P99延遲從800ms降到120ms常見場景參數(shù)模板場景一高并發(fā)Web服務# 適合Nginx、Tomcat等Web服務器net.core.somaxconn65535net.ipv4.tcp_max_syn_backlog65535net.ipv4.tcp_tw_reuse1net.ipv4.tcp_fin_timeout30net.ipv4.tcp_keepalive_time600net.ipv4.tcp_keepalive_intvl60net.ipv4.tcp_keepalive_probes3# Nginx還需要改配置# worker_connections 65535;# 并且在listen后加 backlog65535場景二數(shù)據(jù)庫服務器# 適合MySQL、PostgreSQL等# 內(nèi)存相關根據(jù)實際內(nèi)存調(diào)整vm.swappiness10vm.dirty_ratio10vm.dirty_background_ratio5# 文件系統(tǒng)fs.file-max1000000fs.aio-max-nr1048576# 網(wǎng)絡數(shù)據(jù)庫通常連接數(shù)不會太高但要穩(wěn)定net.core.somaxconn4096net.ipv4.tcp_max_syn_backlog4096場景三代理/網(wǎng)關服務# 適合Nginx反向代理、API網(wǎng)關# 代理需要大量連接前端連接后端連接net.core.somaxconn65535net.ipv4.tcp_max_syn_backlog65535# 端口范圍要大代理會用很多端口連后端net.ipv4.ip_local_port_range102465535# TIME_WAIT復用很重要net.ipv4.tcp_tw_reuse1# 連接跟蹤表要大net.netfilter.nf_conntrack_max2000000net.netfilter.nf_conntrack_tcp_timeout_established1200一些坑坑1改了不生效# 檢查是否真的改了sysctl -a|grepsomaxconn# 如果是容器環(huán)境宿主機和容器的參數(shù)是隔離的# 部分參數(shù)需要在宿主機改坑2Nginx的backlog改了系統(tǒng)參數(shù)Nginx也要配合改server { listen 80 backlog65535; # ... }不然Nginx用的還是默認值511?？?改了參數(shù)服務起不來# 有些參數(shù)相互依賴比如net.core.netdev_max_backlog65535# 要配合網(wǎng)卡驅(qū)動支持不然可能有問題建議一個個改改完驗證別一次改一堆?？?容器環(huán)境Docker/K8s環(huán)境下大部分網(wǎng)絡參數(shù)要在宿主機改fs.file-max在容器里可能改不了需要用--sysctl參數(shù)或者securityContext# K8s Pod配置spec:containers:-name:appsecurityContext:sysctls:-name:net.core.somaxconnvalue:65535監(jiān)控建議調(diào)完參數(shù)不是結束要持續(xù)監(jiān)控# 連接狀態(tài)分布ss -ant|awk{print$1}|sort|uniq-c# 丟包情況netstat-s|grep-Edropped|overflow# 連接跟蹤表使用情況cat/proc/sys/net/netfilter/nf_conntrack_countcat/proc/sys/net/netfilter/nf_conntrack_max寫個腳本定期采集出問題才知道往哪查。異地運維小技巧我們有幾臺服務器在異地機房調(diào)參數(shù)的時候需要遠程操作。之前用跳板機現(xiàn)在用星空組網(wǎng)把幾臺服務器組到一個虛擬網(wǎng)絡里直接SSH就能連調(diào)參數(shù)方便多了?？偨YLinux內(nèi)核參數(shù)調(diào)優(yōu)核心就幾個方向方向關鍵參數(shù)常見問題監(jiān)聽隊列somaxconn, tcp_max_syn_backlog高并發(fā)連接失敗TIME_WAITtcp_tw_reuse, tcp_fin_timeout端口耗盡緩沖區(qū)tcp_rmem, tcp_wmem大文件傳輸慢連接跟蹤nf_conntrack_max防火墻導致丟包文件描述符file-max, nofiletoo many open files記住幾個原則先定位問題再調(diào)參數(shù)別瞎調(diào)改完要驗證壓測或者灰度留好回滾方案持續(xù)監(jiān)控別調(diào)完就忘了有內(nèi)核調(diào)優(yōu)經(jīng)驗的歡迎評論區(qū)交流~