北京住房和城鄉(xiāng)建設(shè)廳官方網(wǎng)站,自己做簡(jiǎn)單網(wǎng)站,網(wǎng)站是如何盈利的,支付寶是哪個(gè)公司的1 前言 今天學(xué)長(zhǎng)向大家介紹一個(gè)機(jī)器視覺的畢設(shè)項(xiàng)目#xff0c;基于機(jī)器視覺網(wǎng)絡(luò)課堂專注檢測(cè)系統(tǒng) 項(xiàng)目運(yùn)行效果#xff1a; 畢業(yè)設(shè)計(jì) 機(jī)器視覺網(wǎng)絡(luò)課堂專注檢測(cè)系統(tǒng) #x1f9ff; 項(xiàng)目分享:見文末! 2 相關(guān)技術(shù) 2.1CNN簡(jiǎn)介 卷積神經(jīng)網(wǎng)絡(luò)(CNN)#xff0c;是由多層卷積結(jié)…1 前言今天學(xué)長(zhǎng)向大家介紹一個(gè)機(jī)器視覺的畢設(shè)項(xiàng)目基于機(jī)器視覺網(wǎng)絡(luò)課堂專注檢測(cè)系統(tǒng)項(xiàng)目運(yùn)行效果畢業(yè)設(shè)計(jì) 機(jī)器視覺網(wǎng)絡(luò)課堂專注檢測(cè)系統(tǒng) 項(xiàng)目分享:見文末!2 相關(guān)技術(shù)2.1CNN簡(jiǎn)介卷積神經(jīng)網(wǎng)絡(luò)(CNN)是由多層卷積結(jié)構(gòu)組成的一種神經(jīng)網(wǎng)絡(luò)。卷積結(jié)構(gòu)可以減少網(wǎng)絡(luò)的內(nèi)存占用、參數(shù)和模型的過擬合。卷積神經(jīng)網(wǎng)絡(luò)是一種典型的深度學(xué)習(xí)算法。廣泛應(yīng)用于視覺處理和人工智能領(lǐng)域特別是在圖像識(shí)別和人臉識(shí)別領(lǐng)域。與完全連接的神經(jīng)網(wǎng)絡(luò)相比CNN輸入是通過交換參數(shù)和局部感知來提取圖像特征的圖像。卷積神經(jīng)網(wǎng)絡(luò)是由輸入層、卷積層、池化層、全連接層和輸出層五層結(jié)構(gòu)組成。其具體模型如下圖所示。(1)輸入層(Input layer)輸入層就是神經(jīng)網(wǎng)絡(luò)的輸入端口就是把輸入傳入的入口。通常傳入的圖像的RGB三個(gè)通道的數(shù)據(jù)。數(shù)據(jù)的輸入一般是多維的矩陣向量其中矩陣中的數(shù)值代表的是圖像對(duì)應(yīng)位置的像素點(diǎn)的值。(2)卷積層(Convolution layer)卷積層在CNN中主要具有學(xué)習(xí)功能它主要提取輸入的數(shù)據(jù)的特征值。(3)池化層(Pooling layer)池化層通過對(duì)卷積層的特征值進(jìn)行壓縮來獲得自己的特征值減小特征值的矩陣的維度減小網(wǎng)絡(luò)計(jì)算量加速收斂速度可以有效避免過擬合問題。(4)全連接層(Full connected layer)全連接層主要實(shí)現(xiàn)是把經(jīng)過卷積層和池化層處理的數(shù)據(jù)進(jìn)行集合在一起形成一個(gè)或者多個(gè)的全連接層該層在CNN的功能主要是實(shí)現(xiàn)高階推理計(jì)算。(5)輸出層(Output layer)輸出層在全連接層之后是整個(gè)神經(jīng)網(wǎng)絡(luò)的輸出端口即把處理分析后的數(shù)據(jù)進(jìn)行輸出。2.2 人臉識(shí)別算法利用dlib實(shí)現(xiàn)人臉68個(gè)關(guān)鍵點(diǎn)檢測(cè)并標(biāo)注關(guān)鍵代碼importcv2# 加載人臉識(shí)別模型face_rec_model_pathdlib_face_recognition_resnet_model_v1.datfacerecdlib.face_recognition_model_v1(face_rec_model_path)# 加載特征點(diǎn)識(shí)別模型predictor_pathshape_predictor_5_face_landmarks.datpredictordlib.shape_predictor(predictor_path)# 讀取圖片img_pathstep1/image/face.jpgimgcv2.imread(img_path)# 轉(zhuǎn)換為灰階圖片graycv2.cvtColor(img,cv2.COLOR_BGR2GRAY)# 正向人臉檢測(cè)器將圖像detectordlib.get_frontal_face_detector()# 使用人臉識(shí)別模型來檢測(cè)圖像中的人臉facesdetector(gray,1)# 使用特征點(diǎn)識(shí)別模型來檢測(cè)人臉中的特征fori,faceinenumerate(faces):# 獲取人臉特征點(diǎn)shapepredictor(img,face)2.3專注檢測(cè)原理總體流程主要通過電腦攝像頭去實(shí)時(shí)的抓拍學(xué)生當(dāng)前的狀態(tài)和行為不間斷的采集學(xué)生上課時(shí)的面部表情和眼睛注視的方向利用CNN提取相應(yīng)的特征數(shù)據(jù)并進(jìn)行分析處理若對(duì)應(yīng)輸出的判斷值大于設(shè)置的閾值時(shí)則認(rèn)為學(xué)生在走神沒有認(rèn)真學(xué)習(xí)。并且對(duì)拍攝時(shí)間進(jìn)行計(jì)時(shí)在界面上實(shí)時(shí)輸出該學(xué)生在課堂上的有效學(xué)習(xí)時(shí)間和學(xué)生在課堂上專注時(shí)間的比例并進(jìn)行存入表格中。眼睛檢測(cè)算法基于dlib人臉識(shí)別68特征點(diǎn)檢測(cè)、分別獲取左右眼面部標(biāo)志的索引通過opencv對(duì)視頻流進(jìn)行灰度化處理檢測(cè)出人眼的位置信息。人臉特征點(diǎn)檢測(cè)用到了dlibdlib有兩個(gè)關(guān)鍵函數(shù)dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)。前者是內(nèi)置的人臉檢測(cè)算法使用HOG pyramid檢測(cè)人臉區(qū)域的界限bounds。后者是用來檢測(cè)一個(gè)區(qū)域內(nèi)的特征點(diǎn)并輸出這些特征點(diǎn)的坐標(biāo)它需要一個(gè)預(yù)先訓(xùn)練好的模型通過文件路徑的方法傳入才能正常工作。使用開源模型shape_predictor_68_face_landmarks.dat可以得到68個(gè)特征點(diǎn)位置的坐標(biāo)連起來后可以有如圖所示的效果紅色是HOG pyramid檢測(cè)的結(jié)果綠色是shape_predictor的結(jié)果僅把同一個(gè)器官的特征點(diǎn)連線。通過計(jì)算眼睛的寬高比來確定專注狀態(tài)基本原理計(jì)算 眼睛長(zhǎng)寬比 Eye Aspect RatioEAR.當(dāng)人眼睜開時(shí)EAR在某個(gè)值上下波動(dòng)當(dāng)人眼閉合時(shí)EAR迅速下降理論上會(huì)接近于零當(dāng)時(shí)人臉檢測(cè)模型還沒有這么精確。所以我們認(rèn)為當(dāng)EAR低于某個(gè)閾值時(shí)眼睛處于閉合狀態(tài)。為檢測(cè)眨眼次數(shù)需要設(shè)置同一次眨眼的連續(xù)幀數(shù)。眨眼速度比較快一般1~3幀就完成了眨眼動(dòng)作。兩個(gè)閾值都要根據(jù)實(shí)際情況設(shè)置。關(guān)鍵代碼# -*- coding: utf-8 -*-# import the necessary packagesfromscipy.spatialimportdistanceasdistfromimutils.videoimportFileVideoStreamfromimutils.videoimportVideoStreamfromimutilsimportface_utilsimportnumpyasnp# 數(shù)據(jù)處理的庫(kù) numpyimportargparseimportimutilsimporttimeimportdlibimportcv2defeye_aspect_ratio(eye):# 垂直眼標(biāo)志XY坐標(biāo)Adist.euclidean(eye[1],eye[5])# 計(jì)算兩個(gè)集合之間的歐式距離Bdist.euclidean(eye[2],eye[4])# 計(jì)算水平之間的歐幾里得距離# 水平眼標(biāo)志XY坐標(biāo)Cdist.euclidean(eye[0],eye[3])# 眼睛長(zhǎng)寬比的計(jì)算ear(AB)/(2.0*C)# 返回眼睛的長(zhǎng)寬比returnear# 定義兩個(gè)常數(shù)# 眼睛長(zhǎng)寬比# 閃爍閾值EYE_AR_THRESH0.2EYE_AR_CONSEC_FRAMES3# 初始化幀計(jì)數(shù)器和眨眼總數(shù)COUNTER0TOTAL0# 初始化DLIB的人臉檢測(cè)器HOG然后創(chuàng)建面部標(biāo)志物預(yù)測(cè)print([INFO] loading facial landmark predictor...)# 第一步使用dlib.get_frontal_face_detector() 獲得臉部位置檢測(cè)器detectordlib.get_frontal_face_detector()# 第二步使用dlib.shape_predictor獲得臉部特征位置檢測(cè)器predictordlib.shape_predictor(D:/myworkspace/JupyterNotebook/fatigue_detecting/model/shape_predictor_68_face_landmarks.dat)# 第三步分別獲取左右眼面部標(biāo)志的索引(lStart,lEnd)face_utils.FACIAL_LANDMARKS_IDXS[left_eye](rStart,rEnd)face_utils.FACIAL_LANDMARKS_IDXS[right_eye]# 第四步打開cv2 本地?cái)z像頭capcv2.VideoCapture(0)# 從視頻流循環(huán)幀whileTrue:# 第五步進(jìn)行循環(huán)讀取圖片并對(duì)圖片做維度擴(kuò)大并進(jìn)灰度化ret,framecap.read()frameimutils.resize(frame,width720)graycv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)# 第六步使用detector(gray, 0) 進(jìn)行臉部位置檢測(cè)rectsdetector(gray,0)# 第七步循環(huán)臉部位置信息使用predictor(gray, rect)獲得臉部特征位置的信息forrectinrects:shapepredictor(gray,rect)# 第八步將臉部特征信息轉(zhuǎn)換為數(shù)組array的格式shapeface_utils.shape_to_np(shape)# 第九步提取左眼和右眼坐標(biāo)leftEyeshape[lStart:lEnd]rightEyeshape[rStart:rEnd]# 第十步構(gòu)造函數(shù)計(jì)算左右眼的EAR值使用平均值作為最終的EARleftEAReye_aspect_ratio(leftEye)rightEAReye_aspect_ratio(rightEye)ear(leftEARrightEAR)/2.0# 第十一步使用cv2.convexHull獲得凸包位置使用drawContours畫出輪廓位置進(jìn)行畫圖操作leftEyeHullcv2.convexHull(leftEye)rightEyeHullcv2.convexHull(rightEye)cv2.drawContours(frame,[leftEyeHull],-1,(0,255,0),1)cv2.drawContours(frame,[rightEyeHull],-1,(0,255,0),1)# 第十二步進(jìn)行畫圖操作用矩形框標(biāo)注人臉leftrect.left()toprect.top()rightrect.right()bottomrect.bottom()cv2.rectangle(frame,(left,top),(right,bottom),(0,255,0),3) 分別計(jì)算左眼和右眼的評(píng)分求平均作為最終的評(píng)分如果小于閾值則加1如果連續(xù)3次都小于閾值則表示進(jìn)行了一次眨眼活動(dòng) # 第十三步循環(huán)滿足條件的眨眼次數(shù)1ifearEYE_AR_THRESH:# 眼睛長(zhǎng)寬比0.2COUNTER1else:# 如果連續(xù)3次都小于閾值則表示進(jìn)行了一次眨眼活動(dòng)ifCOUNTEREYE_AR_CONSEC_FRAMES:# 閾值3TOTAL1# 重置眼幀計(jì)數(shù)器COUNTER0# 第十四步進(jìn)行畫圖操作68個(gè)特征點(diǎn)標(biāo)識(shí)for(x,y)inshape:cv2.circle(frame,(x,y),1,(0,0,255),-1)# 第十五步進(jìn)行畫圖操作同時(shí)使用cv2.putText將眨眼次數(shù)進(jìn)行顯示cv2.putText(frame,Faces: {}.format(len(rects)),(10,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)cv2.putText(frame,Blinks: {}.format(TOTAL),(150,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)cv2.putText(frame,COUNTER: {}.format(COUNTER),(300,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)cv2.putText(frame,EAR: {:.2f}.format(ear),(450,30),cv2.FONT_HERSHEY_SIMPLEX,0.7,(0,0,255),2)print(眼睛實(shí)時(shí)長(zhǎng)寬比:{:.2f} .format(ear))ifTOTAL50:cv2.putText(frame,SLEEP!!!,(200,200),cv2.FONT_HERSHEY_SIMPLEX,0.8,(0,0,255),2)cv2.putText(frame,Press q: Quit,(20,500),cv2.FONT_HERSHEY_SIMPLEX,0.7,(84,255,159),2)# 窗口顯示 show with opencvcv2.imshow(Frame,frame)# if the q key was pressed, break from the loopifcv2.waitKey(1)0xFFord(q):break# 釋放攝像頭 release cameracap.release()# do a bit of cleanupcv2.destroyAllWindows()2.4 OpenCVOpenCV是計(jì)算機(jī)視覺中一個(gè)經(jīng)典的數(shù)據(jù)庫(kù)。支持多語言、跨平臺(tái)、功能強(qiáng)大。其提供了一個(gè)Python接口用戶可以在保證可讀性和操作效率的前提下用Python調(diào)用C/C實(shí)現(xiàn)所需的功能。OpenCV是一個(gè)基于BSD許可證的跨平臺(tái)計(jì)算機(jī)視覺庫(kù)可以在Linux、windows和Mac OS操作系統(tǒng)上運(yùn)行。它由一系列C函數(shù)和少量C類組成。同時(shí)它還提供了與Python、ruby、MATLAB等語言的接口實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺中的許多通用算法。本項(xiàng)目中OpenCV主要是在圖片的采集的圖片的預(yù)處理方面使用通過操作界面中的按鈕選項(xiàng)選擇是否打開攝像頭使用OpenCV來調(diào)用電腦攝像頭來檢測(cè)錄像過程中的聚焦和人臉鏡頭的矯正等狀態(tài)然后在攝像頭的錄像的視頻流中抓取對(duì)應(yīng)的人臉照片然后調(diào)用內(nèi)部的函數(shù)對(duì)照片的尺寸和光線等進(jìn)行矯正處理后傳給神經(jīng)網(wǎng)絡(luò)進(jìn)行特征值提取。3 實(shí)現(xiàn)效果項(xiàng)目運(yùn)行效果畢業(yè)設(shè)計(jì) 機(jī)器視覺網(wǎng)絡(luò)課堂專注檢測(cè)系統(tǒng) 項(xiàng)目分享:見文末!