【I761194】基於深度學習以局部面部特徵的家畜身分識別系統及其方法

快速搜尋

【I761194】基於深度學習以局部面部特徵的家畜身分識別系統及其方法

公告號	I761194
公告日	2022/04/11
公報卷期	49-11
證書號	I761194
申請號	110115379 E
申請日	2021/04/28
公報IPC	G06K 9/62(2006.01); A01K 11/00(2006.01); A01K 29/00(2006.01); G06F 16/00(2019.01); G06N 3/08(2006.01); G06Q 50/02(2012.01)
當前IPC	G06K 9/62(2006.01); A01K 11/00(2006.01); A01K 29/00(2006.01); G06F 16/00(2019.01); G06N 3/08(2006.01); G06Q 50/02(2012.01)
申請人	國立高雄科技大學高雄市三民區建工路415號 (中華民國) (TW)
當前專利權人	國立高雄科技大學
發明人	鐘鎮鴻 (中華民國) (TW); 田景榮 (中華民國) (TW); 羅群智 (中華民國) (TW); 謝欽旭 (中華民國) (TW); 洪盟峯 (中華民國) (TW)
代理人	顏婌烊
審查委員	劉建宏
摘要	本發明提出一種基於深度學習以局部面部特徵的家畜身分識別系統及其方法，藉此新技術來加速深度學習技術的辨識速度。由於現行家畜身分識別，皆是以侵入式作法在身體內植入晶片，非侵入式身分識別方法對於家畜管理，極為關鍵。本發明重心是透過少數經校正後的局部面部特徵來做識別。所提系統包含家畜檢測模組、品種分類模組、面部檢測模組、影像處理模組、比對模組、擷取模組、校正模組、標準化模組、識別模組及學習模組。依序採用物件偵測、品種分類、面部特徵擷取、影像處理、卷積神經網路以上計算流程，透過局部面部特徵實現家畜身分識別。以柴犬身分辨識為實施例，實施結果表示運用此局部面部特徵方式做身分識別，具有可靠之辨識度。

專利範圍

1.一種基於深度學習以局部面部特徵的家畜身分識別系統，該系統包含：一家畜檢測模組，係用以檢測複數影像中是否存在複數家畜；一品種分類模組，係與該家畜檢測模組連接，對該等影像中的等該家畜進行品種分類，其中部分之該等家畜被分類為同一品種，即定義為複數分類後家畜影像；一面部檢測模組，係與該品種分類模組連接，且該面部檢測模組更包含：一特徵點檢測模組，接收該等分類後家畜影像，且對該等分類後家畜影像進行特徵點找尋與標記，以輸出複數標記後家畜影像，其中特徵點包含左眼、右眼及鼻子所構成的一三角位點標記；一影像處理模組，接收該等分類後家畜影像，且對該等分類後家畜影像進行影像處理，以產生複數影像處理後家畜影像，其中影像處理包含二值化處理；其中各該等影像處理後家畜影像包含由左眼、右眼及鼻子所構成的一影像處理後三角位點；一比對模組，係用於讀取該等標記後家畜影像及該等影像處理後家畜影像，且比對各該等標記後家畜影像之三角位點標記及各該等影像處理後家畜影像之影像處理後三角位點的位置相關性，以產生複數面部特徵資料，其中各該等面部特徵資料包含一特徵三角位點；一校正模組，透過影像仿射變換，將該等面部特徵資料校正於一校正模板，以輸出複數校正面部特徵資料，其中各該等面部特徵資料與該校正模板具有一幾何關係；一識別模組，連接該校正模組，對該等校正面部特徵資料中的家畜與資料庫中已知身分的家畜進行相似度計算，依據相似度計算結果求得的相似度，輸出各該等校正面部特徵資料的家畜的識別結果；以及一學習模組，該學習模組分別與該識別模組及資料庫連接，其中當其一該等校正面部特徵資料與現有身分的家畜的相似度計算結果求得的相似度皆小於閾值，該學習模組係用以將其一該等校正面部特徵資料儲存於資料庫中，且將其一該等校正面部特徵資料視為一未知身分的候選；當該學習模組將其一該等校正面部特徵資料暫時儲存於資料庫的次數達預設閾值，該學習模組於資料庫中新增該未知身分。

2.如請求項1所述之系統，其中該校正模板的版型尺寸，長為L且滿足112pixels≦L≦224pixels，寬為W且滿足112pixels≦W≦224pixels。

3.如請求項1所述之系統，更包含一擷取模組，係與該比對模組及該校正模組連接，且依據各該等面部特徵資料包含的該特徵三角位點進行裁切，以擷取並產生複數局部特徵資料，並輸入至該校正模組，後續，該校正模組，透過影像仿射變換，將該等局部特徵資料校正於一校正模板，以輸出複數校正局部特徵資料，其中各該等局部特徵資料與該校正模板具有一幾何關係，以及該識別模組連接該校正模組，該識別模組對該等校正局部特徵資料中的家畜與資料庫中已知身分的家畜進行相似度計算，依據相似度計算結果求得的相似度，輸出各該等校正局部特徵資料的家畜識別結果。

4.如請求項1或3所述之系統，更包含一標準化模組，該標準化模組分別與該校正模組及該識別模組連接，該校正模組將該等校正面部特徵資料/或該等校正局部特徵資料，輸出至該標準化模組，該標準化模組對該等校正面部特徵資料/或該等校正局部特徵資料進行影像的像素標準化，以產生標準化的該等校正面部特徵資料/或該等校正局部特徵資料。

5.一種基於深度學習以局部面部特徵的家畜身分識別方法，該方法包含下列步驟：利用一家畜檢測模組，且檢測複數影像中是否存在家畜；利用一品種分類模組，對該等影像中的該等家畜進行品種分類，其中該等家畜影像分別儲存至多個品種資料庫，該等家畜影像被分類於相同的品種資料庫，即定義為複數分類後家畜影像；利用一面部檢測模組，其步驟包含：利用一特徵點檢測模組，對該等分類後家畜影像進行特徵點的找尋與標記，以輸出複數標記後家畜影像，其中特徵點包含左眼、右眼及鼻子所構成的一三角位點標記；利用一影像處理模組，對該等分類後家畜影像進行影像處理，以產生複數影像處理後家畜影像，其中影像處理包括二值化處理；其中各該等影像處理後家畜影像包含由左眼、右眼及鼻子所構成的一影像處理後三角位點；利用一比對模組，讀取該等標記後家畜影像及該等影像處理後家畜影像，並比對各該等標記後家畜影像之三角位點標記及各該等影像處理後家畜影像之影像處理後三角位點的位置相關性，判斷位置相關性是否符合一閾值，若位置相關性符合一閾值則產生複數面部特徵資料，其中符合位置相關性的三角位點，被定義為一特徵三角位點；利用一校正模組，透過影像仿射變換，將該等面部特徵資料經由旋轉、縮放及斜切的方式處理，校正於一校正模板，以輸出複數校正面部特徵資料，其中該校正模板具有由左眼、右眼及鼻子所組成的模板校正點，該校正模組將各該等局部面部特徵資料的各特徵三角位點，校正在該校正模板之模板校正點，且各該等局部面部特徵資料與該校正模板具有一幾何關係：以及利用一識別模組，對該等校正面部特徵資料與已知身分的家畜進行相似度計算，依據計算結果求得的相似度，輸出各該等校正面部特徵資料的家畜的識別結果，其中當其一該等校正面部特徵資料與現有身分的家畜進行相似度計算求相似度，求得的相似度皆小於閾值時，在利用該識別模組之步驟之後更包含下列步驟：利用一學習模組，該學習模組將其一該等校正面部特徵資料儲存於資料庫中，且將其一該等校正面部特徵資料視為一未知身分的候選，當該學習模組將其一該等校正面部特徵資料暫時儲存於資料庫的次數達預設閾值，該學習模組將於資料庫中新增該未知身分；其中在利用該比對模組，讀取該等標記後家畜影像及該等影像處理後家畜影像，並比對各該等標記後家畜影像之三角位點標記及各該等影像處理後家畜影像之影像處理後三角位點的位置相關性之步驟，若判斷位置相關性不符合該閾值，則計算各該等標記後家畜影像之三角位點標記與各該等影像處理後家畜影像之影像處理後三角位點之間的偏移角度，且進行下列步驟：重新取得該等分類後家畜影像，依據該偏移角度，對該等分類後家畜影像進行補償性的影像旋轉，以產生複數旋轉家畜影像；及將該等旋轉家畜影像分別輸入至利用該面部檢測模組之步驟及利用該影像處理模組之步驟。

6.如請求項5所述之方法，其中在利用該影像處理模組，對該等分類後家畜影像進行二值化處理之步驟之前，其步驟更包含：將該等分類後家畜影像，進行影像對比度與亮度優化處理，以產生複數對比度與亮度優化家畜影像；之後對該等對比度與亮度優化家畜影像進行影像灰階處理產生灰階家畜影像，之後利用影像灰階直方圖均衡法處理，產生複數灰階直方圖均衡化家畜影像。

7.如請求項5所述之方法，其中在利用該比對模組與利用該校正模組之步驟之間，其步驟更包含：利用一擷取模組，依據各該等面部特徵資料包含的該特徵三角位點進行裁切，以擷取包含該特徵三角位點的複數局部特徵資料，並輸入至該校正模組，後續，該校正模組，透過影像仿射變換，將該等局部特徵資料校正於一校正模板，以輸出複數校正局部特徵資料，其中各該等局部特徵資料與該校正模板具有一幾何關係，以及該識別模組連接該校正模組，該識別模組對該等校正局部特徵資料中的家畜與資料庫中已知身分的家畜進行相似度計算，依據相似度計算結果求得的相似度，輸出各該等校正局部特徵資料的家畜識別結果。

8.如請求項5所述之方法，其中在利用該校正模組，透過影像仿射變換，將該等面部特徵資料經由旋轉、縮放及斜切的方式處理，校正於該校正模板。

9.如請求項5或7所述之方法，其中在利用該校正模組與利用該識別模組之步驟之間，其步驟更包含：利用一標準化模組，該校正模組將該等校正面部特徵資料/或該等校正局部特徵資料，輸出至該標準化模組，該標準化模組對該等校正面部特徵資料/或該等校正局部特徵資料進行影像的像素標準化，以產生標準化的該等校正面部特徵資料/或該等校正局部特徵資料。

瀏覽數: