快速搜尋
【I922171】基於機器視覺之判斷農物以及雜草的方法及其系統 METHOD AND SYSTEM FOR IDENTIFYING CROPS AND WEEDS BASED ON MACHINE VISION
| 公告號 | I922171 |
| 公告日 | 2026/04/11 |
| 公報卷期 | 53-11 |
| 證書號 | I922171 |
| 申請號 | 114104708 E |
| 申請日 | 2025/02/07 |
| 公報IPC | G06V 20/10(2022.01); A01B 39/02(2006.01); A01B 39/18(2006.01); A01B 79/00(2006.01); A01M 21/02(2006.01) |
| 當前IPC | G06V 20/10(2022.01); A01B 39/02(2006.01); A01B 39/18(2006.01); A01B 79/00(2006.01); A01M 21/02(2006.01) |
| 申請人 | 國立高雄科技大學 高雄市燕巢區大學路1號 (中華民國); NATIONAL KAOHSIUNG UNIVERSITY OF SCIENCE AND TECHNOLOGY NO.1, UNIVERSITY RD., YANCHAO DIST., KAOHSIUNG CITY 824, TAIWAN , R.O.C. (TW) |
| 申請人 標準名稱 |
國立高雄科技大學; NATIONAL KAOHSIUNG UNIV OF SCIENCE AND TECH |
| 當前專利權人 | 國立高雄科技大學; NATIONAL KAOHSIUNG UNIVERSITY OF SCIENCE AND TECHNOLOGY |
| 專利權人 標準名稱 |
國立高雄科技大學; NATIONAL KAOHSIUNG UNIV OF SCIENCE AND TECH |
| 發明人 | 余志成 (中華民國); YU, JYH-CHENG (TW); 閔學彥 (中華民國); MIN, HSUEH-YEN (TW); 黃智彬 (中華民國); HUANG, CHIH-PIN (TW) |
| 代理人 | 陳瑞田; 金玉書 |
| 當前代理人 | 陳瑞田; 金玉書 |
| 審查委員 | 吳家豪 |
| 摘要 | 本發明提供一種基於機器視覺之判斷農物以及雜草的方法及其系統。方法包括有擷取到農地影像輸入至物體檢測模型進行識別並分類為至少一農物和至少一雜草，再進行農物和雜草中心點計算以取得具有中心點之農地影像，藉此，判斷並定義為至少一保留區域和至少一拔除區域。拍攝裝置根據載具沿農地之方向移動，得到包含該些保留區域之農地之複數影像並進行三維空間轉換之處理，得以建構三維空間之農地農物分布圖。 |
| 引用專利 | CN108776803A E; CN110520896B E; CN113597874B E; TWM605003U; US2021/0127659A1 E |
專利範圍 
| 專利範圍 | 1.一種基於機器視覺之判斷農物以及雜草的方法，包括以下步驟： 擷取影像，一載具具有一拍攝裝置，該載具沿一農地之方向移動，並該拍攝裝置擷取該農地的一農地影像； 進行農物辨識，輸入該農地影像至一物體檢測模型，經由該物體檢測模型辨識後，對該農地影像中至少一物體定義並分類為至少一農物以及至少一雜草，以形成一具有該些農物以及該些雜草之辨識影像； 判斷拔除區域和保留區域，根據該具有該些農物以及該些雜草之辨識影像，進行一中心點計算而得到一具有中心點之農地影像，並根據該具有中心點之農地影像以定義為至少一拔除區域和至少一保留區域，且該中心點計算進一步包括有設定距離值，對該些農物之間設定一中心距離； 若為拔除區域，根據該具有中心點之農地影像中包含該些雜草以及該些農物之間的距離小於該中心距離，該載具的一操作臂執行一拔除動作，拔除該拔除區域的該些農物和該些雜草；以及 若為保留區域，根據該中心點之農地影像中包含該些農物之間的距離大於或等於該中心距離，該載具的該操作臂在該些保留區域不執行該拔除動作。 2.如請求項1所述之一種基於機器視覺之判斷農物以及雜草的方法，其中進一步包括有建構三維空間之農地農物分佈圖，該拍攝裝置根據該載具沿該農地之方向移動，得到一包含該些保留區域之農地之複數影像，該包含該些保留區域之農地之複數影像進行一三維空間轉換之處理，以建構一三維空間之農地農物分佈圖。 3.如請求項1所述之一種基於機器視覺之判斷農物以及雜草的方法，其中進行農物識別之步驟進一步包括以下步驟： 辨識並分類物體，利用該物體檢測模型辨識並分類該農地影像的該些物體，而分別標註有一辨識邊界框，並於該辨識邊界框內形成一辨識物體； 輪廓分割，對該辨識物體進行輪廓偵測而得到一物體輪廓；以及 定位中心，根據該物體輪廓的形心而得到一中心點，以形成具有一中心點之辨識框影像。 4.如請求項1所述之一種基於機器視覺之判斷農物以及雜草的方法，其中訓練該物體檢測模型之方法進一步包括以下步驟： 標註並分類影像，對該農地影像中該些物體進行標註，並分別定義類別為該些農物及該些雜草； 擴充農地影像，對被標註的該農地影像進行一影像擴增，得到複數標註之該農地影像；以及 輸出物體檢測模型，輸入該些標註之該農地影像至一機器學習模型進行訓練，並輸出該物體檢測模型。 5.如請求項1或請求項3中任一種基於機器視覺之判斷農物以及雜草的方法，其中進一步包括以下步驟： 取得像素座標，透過該中心點之辨識框影像的該辨識邊界框分別具有一中心點位置和一深度值，並取得對應的一像素座標； 轉換三維空間座標，根據該像素座標和該深度值，以進行三維座標公式轉換而得到一三維空間座標；以及 轉換載具之三維座標，根據該三維空間座標和外參矩陣轉變公式，得到一載具之三維座標。 6.如請求項2所述之一種基於機器視覺之判斷農物以及雜草的方法，其中該三維空間之農地農物分佈圖可投影形成一二維空間之農地農物分佈圖。 7.如請求項2所述之一種基於機器視覺之判斷農物以及雜草的方法，其中該三維空間轉換之處理進一步包括以下步驟： 輸出資料，該包含該些保留區域之農地之複數影像輸出有一時間戳、一拍攝裝置之世界座標、一拍攝裝置之四元數，並該包含該些保留區域之農地之複數影像係該拍攝裝置根據該載具於該農地移動時，於不同區域的該農地並對應擷取到不同的該農地影像，而由不同的該農地影像集結而成； 轉換座標，該拍攝裝置之四元數根據該時間戳和該拍攝裝置之世界座標進行座標轉換以形成一座標轉換矩陣，並該些保留區域和該座標轉換矩陣，而輸出該些保留區域的一特徵座標；以及 建立三維空間之農地農物分佈圖，若一部分該包含該些保留區域之農地之複數影像具有對應的該特徵座標，而另一部分的該包含該些保留區域之農地之複數影像亦具有對應的該特徵座標，使該包含該些保留區域之農地之複數影像具有共同的該特徵座標並疊合一起，而建立一三維空間之農地農物分佈圖，並顯示該些保留區域的該些農物。 8.一種基於機器視覺之判斷農物以及雜草的系統，包括： 一載具，可移動於一農地上； 一拍攝裝置，設置於該載具，根據該載具移動於該農地的位置，而擷取該農地的一農地影像； 一物體檢測模型，係辨識該農地影像中至少一物體，並將該些物體分類並定義為至少一農物以及至少一雜草； 一拔除判斷模組，根據被辨識的該農地影像並該拔除判斷模組設定一中心距離，基於該中心距離判斷是否為一保留區域或一拔除區域，傳輸一座標指令至該載具的一操作臂以執行一拔除動作，拔除該拔除區域的該些農物和該些雜草；以及 一轉換座標模組，係用以轉換座標，將該農地影像的一像素座標轉換為該拍攝裝置的一三維座標，接著該三維座標轉換為該載具的一載具之三維座標。 9.如請求項8所述之一種基於機器視覺之判斷農物以及雜草的系統，其中該拍攝裝置為深度攝影機（RGB-D），用以擷取該農地的一深度圖之該農地影像以及一RGB圖之該農地影像。 10.如請求項8所述之一種基於機器視覺之判斷農物以及雜草的系統，其中該物體檢測模型係基於機器學習的辨識模型。 11.如請求項8所述之一種基於機器視覺之判斷農物以及雜草的系統，其中進一步包括有一建構地圖模組，該拍攝裝置根據該載具沿該農地之方向移動，得到一包含該些保留區域之農地之複數影像，並該包含該些保留區域之農地之複數影像具有該些保留區域，透過該些保留區域和一座標轉換矩陣得以建構一三維空間之農地農物分佈圖。 |
瀏覽數:
分享