zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Công Nghệ Thông Tin

» Kỹ thuật lập trình

Nhận dạng các loại quả ứng dụng cho robot tự động thu hoạch bằng thuật toán Single Shot Multibox Detector

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:4

Báo xấu

33
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết trình bày về phương pháp nhận dạng các loại hoa quả thân gỗ có độ phức tạp hơn trong bài toán nhận dạng và thu hoạch như táo, cam, xoài,... sử dụng thuật toán SSD. Thuật toán được triển khai thử nghiệm trên phần cứng nhúng Rasberry Pi 3+ cho kết quả nhận dạng các loại quả theo thời gian thực với kết quả độ chính xác khá cao, có thể ứng dụng cho robot tự động thu hoạch.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Nhận dạng các loại quả ứng dụng cho robot tự động thu hoạch bằng thuật toán Single Shot Multibox Detector

Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) Nh™n d§ng các lo§i qu£ ˘ng dˆng cho Robot t¸ Îng thu ho§ch b¨ng thu™t toán Single Shot Multibox Detector Nguyπn Hoài Th˜Ïng⇤ , Nguyπn Anh Quang⇤ ⇤ Viªn iªn t˚ Viπn thông, §i hÂc Bách Khoa Hà NÎi Tóm t≠t nÎi dung—D¸a trên s¸ phát tri∫n cıa công nghª trí ∑ xußt s˚ dˆng mô hình Single Shot Detector (SSD) [3] vÓi tuª nhân t§o, các robot t¸ Îng thu ho§ch trái cây ã và ang m§ng cÏ s MobileNet [4] t´ng Î chính xác và tiªn lÒi khi ˜Òc nghiên c˘u rÎng rãi và b˜Óc ¶u ˘ng dˆng trong th¸c t∏ s˚ dˆng cho các máy tính nhúng trên các robot t¸ Îng. s£n xußt. Trong ó, bài toán nh™n d§ng các lo§i qu£ d¸a trên Bài báo ˜Òc chia làm 2 ph¶n chính. Ph¶n 1 là ki∏n trúc các mô hình hÂc máy là b˜Óc quan trÂng ∫ robot có th∫ nh™n bi∏t ˜Òc úng lo§i trái cây c¶n thu ho§ch, t¯ ó tính toán các thu™t toán SSD mà chúng tôi s˚ dˆng, ph¶n 2 là k∏t qu£ ki∫m chuy∫n Îng v∑ cÏ khí và i∑u khi∫n ∫ th¸c hiªn viªc thu ho§ch tra cıa thu™t toán và th£o lu™n h˜Óng phát tri∫n sau này. trái cây. Ngoài ra thu™t toán ˘ng dˆng trong các robot t¸ Îng c¶n có yêu c¶u tËi ˜u v∑ hiªu n´ng tính toán trên thi∏t b‡ nhúng. II. THUäT TOÁN SSD CHO BÀI TOÁN NHäN DÑNG QUÉ Trong các thu™t toán nh™n d§ng cıa bài toán hÂc máy có giám Bài toán nh™n d§ng qu£ là mÎt d§ng cıa bài toán nh™n sát, thu™t toán Single Shot MutiBox Detector (SSD) cho thßy kh£ n´ng ˘ng dˆng lÓn vÓi tËc Î tính toán nhanh và Î chính xác d§ng Ëi t˜Òng (object detection). Mˆc tiêu cıa bài toán này cao. Bài báo này trình bày v∑ ph˜Ïng pháp nh™n d§ng các lo§i là xác ‡nh ˜Òc v‡ trí cıa Ëi t˜Òng có trong £nh và phân lo§i qu£ thân gÈ có Î ph˘c t§p hÏn trong bài toán nh™n d§ng và thu ˜Òc Ëi t˜Òng ó d¸a trên quá trình hÂc và ào t§o t¯ tr˜Óc. ho§ch nh˜ táo, cam, xoài,... s˚ dˆng thu™t toán SSD. Thu™t toán D¸a vào cách th˘c th¸c hiªn bài toán ng˜Ìi ta chia "object ˜Òc tri∫n khai th˚ nghiªm trên ph¶n c˘ng nhúng Rasberry Pi detection" ra làm hai nhóm chính là "two-step object detection" 3+ cho k∏t qu£ nh™n d§ng các lo§i qu£ theo thÌi gian th¸c vÓi và "one-step object detection". Cˆ th∫, "two-step" là ph˜Ïng k∏t qu£ Î chính xác khá cao, có th∫ ˘ng dˆng cho robot t¸ Îng thu ho§ch. pháp nh™n diªn Ëi t˜Òng thông qua 2 b˜Óc, b˜Óc (1) là s˚ Index Terms—object detection, fruits detection, SSD dˆng các thu™t toán selective search [5], region proposal [7] tìm ˜Òc hÎp bao quanh Ëi t˜Òng và b˜Óc (2) là s˚ dˆng ki∏n th˘c hÂc máy ∫ phân lo§i Ëi t˜Òng trong hÎp ó. Tiêu bi∫u I. GIŒI THIõU cho nhóm này là các thu™t toán: Regions with Convolutional Thu ho§ch trái cây hiªn t§i là công viªc tËn nhi∑u thÌi Neural Network (RCNN) [6], Faster-RCNN [7]. Các ph˜Ïng gian, công s˘c và chi phí do chı y∏u s˚ dˆng nhân l¸c t§i pháp "two-step" có Î chính xác cao khi phát hiªn Ëi t˜Òng chÈ. Trong thÌi §i công nghiªp hóa, hiªn §i hóa h˜Óng tÓi nh˜ng vì ph£i qua hai b˜Óc nên tËc Î x˚ l˛ ch™m. Chính vì cuÎc cách m§ng công nghiªp 4.0 thì nông nghiªp thông minh th∏ nhóm ph˜Ïng pháp "one-step" ra Ìi ∫ gi£i quy∏t vßn ∑ ang ˜Òc ˜u tiên nghiên c˘u và phát tri∫n, trong ó, robot v∑ thÌi gian x˚ l˛. "One-step" k∏t hÒp c£ hai b˜Óc là xác ‡nh t¸ Îng thu ho§ch trái cây, góp ph¶n gi£m s˘c lao Îng cıa v‡ trí và phân lo§i Ëi t˜Òng, nó s≥ t§o ra vô sË các hÎp có con ng˜Ìi ang ngày càng ˜Òc nghiên c˘u phát tri∫n. Có rßt trong £nh và d¸ oán t˘c thÌi viªc có Ëi t˜Òng trong hÎp £nh nhi∑u robot, máy móc ra Ìi giúp cho viªc thu ho§ch tr nên ó không và chÂn ra hÎp có xác sußt ch˘a Ëi t˜Òng cao nhßt. dπ dàng hÏn [1] [2] th∏ nh˜ng các lo§i máy móc này òi h‰i Tiêu bi∫u cıa nhóm này là các ph˜Ïng pháp: You Only Look viªc quy ho§ch nông s£n ph£i úng theo tiêu chu©n nh˜ nho Once (YOLO) [8], Single Shot MultiBox Detector (SSD) [3]. hay dâu tây. Viªc thu ho§ch các lo§i trái cây thân gÈ khác nh˜ Trong bài báo này chúng tôi s˚ dˆng ph˜Ïng pháp SSD cho táo, cam, xoài thì l§i ph˘c t§p hÏn vì chúng mÂc khußt sau tán bài toán nh™n d§ng thÌi gian th¸c vì SSD có Î chính xác và lá, không dπ dàng nhìn thßy giËng nho vÓi dâu tây. Vì v™y, các thÌi gian x˚ l˛ d˙ liªu nhanh hÏn. lo§i trái cây này c¶n mÎt thi∏t b‡ có th‡ giác máy tính m§nh m≥, có kh£ n´ng nh™n d§ng chính xác v‡ trí trái cây c¶n thu A. GiÓi thiªu v∑ SSD ho§ch, Áng thÌi yêu c¶u tËc Î x˚ l˛ nhanh ∫ t´ng n´ng xußt "Single Shot Detector", là mÎt d§ng cıa "one-step detector", thu ho§ch. Cùng vÓi s¸ phát tri∫n m§nh m≥ cıa công nghª trí dùng ∫ nh™n d§ng nhi∑u Ëi t˜Òng và ph˜Ïng pháp này Î tuª nhân t§o nói chung và th‡ giác máy tính nói riêng, viªc chính xác lÓn hÏn so vÓi thu™t toán "one-step" khác nh˜ YOLO x˚ l˛ £nh, nh™n d§ng Ëi t˜Òng d¶n mang l§i hiªu qu£ cao (You Only Look Once) và c£i thiªn áng k∫ v∑ tËc Î so vÓi cho các bài toán th¸c t∏. Có rßt nhi∑u thu™t toán nghiên c˘u ph˜Ïng pháp "two-step" khác nh˜ Faster R-CNN. Cßu t§o cıa tr˜Óc ây s˚ dˆng cho bài toán xác ‡nh Ëi t˜Òng trong £nh SSD là d¸ oán xác sußt có Ëi t˜Òng và ví trí cıa hÎp bao nh˜ RCNN, Faster RCNN, YOLO,... th∏ nh˜ng SSD cıa Wei quanh vÓi nh˙ng hÎp m∞c ‡nh ∞t tr˜Óc s˚ dˆng lÓp tích ch™p liu [3] ˜Òc nghiên c˘u mang l§i k∏t qu£ chính xác và tËc Î "convolutional" ∫ lßy ra b£n Á ∞c tr˜ng "feature map". T§i x˚ l˛ nhanh và v˜Òt trÎi hÏn. Trong bài báo này chúng tôi mÈi v‡ trí trên "feature map", SSD ∞t các hÎp bao "default ISBN: 978-604-80-5076-4 132
Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) bounding box" vÓi kích th˜Óc, t lª khác nhau. Trong quá trình ∫ l¸a chÂn hÎp tËi ˜u nhßt. Wei Liu [3] ã giÓi thiªu v∑ SSD x˚ lí, SSD s≥ ánh giá và tìm Ëi t˜Òng trên các "bounding vÓi mô hình ˜Òc ào t§o tr˜Óc là VGG16 [9] tuy nhiên mô box" này nh¨m tìm ra hÎp phù hÒp nhßt vÓi Ëi t˜Òng c¶n hình VGG16 có mÎt sË h§n ch∏ v∑ tËc Î và Î ph˘c t§p. Do tìm ki∏m. Thêm vào ó, b¨ng viªc tìm ki∏m trên các "feature ó, trong bài báo này chúng tôi s˚ dˆng ∏n mÎt mô hình ào map" khác nhau, SSD có th∫ tìm ki∏m các Ëi t˜Òng vÓi kích t§o khác là MobileNet [4]. th˜Óc khác nhau mà không c¶n thay Íi kích th˜Óc cıa các M∞c dù các m§ng nh˜ VGG16, ResNet, GoogleNet,... có "bounding box". Î chính xác cao nh˜ng Íi l§i, Î ph˘c t§p trong tính toán ﬁ t˜ng chính cıa SSD ∏n t¯ viªc s˚ dˆng các "bounding cÙng cao d®n ∏n tËc Î x˚ l˛ ch™m, gây khó kh´n trong box", b¨ng viªc khi t§o sÆn các box t§i mÈi v‡ trí trên £nh, viªc tích hÒp lên các ph¶n c˘ng nhúng hay các robot t¸ hành. SSD s≥ tính toán và ánh giá thông tin t§i mÈi v‡ trí xem v‡ MobileNet ra Ìi ˜Òc thi∏t k∏ ∫ tËi a hóa Î chính xác mÎt trí ó có v™t th∫ hay không, n∏u có thì là v™t th∫ nào, và d¸a cách hiªu qu£ Áng thÌi l˜u ˛ ∏n các tài nguyên b‡ h§n ch∏ trên k∏t qu£ cıa các v‡ trí g¶n nhau, SSD s≥ tính toán ˜Òc cho ˘ng dˆng trên thi∏t b‡ ho∞c ˘ng dˆng nhúng. MobileNet mÎt "bounding box" phù hÒp nhßt bao trÂn v™t th∫. Nh˜ mô là các mô hình nh‰, Î trπ thßp, công sußt thßp ˜Òc tham sË hóa ∫ áp ˘ng các h§n ch∏ v∑ tài nguyên cıa nhi∑u tr˜Ìng hÒp s˚ dˆng. B£ng I [4] và b£ng II [4] d˜Ói ây là mÎt sË so sánh cıa 2 mô mình VGG16 và MobileNet. MobileNet có Î chính xác g¶n vÓi VGG16 trong khi cßu trúc m§ng nh‰ hÏn 32 l¶n và sË phép tính nh‰ hÏn 27 l¶n. Do ó, MobileNet ˜Òc ˘ng dˆng phÍ bi∏n cho các mô hình nhúng trên các thi∏t b‡ ph¶n c˘ng và phù hÒp vÓi yêu c¶u bài toán cıa robot t¸ Îng thu ho§ch. B£ng I: So sánh MobileNet vÓi VGG16 Hình 1: Cách ho§t Îng cıa SSD [3] ImageNet Million Million Model Accuracy Mult-Adds Parameters 1.0 MobileNet-224 70.6% 569 4.2 t£ trên Hình 1, SSD t§o ra rßt nhi∑u box có kích th˜Óc, khác VGG16 71.5% 15300 138 nhau ∫ bao quanh Ëi t˜Òng. Hình 1a là hình £nh c¶n xác ‡nh vÓi "ground truth boxes" (hÎp s¸ th™t) bao quanh hai Ëi t˜Òng là con mèo và con chó. Hình 1b vÓi "feature map" 8x8 B£ng II: So sánh k∏t qu£ cıa bài toán nh™n d§ng vÓi COCO ta s≥ chÂn ra ˜Òc hÎp phù hÒp và bao ˜Òc con mèo nh˜ng dataset s˚ dˆng thu™t toán SSD và ki∏n trúc m§ng khác nhau không th∫ tìm ra hÎp phù hÒp vÓi con chó. Nh˜ng  hình 1c Billion Mult- Million ta có th∫ thßy vÓi "feature map" 4x4 chúng ta s≥ có hÎp phù Model mAP Adds Parameters hÒp vÓi hình £nh con chó, nh˜ v™y viªc phát hiªn Ëi t˜Òng MobileNet 19.3% 1.2 6.8 tr nên Ïn gi£n hÏn. Có th∫ nh™n thßy sau khi xác ‡nh ˜Òc VGG16 21.1% 34.9 33.1 hÎp phù hÒp vÓi Ëi t˜Òng SSD s≥ tr£ v∑ k∏t qu£ là v‡ trí cıa Ëi t˜Òng và xác sußt có Ëi t˜Òng có trong £nh. Ba công nghª cËt lõi ˜Òc nh≠c ∏n cıa ki∏n trúc m§ng SSD là: "multi-scale feature maps for prediction" (chia nhi∑u B. Ki∏n trúc SSD t lª b£n Á ∞c tr˜ng cho d¸ oán), "convolutional predictors for detection" (d¸ oán tích ch™p ∫ phát hiªn) và "default boxes and aspect ratios" (hÎp m∞c ‡nh và t lª khung hình). 1) Multi-scale feature maps for detection: Sau khi trích xußt các ∞c tr˜ng t¯ m§ng cÏ s VGG16 ng˜Ìi ta thêm các lÓp m§ng tích ch™p vÓi lõi khác nhau. B¨ng viªc s˚ dˆng các bÎ lÂc "filter", kích th˜Óc cıa các "feature map" s≥ gi£m d¶n theo Î sâu cıa m§ng, hÈ trÒ cho viªc phát hiªn v™t th∫  các kích th˜Óc và tø lª khác nhau. Hình 2: Ki∏n trúc cıa SSD s˚ dˆng MobileNets là mô hình 2) Convolutional predictors for detection: Nh˜ mô t£ trên cÏ s cho bài toán nh™n d§ng qu£ hình 2, các lÓp tích ch™p sau khi ã trích xußt ra m§ng l˜Ói tính n´ng ∞c tr˜ng b¨ng MobileNet s≥ ˜Òc tính toán ∫ tìm Nh˜ mô t£ trên hình 2, SSD chia làm 3 nhóm layers chính ra các giá tr‡ d¸ oán cho lÓp nh™n d§ng cuËi cùng. SSD s˚ là m§ng nÏ-ron tích ch™p "Convolutional Neural Network" dˆng các nhân "kernel" có kích th˜Óc nh‰ trong tích ch™p tính (CNN) s˚ dˆng m§ng MobileNet [4] làm base network ∫ tìm toán luôn s¸ d¸ oán cho viªc phân lo§i Ëi t˜Òng thuÎc phân các ∞c tr˜ng cıa £nh, t¶ng "extra feature layers" dùng ∫ phát lÓp nào. ây chính là i∫m khác biªt cıa SSD so vÓi các thu™t hiªn Ëi t˜Òng và cuËi cùng là "non-maximum suppression" toán RCNN. ISBN: 978-604-80-5076-4 133
Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) 3) Default boxes and aspect ratios: Nh˜ trên hình 1, t§i mÈi £nh khi t§o mÎt "feature map" có kích th˜Óc mxn, t§i mÈi ô "cell" cıa "feature map" khi t§o các hÎp m∞c ‡nh "default boxes". Vì các ô "cell" là cË ‡nh nên các hÎp m∞c ‡nh này cÙng là cË ‡nh. Khác vÓi Faster RCNN các hÎp m∞c ‡nh trong SSD ˜Òc s˚ dˆng vÓi các tø lª khác nhau d®n ∏n các hÎp này s≥ bao chính xác vÓi Ëi t˜Òng c¶n tính hÏn. T§i mÈi hÎp m∞c ‡nh "default box", thu™t toán s≥ tính toán xác sußt d¸ oán cıa t¯ng lÓp Ëi t˜Òng (class) trong t™p hÒp gÁm c Ëi t˜Òng (classes) ˜Òc ào t§o và 4 i∫m ban ¶u cıa hÎp m∞c ‡nh. Nh˜ v™y n∏u có k "default boxes" s≥ có (c+4).k outputs  mÈi cell và n∏u có mxn "feature maps" thì s≥ có (c+4).k.m.n outputs. Vì v™y, ∫ ánh giá mô hình SSD, chúng tôi s˚ dˆng hàm loss ∫ ánh giá d¸a trên sai sË cıa hai Ëi t˜Òng là localization loss (loc) và confidance loss (conf), t˘c là hàm lÈi cıa v‡ trí và hàm lõi cıa d¸ oán Ëi t˜Òng. Chúng ta có th∫ tính giá tr‡ hàm loss theo công th˘c (1) d˜Ói ây [3]: Hình 3: MÎt sË hình £nh cıa dataset vÓi hÎp bao quanh ˜Òc 1 gán vÓi Ëi t˜Òng Ł = (Lconf + Lloc ) (1) N Trong ó N là sË l˜Òng bounding box phù hÒp  trên, n∏u N=0 thì loss = 0. 2) Hußn luyªn mô hình SSD: D¸a trên mô hình SSD ã Hàm loss cıa v‡ trí box ˜Òc tính b¨ng Smooth L1 loss gi˙a nêu lên  trên, chúng tôi hußn luyªn mô hình nh™n d§ng các hÎp d¸ oán (l) và hÎp s¸ th™t úng (g). VÓi các tham sË nh˜ lo§i qu£ b¨ng cách s˚ dˆng n∑n t£ng GPU cıa Geforce GTX i∫m chính gi˙a (cx,cy) cıa default box (d) và chi∑u dài (h) 1080Ti (11GB GDDR5X, tËc Î bÎ nhÓ 11Gbps vÓi NVIDIA và chi∑u rÎng (w). Hàm loss v∑ viªc xác ‡nh v‡ trí object 3584 Cores) ch§y vÓi Ubuntu 18.04. ˜Òc tính toán theo công th˘c (2) [3]: Chúng tôi s˚ dˆng Tensorflow API ˜Òc ∞t các giá tr‡: learning rate là 0.0001 và tÍng sË vòng ch§y mô hình là 50k. N ThÌi gian hußn luyªn mô hình là hÏn 10 giÌ. X X Łloc (x, l, g) = xkij smoothL 1(lim gjm ) (2) i2P os m2cx,cy,w,h gjcx = (gjcx dcx w i )/di gjcy = (gjcy dcy h i )/di gjw gjh gjw = log gjh = log dwj dhj Hàm loss cıa viªc phân lÓp Ëi t˜Òng là softmax loss vÓi Hình 4: Thi∏t k∏ tri∫n khai hª thËng nh™n d§ng qu£ nhi∑u lÓp Ëi t˜Òng (c) ˜Òc tính d¸a theo công th˘c (3) [3]: N X N X 3) Tri∫n khai mô hình lên máy tính nhúng Raspberry Pi Łconf (x, y) = xpij log(cpi ) log(c0i ) (3) 3B+: Chúng tôi ∑ xußt s˚ dˆng máy tính nhúng nh‰ gÂn i2P os i2N eg có giá thành r¥, tËc Î tính toán nhanh ó là Raspberry trong ó Pi 3B+. Thi∏t b‡ có chip 4 nhân 64-bit có tËc Î 1.4GHz. exp cpi Phiên b£n mÓi còn hÈ trÒ Wifi Dual-band 2.4GHz và 5GHz, cpi = P p p exp ci Bluetooth 4.2/Bluetooth Low Energy, cÍng Ethernet tËc Î cao (300Mbps) và Power over Ethernet (PoE) thông qua PoE C. Hußn luyªn thu™t toán SSD cho bài toán nh™n d§ng qu£ HAT [12] có th∫ hÈ trÒ giao ti∏p t¯ xa. 1) Chu©n b‡ d˙ liªu: Bài toán nh™n d§ng Ëi t˜Òng c¶n D¸a trên nh˙ng ˜u i∫m nÍi b™t trên cùng vÓi giá thành mÎt l˜Òng lÓn d˙ liªu ∫ hußn luyªn mô hình. Trong bài báo r¥, chúng tôi l¸a chÂn Raspberry ∫ tri∫n khai mô hình nh™n này chúng tôi s˚ dˆng £nh hußn luyªn t¯ nhi∑u nguÁn khác d§ng các lo§i qu£ ã hußn luyªn  trên và d¸ ki∏n ˘ng dˆng nhau nh˜ Google, Pixabay,... và mÎt sË d˙ liªu lßy t¯ £nh chˆp vào robot thu ho§ch nh˜ ˜Òc th∫ hiªn  hình 4 th¸c t∏ bên ngoài. MÈi Ëi t˜Òng chúng tôi chu©n b‡ 200 £nh bao gÁm 3 lo§i qu£ phÍ bi∏n  Viªt Nam: táo, cam, xoài. MÈi III. KòT QUÉ VÀ THÉO LUäN £nh trong t™p d˙ liªu ˜Òc gán nhãn t˜Ïng ˘ng vÓi tên Ëi Trong ph¶n này, chúng tôi s≥ bi∫u diπn k∏t qu£ nh™n d§ng t˜Òng, và chúng tôi s˚ dˆng công cˆ ∫ gán nhãn là labelImg các lo§i qu£ s˚ dˆng thu™t toán SSD và m§ng MobileNet nh˜ [10]. Công cˆ này s≥ tr£ v∑ thông tin cıa Ëi t˜Òng theo chu©n ã trình bày  ph¶n II. K∏t qu£ có ˜Òc s˚ dˆng máy tính PASCAL VOC cıa ImageNet [11]. Hình 3 mô t£ mÎt sË d˙ nhúng Raspberry Pi 3B+ ∫ ti∏n hành nh™n d§ng và i∑u khi∫n liªu trong t™p d˙ liªu cıa chúng tôi. robot t¸ hành. ISBN: 978-604-80-5076-4 134
Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) A. K∏t qu£ Hình 5 d˜Ói ây là mÎt sË k∏t qu£ khi ch§y mô hình nh™n d§ng các lo§i qu£ s˚ dˆng SSD ˜Òc hußn luyªn  trên. Hình 5: K∏t qu£ nh™n d§ng các lo§i qu£ b¨ng thu™t toán SSD Khi cho £nh c¶n ki∫m tra có ch˘a Ëi t˜Òng nh™n d§ng s≥ Hình 6: Hª thËng nh™n d§ng trái cây cho robot thu ho§ch k∏t cho ra k∏t qu£ là hÎp bao quanh Ëi t˜Òng, tên Ëi t˜Òng và hÒp camera o kho£ng cách xác sußt d¸ oán cıa Ëi t˜Òng ó. Nh™n thßy k∏t qu£ thu ˜Òc là chính xác vÓi i∫m sË khá cao. K∏t qu£ này là tËt Ëi TÀI LIõU vÓi ˘ng dˆng thu ho§ch trái cây mà chúng tôi ang h˜Óng tÓi. [1] Kondo, N.; Monta, M.; Noguchi, N. “Agricultural Robots: Mechanisms and Practice“ on Trans Pacific Press: Balwyn North Victoria, Australia, B. Th£o lu™n 2011. [2] Bac, C.W.; van Henten, E.J.; Hemming, J.; Edan, Y. “Harvesting Robots – ph¶n này, chúng tôi s≥ th£o lu™n v∑ ‡nh h˜Óng phát tri∫n for High-Value Crops: State-of-the-Art Review and Challenges Ahead.“ on J. Field Robot. 2014, 31, 888–911 cıa nghiên c˘u này cho bài toán nh™n d§ng các lo§i qu£ cho [3] W.Liu, A. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Y. Fu and A. robot thu ho§ch t¸ Îng. Viªc nh™n d§ng các lo§i qu£ b¨ng Berg, “SSD: Single Shot MultiBox Detector.” In ECCV(2016). ph˜Ïng pháp SSD em l§i ˜Òc k∏t qu£ tËt, là n∑n t£ng b˜Óc [4] A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto and Ha. Adam, “ MobileNets: Efficient Convolutional ¶u cho nghiên c˘u ti∏p theo sau này. Tuy nhiên ∫ có th∫ Neural Networks for Mobile Vision Applications.” In arXiv:1704.0486v1 áp dˆng cho các lo§i qu£ a d§ng hÏn v∑ hình dáng và màu (2017) s≠c thì mô hình chúng tôi c¶n ph£i ˜Òc c£i thiªn nhi∑u hÏn [5] Jasper R. R. UijlingsK. E. A. SandeT. GeversT. GeversArnold W. M. SmeuldersArnold W. M. Smeulders, “ Selective Search for Object Recog- n˙a ∫ tËi ˜u v∑ Î chính xác và tËc Î tính toán. Công viªc nition” in International Journal of Computer Vision, 2013 chu©n b‡ cÏ s d˙ liªu phˆc vˆ cho ào t§o c¶n ˜Òc th¸c [6] R. Girshick, J. Donahue, T. Darrell and J. Malik, “Rich Feature Hier- hiªn nhi∑u hÏn vÓi kh£o sát th¸c t∏ t§i v˜Ìn cây vÓi i∑u kiªn archies for Accurate Object Detection and Semantic Segmentation”. In 2014 IEEE Conference on Computer Vision and Pattern Recognition ngo§i c£nh khác nhau, hình d§ng kích th˜Óc, i∑u kiªn ánh [7] S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards sáng khác nhau. Real-Time Object Detection with Region Proposal Networks”. In IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 39 Bên c§nh viªc xác ‡nh ˜Òc Ëi t˜Òng trong £nh thì viªc , Issue: 6 , June 1 2017 ) tính toán v‡ trí t¯ Ëi t˜Òng ∏n £nh và qua ó là ∏n cánh [8] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You Only Look tay robot s≥ giúp viªc th¸c hiªn thao tác thu ho§ch ˜Òc chính Once: Unified, Real-Time Object Detection”. In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) xác hÏn. [9] Karen Simonyan, Andrew Zisserman, “Very deep Convolutional Networks Hª thËng chúng tôi ∑ xußt ˜Òc mô t£  Hình 6. Robot thu for large-scale image recognition“ in Published as a conference paper at ho§ch ˜Òc trang b‡ k∏t hÒp camera RGB thông th˜Ìng vÓi k∏t ICLR 2015. [10] labelImg, 2017, [online] Available: https://github.com/tzutalin/labelImg hÒp vÓi mÎt camera o kho£ng cánh (depth camera). Hai b˘c (accessed on Jul 6, 2020) £nh thu ˜Òc s≥ ˜Òc Áng thÌi x˚ l˛. Énh RGB thông qua [11] ImageNet, [online] Available: http://www.image-net.org/ (accessed on thu™t toán SSD s≥ nh™n d§ng và xác ‡nh ˜Òc các lo§i qu£ Jul 6, 2020) [12] Raspberry, [online] Available:https://www.raspberrypi.org/products/raspberry- cÙng nh˜ óng khung ˜Òc v‡ trí cıa qu£ trên £nh. Énh Î pi-3-model-b-plus/?resellerType=home sâu mang thông tin v∑ kho£ng cách t¯ camera ∏n Ëi t˜Òng. Tuy nhiên do 2 camera khác nhau nên £nh thu ˜Òc là khác nhau ∫ tính toán ˜Òc kho£ng cách t¯ qu£ ∏n robot, thu™t toán "calibration" ∫ k∏t hÒp hai b˘c £nh này là c¶n thi∏t. T¯ ó, vÓi thông tin v∑ v‡ trí cÙng nh˜ kho£ng cách cıa Ëi t˜Òng qu£ c¶n thu ho§ch, cÏ ch∏ i∑u khi∫n robot có th∫ t¸ Îng thu ho§ch nông s£n mÎt cách chính xác hÏn. ISBN: 978-604-80-5076-4 135

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.