Luận văn Thạc sĩ Kỹ thuật điện tử: Nhận dạng các đối tượng tham gia giao thông dùng mạng noron học sâu

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:84

Thêm vào BST

Báo xấu

5
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Mục đích của đề tài "Nhận dạng các đối tượng tham gia giao thông dùng mạng noron học sâu" là tác giả sẽ xây dựng một mô hình cấu trúc CNNs mới và tiến hành huấn luyện mạng trên nhiều tập dữ liệu khác nhau để tối ưu mô hình kiến trúc mạng và đặc biệt tác giả sẽ huấn luyện mạng với dữ liệu là: Bicycle, Car, Dog, Motobike, People để ứng dụng vào việc nhận dạng các đối tượng tham gia giao thông.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Kỹ thuật điện tử: Nhận dạng các đối tượng tham gia giao thông dùng mạng noron học sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SỸ TRẦN QUỐC TOẢN NHẬN DẠNG CÁC ÐỐI TUỢNG THAM GIA GIAO THÔNG DÙNG MẠNG NORON HỌC SÂU NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 S K C0 0 5 9 2 6 Tp. Hồ Chí Minh, tháng 04/2018
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ TRẦN QUỐC TOẢN NHẬN DẠNG CÁC ĐỐI TƯỢNG THAM GIA GIAO THÔNG DÙNG MẠNG NƠRON HỌC SÂU NGÀNH: KỸ THUẬT ĐIỆN TỬ Tp. Hồ Chí Minh, tháng 04/2018
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ TRẦN QUỐC TOẢN NHẬN DẠNG CÁC ĐỐI TƯỢNG THAM GIA GIAO THÔNG DÙNG MẠNG NƠRON HỌC SÂU NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học: TS: LÊ MỸ HÀ Tp. Hồ Chí Minh, tháng 04/2018
i
MSHV: 1580717 Ngành: Khóa: 2015 nh ng: 0903918043 4 55 trang và 17 tài 1 2 3 4 Trình bày: 2.1. Nh n xét v 2.2. Nh 2.3. Nh c tiêu nghiên c u, ph ng pháp nghiên c u s d ng trong LVTN 2.4. Nh n xét T ng quan c tài 2.5. n 2.6. kh ng d tài
2.7. Lu t sót và t n t i): II. CÁC V C N LÀM RÕ 1 – CNN ? 2 3. Hình 3. 8 3. 10 TT Không 1 x 2 x 3 x 4 x 5 x 6 x ” hay “ ”)
MSHV: 1580717 Ngành: Khóa: 2015 nh ng: 4 56 trang 2.1. Nh n xét v giao thông. 5 2.2. Nh 2.3. Nh c tiêu nghiên c u, ph ng pháp nghiên c u s d ng trong LVTN 2.4. Nh n xét T ng quan c tài 2.5. n
2.6. kh ng d tài 2.7. Lu t sót và t n t i): II. CÁC V C N LÀM RÕ 1 2 3 TT Không 1 x 2 x 3 x 4 x 5 x 6 x ” hay “ ”)
LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƯỢC: Họ & tên: Trần Quốc Toản Giới tính: Nam Ngày, tháng, năm sinh: 26/11/1990 Nơi sinh: Bình Định Quê quán: Bình Định Dân tộc: Kinh Chỗ ở riêng hoặc địa chỉ liên lạc: 2/3 Tân Lập 2, Quận 9, Tp. HCM Điện thoại cơ quan: Điện thoại nhà riêng: Fax: Email: toantq2611@gmail.com II. QUÁ TRÌNH ĐÀO TẠO 1. Trung học chuyên nghiệp Hệ đào tạo: Thời gian đào tạo từ …/… đến …/… Nơi học (trường, thành phố): Ngành học: 2. Đại học Hệ đào tạo: Chính quy Thời gian đào tạo từ 09/2008 đến 03/2014 Nơi học (trường, thành phố): Trường Đại học Sư Phạm Kỹ Thuật Tp. HCM Ngành học: Công nghệ Kỹ Thuật Điện Tử Và Truyền Thông Tên đồ án, luận văn hoặc môn thi tốt nghiệp: Đo khoảng cách bằng sóng siêu âm dùng kit nhúng KM9261. Ngày & nơi bảo vệ đồ án, luận văn học thi tốt nghiệp: Trường Đại học Sư Phạm Kỹ Thuật Tp. HCM Người hướng dẫn: Th.S: Đậu Trọng Hiển ii
II. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 09/2014 – 03/2015 Quận Thủ Đức, Tp.HCM Vận hành và bảo trì máy 07/2015 – 03/2017 Bình Dương Bảo trì máy 06/2017 – Nay Quận 5, Tp.HCM Lắp đặt, sửa chữa máy và phần mềm iii
LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tp. Hồ Chí Minh, ngày 06 tháng 4 năm 2018 Trần Quốc Toản iv
CẢM TẠ Em xin chân thành cảm ơn quý Thầy, Cô trong khoa Điện – Điện Tử đã trang bị cho em kiến thức có liên quan giúp em có thể hoàn thành tốt luận văn này. Cảm ơn các bạn trong lớp đã chia sẽ các kinh nghiệm và hỗ trợ nhau trong lúc làm đề tài. Đặc biệt em xin chân thành cảm ơn Thầy hướng dẫn, T.S Lê Mỹ Hà đã hướng dẫn và hỗ trợ em trong lúc thực hiện đề tài. Học viên Trần Quốc Toản v
TÓM TẮT Luận văn này tác giả đề xuất phương pháp nhận dạng các đối tượng tham gia giao thông sử dụng mạng nơron tích chập – Convolution Neural Network – CNN. Kiến trúc CNN tác giả xây dựng có 15 lớp: 3 lớp “Convolutional”, 3 lớp “Pooling”, 4 lớp “Rectified Linear Unit”, 2 lớp “Fully Connected”, 1 lớp “Softmax”, 1 lớp “Input” và 1 lớp “Output”. Giải thuật đề xuất được thực nghiệm để nhận dạng nhiều loại đối tượng. Thời gian huấn luyện tùy thuộc vào mỗi tập dữ liệu nhiều và ít khác nhau, độ chính xác của mạng có thể lên tới 90%. Hướng phát triển tương lai cho đề tài là ứng dụng cho các robot hoạt động ngoài trời hoặc xe tự lái. This thesis proposes a method for identifying traffic participants using Convolution Neural Network (CNN). The model has 15 layers: 3 “Convolutional” layer, 3 “Pooling” layer, 4 “Rectified Linear Unit” layer, 2 “Fully Connected” layer, 1 “Softmax” layer, 1 “Input” layer and 1 "Output" layer. The proposed algorithm is experimented to identify many types of objects. The training time depends on how many data sets are different and less, and the accuracy of the network can be as high as 90%. Future development for the subject is robot outdoor activities or self- driving car. vi
MỤC LỤC LÝ LỊCH KHOA HỌC .............................................................................................. ii LỜI CAM ĐOAN ..................................................................................................... iv CẢM TẠ .....................................................................................................................v TÓM TẮT ................................................................................................................. vi MỤC LỤC ................................................................................................................ vii DANH SÁCH CÁC CHỮ VIẾT TẮT ........................................................................x DANH SÁCH CÁC HÌNH ....................................................................................... xi DANH SÁCH CÁC BẢNG .................................................................................... xiii Chương 1 :TỔNG QUAN .........................................................................................1 1.1 Tổng quan về lĩnh vực nghiên cứu .................................................................1 1.2 Mục đích của đề tài..........................................................................................3 1.3 Nhiệm vụ và giới hạn của đề tài .....................................................................4 1.4 Phương pháp nghiên cứu ................................................................................4 1.5 Tóm tắc nội dung chính của đề tài .................................................................4 Chương 2: CƠ SỞ LÝ THUYẾT .............................................................................6 2.1 Tế bào thần kinh và mạng thần kinh nhân tạo.............................................6 2.1.1 Tế bào thần kinh .......................................................................................6 2.1.2 Mạng thần kinh nhân tạo .........................................................................8 2.2 Một số kiểu mạng nơron .................................................................................9 2.2.1 Tự kết hợp ...............................................................................................10 2.2.2. Kết hợp khác kiểu ..................................................................................10 2.2.3 Kiến trúc hồi tiếp ....................................................................................11 2.3 Các phương pháp huấn luyện mạng thần kinh nhân tạo ..........................11 2.3.1 Học có giám sát .......................................................................................12 2.3.2 Học không giám sát ................................................................................12 2.3.3 Học củng cố..............................................................................................13 2.4 Thuật toán lan truyền ngược ........................................................................14 2.4.1 Mô hình mạng .........................................................................................14 vii
2.4.2 Hoạt động.................................................................................................15 2.5 Sự khác biệt giữa AI, Machine Learning và Deep Learning ....................16 2.5.1 Trí tuệ nhân tạo (Artificial Intelligence – AI) ......................................16 2.5.2 Machine Learning – Cách tiếp cận để chinh phục trí tuệ nhân tạo...18 2.5.3 Deep Learning – Kỹ thuật để hiện thực hóa Machine Learning........20 2.5.4 Nhờ Deeplearning, AI có một tương lai tươi sáng ...............................22 2.6. Mạng nơ ron tích chập (Convolutional Neural Networks – CNNs). .......26 2.6.1 Convolution (tích chập). .........................................................................26 2.6.2. Mạng nơron tích chập (Convolutional Neural Networks – CNNs). ..28 2.7 Chi tiết các lớp của mô hình CNNs. .............................................................29 2.7.1 Lớp Convolutional. .................................................................................29 2.7.2 Lớp ReLU (Rectified Linear Unit) ........................................................33 2.7.3 Lớp Pooling .............................................................................................34 2.7.4 Lớp FC (Fully Connected) .....................................................................35 Chương 3: ÁP DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG VIỆC NHẬN DẠNG CÁC ĐỐI TƯỢNG THAM GIA GIAO THÔNG ...................................37 3.1 Sơ đồ khối .......................................................................................................37 3.1.1 Dữ liệu huấn luyện ..................................................................................37 3.1.2 Chia dữ liệu huấn luyện .........................................................................41 3.1.3 Xây dựng mô hình CNN .........................................................................41 3.1.4 Bộ phân loại .............................................................................................42 3.1.5 Dự đoán đối tượng ..................................................................................42 3.2 Lưu đồ quá trình huấn luyện .......................................................................43 3.3 Cách hoạt động của mô hình ........................................................................44 3.4 Thực nghiệm ..................................................................................................47 3.4.1 Trên tập dữ liệu tự tạo tên T_01 ...........................................................47 3.4.2 Trên tập dữ liệu Caltech-101 .................................................................47 3.4.3 Trên tập dữ liệu Cifar-10 .......................................................................47 3.4.4 Trên tập dữ liệu trong Matlab tên DigitDataset và Merch.................47 3.5 Kết quả ...........................................................................................................49 viii
3.5.1 Nhận dạng trên hình ảnh .......................................................................49 3.5.2 Nhận dạng trên video .............................................................................51 3.6 So sánh phương pháp CNN với HOG – Histogram of Oriented Gradient ...............................................................................................................................52 3.6.1 Giới thiệu về HOG ..................................................................................52 3.6.2 Dữ liệu so sánh ........................................................................................55 3.6.3. Kết quả so sánh ......................................................................................55 Chương 4 KẾT LUẬN ............................................................................................58 4.1 Kết quả đạt được ...........................................................................................58 4.2 Ưu, nhược điểm .............................................................................................58 4.3 Hướng phát triển của đề tài. .........................................................................58 TÀI LIỆU THAM KHẢO .........................................................................................60 ix
DANH SÁCH CÁC CHỮ VIẾT TẮT CNN: Convolution Neural Network (mạng nơ ron tích chập) AI: Artificial Intelligence (Trí tuệ nhân tạo) ANN: Artificial Neural Network (mạng nơ ron nhân tạo) BP: Back propagation (giải thuật lan truyền ngược) FC: Fully connected Layer ReLU: Rectified Linear Unit (Hiệu chỉnh đơn vị tuyến tính) HOG: Histogram of oriented gradients RNN: Recurrent Neural Networks DNN: Deep Neural Network (DNN) DBN: Deep Belief Network (DBN) DBM: Deep Boltzmann Machine (DBM) Multi – Modal/Multi – Tasking DSN: Deep Stacking Network (DSN) SVM: Support Vector Machine x
DANH SÁCH CÁC HÌNH Hình 2.1: Tế bào thần kinh nhân tạo ...........................................................................6 Hình 2.2 : Hàm nấc .....................................................................................................7 Hình 2.3 : Hàm dấu .....................................................................................................7 Hình 2.4 : Hàm tuyến tính ...........................................................................................7 Hình 2.5 : Hàm dốc bão hòa........................................................................................8 Hình 2.6 : Hàm tuyến tính bão hòa .............................................................................8 Hình 2.7 : Hàm dạng s đơn cực ...................................................................................8 Hình 2.8 : Hàm dạng s lưỡng cực ...............................................................................8 Hình 2.9 : Mạng tự kết hợp .......................................................................................10 Hình 2.10 : Mạng kết hợp khác kiểu .........................................................................10 Hình 2.11 : Mạng truyền thẳng .................................................................................11 Hình 2.12 : Mạng hồi tiếp .........................................................................................11 Hình 2.13 : Học có giám sát ......................................................................................12 Hình 2. 14 : Học không giám sát...............................................................................13 Hình 2.15 : Học củng cố ...........................................................................................13 Hình 2.16 : Mô hình mạng nơron lan truyền ngược .................................................14 Hình 2.17 : Mối quan hệ giữa AI, Machine Learning và Deep Learning .................17 Hình 2.18 : King me: chương trình máy tính đầu tiên biết chơi cờ vua, khấy động một làn sóng trong thập niên 1950. (Nguồn : What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?) .............................18 Hình 2.19 : Công nghệ máy học (Machine Learning) được Google áp dụng cho việc lọc spam trên dịch vụ Gmail. (Nguồn : What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?).............................................18 Hình 2.20 : Lấy hình ảnh mèo ra khỏi video trên Youtube là một trong những đột phá đầu tiên của deep learning (Nguồn : What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?).............................................20 Hình 2.21 Mô hình DNN. Nguồn: https://datawarrior.wordpress.com/2017/10/31/interpretability-of-neural-networks/ ...................................................................................................................................23 Hình 2.22 Mô hình DBN. Nguồn: https://www.ibm.com/developerworks/library/cc- machine-learning-deep-learning-architectures/index.html .......................................23 xi