Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu và ứng dụng Deep Learning phát hiện người xâm nhập

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:100

Thêm vào BST

Báo xấu

49
lượt xem 10
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề tài này hướng tới mục đích nhằm xây dựng mô hình phát hiện người trên ảnh tĩnh dựa trên mạng nơ-ron tích chập, thuật toán nhận dạng đối tượng Yolov3. Xây dựng mô hình trích xuất khuôn mặt người trên ảnh tĩnh sau khi phát hiện người xâm nhập. Xây dựng mô hình phát hiện người và trích xuất khuôn mặt trên video. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Công nghệ thông tin: Nghiên cứu và ứng dụng Deep Learning phát hiện người xâm nhập

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU -------------------------- MAI XUÂN GIANG NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING PHÁT HIỆN NGƯỜI XÂM NHẬP LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Bà Rịa-Vũng Tàu, tháng 4 năm 2021
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA-VŨNG TÀU ----------------------------- MAI XUÂN GIANG NGHIÊN CỨU VÀ ỨNG DỤNG DEEP LEARNING PHÁT HIỆN NGƯỜI XÂM NHẬP Ngành: Công nghệ thông tin Mã ngành: 8480201 LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TS. PHAN NGỌC HOÀNG Bà Rịa-Vũng Tàu - 2021
LỜI CAM ĐOAN Tôi xin cam đoan kết quả đạt được trong luận văn là sản phẩm nghiên cứu, tìm hiểu của riêng cá nhân tôi và được sự hướng dẫn khoa học của TS. Phan Ngọc Hoàng. Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây. Trong toàn bộ nội dung của luận văn, những điều được trình bày hoặc là của cá nhân tôi hoặc là được tổng hợp từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp. Tôi xin hoàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình. Học viên Cao học Mai Xuân Giang 1
LỜI CẢM ƠN Trước hết, tác giả xin bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới giảng viên hướng dẫn TS. Phan Ngọc Hoàng về những ý kiến đóng góp về chuyên môn và sự động viên khích lệ của thầy trong suốt quá trình làm nghiên cứu của tôi. Tôi xin gửi lời cảm ơn chân thành tới giảng viên của trường Đại học Bà Rịa-Vũng Tàu đã tận tình dạy dỗ và hướng dẫn cho tôi trong suốt quá trình học tập thạc sĩ tại trường. Và tôi cũng xin gửi lời cảm ơn tới gia đình tôi về sự hỗ trợ không thể thiếu của họ. Sự khích lệ, động viên, sự quan tâm, chăm sóc của họ đã giúp tôi vượt qua tất cả khó khăn để theo học chương trình và hoàn thiện bản luận văn cuối khoá này. Mặc dù đã hết sức cố gắng hoàn thành luận văn nhưng chắc chắn sẽ không tránh khỏi những sai sót. Kính mong nhận được sự cảm thông, chỉ bảo tận tình của các quý thầy cô và các bạn. Tôi xin chân thành cảm ơn! 2
MỤC LỤC LỜI CAM ĐOAN ............................................................................................................1 LỜI CẢM ƠN ..................................................................................................................2 DANH MỤC SƠ ĐỒ VÀ BẢNG BIỂU .........................................................................6 DANH MỤC CÁC TỪ VIẾT TẮT .................................................................................9 MỞ ĐẦU .......................................................................................................................10 1. Đặt vấn đề ..............................................................................................................10 2. Tính cấp thiết của đề tài.........................................................................................11 3. Mục tiêu của đề tài ................................................................................................11 4. Tổng quan về lĩnh vực nghiên cứu ........................................................................12 5. Cấu trúc luận văn ...................................................................................................14 Chương 1. TỔNG QUAN VỀ XỬ LÝ ẢNH SỐ, HỌC MÁY VÀ HỌC SÂU ............16 1.1. Xử lý ảnh và các vấn đề cơ bản về xử lý ảnh [1][4][15] ....................................16 1.1.1. Xử lý ảnh .....................................................................................................16 1.1.2. Các vấn đề cơ bản về xử lý ảnh ...................................................................17 1.1.2.1. Ảnh số và điểm ảnh ..................................................................................17 1.1.2.2. Nắn chỉnh biến dạng .................................................................................19 1.1.2.3. Khử nhiễu .................................................................................................21 1.1.2.4. Chỉnh mức xám ........................................................................................21 1.1.2.5. Biên...........................................................................................................22 1.1.2.6. Nhận dạng .................................................................................................22 1.1.2.7. Nén ảnh .....................................................................................................23 1.2. Một số phương pháp xử lý ảnh số [5] ................................................................24 1.2.1. Các kỹ thuật lọc nhiễu .................................................................................24 1.2.1.1. Kỹ thuật lọc trung bình .............................................................................24 1.2.1.2. Kỹ thuật lọc trung vị .................................................................................25 1.2.1.3. Lọc thông thấp ..........................................................................................26 1.2.1.4. Lọc thông cao ...........................................................................................27 1.2.2. Kỹ thuật phân ngưỡng .................................................................................27 1.2.2.1. Kỹ thuật phân ngưỡng tự động .................................................................27 1.2.2.2. Phương pháp sử dụng các điểm biên ........................................................28 1.2.3. Một số kĩ thuật phát hiện biên .....................................................................29 1.2.3.1. Kỹ thuật gradient ......................................................................................29 1.2.3.2. Kỹ thuật Laplace.......................................................................................29 3
1.2.3.3. Kỹ thuật sobel ...........................................................................................30 1.2.3.4. Kỹ thuật prewitt ........................................................................................31 1.3. Học máy [2][3][18].............................................................................................31 1.3.1. Tổng quan ....................................................................................................31 1.3.1.1. Định nghĩa ................................................................................................31 1.3.1.2. Phân loại ...................................................................................................31 1.3.1.3. Các giải thuật học máy .............................................................................32 1.3.2. Các ứng dụng của học máy .........................................................................33 1.4. Học sâu [2][3][6] ................................................................................................33 1.4.1. Các khái niệm ..............................................................................................33 1.4.2. Cách thức hoạt động của học sâu ................................................................34 1.4.3. Các ứng dụng phổ biến của học sâu ............................................................35 1.4.3.1. Trợ lý ảo ...................................................................................................35 1.4.3.2. Dịch thuật .................................................................................................35 1.4.3.3. Máy bay không người lái và xe ô tô tự hành ............................................35 1.4.3.4. Chatbots và dịch vụ bots ..........................................................................35 1.4.3.5. Tô màu hình ảnh .......................................................................................36 1.4.3.6. Nhận dạng khuôn mặt ...............................................................................36 1.4.3.7. Y học và dược phẩm .................................................................................37 1.4.3.8. Mua sắm và giải trí được cá nhân hóa ......................................................37 Chương 2. TỔNG QUAN CÁC PHƯƠNG PHÁP NHẬN DẠNG ĐỐI TƯỢNG, PHÁT HIỆN NGƯỜI VÀ KHUÔN MẶT TRÊN ẢNH [7-9] [11-13].........................38 2.1. Đặc điểm các loại đối tượng và người ................................................................38 2.2. Các phương pháp nhận dạng đối tượng hiện nay ...............................................38 2.2.1. Phương pháp dựa trên cơ sở tri thức ...........................................................38 2.2.2. Phương pháp dựa trên đặc trưng bất biến....................................................39 2.2.3. Phương pháp dựa trên so khớp mẫu ............................................................40 2.2.4. Phương pháp dựa trên diện mạo ..................................................................40 2.3. Các kỹ thuật phát hiện người ..............................................................................41 2.4. Các kỹ thuật phát hiện khuôn mặt [16] ..............................................................45 Chương 3. THUẬT TOÁN PHÁT HIỆN NGƯỜI VÀ KHUÔN MẶT SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP, YOLOV3 VÀ THUẬT TOÁN VIOLA-JONES ......48 3.1. Kỹ thuật nhận dạng đối tượng bằng mạng nơ-ron tích chập [6][24][26] ...........48 3.1.1. Lớp tích chập (Convolution Layer) .............................................................49 3.1.2. Lớp chuyển đổi (ReLU Layer) ....................................................................52 4
3.1.3. Lớp tổng hợp (Pooling Layer).....................................................................52 3.1.4. Lớp kết nối đầy đủ (Fully-Connected Layer) ..............................................53 3.1.5. Các bước thực hiện nhận dạng đối tượng bằng mạng nơ-ron tích chập......54 3.2. Kỹ thuật nhận dạng đối tượng bằng YOLOv3 [19-21][25][27-28] ...................54 3.2.1. Kiến trúc mạng YOLO ................................................................................54 3.2.2. Các phiên bản của YOLO ...........................................................................62 3.2.3. Nhận dạng đối tượng bằng YOLOv3 ..........................................................63 3.3. Kỹ thuật phát hiện khuôn mặt Viola-Jones [10][22][29] ...................................65 3.3.1. Các đặc trưng Haar-Like .............................................................................65 3.3.2. AdaBoost .....................................................................................................68 3.3.3. Sơ đồ tìm kiếm khuôn mặt ..........................................................................70 Chương 4. KẾT QUẢ THỰC NGHIỆM VÀ ÁP DỤNG TRONG THỰC TẾ ............71 4.1. Mô hình hệ thống dự kiến ..................................................................................71 4.2. Thuật toán tìm người và khuôn mặt đề xuất .......................................................72 4.2.1. Thuật toán tìm người và khuôn mặt trên ảnh tĩnh .......................................72 4.2.1.1 Mô hình thuật toán: ...................................................................................72 4.2.2. Thuật toán tìm người và khuôn mặt trên video ...........................................78 4.2.2.1 Mô hình thuật toán.....................................................................................78 4.2.2.2 Chú thích bằng lời .....................................................................................78 4.3. Kết quả thực nghiệm...........................................................................................79 4.4. Đánh giá kết quả .................................................................................................88 4.5. Kết luận và hướng phát triển ..............................................................................88 TÀI LIỆU THAM KHẢO .............................................................................................90 1. Code và chú thích một số kết quả tìm người và khuôn mặt trên ảnh tĩnh .........93 2. Code và chú thích mốt số kết quả tìm người và khuôn mặt trên video .............96 5
DANH MỤC SƠ ĐỒ VÀ BẢNG BIỂU Sơ đồ 1.1 Mô hình lọc thông cao...................................................................................27 Sơ đồ 3.1 Mô hình phân tầng ........................................................................................69 Sơ đồ 3.2 Phát hiện khuôn mặt ......................................................................................70 Sơ đồ 4.1 Hệ thống giám sát, phát hiện và cảnh báo người xâm nhập .........................71 Sơ đồ 4.2 Sơ đồ tổng quát tìm người và khuôn mặt trên ảnh tĩnh.................................73 Sơ đồ 4.3 Sơ đồ tìm kiếm người ....................................................................................74 Sơ đồ 4.4 Sơ đồ tìm khuôn mặt .....................................................................................76 Sơ đồ 4.5 Sơ đồ tìm người và khuôn mặt trên video .....................................................78 6
DANH MỤC HÌNH ẢNH Hình 1.1 Quá trình xử lý ảnh .........................................................................................16 Hình 1.2 Các bước cơ bản trong một hệ thống xử lý ảnh .............................................17 Hình 1.3 Ảnh đen trắng .................................................................................................17 Hình 1.4 Ảnh màu .........................................................................................................18 Hình 1.5 Ảnh số .............................................................................................................18 Hình 1.6 Độ phân giải ...................................................................................................19 Hình 1.7 Ảnh thu nhận và ảnh mong muốn ..................................................................19 Hình 1.8 Ảnh trước và sau khi khử nhiễu .....................................................................21 Hình 1.9 Ảnh trước và sau khi chỉnh mức xám.............................................................21 Hình 1.10 Các loại đường biên ......................................................................................22 Hình 1.11 Nén ảnh sử dụng phép biến đổi ....................................................................24 Hình 1.12 Các giải thuật học máy .................................................................................32 Hình 1.13 Mối quan hệ của học sâu với các lĩnh vực liên quan....................................34 Hình 1.14 Mô hình học sâu ...........................................................................................34 Hình 1.15 Chatbot .........................................................................................................36 Hình 1.16 Công nghệ nhận diện khuôn mặt ..................................................................36 Hình 2.1 Biểu diễn hệ số wavelet trong hệ tọa độ ba trục vuông góc ...........................41 Hình 2.2 Mô tả đặc trưng HOG .....................................................................................42 Hình 2.3 Mô hình YOLO ..............................................................................................43 Hình 2.4 HOG person dectectors cho kết quả không tốt khi tìm người ........................43 Hình 2.5 (a) Ảnh ban đầu có độ phân giải n = 1; (b), (c), (d) .......................................46 Hinh 3.1 Mảng ma trận RGB ........................................................................................49 Hinh 3.2 Mạng nơ-ron với nhiều lớp chập ....................................................................49 Hinh 3.3 Ma trận ảnh nhân ma trận bộ lọc ....................................................................50 Hinh 3.4 Ma trận đầu ra .................................................................................................50 Hinh 3.5 Một số bộ lọc phổ biến ...................................................................................51 Hinh 3.6 Sải bước 2 pixel ..............................................................................................51 Hinh 3.7 Hoạt động ReLU.............................................................................................52 Hinh 3.8 Max Pooling ...................................................................................................53 Hinh 3.9 Sau khi gộp lớp, làm phẳng thành lớp FC ......................................................53 Hinh 3.10 Kiến trúc mạng nơ-ron tích chập hoàn chỉnh ...............................................53 Hinh 3.11 Sơ đồ kiến trúc mạng YOLO ........................................................................54 Hinh 3.12 Kiến trúc một output của model YOLO .......................................................56 7
Hinh 3.13 Các bản đồ đặc trưng của mạng YOLO .......................................................57 Hinh 3.14 Xác định hộp neo cho một vật thể ................................................................58 Hinh 3.15 Minh hoạ dự đoán khung giới hạn đối tượng ...............................................61 Hinh 3.16 Non-max suppression ...................................................................................61 Hinh 3.17 Mạng Darknet - 53........................................................................................64 Hinh 3.18 Kiến trúc của mô hình YOLOv3 ..................................................................64 Hinh 3. 19 Kiến trúc một output của model YOLOv3 ..................................................65 Hinh 3.20 Haar Features sử dụng trong Viola Jones .....................................................66 Hinh 3.21 Đặc trưng do Viola và Jones công bố ...........................................................66 Hinh 3.22 Đặc trưng cạnh..............................................................................................66 Hinh 3.23 Đặc trưng đường ...........................................................................................67 Hinh 3.24 Đặc trưng quanh tâm ....................................................................................67 Hinh 3.25 Integral Image ...............................................................................................67 Hinh 3.26 Vùng tính mức xám trên ảnh ........................................................................68 Hinh 3.27 Minh họa kết hợp các bộ phân loại yếu thành bộ phân loại mạnh ...............70 Hình 4.4 Phát hiện người tại Camera đặt ở nhà xe........................................................80 Hình 4.5 Phát hiện người tại Camera đặt ở cửa sau ......................................................82 Hình 4.6 Phát hiện người tại Camera đặt ở sảnh cửa chính ..........................................83 Hình 4.7 Phát hiện người tại Camera đặt tại bộ phận văn thư ......................................85 Hình 4.8 Phát hiện người tại Camera đặt tại hành lang lầu 3 ........................................86 Hình 4.9 Phát hiện người tại Camera đặt tại hành lang lầu 2 ........................................87 Hình 4.1 Kết quả tìm người trong ảnh tĩnh ...................................................................95 Hình 4.2 Kết quả tìm khuôn mặt trong ảnh ...................................................................96 Hình 4.3 Show khuôn mặt được cắt ..............................................................................96 8
DANH MỤC CÁC TỪ VIẾT TẮT STT Từ viết tắt Từ đầy đủ 1 CNN Convolutional Neural Networks (mạng nơ-ron tích chập) 2 SVM Support Vector Machine (máy véc-tơ hỗ trợ) 3 R-CNN Regional Convolutional Neural Network 4 SSD Single Shot detectors 5 YOLO You Only Look Once 6 HOG Histogram of Oriented gradient 7 FPS Frame per second (Khung hình mỗi giây) 8 FPN Feature Pyramid Networks 9 AI Artificial intelligence 10 RGB Red, green, and blue 11 SMS Short Message Services 12 BR-VT Bà Rịa – Vũng Tàu 9
MỞ ĐẦU 1. Đặt vấn đề Cuộc sống hiện đại, công nghệ phát triển biến ước mơ máy móc thay thế con người dần trở nên hiện thực. Những công việc nặng nhọc, độc hại, không an toàn, nhàm chán dần dần sẽ được máy móc thay thế con người thực hiện. Đồng thời công việc sẽ được thực hiện nhanh hơn, nhiều hơn, tốt hơn, chính xác và chuyên nghiệp hơn. Tại trụ sở của các cơ quan nhà nước trong Trung tâm hành chính Tỉnh Bà Rịa – Vũng Tàu hiện nay đa số được trang bị camera giám sát nhằm đảm bảo an toàn an ninh 24/24. Tuy nhiên việc sử dụng camera giám sát như hiện nay mới chỉ đảm bảo việc quan sát và lưu lại các hình ảnh mà chưa thể tự động phát hiện và cảnh báo các nguy cơ từ đối tượng xâm nhập trái phép vào thời gian cấm như ngoài giờ hành chính tại các trụ sở, cơ quan hành chính của nhà nước. Một số dòng camera thông minh có thể phát hiện một số đối tượng chuyển động, tuy nhiên việc phát hiện này chưa đáp ứng yêu cầu, chẳng hạn, camera giám sát an ninh nhưng phát hiện cả chó, mèo, chuột hay một động vật nào đó chuyển động trước ống kính, điều đó làm giảm độ tin cậy của việc giám sát cũng như gây phiền phức, khó chịu cho chủ nhân của nó. Việc ứng dụng học sâu (Deep Learning) kết hợp cùng các camera giám sát an ninh giúp phát hiện chính xác đối tượng xâm nhập là hướng tiếp cận có thể khắc phục được những hạn chế trên. Phương pháp Deep Learning được kết hợp nhiều với các kỹ thuật của lĩnh vực Thị giác máy tính (Computer Vision) giúp tăng khả năng phát hiện xâm nhập, đạt tỷ lệ phát hiện cao và tỷ lệ cảnh báo sai thấp. Học sâu là kỹ thuật dựa trên tập hợp các thuật toán cố gắng để mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến và tính năng học với các lớp hình thành một hệ thống các tính năng phân cấp từ thấp đến cao. Có ba lý do quan trọng nổi bật để sử dụng kỹ thuật học sâu là: khả năng xử lý tăng mạnh; giá cả phần cứng máy tính vừa phải và sự đột phá gần đây của nghiên cứu học máy. 10
2. Tính cấp thiết của đề tài Trung tâm hành chính tỉnh Bà Rịa – Vũng Tàu có hai lớp bảo vệ, lớp bên ngoài tại 04 cổng lớn của Trung tâm hành chính luôn có các chiến sỹ Công an canh gác thường trực, lớp trong là bảo vệ tại từng trụ sở cơ quan, đơn vị. Tuy có người trực thường xuyên, công tác giám sát vẫn khó có thể bao quát toàn bộ không gian do trụ sở lớn, hàng rào thấp, nhiều lối ra vào. Mặc dù được trang bị hệ thống camera để hỗ trợ, tuy nhiên chưa có chức năng cảnh báo nên vẫn chưa đảm bảo an toàn, an ninh, đặc biệt là vào ban đêm và những ngày mưa bão. Việc sử dụng kỹ thuật học sâu để hỗ trợ việc giám sát an ninh là phù hợp. Vì vậy đề tài luận văn hướng đến việc nghiên cứu ứng dụng kỹ thuật máy học kết hợp với hệ thống camera giám sát để hỗ trợ tự động thông báo khi có người xâm nhập trong thời gian ngoài giờ hành chính là cần thiết và mang tính khả thi cao. Từ kết quả của đề tài này sẽ đề xuất hướng ứng dụng và phát triển công nghệ áp dụng vào điều kiện thực tế hiện nay. 3. Mục tiêu của đề tài - Mục tiêu tổng quát: Nghiên cứu ứng dụng thành công công nghệ học sâu để hỗ trợ việc giám sát, phát hiện và cảnh báo người xâm nhập trong không gian của các đơn vị tại Trung tâm Hành chính tỉnh Bà Rịa-Vũng Tàu. - Mục tiêu cụ thể: + Xây dựng mô hình phát hiện người trên ảnh tĩnh dựa trên mạng nơ-ron tích chập, thuật toán nhận dạng đối tượng Yolov3. + Xây dựng mô hình trích xuất khuôn mặt người trên ảnh tĩnh sau khi phát hiện người xâm nhập. + Xây dựng mô hình phát hiện người và trích xuất khuôn mặt trên video. + Áp dụng mô hình để phát hiện người trên camera trong thời gian thực tại cơ quan, đơn vị trong Trung tâm hành chính tỉnh Bà Rịa-Vũng Tàu. 11
4. Tổng quan về lĩnh vực nghiên cứu 4.1. Nhận dạng đối tượng (Object Detection), phát hiện người trong ảnh tĩnh và video Để phát hiện người trong ảnh tĩnh hay video thì thường người ta sử dụng các thuật toán nhận dạng đối tượng trên ảnh tĩnh hay video rồi sau đó áp dụng các thuật toán để phát hiện người. Các thuật toán nhận dạng đối tượng hiện nay phần lớn đều áp dụng cho ảnh tĩnh, do đó để có thể áp dụng cho video thì cần thiết phải tìm cách lấy các ảnh tĩnh từ video. Video thực chất được tạo ra từ các khung hình liên tiếp, do đó nếu tách các khung hình này thành các ảnh tĩnh thì có thể áp dụng các phương pháp nhận dạng cho ảnh tĩnh trên video. Nhận dạng đối tượng là quá trình phân loại các đối tượng được biểu diễn theo một mô hình nào đó và gán chúng vào một lớp chuyên đề (gán cho đối tượng một tên gọi) dựa trên những quy luật và các mẫu chuẩn. Quá trình nhận dạng dựa vào các mẫu đối tượng đã biết trước được gọi là nhận dạng có kiểm định (hay phân loại có kiểm định), nhận dạng đối tượng không dựa theo mẫu được gọi là nhận dạng không kiểm định (hay phân loại không kiểm định). Trên thế giới kỹ thuật nhận dạng đối tượng đã được nghiên cứu và ứng dụng rất sớm vào trong lĩnh vực khoa học máy tính từ thế kỷ trước như: nhận dạng vân tay, nhận dạng chữ viết, nhận dạng giọng nói, nhận dạng khuôn mặt, phương tiện giao thông, động vật, đồ vật, có thể kể đến một số nghiên cứu của tác giả J.J.Hull và cộng sự (1992), R. Kimmel và G. Sapiro (2003), Yi Li (2005), Mark Williams Pontin (2007), từ các kết quả nhận dạng đã phục vụ hiệu quả cho các công tác đảm bảo an ninh quốc gia, bảo mật trong các giao dịch tài chính, chấm công, quản lý nhận sự, hành chính,.v.v. Ở Việt Nam những năm gần đây, kỹ thuật nhận dạng đã được nghiên cứu và ứng dụng, điển hình như một số tác giả: Hoàng Kiếm và cộng sự (2001), Lê Hoài Bắc và Lê Hoàng Thái (2001), Nguyễn Thị Thanh Tân và Ngô Quốc Tạo (2004), Phạm Anh Phương và cộng sự (2008) đã nghiên cứu ứng dụng mạng nơron nhân tạo để phân tích và nhận dạng ký tự trong văn bản, trong nhận dạng chữ số viết tay; Nguyễn Minh Mẫn 12
(2011), Đoàn Tuấn Nam và Phạm Thượng Cát (2010) đã nghiên cứu ứng dụng mạng rơron trong nhận dạng vân tay,v.v. và kỹ thuật nhận dạng cũng đã được sử dụng nhận dạng đối tượng trên dữ liệu ảnh viễn thám, điển hình như các nghiên cứu: Trịnh Thị Hoài Thu và cộng sự (2012) đã nghiên cứu ứng dụng phương pháp định hướng đối tượng và phương pháp phân loại dựa vào điểm ảnh trong nhận dạng phân loại đối tượng trên dữ liệu ảnh Worldview… Có thể thấy trong cách tiếp cận về kỹ thuật nhận dạng, có 3 cách tiếp cận thường được sử dụng là: - Nhận dạng dựa theo không gian: Trong kỹ thuật này, các đối tượng là các đối tượng định lượng. Mỗi đối tượng được biểu diễn bằng một véc tơ nhiều chiều, mỗi chiều là một tham số thể hiện một đặc điểm của đối tượng đó. - Nhận dạng dựa vào kỹ thuật mạng nơ ron: Mạng nơ ron là hệ thống bao gồm nhiều phần tử xử lý đơn giản (nơ ron) hoạt động song song. Tính năng của hệ thống này tùy thuộc vào cấu trúc của hệ, các trọng số liên kết nơ ron và quá trình tính toán tại các nơ ron đơn lẻ. - Nhận dạng dựa theo cấu trúc: Đối tượng ngoài cách biểu diễn theo định lượng, chúng còn tồn tại ở nhiều kiểu đối tượng mang tính định tính. 4.2. Các phương pháp phát hiện đối tượng hiện nay Nhiều phương pháp phát hiện đối tượng khác nhau sử dụng thị giác máy tính đã được phát triển và ứng dụng rộng rãi trong đời sống thực tiễn. Các phương pháp này phát hiện đối tượng với ba bước chính. Bước thứ nhất là dựa vào các thuộc tính của đối tượng như màu sắc, kết cấu bề mặt và hình dạng để trích chọn các đặc trưng ảnh. Bước thứ hai là sử dụng tập dữ liệu mẫu để xác định các tham số cho các bộ nhận dạng đối tượng trong ảnh. Bước thứ 3 là sử dụng bộ nhận dạng để xác định đối tượng trong các ảnh đầu vào bất kỳ. Việc áp dụng đột phát và nhanh chóng của Deep Learning vào năm 2012 đã đưa vào sự tồn tại các thuật toán và phương pháp phát hiện đối tượng hiện đại và chính xác cao như R-CNN, Fast-RCNN, Faster-RCNN, RetinaNet và nhanh hơn nhưng rất chính xác như SSD và YOLO. 13
4.3. Các công trình nghiên cứu liên quan - Trần Trung Kiên, 2013. Hệ thống nhận dạng gương mặt trong video giám sát, Đại học Lạc Hồng. - Trương Công Lợi, 2013. Nhận dạng khuôn mặt sử dụng phương pháp biến đổi Eigenfaces và mạng nơ-ron, Đại học Đà Nẵng. - Nguyễn Trường Tân, 2013. Ứng dụng mạng nơ-ron để phân loại khuôn mặt, Đại học Đà Nẵng. - Nguyễn Thị Thủy, 2018. Phương pháp nhận dạng khuôn mặt người và ứng dụng trong quản lý nhân sự, Đại học Công nghệ - Đại học Quốc gia Hà Nội. - Tống Văn Ngọc, 2018. Nhận dạng và phát hiện hành động người dùng thị giác máy tính, Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh. 4.4. Phương hướng nghiên cứu đề tài - Phương pháp luận: + Tìm hiểu về thị giác máy tính, kỹ thuật xử lý ảnh; các đặc trưng để phát hiện đối tượng. + Tìm hiểu các thuật toán phát hiện người trên ảnh tĩnh (mạng nơ-ron tích chập (CNN), máy vector hỗ trợ (SVM), kỹ thuật phát hiện đối tượng YoloV3. + Tìm hiểu thuật toán phát hiện khuôn mặt dựa trên Haar Cascade trên ảnh tĩnh; áp dụng thuật toán phát hiện người và khuôn mặt trên video. + Tìm hiểu về hệ thống cảnh báo tự động qua điện thoại. - Phương pháp thực nghiệm: Xây dựng chương trình thực nghiệm áp dụng thuật toán phát hiện người và khuôn mặt trên hệ thống camera giám sát của Trung tâm hành chính tỉnh Bà Rịa-Vũng Tàu.. 5. Cấu trúc luận văn Chương 1: Giới thiệu những vấn đề cơ bản nhất về xử lý ảnh số, Học máy và Học sâu. 14
Chương 2: Giới thiệu tổng quan về các phương pháp nhận dạng đối tượng đã được áp dụng trên thế giới cũng như tại Việt Nam. Chương 3: Trình bày cụ thể các kỹ thuật nhận dạng đối tượng và phát hiện người sử dụng mạng nơ-ron tích chập và Yolov3 và thuật toán phát hiện khuôn mặt bằng thuật toán Viola-Jones. Chương 4: Trình bày kết quả thực nghiệm và áp dụng trong thực tế. Ứng dụng mô hình vào bài toán phát hiện người xâm nhập và trích xuất khuôn mặt trong hệ thống cảnh báo của Trung tâm hành chính tỉnh Bà Rịa-Vũng Tàu. 15
Chương 1. TỔNG QUAN VỀ XỬ LÝ ẢNH SỐ, HỌC MÁY VÀ HỌC SÂU 1.1. Xử lý ảnh và các vấn đề cơ bản về xử lý ảnh [1][4][15] 1.1.1. Xử lý ảnh Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy tính, lĩnh vực xử lý ảnh và đồ hoạ cũng phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy. Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc là một kết luận như trong hình 1.1. Ảnh Ảnh XỬ LÝ ẢNH “Tốt hơn” Kết luận Hình 1.1 Quá trình xử lý ảnh Ảnh có thể xem là tập hợp các điểm ảnh trong đó mỗi điểm ảnh được xem như là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong không gian và nó có thể xem như một hàm n biến P(c1, c2, ..., cn). Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều. Để xử lý một ảnh đầu vào nói trên, hệ thống xử lý ảnh sẽ sử dụng sơ đồ tổng quát như hình 1.2. Trong đó ảnh thu nhận từ các thiết bị như scaner, camera sẽ qua bước tiền xử lý, rồi tới bước trích chọn đặc điểm, tiếp đến là bước hậu xử lý, tiếp đến là hệ quyết định và lưu trữ ảnh, cuối cùng là đối sánh rút ra kết luận. 16
Hệ quyết định Thu nhận ảnh Trích chọn Đối sánh rút (Scanner, Tiền xử lý Hậu xử lý Camera,Sensor) đặc điểm ra kết luận Lưu trữ Hình 1.2 Các bước cơ bản trong một hệ thống xử lý ảnh 1.1.2. Các vấn đề cơ bản về xử lý ảnh 1.1.2.1. Ảnh số và điểm ảnh - Điểm ảnh (pixel) có vị trí (x,y) và có độ xám I(x,y). + Với ảnh trắng đen sẽ có ví dụ sau: Hình 1.3 Ảnh đen trắng + Với ảnh màu ảnh thì mỗi điểm ảnh sẽ có 3 giá trị tương ứng với độ sáng của các màu đỏ, xanh lục, xanh dương (RGB). 17
Hình 1.4 Ảnh màu - Ảnh số: "Một hình ảnh có thể được định nghĩa là hàm hai chiều, f (x, y), trong đó x và y là tọa độ không gian (mặt phẳng) và biên độ của f tại bất kỳ cặp tọa độ (x, y) nào được gọi là cường độ hoặc mức độ màu xám của hình ảnh tại điểm đó. Khi x, y và các giá trị cường độ của f đều là các đại lượng hữu hạn, rời rạc, thì gọi hình ảnh là hình ảnh kỹ thuật số". Hay có thể hiểu một cách đơn giản rằng "Ảnh số là số hóa làm cho một hình ảnh kỹ thuật số trở thành một xấp xỉ của một cảnh thực". Hình 1.5 Ảnh số 18