Đề tài nghiên cứu khoa học: Nghiên cứu và ứng dụng xử lí ảnh bằng phần mềm LabVIEW để cảnh báo ngủ gật và va chạm sớm

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:52

Thêm vào BST

Báo xấu

22
lượt xem 7
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề tài "Nghiên cứu và ứng dụng xử lí ảnh bằng phần mềm LabVIEW để cảnh báo ngủ gật và va chạm sớm" này đề xuất nghiên cứu và ứng dụng công nghệ xử lí ảnh bằng phần mềm LabVIEW và ngôn ngữ lập trình mở Python để ứng dụng vào thực tế trên xe ô tô.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Đề tài nghiên cứu khoa học: Nghiên cứu và ứng dụng xử lí ảnh bằng phần mềm LabVIEW để cảnh báo ngủ gật và va chạm sớm

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN ỨNG DỤNG XỬ LÝ ẢNH SỬ DỤNG PHẦN MỀM LABVIEW ĐỂ CẢNH BÁO VA CHẠM SỚM S K C 0 0 3 9 5 9 VÀ NGỦ GẬT TRÊN XE MÃ SỐ: SV2020-06 S KC 0 0 7 3 6 4 Tp. Hồ Chí Minh, tháng 10/2020
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN ỨNG DỤNG XỬ LÝ ẢNH SỬ DỤNG PHẦN MỀM LABVIEW ĐỂ CẢNH BÁO VA CHẠM SỚM VÀ NGỦ GẬT TRÊN XE SV2020-06 Chủ nhiệm đề tài: Nguyễn Trung Trực TP HỒ CHÍ MINH, ngày 5 tháng 10 năm 2020
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN ỨNG DỤNG XỬ LÝ ẢNH SỬ DỤNG PHẦN MỀM LABVIEW ĐỂ CẢNH BÁO VA CHẠM SỚM VÀ NGỦ GẬT TRÊN XE SV2020-06 Thuộc nhóm ngành khoa học: Kỹ thuật – Ứng dụng SV thực hiện: Nguyễn Trung Trực Nam, Nữ: Nam Dân tộc: Kinh Lớp : 161451B Khoa : Cơ khí động lực Năm thứ: 4 Số năm đào tạo: 4 Ngành học: Công nghệ kỹ thuật ô tô Người hướng dẫn: Ths.Nguyễn Thành Tuyên TP HỒ CHÍ MINH, ngày 5 tháng 10 năm 2020
LỜI CẢM ƠN Trong thời gian làm đề tài nghiên cứu, nhóm chúng em đã nhận được nhiều sự giúp đỡ, đóng góp ý kiến và chỉ bảo nhiệt tình của thầy cô, gia đình và bạn bè. Nhóm chúng em xin gửi lời cảm ơn chân thành đến Th.s Nguyễn Thành Tuyên, giảng viên Bộ môn Điện-Điện tử - trường ĐHSPKT TP.HCM người đã tận tình hướng dẫn, chỉ bảo em trong suốt quá trình thực hiện đề tài nghiên cứu. Đồng thời cả nhóm cũng xin chân thành cảm ơn các thầy cô giáo trong trường ĐHSPKT TP.HCM nói chung, các thầy trong Bộ môn Điện-Điện tử nói riêng đã dạy dỗ cho em kiến thức về các môn đại cương cũng như các môn chuyên ngành, giúp em có được cơ sở lý thuyết vững vàng và tạo điều kiện giúp đỡ em trong suốt quá trình học tập. Cuối cùng chúng em xin chân thành cảm ơn gia đình và bạn bè, đã luôn tạo điều kiện, quan tâm, giúp đỡ, động viên cả nhóm trong suốt quá trình học tập, nghiên cứu và hoàn thành đề tài nghiên cứu. Sinh Viên Thực Hiện i
TÓM TẮT Đề tài: “Nghiên cứu và ứng dụng xử lí ảnh bằng phần mềm LabVIEW để cảnh báo ngủ gật và va chạm sớm” được nghiên cứu tại Trường Đại Học Sư Phạm Kỹ Thuật Tp. HCM. Thời gian thực hiện từ 01/2020 đến 06/2020 là nghiên cứu được phát triển trên nền tảng ứng dụng vào thực tế. Đề tài này đề xuất nghiên cứu và ứng dụng công nghệ xử lí ảnh bằng phần mềm LabVIEW và ngôn ngữ lập trình mở Python để ứng dụng vào thực tế trên xe ô tô. Nghiên cứu trình bày các chương trình lập trình được phát triển trên nền tảng ngôn ngữ lập trình mở Python, đồng thời kết hợp với phần mềm LabVIEW để tiến hành cảnh báo ngủ gật cho tài xế cũng như cảnh báo va chạm sớm để tránh các trường hợp xảy ra sự cố đột xuất làm tài xế không có khả năng phán đoán và xử lí kịp thời tình huống xảy ra. Điểm mới của đề tài là quá trình xử lí ảnh mang tính ổn định cao, dễ dàng xác định chính xác hiện trạng của tài xế lái xe cũng như khoảng cách tới vật cản. Các thông tin sau khi được xử lí, lập trình bằng phần mềm LabVIEW và tương tác với người dùng thông qua hệ thống cảnh báo bằng còi và đèn cũng như thông báo hiển thị trên màn hình LCD. Kết quả, sau quá trình thực nghiệm chương trình đã hoạt động ổn định và việc thực thi quá trình cảnh báo nhằm tạo điều kiện thuận lợi cho tài xế trong việc điều chỉnh trạng thái của bản thân và ô tô trong khi tham gia giao thông đã có độ chính xác ngày càng được nâng cao hơn. ii
MỤC LỤC Chương 1: TỔNG QUAN ................................................................. 1 1.1. Tổng quan chung về lĩnh vực nghiên cứu ............................................................ 1 1.2. Các đề tài nghiên cứu trong và ngoài nước .......................................................... 2 1.2.1. Các đề tài nghiên cứu trong nước .................................................................. 2 1.2.2. Các nghiên cứu ngoài nước ........................................................................... 4 1.2.2.1. Tại một số nước ....................................................................................... 4 1.2.2.2. Tại một số hãng xe .................................................................................. 5 1.3. Mục đích của đề tài .............................................................................................. 5 1.4. Đối tượng và phạm vi của đề tài .......................................................................... 6 1.4.1. Đối tượng ....................................................................................................... 6 1.4.2. Phạm vi nghiên cứu ....................................................................................... 6 1.5. Phương pháp nghiên cứu...................................................................................... 6 1.5.1. Nghiên cứu lý thuyết...................................................................................... 6 1.5.2. Nghiên cứu thực nghiệm................................................................................ 6 Chương 2: CƠ SỞ LÝ THUYẾT ......................................................... 7 2.1. Cơ sở lý thuyết xử lí ảnh xác định đối tượng theo phân loại tầng ...................... 7 2.2. Cơ sở lý thuyết thuật toán ước lượng khoảng cách từ hệ camera quan sát đến vật cản ......................................................................................................................... 8 2.2.1. Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật cản ...................................................................................................................... 8 2.2.2. Phương pháp hiệu chỉnh camera (Camera calibration) ................................. 9 Chương 3: GIỚI THIỆU CHƯƠNG TRÌNH PHÁT HIỆN VÀ CẢNH BÁO NGỦ GẬT VỚI VA CHẠM SỚM ........................... Error! Bookmark not defined. 3.1. Giới thiệu chương trình dùng để phát hiện và cảnh báo ngủ gật ....................... 11 3.2. Giới thiệu chương trình cảnh báo va chạm sớm trên xe ô tô ............................. 14 Chương 4: THỰC NGHIỆM, KẾT QUẢ NGHIÊN CỨU .......................... 22 4.1 Thực nghiệm hệ thống cảnh báo ngủ gật … .… .….…. ….….….….….….... 22 4.1.1 Trường hợp nhận diện được người lái xe và xác định người lái xe không ngủ gật. 4.1.2 Trường hợp nhận diện được người lái xe và xác định người lái xe ngủ gật.….………………………………………………………………………………...23 4.2 Thực nghiệm hệ thống cảnh báo va chạm sớm.….….….….….….….….….….25 iii
4.3 Hệ thống cảnh báo va chạm khi lắp trên xe mô hình mini.....................................29 4.4 Kết quả thực nghiệm............................................................................................31 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN............................... 32 TÀI LIỆU THAM KHẢO………………………………………………………… 38 PHỤ LỤC………………………………………………………………………….. 40 iv
DANH MỤC CÁC HÌNH Hình 2.1: Các kiểu phân tầng cơ bản thường được sử dụng Hình 2.2: Đặc tính khác nhau giữa vùng mắt và các bộ phận khác trên mặt Hình 2.3: Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật cản Hình 3.1: Chương trình phát hiện và cảnh báo ngủ gật được viết bằng ngôn ngữ lập trình Python Hình 3.2: Giao diện Block Diagram trong phần mềm LabVIEW Hình 3.3: Giao diện Front Panel trong phần mềm LabVIEW Hình 3.4: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.5: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.6: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.7: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.8: Chương trình dùng để tính tiêu cự camer Hình 3.9: Chương trình dùng để tính tiêu cự camer Hình 3.10: Chương trình dùng để tính tiêu cự camer Hình 3.11: Giao diện Block Diagram trong phần mềm LabVIEW Hình 3.12: Giao diện Front Panel trong phần mềm LabVIEW Hình 4.1:Nhận diện mở mắt bằng Python Hình 4.2:Xử ly thông tin người lái không ngủ gật bằng Labview Hình 4.3:Nhận diện nhắm mắt bằng Python Hình 4.4:Xử lý thông tin người lái ngủ gật bằng Labview Hình 4.5: Xác định khoảng cách từ xe đến vật bằng python Hình 4.6:Xác định khoảng cách từ người đến vật trên thực tế Hình 4.7:Xác định khoảng cách từ người đến vật trên thực tế Hình 4.8:Cảnh báo va chạm trên Labview Hình 4.9: Mô hình xe không người lái Hình 4.10: Thuật toán điều khiển xe bằng Labview Hình 5.1: Nguyên lí cơ bản của deeplearning Hình 5.2 : Thu thập hình ảnh mẫu v
Hình 5.3: Xác định, dán nhãn đối tượng muốn nhận diện Hình 5.4 : Tiến hành đào tạo mô hình Hình 5.5 : Sử dụng mô hình đào tạo được vi
Chương 1: TỔNG QUAN 1.1. Tổng quan chung về lĩnh vực nghiên cứu Ngày nay, khi nền công nghiệp ô tô đang phát triển mạnh mẽ dẫn theo đó là sự hoàn thiện cũng như phát triển các hệ thống thông minh phục vụ tốt cho các yêu cầu của con người đối với ô tô. Đi đôi với sự phát triển không ngừng này là các vấn đề cũng như thực trạng cần chú ý, một trong những vấn đề được quan tâm nhất đó chính là an toàn của người điều khiển phương tiện. Những yêu cầu về độ an toàn trên ô tô ngày càng tăng, đòi hỏi các nhà sản xuất phải chú trọng đầu tư nghiên cứu cũng như nâng cấp và đưa ra các giải pháp đảm bảo tính an toàn phù hợp với yêu cầu của người dùng. Trong đó, Pre-Collision System (PCS) công nghệ cảnh báo và can thiệp trước va chạm đã và đang được quan tâm. Trước đây, khi chưa xuất hiện Pre-Collision System thì việc đảm bảo an toàn của người lái xe phụ thuộc phần lớn vào dây an toàn. Nhưng thiết bị này chỉ có thể đảm bảo an toàn một cách thụ động và mức độ an toàn cũng không quá cao. Bằng chứng là nhiều vụ tai nạn chết người xảy ra mặc dù người lái xe vẫn tuân thủ việc thắt dây an toàn khi lưu thông. Điều này cho thấy việc dùng sử dụng dây an toàn chỉ là một biện pháp giải quyết “ngọn” mà vẫn chưa thể giải quyết triệt để “gốc” của việc xảy ra các tai nạn. Do đó, việc nghiên cứu và cho ra đời Pre-Collision System là một trong những giải pháp để giảm thiểu các khả năng gây tai nạn đối với người lái. Pre-Collision System sẽ liên tục theo dõi quá trình điều khiển của người lái cũng như các điều kiện xung quanh xe như chướng ngại vật, xe đi trước, xe đối diện,… để phát hiện sớm nguy cơ tai nạn vài giây trước va chạm, từ đó thực hiện những biện pháp cảnh báo, can thiệp nhằm ngăn chặn hoặc giảm thiểu những thiệt hại có thể xảy ra. Cũng bởi bản chất hoàn toàn tự động của hệ thống cũng như tính chất bất ngờ và khó đoán của hầu hết những vụ tai nạn, công nghệ đứng sau quá trình vận hành của PCS có độ phức tạp cao và cần phải được tinh chỉnh, kiểm tra cực kỳ kỹ lưỡng trước khi được trang bị trên ô tô. Vậy nên quá trình điều chỉnh để đảm bảo hệ thống hoạt động chính xác, phản ứng kịp thời với tình huống cũng như không can thiệp nhầm là rất quan trọng. 1
Tuy nhiên , ngay cả khi trên xe đã được trang bị đầy đủ các hệ thống thông minh cho phép phát hiện và cảnh báo các trường hợp nguy cấp xảy ra nhưng vẫn tồn tại các trường hợp xảy ra tai nạn. Nguyên nhân dẫn đến các sự việc không mong muốn này là do sự thiếu tập trung của người tài xế. Mà biểu hiện rõ nhất của nó là hiện tượng ngủ gật. Nói cách khác, hiện tượng ngủ gật xảy ra khi tài xế làm việc trong thời gian kéo dài dẫn đến tinh thần căng thẳng, mệt mỏi và một trong những vấn đề sinh lí bình thường của cơ thể là yêu cầu được nghỉ ngơi. Chính vì vậy, để giải quyết các vấn đề liên quan về sự mệt mỏi và buồn ngủ của người lái xe thì nhiều phương pháp đã được nghiên cứu và triển khai thực hiện trong vài năm qua như: dựa trên hiện tượng sinh lý của con người, theo dõi hoạt động điều khiển xe, theo dõi phản ứng của người lái xe và phương tiện. Một trong những phương pháp được áp dụng nhiều nhất là nhận dạng dựa trên cử chỉ khuôn mặt, cụ thể ở đây là mắt. Thông qua các số liệu được gửi về và được xử lý để nhận dạng hoạt động của mắt người trong một khoảng thời gian nhất định từ đó đưa ra kết luận và tiến hành cảnh báo nếu xác nhận đó là hiện tượng ngủ gật. Điều này, sẽ giúp cho người điều khiển hạn chế tình trạng không tỉnh táo trong quá trình tham gia giao thông. Từ đó, góp phần giảm thiểu số vụ tai nạn giao thông xảy ra hàng năm. Bởi vì, nhận thấy được các vấn đề được nêu trên đóng vai trò quan trọng nên nhóm em đã tiến hành đi tìm hiểu và nghiên cứu đề tài “ ứng dụng xử lý ảnh sử dụng phần mềm LabVIEW để cảnh báo va chạm sớm và ngủ gật trên xe”. 1.2. Các đề tài nghiên cứu trong và ngoài nước 1.2.1. Các đề tài nghiên cứu trong nước - Nghiên cứu “Xây dựng hệ thống nhúng phát hiện và cảnh báo lái xe ngủ gật dựa trên kỹ thuật xử lý ảnh ” [1] được bắt đầu 01/2014 và theo dự kiến đề tài này sẽ được hoàn thành vào 12/2016. Đây là một đề tài nghiên cứu cấp bộ của TS. Vũ Đức Thái, Trường Đại học Công nghệ Thông tin và Truyền thông, thành phố Thái Nguyên. - Nghiên cứu “ Ứng dụng sóng não phát hiện dấu hiệu buồn ngủ và đưa ra tín hiệu cảnh báo đối người lái ”[2] , Luận văn Thạc sĩ của ThS. Đỗ Văn Dũng, Đại học SPKT TP.HCM đã hoàn thành được việc thu thập và xử lý tín hiệu EEG từ thiết bị Emotiv EPOC Headset. Xây dựng thành công một mô hình hệ thống nhận diện và cảnh báo cơn buồn ngủ hoàn chỉnh giá thành hợp lý. Tạo tiền đồ cho những nghiên cứu sau này về lĩnh vực cảnh báo an toàn, thông qua các theo dõi sinh lý của người lái xe. 2
- “ Học sinh sáng chế thiết bị chống ngủ gật cho tài xế ô tô ”[3] , bắt đầu từ đầu năm 2015 cho đến 01/2017, cậu học trò lớp 12 Nguyễn Ngọc Đức, ở Thanh Hóa đã nghiên cứu thành công thiết bị chống ngủ gật cho tài xế ô tô, với ước mong hạn chế tai nạn giao thông xảy ra do tài xế ngủ gật. Đức đã được Bộ GD-ĐT tặng Giấy chứng nhận đạt giải cuộc thi khoa học kỹ thuật cấp quốc gia học sinh trung học năm 2015-2016. Nguyên lý hoạt động của máy rất đơn giản, khi camera màn hình thu hình con người thì bộ xử lý sẽ nhận diện ra điểm khác biệt trên khuôn mặt đâu là mắt, mũi, tai, từ đó sẽ tìm ra được ánh mắt qua biểu đồ ánh sáng để phân biệt độ sáng, tối của mắt, phân biệt lái xe đang thức hay đang ngủ. Sau khi đã nhận dạng xong, bộ xử lý sẽ tiếp tục đưa ra các trường hợp để xử lý. Ban đầu, máy sẽ cảnh báo bằng giọng nói: “Bạn đang trong trạng thái không tập trung, đề nghị tập trung lại” (cảnh báo bằng giọng nói để tránh tình trạng khi báo động đột ngột sẽ làm lái xe giật mình), sau đó là cảnh báo bằng còi báo động. - Luận văn tốt nghiệp “ Nhận diện chớp mắt và cảnh báo buồn ngủ khi lái xe trên nền Windows và Android ”[4] được thực hiện bởi nhóm sinh viên Lê Thế Hải và Lê Thanh Hòa (chuyên ngành Viễn thông, khoa Điện-Điện tử, trường Đại học Bách khoa TP.HCM) cùng với sự hướng dẫn của PGS.TS. Hoàng Đình Chiến. Đề tài này sử dụng một trong những ứng dụng của xử lý ảnh để phát hiện và cảnh báo buồn ngủ bằng cách nhận diện trạng thái đóng mở của mắt. Khi người lái xe ngủ và nhắm mắt lại, lập tức sẽ có âm thanh cảnh báo nguy hiểm. Tuy nhiên, đề tài vẫn còn một số hạn chế. - “ Hệ thống cảnh báo ngủ gật sử dụng GPGA ”[5] được hoàn thiện bởi Nguyễn Thế Đức và Hồ Văn Chương đến từ khoa Điện-Điện tử (Đại học Duy Tân, Đà Nẵng) dưới sự hướng dẫn cũng như giúp đỡ của Thạc sĩ Trần Lê Thăng Đồng và Kỹ sư Tạ Quốc Việt. Đề tài này đã sử dụng bộ công cụ hỗ trợ Terasic DE10-Nano, kết hợp với công nghệ học máy(Machine Learning). Ngoài ra, còn sử dụng đến công nghệ xử lý ảnh và thuật toán SVM. Thông qua các thuật toán được lập trình trong hệ thống có nhiệm vụ phát hiện trạng thái nhấp nháy mắt theo thời gian thực và qua camera giám sát dò tìm , so sánh trạng thái khuôn mặt gần nhất trong bộ lưu trữ cơ sở dữ liệu để đưa ra thông số về độ mở của mắt với mức phân tích chuỗi hình ảnh liên tục theo tỉ lệ 5 khung hình /giây. Theo đó, sau khi thấy dấu hiệu thiếp đi của tài xế, hệ thống sẽ phát tín hiệu cảnh báo thông qua loa. Bên cạnh đó, tần suất mệt mỏi qua từng giờ của tài xế cũng được hệ 3
thống lưu lại và tính toán xác suất để đưa ra cảnh báo trước, giúp ngăn ngừa xảy ra tai nạn giao thông. - Đề tài luận văn “ Nhận dạng trạng thái mắt ứng dụng trên Pandaboard ”[6] được thực hiện bới Trần Lê Anh Chương và Nguyễn Khắc Hiếu (chuyên ngành Viễn thông, khoa Điện-Điện tử, trường Đại học Bách khoa TP.HCM). Bằng việc thiết kế một camera đặt ở phía trước để thu lại ảnh khuôn mặt của người lái xe, hình ảnh này sẽ được đưa vào chương trình để tiến hành phân tích. Nếu phát hiện mắt đang nhắm, chương trình sẽ tiến hành đếm trong một khoảng thời gian quy định trước (có thể lập trình được). Sau khoảng thời gian này nếu mắt vẫn ở trạng thái nhắm chương trình sẽ phát âm thanh cảnh báo qua loa. - “ Bị "đánh thức" vì tư duy chậm ”, năm 2013, nhóm nghiên cứu đến từ Khoa Điện tử Viễn Thông, trường Đại học Bách khoa Hà Nội gồm Nguyễn Quang Trường, Hoàng Mạnh Cường, Vũ Mạnh Cường và Trần Anh Đức đã chế tạo thiết bị chống ngủ gật cho lái xe với chi phí thấp phù hợp điều kiện nước ta. Nguyễn Quang Trường, Trưởng nhóm nghiên cứu cho biết, thiết bị có dạng hộp chữ nhật nhỏ gọn. Khi lắp đặt trên xe, thiết bị sẽ phát hiện điều kiện gây ngủ gật dựa vào các các yếu tố như thời điểm, quãng đường và thời gian lái xe liên tục. Sau đó, thiết bị sẽ xác định trạng thái, mức độ tỉnh táo của lái xe thông qua việc đo thời gian trả lời các câu hỏi trắc nghiệm do thiết bị đưa ra. Thời gian cần thiết để trả lời câu hỏi sẽ tỷ lệ nghịch với mức độ tỉnh táo của lái xe. Cuối cùng, thiết bị sẽ tạo ra tín hiệu cảnh báo chống ngủ gật, với các tín hiệu là ánh sáng chớp, âm thanh, dòng điện xung. 1.2.2. Các nghiên cứu ngoài nước 1.2.2.1. Tại một số nước - Tại Mỹ : Các lái xe chỉ việc bỏ ra khoảng 10 tới 20 USD (tương đương 222.000 – 444.000 đồng) để sở hữu máy chống ngủ gật đeo tai của những nhãn hiệu như Nap Zapper1, No Nap hay Doze Alert. Bất cứ khi nào lái xe có dấu hiệu ngủ gật, máy sẽ phát âm thanh cảnh báo để đánh thức. - Tại Đức : Một sản phẩm có tên gọi Stopsleep. Là một thiết bị đeo trên ngón tay, dựa vào độ dẫn điện của da, phản ánh hoạt động của não để có thể phát hiện tình trạng buồn ngủ của 4
người lái xe. Tuy nhiên, nhà sản xuất chưa bao giờ cung cấp tài liệu kỹ thuật hay tỷ lệ phát hiện buồn ngủ. - Tại Hong Kong : Công ty Holux3 đã phát triển một thiết bị có thể đặt trên dây thắt an toàn và phát hiện tình trạng mệt mỏi buồn ngủ dựa trên phân tích nhịp tim biến thiên . 1.2.2.2. Tại một số hãng xe Một số các hãng xe ô tô lớn cũng đã tích hợp các thiết bị chống ngủ gật an toàn trên các loại xe của họ : - Hãng xe Mercedes-Benz : Thiết bị Attention Assist sử dụng bộ điều khiển động cơ để giám sát các thay đổi về điều khiển vô lăng và hành vi lái xe của người ngồi trên xe, báo động khi cần thiết. - Hãng xe Volvo : Hệ thống Driver Alert Control c ng chính là hệ thống cảnh báo sai làn: giám sát và hỗ trợ lái xe đi đúng làn đường, cảnh báo khi phát hiện dấu hiệu lấn làn. - Hãng Lexus : gắn camera tại bảng táp lô để quan sát gương mặt của lái xe thay vì hành vi của người đó, cảnh báo lái xe khi phát hiện dấu hiệu buồn ngủ. - Hãng Saab : sử dụng hai camera tại buồng lái để quan sát cử động mắt của lái xe, cảnh báo bằng thông điệp chữ tại bảng táp lô và thông điệp âm thanh nếu lái xe vẫn buồn ngủ. - Hãng xe Bosch : hệ thống bám làn đường của Bosch giúp xe chạy ổn định trên một làn đường đã định sẵn nhờ cảm biến gắn trước mui xe. Bên cạnh đó hệ thống còn thu thập dữ liệu góc lệch từ vôlăng, chân ga, hệ thống đèn báo để đưa ra những cảnh báo cho người điều khiển. 1.3. Mục đích của đề tài - Mục đích của đề tài là “ Nghiên cứu và xây dựng thuật toán cảnh báo va chạm sớm và ngủ gật ứng dụng xử lý ảnh qua phần mềm LabVIEW ” - Trong đề tài sử dụng lý thuyết về các hệ thống an toàn, cũng như cấu tạo và cách thức vận hành của hệ thống cảnh báo nguy hiểm. Ngoài ra, còn tiến hành tìm hiểu những nội dung : - Thuật toán xác định khoảng cách từ xe đến vật cản thông qua quá trình quét của 2 camera 5
- Các phương pháp nhận diện khuôn mặt người được hỗ trợ trên nền tảng thư viện mã nguồn mở OpenCV - Các thuật toán nhận diện khuôn mặt và phần mắt sử dụng Haar Cascade Classifiers trong OpenCV. - Thuật toán phát hiện tình trạng người lái xe buồn ngủ dự trên cử chỉ gương mặt. 1.4. Đối tượng và phạm vi của đề tài 1.4.1. Đối tượng - Ngôn ngữ lập trình Python. - Thư viện mã nguồn mở OpenCV. - Giải thuật nhận dạng một đối tượng sử dụng Haar Cascade Classifiers. - Các thuật toán và kỹ thuật phát hiện tình trạng buồn ngủ dựa trên cử chỉ gương mặt. - Thuật toán xác định khoảng cách. 1.4.2. Phạm vi nghiên cứu - Nghiên cứu về các phương pháp đã được đề xuất phát hiện và cảnh báo tình trạng buồn ngủ của người lái xe trên thế giới theo những bài báo và nghiên cứu khoa học. - Chương trình demo sử dụng ngôn ngữ lập Python, thư viện mã nguồn mở OpenCV trên nền tảng hệ điều hành Windows. 1.5. Phương pháp nghiên cứu 1.5.1. Nghiên cứu lý thuyết Đọc, phân tích, tổng hợp tài liệu từ những bài báo và những nghiên cứu khoa học liên quan đã được công bố ở Việt Nam và trên thế giới. 1.5.2. Nghiên cứu thực nghiệm - Nghiên cứu và xây dựng một chương trình mô phỏng lập trình bằng ngôn ngữ lập trình Python và thư viện mã nguồn mở OpenCV. - Phân tích dữ liệu từ các công trình nghiên cứu - Thí nghiệm và đánh giá kết quả thực nghiệm. - Hiệu chỉnh sau thực nghiệm để tìm được các yếu tố cần thiết và quan trọng, nhằm ổn định hệ thống. 6
Chương 2: CƠ SỞ LÝ THUYẾT 2.1. Cơ sở lý thuyết xử lí ảnh xác định đối tượng theo phân loại tầng Xác định đối tượng theo phân loại tầng được dựa trên tính năng Haar là phương pháp xác định đối tượng được đề xuất bởi Paul viola và Michael Jones vào năm 2001[1]. Đây là một cách xác định đối tượng dựa trên Machine Learning dựa trên các hình ảnh được cung cấp dùng để đào tạo cho máy tính, sau đó dùng để xác định đối tượng ở các hình ảnh khác. Hình ảnh được cung cấp bao gồm Positive và Negative picture, Positive picture là các hình ảnh có chứa đối tượng cần được xác định và Negative picture là các hình ảnh không có chưa các đối tượng trong Positive. Ví dụ với việc nhận dạng khuôn mặt. Ban đầu chúng ta sẽ cần số lượng lớn các ảnh positive (hình ảnh có mặt người) và negative (hình ảnh không có mặt người) để đào tạo bộ phân loại. Sau đó chúng ta trích xuất tính năng phân loại sau khi kết thúc quá trình đào tạo. Ban đầu, hình ảnh được cung cấp sẽ bắt đầu được phân tầng, với mỗi tầng là một giá trị độc lập được xác định bằng cách lấy số pixel từ hình chữ nhật màu đen trừ đi tổng pixel của hình chữ nhật màu trắng. Dưới đây là một số dạng phân tầng Hình 2.1: Các kiểu phân tầng cơ bản thường được sử dụng Với cách tính như thế thì số lượng các giá trị độc lập sẽ rất lớn( đối với một hình ảnh có kích thước 24x24 sẽ cho 160000 giá trị). Đối với từng giá trị, chúng ta cần phải xác định kích thước pixel của ô trắng và đen. Để giải quyết điều này, họ giới thiệu các hình ảnh tích phân. Tuy nhiên đối với hình ảnh có kích thước quá lớn, họ làm giảm các tính toán cho một pixel nhất định chỉ liên quan tới bốn pixel. Tuy nhiên với các giá trị của phân tầng được tạo thành, hầu hết chúng không liên quan với nhau. Trở lại với ví dụ với khuôn mặt, với một hình ảnh Positive. Hai hình trên cùng 7
cho thấy, các đặc điểm được chọn dường như tập trung vào đặc tính vùng mắt thường tối hơn vùng mũi và má. Hình thứ hai được lựa chọn dựa vào đặc tính là mắt tối hơn sóng mũi. Tuy nhiên điều này cũng được áp dụng với các vùng khác trên khuôn mặt dẫn đến sự không đồng nhất các đặc điểm dùng để nhận diện khuôn mặt. Hình 2.2: Đặc tính khác nhau giữa vùng mắt và các bộ phận khác trên mặt Để khắc phục điều này. Đối với mỗi tầng, nó sẽ tìm thấy ngưỡng tốt nhất để phân loại khuôn mặt thành vùng positive và negative. Sự phân loại này tất nhiên sẽ có lỗi hoặc phân loại sai. Quá trình phân loại sẽ diễn ra như sau, Mỗi hình ảnh được cho sẽ có một trọng số bằng nhau ngay từ đầu, sau mỗi lần phân loại, trọng số của ảnh bị phân loại sai sẽ tăng lên. Quá trình này được lặp đi lặp lại nhiều lần, tỷ lệ tầng bị lỗi cũng được tính đồng thời. Quá trình này được tiếp tục cho đến khi đặt được độ chính xác hoặc tỷ lệ tầng lỗi đặt được yêu cầu. Thông thường đối với một kích thước hình ảnh 24x24 sẽ cho được khoảng 6000 tầng đáp ứng được yêu cầu.[2] 2.2. Cơ sở lý thuyết thuật toán ước lượng khoảng cách từ hệ camera quan sát đến vật cản 2.2.1. Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật cản Một số phương pháp thường được sử dụng để ước lượng khoảng cách từ hệ camera quan sát đến vật cản như sử dụng sóng siêu âm, sóng laser, sóng hồng ngoại... Trong nghiên cứu này chúng tôi sử dụng mô hình 2 camera được mô tả như hình bên dưới, đồng thời kết hợp các thuật toán xử lý ảnh như hiệu chỉnh hệ camera để ước lượng khoảng cách từ hệ camera đến vật cản. 8
Hình 2.3: Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật cản 2.2.2. Phương pháp hiệu chỉnh camera (Camera calibration) Quá trình chuyển đổi ảnh từ không gian thực lên không gian hình ảnh thường cho kết quả không tối ưu vì ảnh thu được từ 2 camera là không đồng nhất và thường bị méo (distortion). Nếu chúng ta không có thông tin về mối liên hệ giữa 2 camera, khi đó chúng ta muốn tìm một điểm tương ứng trên ảnh bên trái ở ảnh bên phải chúng ta phải quét toàn bộ ảnh bên phải. Tuy nhiên, nếu như ta có được mối liên hệ giữa 2 camera thì việc tìm một điểm ảnh thuộc ảnh bên phải tương ứng với ảnh bên trái có thể được thực hiện bằng cách dò tìm trên một đường cong epipolar duy nhất (R. Hartley and Zisserman, 2000). Ngoài ra, nếu cả 2 camera được đặt song song, đồng trục với nhau trên mặt phẳng và có cùng thông số tiêu cự, độ méo của ảnh,... khi đó đường cong epipolar sẽ được hiệu chỉnh trở thành các đường thẳng. Điều đó đưa đến một hệ quả quan trọng là điểm ảnh thuộc ảnh bên trái sẽ nằm trên cùng một đường thẳng trên ảnh bên phải. Kỹ thuật được dử dụng để thực hiện việc này gọi là hiệu chỉnh camera (camera calibration). Thao tác hiệu chỉnh camera thường được thực hiện bằng cách chụp các mẫu bàn cờ ở nhiều góc độ khác nhau để tính ra các thông số nội của camera. Dựa vào các thông số này chúng ta có thể hiệu chỉnh lại độ méo của các ảnh bằng một giải thuật phù hợp (R. Hartley and 9
Zisserman, 2000), đồng thời hiệu chỉnh độ méo các ảnh để biến các đường cong epipolar thành các đường thẳng. Mô hình 2 camera quan sát và đo khoảng cách được trình bày như ở hình 2.3. Trong đó, hệ 2 camera được đặt đồng trục trên cùng một mặt phẳng cách nhau một khoảng là b. Hệ camera được hiệu chỉnh để có cùng bộ thông số nội cùng tiêu cự f và góc nhìn Ɵ0. Ảnh đối tượng quan sát được T xuất hiện ở hoành độ x1 trên ảnh bên trái và ở hoành độ x2 trên ảnh bên phải. Áp dụng nguyên lý đồng dạng ta có : 𝑏1 𝑥1 𝑏2 𝑥2 =− , = [8] 𝐷 𝑓 𝐷 𝑓 𝐷 Vì b = b1 + b2 nên :𝑏 = (𝑥2 − 𝑥1 ) hay : 𝑓 bf D= x2 − x1 Trong đó : - f là tiêu cự của camera chúng ta tìm thấy sau khi thực hiện Calibration. - b là khoảng cách giữa 2 camera (đơn vị m , hằng số). - x2 là hoành độ của tâm mục tiêu do camera bên phải quan sát được. - x1 là hoành độ của tam mục tiêu do camera bên trái quan sát được. - D là khoảng cách từ camera tới đối tượng cần đo (vật cản). 10
Chương 3: GIỚI THIỆU CHƯƠNG TRÌNH PHÁT HIỆN VÀ CẢNH BÁO NGỦ GẬT VỚI VA CHẠM SỚM 3.1. Giới thiệu chương trình dùng để phát hiện và cảnh báo ngủ gật Ngủ gật là hiện tượng thường xuyên xảy ra khi cơ thể cảm thấy mệt mỏi do thiếu năng lượng hay do áp lực bởi phải làm việc trong một thời gian dài. Đặc biệt, đối với các tài xế lái xe thường phải di chuyển một quãng đường rất dài là điều vô cùng thường xuyên xảy ra. Việc xảy ra ngủ gật khi đang lái xe có thể gây ra ảnh hưởng nghiêm trọng dễ dẫn đến các trường hợp tai nạn do tài xế mất khả năng phán đoán cũng như không kịp thời xử lý tình huống khi các trường hợp đặc biệt xảy ra như: có người băng qua đường, có xe phía trước dừng lại đột ngột, xe mất lái đi lệch khỏi hướng di chuyển,...Chính vì vậy, việc tạo ra một chương trình dùng để phát hiện và cảnh báo ngủ gật là vô cùng cần thiết, đồng thời từ đó có thể góp phần giảm thiểu các tai nạn đáng tiếc xảy ra. Chương trình được nhóm điều chỉnh và phát triển để phù hợp với điều kiện sao cho thông tin được trả về có độ chính xác cao nhất và bảo đảm được chất lượng ảnh khi camera tiến hành thu cũng như lọc và xử lí ảnh trong một khoảng thời gian ngắn. Dưới đây là chương trình phát hiện và cảnh báo ngủ gật đã được hoàn thiện bao gồm: chương trình được viết dưới dạng ngôn ngữ lập trình Python(Code Python) và chương trình trên phần mềm Labview( Code Labview) Hình 3.1: Chương trình phát hiện và cảnh báo ngủ gật được viết bằng ngôn ngữ lập trình Python 11