Tóm tắt Luận án Tiến sĩ Điều khiển và Tự động hóa: Nhận dạng cử chỉ động của bàn tay người sử dụng kết hợp thông tin hình ảnh và độ sâu ứng dụng trong tương tác người thiết bị

BỘ GIÁO DỤC VÀ ĐÀO TẠO<br /> TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI<br /> <br /> ĐOÀN THỊ HƯƠNG GIANG<br /> <br /> NHẬN DẠNG CỬ CHỈ ĐỘNG CỦA BÀN TAY<br /> NGƯỜI SỬ DỤNG KẾT HỢP THÔNG TIN HÌNH<br /> ẢNH VÀ ĐỘ SÂU ỨNG DỤNG TRONG TƯƠNG<br /> TÁC NGƯỜI-THIẾT BỊ<br /> <br /> Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa<br /> Mã số: 62520216<br /> <br /> TÓM TẮT LUẬN ÁN TIẾN SĨ<br /> ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA<br /> <br /> Hà Nội 12−2017<br /> <br /> Công trình được hoàn thành tại:<br /> Trường Đại học Bách khoa Hà Nội<br /> <br /> Người hướng dẫn khoa học:<br /> 1. TS. Vũ Hải<br /> 2. TS. Trần Thị Thanh Hải<br /> <br /> Phản biện 1: PGS.TS Ngô Quốc Tạo<br /> Phản biện 2: PGS.TS Nguyễn Quang Hoan<br /> Phản biện 3: PGS.TS Trần Đức Tân<br /> <br /> Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ<br /> cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:<br /> <br /> Vào hồi..........giờ, ngày.......tháng.......năm.......<br /> <br /> Có thể tìm hiểu luận án tại thư viện:<br /> 1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội<br /> 2. Thư viện Quốc gia Việt Nam<br /> <br /> MỞ ĐẦU<br /> Tính cấp thiết của luận án<br /> Ngày nay, công nghệ hiện đại ngày càng phát triển đã trợ giúp cho con người trong<br /> nhiều lĩnh vực khác nhau. Trong đó, tự động hóa tòa nhà hay không gian sống thông<br /> minh là một trong những xu hướng nghiên cứu xuất phát từ nhu cầu thực tế của cuộc<br /> sống. Các hệ thống tự động hóa có mặt ở nhiều lĩnh vực khác nhau trong cuộc sống<br /> hàng ngày, từ những ứng dụng trợ giúp đơn giản như chuông cửa, điều khiển cửa ra<br /> vào nhà, đến việc tự động hóa các thiết bị điện tử gia dụng phức tạp hơn như hệ thống<br /> đèn chiếu sáng, điều hòa, hệ thống loa đài, ti vi,... Mặc dù các ứng dụng tự động hóa<br /> tòa nhà đã được đề xuất nhiều. Các sản phẩm hiện có mới chỉ chủ yếu tập trung vào<br /> các công nghệ tiết kiệm năng lượng, hoặc điều khiển các thiết bị điện tử trong gia đình<br /> sử dụng các thiết bị phụ trợ hoặc yêu cầu một giao diện để tương tác giữa người dùng<br /> và thiết bị. Nhu cầu tự động hóa tòa nhà với sự tương tác giữa người và thiết bị điện<br /> tử gia dụng một cách tự nhiên là cần thiết song bài toán này còn gặp phải nhiều thách<br /> thức như: Không đòi hỏi thiết bị phụ trợ hay tiếp xúc trực tiếp trong quá trình điều<br /> khiển; hoặc không đòi hỏi giao diện tương tác người-thiết bị. Mục tiêu hướng đến của<br /> đề tài là nghiên cứu và phát triển hệ thống điều khiển thiết bị một cách tự nhiên và<br /> hiệu quả. Tuy nhiên, trong tương tác người dùng - thiết bị; hiệu quả thể hiện thông<br /> qua tính bền vững của hệ thống đối với sự thay đổi của các yếu tố bên ngoài và khả<br /> năng đáp ứng thời gian thực.<br /> Để giải quyết các vấn đề này, hai xu hướng nghiên cứu đã được đề xuất là: Phát<br /> triển công nghệ phụ trợ và phát triển thuật toán. Với xu hướng phát triển công nghệ<br /> phụ trợ bao gồm các giải pháp sử dụng găng tay chuyên dụng, miếng dán đánh dấu<br /> vùng bàn tay, hoặc gắn trực tiếp cảm biến trên tay hoặc cánh tay khiến cho người<br /> dùng phụ thuộc thiết bị, chi phí mua thiết bị đắt đỏ, và điều khiển không tự nhiên.<br /> Cách tiếp cận thứ hai là phát triển thuật toán, nhận dạng cử chỉ tay đã được triển<br /> khai trong nhiều lĩnh vực khác nhau như: thị giác máy tính và rô bốt, điều khiển và<br /> tự động hóa,... Tuy vậy, yêu cầu về tính bền vững và xử lý thời gian thực vẫn còn là<br /> một thách thức khi nghiên cứu hệ thống nhận dạng cử chỉ tay. Luận án này là một sự<br /> dung hòa của hai hướng tiếp cận trên. Trong đó, một tập cử chỉ tay có tính ngữ nghĩa,<br /> gợi nhớ đã được đề xuất nhằm thay thế các thiết bị phụ trợ, cung cấp các đặc trưng<br /> hữu ích cho hệ thống, nên người dùng có thể điều khiển một cách tự nhiên. Bên cạnh<br /> đó, các giải thuật biểu diễn nhận dạng hoạt động cử chỉ đã được nghiên cứu cà thiết<br /> kế với mục tiêu hiệu quả. Các kết quả đánh giá thử nghiệm chỉ ra rằng, phương pháp<br /> tương tác này tự nhiên hơn và không yêu cầu bất cứ liên kết trực tiếp với thiết bị cũng<br /> <br /> 1<br /> <br /> như không yêu cầu phải có giao diện người dùng. Hệ thống đề xuất tối đa khả năng sử<br /> dụng thông qua công cụ nhận dạng cử chỉ tay và cung cấp hệ thống điều khiển nhiều<br /> thiết bị điện gia dụng với đáp ứng thời gian thực.<br /> <br /> Mục tiêu của luận án<br /> ˆ Thiết kế tập cơ sở dữ liệu (CSDL) cử chỉ bàn tay tương ứng với một số các lệnh<br /> <br /> điều khiển căn bản cho các thiết bị điện tử gia dụng. Ngoài ra, CSDL này có các<br /> đặc trưng hỗ trợ hệ thống nhận dạng đạt được hiệu quả nhận dạng cao.<br /> ˆ Nghiên cứu và triển khai giải thuật phân đoạn cử chỉ bàn tay đáp ứng thời gian<br /> <br /> thực, bền vững với sự thay đổi của các yếu tố bên ngoài (ánh sáng,...): Nghiên<br /> cứu và đề xuất phương pháp phát hiện và trích chọn vùng bàn tay từ ảnh màu<br /> và ảnh độ sâu, phân đoạn các cử chỉ tay từ chuỗi liên tiếp.<br /> ˆ Nghiên cứu và đề xuất phương pháp biểu diễn chuỗi cử chỉ động của bàn tay và<br /> <br /> đồng bộ pha giữa các cử chỉ động. Giải pháp hướng tới biểu diễn các cử chỉ tay<br /> theo cả không gian và thời gian, đáp ứng với nhiều người, tại nhiều vị trí, nhiều<br /> hướng khác nhau của người đến cảm biến Kinect.<br /> ˆ Triển khai hệ thống điều khiển thiết bị điện tử gia dụng sử dụng cử chỉ bàn tay.<br /> <br /> Các đóng góp của luận án<br /> ˆ Đóng góp thứ 1: Thiết kế tập CSDL cử chỉ tay tương ứng với các lệnh điều<br /> <br /> khiển cơ bản của các thiết bị điện tử gia dụng. Thu thập CSDL, đánh giá tính<br /> khả thi của tập lệnh, thử nghiệm giải thuật đề xuất và chia sẻ cho cộng đồng<br /> nghiên cứu.<br /> ˆ Đóng góp thứ 2: Đề xuất giải pháp phân đoạn chuỗi cử chỉ tay đáp ứng thời<br /> <br /> gian thực gồm: Giải pháp hiệu quả để phát hiện và trích chọn vùng bàn tay từ<br /> ảnh màu và ảnh độ sâu; Giải pháp phân đoạn cử chỉ từ chuỗi bàn tay liên tiếp.<br /> ˆ Đóng góp thứ 3: Đề xuất một phương pháp biểu diễn mới cử chỉ dựa trên đặc<br /> <br /> trưng không gian dựa trên biểu diễn đa tạp (ISOMAP), kết hợp với các đặc trưng<br /> thời gian (KLT), có tính đến đồng bộ pha giữa các cử chỉ trên không gian biểu<br /> diễn mới được đề xuất.<br /> ˆ Đóng góp thứ 4: Triển khai giải pháp toàn diện để điều khiển một số thiết bị<br /> <br /> điện tử gia dụng dùng cử chỉ động của bàn tay. Hệ thống hoàn chỉnh được cài<br /> đặt trong ngữ cảnh trong nhà tại phòng thông minh của Viện MICA.<br /> <br /> Cấu trúc của luận án<br /> ˆ Mở đầu: Giới thiệu chung tính cấp thiết, mục tiêu của luận án; ngữ cảnh, các<br /> <br /> ràng buộc và thách thức khi giải quyết các bài toán; Các đóng góp của luận án.<br /> 2<br /> <br /> ˆ Chương 1: Tổng quan về điều khiển sử dụng cử chỉ bàn tay và các nghiên cứu<br /> <br /> liên quan đến các vấn đề đặt ra trong luận án.<br /> ˆ Chương 2: Thiết kế và xây dựng cử chỉ bàn tay có tính chất chu kỳ.<br /> ˆ Chương 3: Đề xuất phương pháp phát hiện, phân đoạn cử chỉ bàn tay đáp ứng<br /> <br /> yêu cầu thời gian thực và độ chính xác. Phân đoạn chuỗi cử chỉ tay động từ chuỗi<br /> liên tiếp các hình trạng bàn tay.<br /> ˆ Chương 4: Đề xuất giải pháp biểu diễn các cử chỉ động của bàn tay kết hợp các<br /> <br /> đặc trưng không gian và thời gian, giải pháp đồng bộ pha trong không gian mới.<br /> ˆ Chương 5: Triển khai, đánh giá hệ thống điều khiển sử dụng cử chỉ tay. Thực<br /> <br /> hiện các đánh giá thử nghiệm trên hệ thống hoàn thiện.<br /> ˆ Kết luận và định hướng nghiên cứu tiếp theo của luận án.<br /> <br /> CHƯƠNG 1<br /> <br /> CÁC NGHIÊN CỨU LIÊN QUAN<br /> Chương này trình bày về các nghiên cứu liên quan đến hệ thống điều khiển thiết<br /> bị điện tử gia dụng dùng cử chỉ động của bàn tay và các phương pháp nhận dạng cử<br /> chỉ động của bàn tay với các pha chính gồm: Phát hiện và trích chọn vùng bàn tay<br /> trong ảnh, phân đoạn và nhận dạng các cử chỉ động của bàn tay từ chuỗi ảnh liên tiếp.<br /> <br /> 1.1<br /> <br /> Hệ thống điều khiển thiết bị sử dụng cử chỉ động bàn tay<br /> <br /> Đã có nhiều hệ thống điều khiển thiết bị điện gia dụng sử dụng cử chỉ tay đã được<br /> đề xuất như ti vi thông minh của hãng Sansung, Omron,... Các hệ thống này được chia<br /> thành hai nhóm chính: Độc lập và phụ thuộc giao diện người dùng. Với hệ thống yêu<br /> cầu một giao diện người dùng để thực hiện các lệnh điều khiển sẽ không phù hợp với<br /> hầu hết các thiết bị điện tử gia dụng không có màn hình như đèn, quạt,....<br /> <br /> 1.2<br /> <br /> Phương pháp phát hiện và trích chọn bàn tay trong ảnh<br /> <br /> Phát hiện vùng bàn tay là xác định sự có mặt và vị trí của vùng bàn tay trong<br /> ảnh. Đây là một pha cần thiết được áp dụng nhằm loại bỏ các yếu tố phông nền không<br /> tham gia vào việc mô hình hóa cử chỉ bàn tay. Đã có nhiều nghiên cứu phát hiện và<br /> trích chọn vùng bàn tay dựa trên các đặc trưng như màu sắc, hình dáng, chuyển động<br /> và độ sâu. Trong khi, bàn tay người có nhiều bậc tự do, hình trạng bàn tay luôn thay<br /> đổi và phụ thuộc vào nhiều yếu tố như góc nhìn của máy ảnh, sự khác nhau về độ to<br /> nhỏ, độ phân giải, cường độ chiếu sáng,.... Bởi vậy, độ chính xác và thời gian đáp ứng<br /> <br /> 3<br /> <br />