Luận văn Thạc sĩ: Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen của người dùng

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:52

Thêm vào BST

Báo xấu

59
lượt xem 9
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận văn Thạc sĩ "Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen của người dùng" trình bày các nội dung chính sau: Xây dựng phần mềm quản trị hệ thống, quản trị dữ liệu logistics trong vận tải; Phát triển ứng dụng trên nền.NET Framework kết hợp với các qui trình và nghiệp vụ xử lý để tạo nên hệ thống phần mềm quản lý vận tải; Nghiên cứu cách thức nhận dạng khuôn mặt người bằng camera, xây dựng chương trình xư lý tình huống và xử lý thông tin.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ: Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen của người dùng

i LỜI CAM KẾT Tôi cam đoan đây là công trình nghiên cứu của tôi kết quả trong luận văn Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen của người dùng là trung thực, có trích dẫn rõ ràng, xuất phát từ thực tế. Tác giả luận văn Hoàng Văn Trọng
ii LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành đến thầy TS. Trần Trọng Toàn đã toàn tâm tận tình hướng dẫn và giúp đỡ tôi trong suốt quá trình thực hiện luận văn. Cảm ơn các thầy, các cô Khoa Công Nghệ Thông Tin và Viễn Thông, các Thầy, các Cô của Học Viện Khoa học và Công Nghệ Việt Nam tham gia giảng dạy và truyền đạt kiến thức cho bản thân tôi trong suốt khóa học 2018 – 2020. Cảm ơn công ty vận tải Nguyễn Long đã cho tác giả sử dụng dữ liệu tháng 11/2021 để làm cơ sở thực tiễn nghiên cứu và phát triển phần mềm. Tôi xin chân thành cảm ơn đến Thầy TS. Trương Nguyên Vũ – Viện trưởng Viện Cơ học và Tin học ứng dụng thuộc Viện Hàn Lâm Khoa Học và Công Nghệ Việt Nam đã hỗ trợ tôi trong suốt quá trình học tập tại Viện Cơ học và Tin học ứng dụng, cũng như các nghiên cứu chuyên sâu và giúp tôi thực hiện luận văn này. Chân thành cảm ơn đến gia đình, bạn bè, các Anh chị đồng nghiệp trong Viện Cơ học và Tin học ứng dụng đã giúp đỡ, đóng góp ý kiến, động viên tinh thần cho tôi giúp tôi có thêm nghị lực để hoàn thành luận văn này. Trân trọng cảm ơn! Tác giả luận văn Hoàng Văn Trọng
iii DANH MỤC CÁC BẢNG BIỂU Bảng 1: Bảng thể thông tin cơ sở lưu trữ khuôn mặt.......................................... 20 Bảng 2: Bảng dữ liệu cấu trúc chỉnh sửa thông tin khuôn mặt .......................... 21 Bảng 3: Bảng cấu trúc dữ liệu truy vấn thông tin khuôn mặt............................. 22 Bảng 4: Bảng kết quả trả về sau mỗi lần truy vấn thông tin khuôn mặt ............ 23
iv DANH SÁCH CÁC HÌNH Hình 1: Các điểm nhận dạng ................................................................................ 5 Hình 2: Camera nhận diện khuôn mặt điểm ......................................................... 6 Hình 3: Nhận diện khuôn mặt bằng thiết bị di động............................................. 7 Hình 4: Sơ đồ các rút trích đặc trưng theo Phương pháp LBP. ......................... 12 Hình 5: Phương pháp tiêp cận Local Binary Pattern. ........................................ 13 Hình 6: Thư viện EmguCV của OPenCV ngôn ngữ C# ...................................... 14 Hình 7: Nhận dạng khuôn mặt và quay tròn khuôn mặt ..................................... 15 Hình 8: Giao diện đăng nhập.............................................................................. 26 Hình 9: Minh họa danh mục nhập liệu ............................................................... 26 Hình 10: Nhập lệnh điều xe ................................................................................ 27 Hình 11: Thông tin chuyến hàng chờ điều xe ..................................................... 27 Hình 12: Giao diện lương cho tài xế................................................................... 28 Hình 13: Chi phí xe hàng thanh toán .................................................................. 30 Hình 14: Theo dõi lịch trình tài xế và đơn hàng vận chuyển ............................. 31 Hình 15: Giao diện camera trên Web ................................................................. 36 Hình 16: Sơ đồ nhận dạng khuôn mặt ................................................................ 37 Hình 17: Kết quả nhận diện khuôn mặt và độ sai lệch ....................................... 38 Hình 18: Màn hình nhập dữ liệu tài xế mới ........................................................ 39 Hình 19: Hình ảnh khuôn mặt tài xế ................................................................... 39 Hình 20: Báo cáo lịch sử nhận dạng tài xế......................................................... 40 Hình 21: Thống kê xe và tài xế............................................................................ 40 Hình 22: Báo cáo thống kê tài xế ........................................................................ 42 Hình 23: Báo cáo phân tích thống kế trực quan ................................................. 43
v MỤC LỤC LỜI CAM KẾT ........................................................................................................ i LỜI CẢM ƠN ........................................................................................................ ii DANH MỤC CÁC BẢNG BIỂU ........................................................................... iii DANH SÁCH CÁC HÌNH .................................................................................... iv CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU ........................................................ 1 1.1 Đặt vấn đề nghiên cứu luận văn .................................................................. 1 1.2 Mục tiêu nghiên cứu của luận văn ............................................................... 2 1.3 Đối tượng nghiên cứu và phạm vi nghiên cứu của luận văn ....................... 2 1.4 Phương pháp nghiên cứu luận văn .............................................................. 2 CHƯƠNG 2: HỆ THỐNG GIÁM SÁT VÀ NHẬN DẠNG .................................... 3 2.1 Tổng quan về nhận dạng .............................................................................. 3 2.2 Các kỹ thuật về nhận dạng khuôn mặt ......................................................... 3 2.3 Camera nhận dạng khuôn mặt ..................................................................... 4 CHƯƠNG 3: CÁC THUẬT TOÁN VÀ PHƯƠNG PHÁP NHẬN DẠNG ............. 9 3.1 Phương pháp cân sáng bằng Histogram ..................................................... 9 3.2 Phương pháp phân tích thành phần chính ................................................... 9 3.3 Phương pháp nhận dạng khuôn mặt FisherFace ...................................... 10 3.4 Phương pháp nhận dạng khuôn mặt Local Binary Pattern (LBP) ............ 12 3.5 Phương pháp nhận dạng dùng thư viện EmguCV ..................................... 14 3.6 Phương pháp nhận dạng không gian 3 chiều ............................................ 15 CHƯƠNG 4: PHẦN MỀM VẬN TẢI ĐIỀU XE TÍCH HỢP CAMERA NHẬN DẠNG .................................................................................................................. 16 4.1 Giới thiệu vấn đề bài toán vận tải.............................................................. 16
vi 4.2 Xây dụng kết nối thư viện nhận dạng camera và tích hợp vào phần mềm 19 4.3 Lựa chọn ngôn ngữ xây dựng cơ sở dữ liệu............................................... 24 4.4 Xây dựng giao diện phần mềm vận tải hiển thị thông tin .......................... 26 4.4 Tích hợp nhận dạng bằng Camera ............................................................ 35 CHƯƠNG 5: KẾT LUẬN .................................................................................... 44 TÀI LIỆU THAM KHẢO ..................................................................................... 46
1 CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU 1.1 Đặt vấn đề nghiên cứu luận văn Khoa học công nghệ rất quan trọng trong công cuộc công nghiệp hóa, hiện đại hóa đất nước là sự phát triển khoa học của mỗi quốc gia. Khoa học kỹ thuật, công nghệ phát triển với tốc độ khá nhanh và mang lại những lợi ích cho con người về tất cả mọi phương diện. Phát triển khoa học kỹ thuật công nghệ làm thay đổi tư duy thói quen của nhân loại, ứng dụng khoa học công nghệ vào thực tế đưa ra cảnh báo, đồng thời tránh những rủi ro và sai sót không đáng có. Giảm thiểu chi phí, sức lao động đồng thời tăng năng suất lao động, tăng giá trị cạnh tranh cũng cần có nhiều trang thiết bị, nhiều dây chuyền tự động, ứng dụng công nghệ vào trong quản lý. Xuất phát từ nhu cầu thực tế trên tác giả xây dựng hệ thống phần quản lý vận tải điều xe có tích hợp camera nhận dạng khuôn mặt tự động để đưa ra phân tích, đánh giá tình huống chính xác nhất. Hỗ trợ doanh nghiệp dịch vụ vận tải logistics trong việc giám sát, phân công hành trình vận chuyển theo đơn hàng từ nơi giao nhận hàng hóa đến kho đóng/ rút của khách hàng và trả về nơi hạ công rỗng. Dựa vào số liệu có thể phân tích hình ảnh nhân viên đi ngang qua tầm giám sát của camera về tiến độ và hiệu quả công việc của nhân viên. Khái quát về hệ thống phân tích, hoạt động nguồn dữ liệu có sẵn để làm cơ sở phân tích, lý luận cho luận văn nghiên cứu. Đánh giá thực trạng các hoạt động trong quản trị số liệu trong phần mềm quản lý, phân tích được các nhân tố ảnh hưởng đến hoạt động kinh doanh, hoạt động quản trị nguồn nhân lực, tiến độ làm việc nhân viên để phát huy được những điểm mạnh và khắc phục điểm yếu nhằm tìm ra những cơ hội để có thể tận dụng và né tránh những nguy cơ không phù hợp, đề xuất ra các giải pháp nhằm hoàn thiện bộ máy hoạt động quản trị hệ thống.
2 Tác giả đã chọn “Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen người dùng” để làm đề tài nghiên cứu và thiết kế hệ thống phần mềm quản trị tích hợp nhận dạng này để kiểm chứng giải thuật điều khiển đưa ra. 1.2 Mục tiêu nghiên cứu của luận văn Luận văn “Ứng dụng camera nhận dạng khuôn mặt và phân tích thói quen của người dùng” sử dụng các thuật toán, camera để phân tích, nhận dạng khuôn mặt của các tài xế. 1.3 Đối tượng nghiên cứu và phạm vi nghiên cứu của luận văn Khuôn mặt của tài xế, camera và dữ liệu nhân viên lái xe. 1.4 Phương pháp nghiên cứu luận văn Ứng dụng các thuật toán phương pháp nhận dạng khuôn mặt. Xây dựng phần mềm quản trị hệ thống, quản trị dữ liệu logistics trong vận tải. Phát triển ứng dụng trên nền.NET Framework kết hợp với các qui trình và nghiệp vụ xử lý để tạo nên hệ thống phần mềm quản lý vận tải. Nghiên cứu cách thức nhận dạng khuôn mặt người bằng camera, xây dựng chương trình xư lý tình huống và xử lý thông tin.
3 CHƯƠNG 2: HỆ THỐNG GIÁM SÁT VÀ NHẬN DẠNG 2.1 Tổng quan về nhận dạng Hệ thống nhận dạng khuôn mặt là một ứng dụng máy tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khung hình video từ một nguồn video. Một trong những cách để thực hiện điều này là so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh và một cơ sở dữ liệu về khuôn mặt. Hệ thống này thường được sử dụng trong các hệ thống an ninh và có thể được so sánh với các dạng sinh trắc học khác như các hệ thống nhận dạng vân tay hay tròng mắt. 2.2 Các kỹ thuật về nhận dạng khuôn mặt Các thuật toán nhận dạng khuôn mặt xác định các đặc điểm khuôn mặt bằng cách trích xuất các ranh giới các đặc điểm hình ảnh khuôn mặt của đối tượng. Có thể phân tích các vị trí tương đối, kích thước hay hình dạng của mắt, mũi, gò má, và cằm để tìm kiếm các hình ảnh khác với các tính năng phù hợp. Các thuật toán bình thường lưu giữ các hình ảnh khuôn mặt, nén dữ liệu khuôn mặt, chỉ lưu dữ liệu hình ảnh cho việc nhận dạng khuôn mặt. Lưu dữ ảnh mẫu mang đi so sánh với các dữ liệu khuôn mặt và nhận dạng thành công sớm nhất dựa trên các kỹ thuật phù hợp với mẫu áp dụng cho một tập hợp các đặc điểm khuôn mặt nổi bật, cung cấp một dạng đại diện của khuôn mặt được nén. Các thuật toán nhận dạng có thể được chia thành hai hướng chính, là hình học, đó là nhìn vào tính năng phân biệt, trắc quang (đo sáng) sử dụng phương pháp thống kê hình ảnh thành những giá trị và so sánh các giá trị với các mẫu để loại bỏ chênh lệch.
4 Nhận dạng hình ảnh theo không gian 3 chiều sử dụng các cảm biến 3D để nắm bắt thông tin về hình dạng của khuôn mặt để xác định các tính năng đặc biệt trên bề mặt của một khuôn mặt bao gồm các đường viền của hốc mắt, mũi, cằm và gò má. Nhận dạng khuôn mặt 3D không bị ảnh hưởng bởi những thay đổi trong ánh sáng có thể xác định một khuôn mặt từ một loạt các góc nhìn, trong đó có góc nhìn nghiêng. Các điểm dữ liệu ba chiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng khuôn mặt tăng cường của các bộ cảm biến tinh vi giúp nắm bắt hình ảnh chụp khuôn mặt tốt hơn. Các cảm biến hoạt động bằng cách chiếu ánh sáng có cấu trúc lên gương mặt các bộ cảm biến hình ảnh được đặt lên trên cùng một con chip CMOS-mỗi cảm biến sẽ thu một phần khác nhau của hình ảnh. Nhận dạng thông qua phân tích kết cấu da sử dụng các chi tiết hình ảnh của da, được chụp trong các hình ảnh kỹ thuật số hoặc máy scan tiêu chuẩn. Kỹ thuật này được gọi là phân tích kết cấu da, đưa các đường đặc trưng, hình dạng, và các điểm nốt trên làn da của một người vào một không gian toán học. Các thử nghiệm đã chỉ ra rằng với việc bổ sung các phân tích cấu trúc của da, hiệu quả trong việc nhận ra khuôn mặt có thể tăng 20-25 phần trăm. 2.3 Camera nhận dạng khuôn mặt Công nghệ nhận diện khuôn mặt là một loại phần mềm sinh trắc học ánh xạ các đặc điểm khuôn mặt của một cá nhân về mặt toán học và lưu trữ dữ liệu dưới dạng faceprint (dấu khuôn mặt). Công nghệ sử dụng các thuật toán Deep Learning để so sánh ảnh chụp trực tiếp hoặc hình ảnh kỹ thuật số với faceprint được lưu trữ để xác minh danh tính của một cá nhân. Phần mềm xác định 80 điểm nút trên khuôn mặt người. Các điểm nút được sử dụng để đo các biến trên khuôn mặt người, như chiều dài hoặc chiều rộng của mũi, độ sâu của hốc mắt và hình dạng của xương gò má. Hệ thống hoạt động bằng cách thu thập dữ liệu cho các điểm nút trên hình ảnh kỹ thuật số của khuôn mặt và lưu trữ dữ liệu kết quả dưới dạng faceprint.
5 Faceprint sau đó được sử dụng làm cơ sở để so sánh với dữ liệu được chụp từ các khuôn mặt trong một hình ảnh hoặc video. Mặc dù hệ thống nhận diện khuôn mặt chỉ sử dụng 80 điểm nút, nhưng nó có thể xác định nhanh chóng và chính xác mục tiêu khi điều kiện thuận lợi. Tuy nhiên, nếu khuôn mặt của chủ thể bị che khuất một phần, loại phần mềm này trở nên ít đáng tin cậy hơn. Camera tích hợp nhận diện khuôn mặt là một ứng dụng của công nghệ Facial Recognition (công nghệ nhận diện khuôn mặt). Camera có khả năng so sánh các khuôn mặt nó quan sát được với khuôn mặt cho sẵn trong cơ sở dữ liệu như hình 1 Hình 1: Các điểm nhận dạng
6 Camera nhận dạng gương mặt gồm có 2 thành phần chính: Cảm biến thu nhận hình ảnh là thiết bị thu hình ảnh - video quan sát, cung cấp nguồn dữ liệu cho phần mềm nhận diện làm việc. Phần mềm nhận diện khuôn mặt được tích hợp nhận các dữ liệu hình ảnh - video thu được từ Camera quan sát để thực hiện các xử lý nhận diện khuôn mặt. Xử lý nhận diện khuôn mặt tiên tiến nhất hiện nay là so sánh các đặc điểm trên khuôn mặt thu được với khuôn mặt từ dữ liệu mẫu được cho trước độ tuổi, chiều cao, giới tính, biểu cảm. Ứng dụng camera nhận dạng đang có nhiều ưu thế và một trong những ứng dụng đó là tích hợp hệ thống điểm danh điện tử hệ thống camera giám sát đều được ghi nhận xác định vật thể và nhận dạng khuôn mặt người đã được mã hóa theo một mã code nhất định. Phương pháp điểm danh xác định vật thể trước đây còn rất hạn chế, ngày nay phương pháp được cải tiến rất nhiều từ các nhà phát triển thiết bị. Mô hình điểm danh điện tử rất cần thiết để đưa ra được giá trị chính xác hạn chế nhân lực, tốn thời gian minh họa như Hình 2. Hình 2: Camera nhận diện khuôn mặt điểm
7 Nhận diện gương mặt có rất nhiều tiềm năng phát triển lớn trong tương lai gần và đặc biệt trong thời đại của các thiết bị công nghệ thông tin bùng nổ như hiện nay. Hệ thống camera nhận diện gương mặt sẽ hỗ trợ cho con người trong việc kiểm soát an ninh, kiểm soát lượng người ra vào trong 1 khu vực nhỏ như một tòa nhà mà hoàn toàn có thể là 1 hệ thống an ninh mạng tính hệ thống trong khu vực lớn và cũng có thể kết nối mạng lưới camera trên toàn quốc được kết nối đến 1 cơ sở dữ liệu các gương mặt của các tội phạm đang bị truy nã. Bảo mật thiết bị di động: hiện nay trên thế giới có rất nhiều hãng sản xuất các thiết bị di động tích hợp tính năng nhận diện gương mặt vào thiết bị của họ như là 1 chức năng bảo mật theo hãng Microsoft có tính năng mở khóa bằng khuôn mặt Window Hello và Apple có công nghệ FaceID minh họa như Hình 3. Hình 3: Nhận diện khuôn mặt bằng thiết bị di động Chăm sóc khách hàng nhận diện gương mặt khách hàng nắm được các thói quen tiêu dùng của họ sẽ rất hữu ích trong kinh doanh như dịch vụ bán lẻ, dịch vụ ăn uống, nhà hàng, sân bay, nhà ga, nơi công cộng. Khi có thông tin khách hàng sẽ cải thiện đáng kể chất lượng dịch vụ và tư vấn bán hàng sẽ cải thiện đáng kể khả năng thuyết phục khách hàng ra quyết định mua hàng.
8 Sử dụng công nghệ nhận diện khuôn mặt có thể mang đến một loạt các lợi ích tiềm năng như: Không cần phải trực tiếp tiếp xúc với thiết bị để xác thực chỉ cần dùng sinh trắc học dựa trên tiếp xúc khác như máy quét dấu vân tay, có thể không hoạt động chính xác nếu có vết bẩn trên tay của một người. Cải thiện mức độ bảo mật và xử lý ít hơn so với các kỹ thuật xác thực sinh trắc học khác. Dễ dàng tích hợp với các tính năng bảo mật hiện có. Độ chính xác được cải thiện theo thời gian. Có thể được sử dụng để giúp tự động hóa việc xác thực. Công nghệ nhận diện khuôn mặt đã đang được áp dụng rộng rãi hiện nay và có thể trong tương lai, công nghệ này sẽ càng phát triển hơn nữa, áp dụng hữu ích trong cuộc sống công nghệ hóa hiện đại. Trên thị trường có rất nhiều loại camera đã tích hợp sẵn công nghệ nhận dạng với nhiều mẫu mã khác nhau. Vấn đề sàng lọc tìm hiểu sử dụng camera phù hợp dễ dàng làm chủ và tích hợp vào hệ thống quản lý trong doanh nghiệp thì đòi hỏi chúng ta phải truy vấn, lập trình điều khiển được chúng. Phát triển thêm dựa trên hệ thống web API (phương thức, giao thức kết nối), cấu hình hoặc phân luồng tài nguyên ảnh trong việc lưu, trả dữ liệu hình ảnh. Có thể chia sẽ dữ liệu ảnh và phân vùng lưu trữ bằng các thiết bị ngoài như ổ cứng, hosting, …Sử dụng camera quan sát/thiết bị có cùng chức năng để lấy dữ liệu, phân tích dữ liệu được trích xuất từ hình ảnh, từ mẫu, So sánh dữ liệu thu thập sẽ được với dữ liệu có sẵn trong cơ sở dữ liệu, sử dụng thuật toán GLVQ (Generalized Learning Vector) để so sánh đa diện, kết hợp giữa nhận diện nét mặt cùng với đó là trích xuất vùng mắt, giải thuật được xây dựng dựa trên ứng dụng công nghệ mạng Neuron.
9 CHƯƠNG 3: CÁC THUẬT TOÁN VÀ PHƯƠNG PHÁP NHẬN DẠNG 3.1 Phương pháp cân sáng bằng Histogram Camera thường chịu tác động của ánh sáng thường có hình ảnh quá sáng hoặc quá tối, thường dùng cân bằng histogram để xử lý và cân bằng. Phương pháp histogram tiền xử lý cho chất lượng hình ảnh video. Khi đó, gọi N là hàm biến đổi cần xác định với N(i) với i thuộc trong khoảng [0, 255]. Đếm số lượng pixel cho từng mức sáng histogram là H(i). Tính hàm tích lũy cho từng mức sáng với số pixel, giá trị nhỏ hơn hoặc bằng i. i 𝑇(𝑖) − 𝑚𝑖𝑛(𝑇) Khi đó ta có, T (i) = ∑j=0 𝑁(𝑖) Vậy hàm biến đổi N (i) = ∗ 255 𝑚𝑎𝑥 (𝑇) −𝑚𝑖𝑛(𝑇) 3.2 Phương pháp phân tích thành phần chính Theo tài liệu tham khảo số [12], Phân tích thành phần chính là thuật toán PCA viết tắt của cụm từ Principal Component Analysis là giảm số chiều của tập vector vẫn bảo đảm thông tin quan trọng. Phát hiện khuôn mặt tìm và định vị những vị trí khuôn mặt xuất hiện trong ảnh hoặc trên các frame video. Phân đoạn khuôn mặt sẽ xác định vị trí mắt mũi, miệng, và các thành phần khác của khuôn mặt và chuyển kết quả này cho bước rút trích đặc trưng. Từ những thông tin về các thành phần trên khuôn mặt, chúng ta có thể dễ dàng tính được véc-tơ đặc trưng trong bước rút trích đặc trưng để phân loại khuôn mặt. Tập khuôn mặt riêng từ thư viện ảnh mẫu tính của các khuôn mặt riêng. Tính gần đúng bằng cách chọn M’ khuôn mặt riêng tốt nhất tức là những khuôn mặt riêng có giá trị riêng lớn nhất. Nó miêu tả sự biến thiên lớn nhất trong tập ảnh mẫu. M’ khuôn mặt riêng này tạo ra một không gian con M’ chiều gọi là “không gian khuôn mặt” của tất cả các khuôn mặt có thể tồn tại ta sử dụng thuật toán PCA trong [13],[14].
10 3.3 Phương pháp nhận dạng khuôn mặt FisherFace Phương pháp nhận dạng khuôn mặt phân tích các thành phần cơ bản để tạo ra các ma trận thành các vector được nêu ra bởi Belhumeur. Phương pháp nhận dạng khuôn mặt fisherface đuợc mô tả bởi Belhumeur và cộng sự sử dụng cả phân tích thành phần cơ bản - Principal Components Analysis (PCA) và phân tích phân biệt tuyến tính - Linear Discriminant Analysis (LDA) để tạo ra một ma trận chiếu không gian con, tương tự như được sử dụng trong phương pháp eigenface. Phương pháp fisherface có thể tận dụng lợi thế của thông tin trong các lớp, giảm thiểu sự thay đổi trong mỗi lớp, nhưng vẫn tối đa hóa tách lớp. Giống như quá trình xây dựng eigenface, bước đầu tiên là lấy từng mảng hình ảnh (n * m) và định hình lại thành một ((N * M) x1) vector. Thuật toán cho V là vector ngẫu nhiên với các mẫu được trích ra từ tập n. V = {V1, V2, …, Vn} khi đó với Vi = {v1, v2, ..., vi} Các ma trận phân tán TA và TB TA = ∑ni=1 𝑁𝑖 (𝜇𝑖 − 𝜇)(𝜇𝑖 − 𝜇)𝑇 TB = ∑𝑐𝑖=1(𝑣𝑗 − 𝜇𝑖 )(𝑣𝑗 − 𝜇𝑖 )𝑇 1 µ là tổng bình quân: µ = ∑ni=1 𝑣𝑖 𝑛 1 và 𝜇𝑖 là bình quân lớp i ∈ {1, 2, …c}, 𝜇𝑖 = ∑𝑣𝑗 ∈𝑉𝑖 𝑣𝑖 𝑉𝑖
11 Fisherface tương tự như Eigenface nhưng với những cải tiến trong phân loại tốt hơn về hình ảnh các lớp khác nhau. Có Fisher’s Linear Discriminant (FLD), chúng ta có thể phân loại tập huấn luyện để xử lý với những người khác nhau và biểu hiện trên khuôn mặt khác nhau. Chúng ta có thể có độ chính xác tốt hơn trong biểu hiện trên khuôn mặt hơn phương pháp tiếp cận Eigenface. Bên cạnh đó, Fisherface loại bỏ ba thành phần chính đầu tiên chịu trách nhiệm những thay đổi cường độ ánh sáng, nó là bất biến hơn với cường độ ánh sáng. Fisherface phức tạp hơn Eigenface trong việc tìm kiếm các dự báo về không gian mặt. Tính tỷ lệ giữa các lớp phân tán đến phân tán trong lớp đòi hỏi rất nhiều thời gian xử lý. Bên cạnh đó, do nhu cầu của phân loại tốt hơn, kích thước của chiếu trong không gian khuôn mặt là không nhỏ gọn như Eigenface, kết quả trong lưu trữ khuôn mặt lớn hơn và nhiều thời gian xử lý hơn trong nhận dạng.
12 3.4 Phương pháp nhận dạng khuôn mặt Local Binary Pattern (LBP) Phương pháp Local Binary Pattern phương pháp rút trích đặc trưng chọn lọc tạo thành vector đặc trưng [11]. Các bước tiến hành rút trích đặc trưng theo phương pháp Local Binary Pattern. Quy trình và phương pháp nhận diện khuôn mặt như Hình 4. Bước 1: Duyệt từng điểm ảnh (Pixel) Bước 2: Xét 8 điểm (Pixel) lân cận Bước 3: Tìm mức sáng Pixel lân cận lớn hoặc bằng Pixel tâm điểm Bước 4: Hoàn thành bước 2, 3 đổi giá trị nhị phân và lưu trữ Bước 5: Lặp lại hết toàn Ảnh và các bước 1 đến 4 bằng với kích thước Ảnh đầu vào Hình 4: Sơ đồ các rút trích đặc trưng theo Phương pháp LBP.
13 Khái quát hóa phương pháp Local Binary Pattern và cách tiếp cận gọi P là số pixel trung tâm lân cận, R là bán kính lân cận pixel trung tâm, lấy pixel lân cận theo hình tròn dựa vào tâm điểm, có thể đi theo hướng chiều kim đồng hồ hoặc ngược lại. Cấu trúc điểm ảnh T là phân phối cấm độ xám P +1, với P > 0 điểm ảnh như Hình minh họa (a) với P = 8 và R =1, (b) với P =12 và R = 2.5, (c) với P = 16 và R = 4. Gọi gc cấp độ xám điểm ảnh trung tâm Pc, gp với p ∈ [0,1] lân cận với P điểm xung quanh được minh họa như Hình 5. (a) (b) (c) Hình 5: Phương pháp tiêp cận Local Binary Pattern.
14 3.5 Phương pháp nhận dạng dùng thư viện EmguCV Sử dụng thư viện thư viện xử lý hình ảnh hiển thị hình ảnh quan sát theo thị giác máy tính với thư viện EmguCV. EmguCV là một cross flatform .NET là thư viện xử lý hình ảnh dành riêng cho ngôn ngữ C#, gọi hàm ứng d ụng các chức năng phần mềm mở OpenCV từ ngôn ngữ lập trình .NET. OpenCV (Open Computer Vision) là thư viện mã nguồn mở chuyên dùng để xử lý các vấn đề thị giác máy tính các thuật giải nhận dạng và xử lý hình ảnh, cấu trúc các thư viện minh họa như Hình 6. Hình 6: Thư viện EmguCV của OPenCV ngôn ngữ C#