intTypePromotion=1
ADSENSE

Một phương pháp tra cứu thông tin ảnh khuôn mặt dựa trên Ontology

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:11

6
lượt xem
1
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Trong bài viết này, một phương pháp tra cứu ảnh khuôn mặt được đề xuất theo tiếp cận phân lớp ảnh đầu vào, từ đó truy vấn thông tin và tập ảnh tương tự trên Ontology. Đầu tiên, đặc trưng HOG (Histogram of Oriented Gradient) được trích xuất từ tập dữ liệu ảnh để huấn luyện bộ phân lớp SVM (Support Vector Machine) nhằm nhận dạng hình ảnh;...

Chủ đề:
Lưu

Nội dung Text: Một phương pháp tra cứu thông tin ảnh khuôn mặt dựa trên Ontology

  1. Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), TP. HCM, ngày 23-24/12/2021 DOI: 10.15625/vap.2021.0074 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY Nguyễn Văn Thịnh1, Đặng Văn Thành Nhân2, Đinh Thị Mận1, Nguyễn Thế Hữu1, Văn Thế Thành3 Khoa Công nghệ thông tin, Trường ĐH Công nghiệp thực phẩm TP. Hồ Chí Minh 1 2 Khoa Công nghệ thông tin, Trường ĐH Quốc tế Sài Gòn 3 Phòng Quản lý khoa học và Đào tạo sau đại học, Trường ĐH Công nghiệp thực phẩm TP. Hồ Chí Minh {thinhnv, mandt, huunt, thanhvt}@hufi.edu.vn, dangvanthanhnhan@siu.edu.vn TÓM TẮT: Trong bài báo này, một phương pháp tra cứu ảnh khuôn mặt được đề xuất theo tiếp cận phân lớp ảnh đầu vào, từ đó truy vấn thông tin và tập ảnh tương tự trên Ontology. Đầu tiên, đặc trưng HOG (Histogram of Oriented Gradient) được trích xuất từ tập dữ liệu ảnh để huấn luyện bộ phân lớp SVM (Support Vector Machine) nhằm nhận dạng hình ảnh. Sau đó, một Ontology mô tả tập dữ liệu ảnh được xây dựng bán tự động phục vụ tra cứu thông tin và tìm kiếm tập ảnh tương tự. Cuối cùng, câu truy vấn SPARQL được tạo ra một cách tự động từ phân lớp của ảnh đầu vào để thực hiện truy vấn trên Ontology đã xây dựng. Nhằm minh chứng tính hiệu quả của phương pháp đề xuất, thực nghiệm được xây dựng và đánh giá trên tập dữ liệu ảnh Yale Face và ảnh sinh viên Trường Đại học Công nghiệp thực phẩm TP. Hồ Chí Minh (HUFI). Kết quả thực nghiệm đã cho thấy tính khả thi và hiệu quả của phương pháp, đồng thời dễ dàng mở rộng cho việc tra cứu các thông tin liên quan đến học thuật. Từ khóa: Image retrieval, Ontology, SPARQL, face recognition, SVM, HOG. I. GIỚI THIỆU Hiện nay, vấn đề tra cứu thông tin của học sinh, sinh viên, học viên (người học) nói chung và tại Trường Đại học Công nghiệp thực phẩm TP. Hồ Chí Minh (HUFI) nói riêng thường được thực hiện bằng cách nhập thông tin định danh cá nhân (ví dụ tên truy cập và mật khẩu) qua giao diện ứng dụng sau đó thực hiện tra cứu. Điều này gây mất thời gian thao tác và phải nhớ thông tin định danh, đồng thời còn gặp các vấn đề rắc rối khi quên hoặc để lộ thông tin định danh. Bên cạnh đó, các trường cũng tổ chức cơ sở dữ liệu riêng để phục vụ nhu cầu tra cứu cho người học tại đơn vị mình dẫn đến khó khăn khi dữ liệu tăng trưởng và việc tích hợp hệ thống dùng chung cho nhiều cơ sở đào tạo. Theo thống kê của Bộ Giáo dục và Đào tạo, năm học 2019 - 2020, cả nước có hơn 24 triệu học sinh sinh viên, tăng hơn 500 ngàn so với năm học trước [35]. Vì vậy, nhu cầu tra cứu thông tin thuận tiện, nhanh chóng của người học là rất lớn và cần có giải pháp để giải quyết các vấn đề trên. Bên cạnh đó sự phát triển của ngành khoa học dữ liệu đã làm cho ngành khoa học máy tính cũng thay đổi theo, những ứng dụng mang tính trí tuệ nhân tạo ngày càng thâm nhập nhiều vào các lĩnh vực khác nhau, đặc biệt trong việc xử lý ảnh và thị giác máy tính [32]. Nhiều hệ thống ứng dụng sử dụng đặc trưng sinh trắc học như: vân tay, mống mắt, vân lòng bàn tay, nhận dạng khuôn mặt ngày càng đóng vai trò quan trọng trong các lĩnh vực kinh tế, giáo dục, y tế, an ninh, quốc phòng.... Trong đó, nhận diện khuôn mặt được ứng dụng rộng rãi nhờ những ưu điểm nổi bật như dễ dàng thu thập hình ảnh không tiếp xúc, dễ dàng nhận biết và kiểm chứng một cách trực quan [27, 37]. Nhiều hệ thống nhận dạng khuôn mặt đã được công bố và ứng dụng trong nhiều lĩnh vực khác nhau như: nhận dạng khuôn mặt trực tiếp và ứng dụng trong mở cửa tự động [28], nhận dạng khuôn mặt sử dụng phương pháp tìm kiếm ảnh tương tự theo nội dung áp dụng cho các hệ thống bảo mật thông minh [13], giải pháp điểm danh sinh viên bằng nhận dạng gương mặt với đặc trưng Haar-like kết hợp thuật toán rừng ngẫu nhiên [22],... Khi đã định danh được một đối tượng qua hình ảnh, nhu cầu cần thiết khác là tra cứu các thông tin liên quan đến đối tượng đó. Một tiếp cận được nhiều nhóm nghiên cứu quan tâm trong những năm gần đây là tổ chức và tra cứu thông tin dựa trên Ontology như: ứng dụng Ontology trong tìm kiếm thông tin trên Web [39], hệ thống truy vấn thông tin đa phương tiện dựa trên khái niệm ứng dụng trong tìm kiếm di sản văn hóa [12], hệ thống tra cứu thông tin nông nghiệp thông minh dựa trên Ontology [29],… Vấn đề tra cứu thông tin liên quan đến Trường Đại học nói chung và sinh viên nói riêng cũng có nhiều công trình đã công bố [9, 11, 23, 36]. Tuy nhiên, tất cả các công trình đều xử lý thông tin dạng văn bản (text) và tra cứu bằng ngôn ngữ SPARQL dẫn đến không thuận tiện cho người dùng. Do đó, việc cần có một hệ thống tra cứu thông tin qua hình ảnh là yêu cầu cấp thiết và có ứng dụng rộng rãi trong thực tế. Thách thức đầu tiên của hệ truy vấn thông tin qua ảnh hình ảnh là việc trích xuất đặc trưng và nhận dạng khuôn mặt chính xác [14]; thách thức thứ hai là đó là cấu trúc lưu trữ thông tin hình ảnh để tra cứu nhanh và dễ mở rộng khi dữ liệu ảnh tăng trưởng [16, 31]. Trong bài báo này, một phương pháp tra cứu thông tin qua ảnh khuôn mặt dựa trên phương pháp phân lớp và Ontology được xây dựng nhằm truy vấn nhanh và đảm bảo độ chính xác, đồng thời dễ dàng mở rộng cho bài toán dữ liệu lớn. Đóng góp của bài báo gồm: (1) Xây dựng Ontology mô tả tập dữ liệu ảnh dựa trên ngôn ngữ bộ ba RDF/XML; (2) đề xuất phương pháp rút trích đặc trưng ảnh khuôn mặt và huấn luyện bộ phân lớp SVM cho bài toán nhận diện khuôn mặt; (3) đề xuất mô hình tra cứu thông tin qua ảnh khuôn mặt dựa trên các cơ sở lý thuyết và thuật toán đã xây dựng; (4) xây dựng ứng dụng thực nghiệm về mô hình tra cứu thông tin ảnh khuôn mặt trên bộ dữ liệu Yale Face và sinh viên HUFI.
  2. Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 317 Phần còn lại của bài báo gồm: Phần II đề cập đến các công trình nghiên cứu liên quan nhằm phân tích tính khả thi của phương pháp đề xuất; Phần III trình bày phương pháp nhận dạng ảnh khuôn mặt nhằm phân lớp ảnh đầu vào, thuật toán trích xuất đặt trưng ảnh cũng được trình bày trong phần này; Phần IV giới thiệu phương pháp xây dựng Ontology phục vụ tra cứu nhanh thông tin và tập ảnh tương tự; mô hình tra cứu thông tin qua ảnh khuôn mặt và thực nghiệm được trình bày trong Phần V; kết luận và hướng phát triển được trình bày trong Phần VI. II. CÁC CÔNG TRÌNH LIÊN QUAN Có nhiều kỹ thuật nhận dạng khuôn mặt đã được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như nhận dạng ảnh khuôn mặt dựa trên mạng nơ-ron tích chập (Convolutional Neural Network - CNN) [8], nhận dạng khuôn mặt sử dụng kỹ thuật Kernel Discriminant Analysis (KDA), k-NN và SVM [3], phát hiện và nhận dạng khuôn mặt sử dụng thuật toán rừng ngẫu nhiên kết hợp với đặc trưng LBP và HOG [17], nhận dạng khuôn mặt sử dụng phép biến đổi cosin rời rạc [33],… Bên cạnh đó, vấn đề tra cứu ngữ nghĩa hình ảnh trên Ontology cũng có nhiều phương pháp khác nhau được nhiều nhóm nghiên cứu công bố như: tìm kiếm ảnh theo tiếp cận ngữ nghĩa dựa trên Ontology [18], tìm kiếm hình ảnh dựa trên từ vựng thị giác và Ontology [10], mô hình tìm kiếm thông tin Trường Đại học dựa trên Ontology [30],... Hafiz Ahamed và cộng sự (2018) đã đề xuất một phương pháp nhận dạng khuôn mặt thời gian thực kết hợp giữa Histogram of Oriented Gradient (HOG) và Convolutional Neural Network (CNN). HOG được sử dụng để phát hiện khuôn mặt trong ảnh chụp từ webcam hoặc thiết bị mobile, vấn đề về tư thế và hình chiếu của khuôn mặt dẫn đến cùng một người nhưng chụp với tư thế khác nhau có thể làm cho máy tính phát hiện là 2 khuôn mặt của 2 người khác nhau được khắc phục bằng cách sử dụng 68 điểm mốc trên khuôn mặt (Face lanmark) để điều chỉnh khuôn mặt về chính diện. Sau đó, mạng nơron tích chập được huấn luyện để nhận dạng khuôn mặt dựa trên các ảnh khuôn mặt đã trích xuất [1]. Phương pháp này có hạn chế là việc dùng kỹ thuật face landmark để phát hiện các điểm mốc trên khuôn mặt có thể dẫn đến không chính xác khi ảnh được thực hiện các phép biến đổi hình học. Mặc khác, việc sử dụng mạng học sâu CNN để phân lớp tốn nhiều chí phí huấn luyện và tập ảnh huấn luyện cũng đòi hỏi đủ lớn để có thể bao quát các trường hợp. Mourad MOUSSA và cộng sự (2018) đã phát triển một hệ thống nhận dạng khuôn mặt bằng cách sử dụng giải thuật di truyền kết hợp với phép biến đổi cosin rời rạc (Discrete Cosine Transform - DCT) và kỹ thuật phân tích thành phần chính (Principal Component Analysis - PCA) để chọn lọc và giảm chiều đặc trưng nhằm tăng tốc độ và độ chính xác. Thực nghiệm được đánh giá trên các tập dữ liệu ảnh ORL, UMIST và Yale Face để chứng minh tính hiệu quả của phương pháp [20]. Hệ thống này có hạn chế là là việc trích xuất đặc trưng chưa xét đến đặc thù ảnh khuôn mặt và hệ thống chỉ dừng lại ở mức phân lớp cho hình ảnh đầu vào, chưa hỗ trợ tra cứu thông tin liên quan đến các hình ảnh này. Saeed Najafi Khanbebin và Vahid Mehrdad (2020) đã giới thiệu một hướng tiếp cận cho bài toán nhận dạng khuôn mặt bằng cách dựa trên các mẫu cục bộ để trích xuất các đặc trưng có tính phân biệt cao hơn nhằm tăng độ chính xác cho quá trình phân lớp. Kết quả thực nghiệm của phương pháp trên các tập dữ liệu ORL, Yale face và Faces94 có độ chính xác lần lượt là 95,95%, 94,09% và 98,01% [21]. Công trình này cũng có hạn chế là chưa hỗ trợ tra cứu thông tin liên quan đến hình ảnh đầu vào. Hơn nữa, việc chỉ trích xuất các mẫu đặc trưng cục bộ mà không xét đặc trưng toàn cục sẽ dẫn đến sai sót trong một số trường hợp. Yanti M. K. và cộng sự (2017) đã đề xuất mô hình tìm kiếm ảnh theo tiếp cận ngữ nghĩa với Ontology mờ đa phương thức và Dbpedia nhằm nâng cao hiệu quả [19]. Ontology mờ được xây dựng bằng cách sử dụng các khái niệm mô tả các đối tượng trong ảnh. Các khái niệm và hình ảnh được liên kết với nhau bằng các giá trị mờ trong Ontology. Tuy nhiên, phương pháp này chỉ tìm kiếm trên từ khóa, không hỗ trợ tìm kiếm từ ảnh, do đó chưa liên kết được ngữ nghĩa với đặc trưng cấp thấp. Đồng thời, Ontology chỉ xây dựng trên tập ảnh nhỏ với 5 phân lớp ngữ nghĩa, chưa đại diện cho các tập ảnh lớn và đa dạng trong thực tế. MA Ullah và cộng sự (2019) đã đề xuất một khung chung cho phát triển một Ontology và minh họa cụ thể bằng việc xây dựng Ontology, Trường Đại học sử dụng phần mềm Protégé phiên bản 4.3. Ontoloy mô tả thông tin về việc quản lý học tập và quản lý trong Trường Đại học, đồng thời cài đặt cơ chế lập luận qua logic mô tả dựa trên Fact++ và Hermic 1.3.8 [36]. Kết quả của phương pháp này còn hạn chế là Ontology phải tạo bằng tay trên Protégé dẫn đến tốn nhiều công sức và bị giới hạn của phần mềm. Bên cạnh đó, việc truy vấn thông tin cũng phải thực hiện bằng ngôn ngữ SPARQL trên Protégé nên khó triển khai ứng dụng thực tế. Trên cơ sở kế thừa từ các công trình đã có và khắc phục những hạn chế của các phương pháp liên quan đã công bố, đồng thời tạo ra một hệ tra cứu thông tin qua ảnh khuôn mặt, chúng tôi đề xuất một mô hình tra cứu ảnh dựa trên Ontology bằng cách phân lớp đặc trưng ảnh khuôn mặt trở thành nhãn lớp ngữ nghĩa bằng kỹ thuật SVM và chuyển đổi thành câu lệnh truy vấn SPARQL để từ đó thực hiện truy vấn trên một Ontology của tập ảnh đã xây dựng. III. PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT Hình 1. Mô hình nhận dạng ảnh khuôn mặt
  3. 318 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY Một hệ thống nhận dạng khuôn mặt bao gồm 3 thành phần chính: (1) Phát hiện khuôn mặt (face detection), (2) rút trích đặc trưng (feature extraction) và (3) nhận diện khuôn mặt (face recognition) [14]. Trong bài báo này, một phương pháp nhận khuôn mặt được đề xuất như Hình 1 gồm các bước như sau: (1) Phát hiện khuôn mặt và các đối tượng trên khuôn mặt bằng mô hình Haar Cascade sử dụng đặc trưng Haar- like; (2) Trích xuất các đối tượng trên khuôn mặt bằng phương pháp Graph cut; (3) Rút trích đặc trưng HOG cho ảnh; (4) Huấn luyện thuật toán SVM để phân lớp véctơ đặc trưng của ảnh đầu vào. A. Phát hiện khuôn mặt và trích xuất các đối tượng Phát hiện khuôn mặt là việc xác định vị trí và kích thước khuôn mặt của một người trong ảnh số [15]. Các phương pháp phát hiện khuôn mặt có thể gom thành 2 loại chính, đó là phương pháp truyền thống dựa trên việc trích xuất đặc trưng thủ công (hand-crafted features) và phương pháp dựa trên học sâu (deep learning) [40]. Trong đó, các phương pháp thuộc loại truyền thống như: Haar-like, SURF, HoG, LBP,...; các phương pháp dựa trên học sâu tiêu biểu gồm: CNN, faster R-CNN, YOLO, UnitBox,.. Kết quả cho thấy các phương pháp dựa trên học sâu hiệu quả khi nhận dạng các ảnh khuôn mặt có sự khác biệt lớn, tuy nhiên các thuật toán này cần tập dữ liệu ảnh đủ lớn để huấn luyện và tốn kém nhiều chi phí huấn luyện. Mặt khác, các phương pháp truyền thống lại có ưu điểm là tốc độ thực thi nhanh, độ chính xác khá cao trong trường hợp dữ liệu tương đối chuẩn [40]. Trong bài báo này, mô hình Haar Cascade sử dụng đặc trưng Haar-like [24, 26] được sử dụng để lấy vùng khuôn mặt trong ảnh và các đối tượng trên khuôn mặt như: mắt, mũi, miệng, chân mày,... nhằm biểu diễn tốt hơn nội dung của hình ảnh. Cụ thể, mỗi ảnh đầu sẽ dùng mô hình Haar Cascade để định vị các đối tượng trên khuôn mặt và trích xuất ra 10 ảnh đối tượng bằng phương pháp Grap-cut [25] gồm: khuôn mặt, khuôn mặt và đầu, mắt trái, mắt phải, hai mắt, mũi, miệng, chân mày trái, chân mày phải và đôi chân mày. Các ảnh này làm đầu vào cho thuật toán rút trích đặc trưng để làm cơ sở cho việc xây dựng mô hình nhận dạng ảnh khuôn mặt. Hình 2. Ví dụ một ảnh đầu vào và ảnh phát hiện khuôn mặt cùng các đối tượng trên khuôn mặt B. Trích xuất đặc trưng HOG từ ảnh khuôn mặt Từ tập đối tượng đã trích xuất của với mỗi hình ảnh như trên, thuật toán HOG [4] được sử dụng để rút trích đặc trưng của từng ảnh đối tượng, sau đó kết hợp lại thành một véctơ mô tả cho ảnh ban đầu. Đầu vào của thuật toán là ảnh đa mức xám (gray scale), do đó bước xử lý đầu tiên là chuyển đổi ảnh trong không gian RGB (ảnh màu) sang ảnh đa mức xám, kích thước ảnh được chuẩn hóa về 256x256 và chia thành các khối (block) kích thước 128x128. Bước tiếp theo sẽ tính toán sự biến thiên màu sắc tại tất cả các pixel của ảnh theo chiều X và chiều Y của ảnh F với hàm kernel 𝑘𝑥 và 𝑘𝑦 như công thức (1), thu được 2 ảnh 𝐹𝑥 (đạo hàm theo trục x) và 𝐹𝑦 (đạo hàm theo trục y) có kích thước bằng với kích thước ảnh gray-scale như công thức (2). Giá trị biên độ (G) và hướng của gradient (θ) được tính theo công thức (3). −1 𝑘𝑥 = [−1 0 1] 𝑘𝑦 = � 0 � (1) 1 𝐹𝑥 = 𝐹 ∗ 𝑘𝑥 ; 𝐹𝑦 = 𝐹 ∗ 𝑘𝑦 (2) 𝐹 |𝐺| = �𝐹𝑥2 + 𝐹𝑦2 𝑣à 𝜃 = 𝑡𝑎𝑛−1 � 𝑦 � (3) 𝐹 𝑥 Việc lưu trữ tất cả các giá trị hướng (orientation) của từng điểm ảnh (x, y) tốn nhiều chi phí và không mang lại nhiều ý nghĩa, do vậy không gian hướng (góc) sẽ được chia thành các bin để giảm chi phí tính toán nhằm tăng tốc độ. Với không gian hướng biến thiên trong miền từ 0o đến 180o được chia thành 9 bin như sau: [0o - 20o], [21o - 40o], [41o - 60o], [61o - 80o], [81o - 100o], [101o - 120o], [121o - 140o], [141o - 160o], [161o - 180o]. Ứng với mỗi bin trên, tiến hành thống kê biên độ (magnitude) tại từng vị trí. Bước tiếp theo tiến hành tính toán véctơ đặc trưng cho từng cell (mỗi cell được chọn với kích thước 32×32 pixel hoặc 64×64 pixel) và sau đó ghép lại tạo thành véctơ đặc trưng biểu diễn cho một khối (block). Tập lược đồ histogram của các block tạo thành bộ mô tả đặc trưng HOG cho ảnh khuôn mặt.
  4. Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 319 C. Huấn luyện bộ phân lớp SVM Bước rút trích đặc trưng HOG từ tập ảnh khuôn mặt tạo ra tập dữ liệu có 𝑚 dòng, mỗi dòng có 𝑁 chiều và nhãn (lớp) của ảnh. Đặc trưng này làm đầu vào để huấn luyện nhằm tạo ra mô mình phân lớp để nhận dạng ảnh đầu vào. Support Vector Machine (SVM) được chọn để thực nghiệm vì đây là một phương pháp phân lớp hiệu quả giúp phân loại dữ liệu có thể phân tách tuyến tính hoặc không tuyến tính [4, 6]. Nhiều công trình đã ứng dụng thành công SVM trong nhiều lĩnh vực như phân loại văn bản, nhận dạng ảnh, sinh-tin học, nhận dạng chữ viết tay, nhận dạng khuôn mặt... [4, 6]. Xét ví dụ phân lớp nhị phân với tập dữ liệu như sau: 𝒟 = {(𝒙𝑖 , 𝑦𝑖 ) | 𝒙𝑖 ∈ ℛ 𝑛 , 𝑦𝑖 ∈ {−1, 1}}𝑚 𝑖=1 , với siêu phẳng < wx > +b = 0 Thuật toán SVM [6, 7] sẽ tìm ra một siêu phẳng tối ưu được xác định bởi véctơ pháp tuyến w và độ lệch của siêu phẳng với góc tọa độ b để tách dữ liệu thành 2 lớp. Để giải quyết vấn đề phân lớp đa lớp (số lớp từ 3 trở lên), thuật toán SVM thường được mở rộng theo 2 phương pháp đó là one-vs-all và one-vs-one [5]. Trong thực nghiệm của bài báo này, thuật toán SVM được huấn luyện để phân lớp thành 𝑛 lớp (𝑛 > 2), sử dụng 2 kernel RBF, K�𝑥𝑖 , 𝑥𝑗 � = 𝑒 −𝛾(𝑥𝑖 −𝑥𝑗 ) ; hệ số C bằng 250 và Gamma bằng 0.0001; số lần lặp tối đa là 1000 và hệ số epsilon bằng 0.0001. Tập dữ liệu được chia thành 2 phần, 80% dành cho huấn luyện và 20% dành cho kiểm thử mô hình. IV. PHƯƠNG PHÁP XÂY DỰNG ONTOLOGY CHO DỮ LIỆU ẢNH A. Tạo Ontology Hình 3. Mô hình xây dựng Ontology mô tả dữ liệu ảnh sinh viên Để trích xuất thông tin và tập ảnh tương tự của ảnh đầu vào, một Ontology miền mô tả ngữ nghĩa của tập dữ liệu ảnh được tạo ra. Trong bài báo này, Ontology miền được xây dựng sử dụng ngôn ngữ bộ ba RDF/XML dựa trên ngữ nghĩa trong tập dữ liệu ảnh sinh viên HUFI, mỗi ảnh được thiết kế là một cá thể thuộc về một lớp sinh viên và được liên kết đến thông tin mô tả tương ứng. Mô hình xây dựng Ontology mô tả dữ liệu ảnh sinh viên HUFI được đề xuất như trong Hình 3 gồm các bước như sau: − Bước 1. (1), (2) Tạo phân cấp lớp từ thông tin tập dữ liệu sinh viên HUFI, cụ thể là Khoa-Ngành-Khóa-Sinh viên như Hình 4. Hình 4. Cấu trúc phân cấp lớp trong Ontology − Bước 2. (3), (4) Trích xuất thông tin mô tả lớp và thông tin literals từ tập dữ liệu ảnh và WWW. − Bước 3. (5) Thêm các thuộc tính, thông tin mô tả lớp và các cá thể vào Ontology.
  5. 320 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY − Bước 4. (6) Các cá thể ảnh trong tập dữ liệu ảnh được phân lớp tự động dựa trên bộ phân lớp SVM đã huấn luyện và thêm vào Ontology một cách tự động. Các thuật toán để xây dựng Ontology bao gồm tạo các lớp, phân cấp lớp và các cá thể được mô tả như sau: Thuật toán 1. Tạo lớp cho Ontology (CreateOC) Đầu vào: C = {𝑐𝑖 , i = 1. . N} Đầu ra: Ontology. Function (𝐶) Begin For 𝑐𝑖 ∈ 𝐶 do 𝑆𝑢𝑏 = "sbir:" + 𝑐𝑖 ; 𝑃𝑟𝑒 = "rdf:type"; 𝑂𝑏𝑗 = "owl:" + 𝑐𝑖 ; 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ; End For Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦; End. Độ phức tạp của Thuật toán 1 là 𝑂(𝑁), với 𝑁 là số lớp của Ontology. Thuật toán 2. Tạo phân cấp lớp cho Ontology (CreateOCH) Đầu vào: superClass, SubClass, Ontology. Đầu ra: Ontology. Function (𝐶) Begin For 𝑐𝑖 ∈ 𝐶 do 𝑆𝑢𝑏 = "sbir:" + 𝑐𝑖 ; 𝑃𝑟𝑒 = "rdf:subClassOf"; 𝑂𝑏𝑗 = "owl:" + 𝑠𝑢𝑝𝑒𝑟𝐶𝑙𝑎𝑠𝑠; 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ; End For Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦; End. Độ phức tạp của Thuật toán 2 là 𝑂(𝑀 × 𝑁), với 𝑀 là số lớp và 𝑁 là số lớp con tương ứng của 𝑀 trong Ontology. Thuật toán 3. Tạo các cá thể cho Ontology (CreateOCI) Đầu vào: C = {𝑐𝑖 , i = 1. . N}, Individual, Ontology. Đầu ra: Ontology. Function (𝐶) Begin For 𝑐𝑖 ∈ 𝐶 do 𝑆𝑢𝑏 = "sbir:" + 𝐼𝑛𝑑𝑖𝑣𝑖𝑑𝑢𝑎𝑙. 𝐸𝑙𝑒𝑚𝑒𝑛𝑡𝐴𝑡(𝑖) ; 𝑃𝑟𝑒 = "rdf:type"; 𝑂𝑏𝑗 = "owl:NamedIndividual"; 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 = 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦 ∪ 𝑇𝑟𝑖𝑝𝑙𝑒(𝑆𝑢𝑏, 𝑃𝑟𝑒, 𝑂𝑏𝑗) ; End For Return 𝑂𝑛𝑡𝑜𝑙𝑜𝑔𝑦; End. Độ phức tạp của Thuật toán 3 là 𝑂(𝑁), với 𝑁 là số cá thể trong Ontology. Thuật toán 1 thực hiện tạo các class có trong Ontology gồm danh sách các khoa, ngành, khóa học và sinh viên. Tiếp theo, mối quan hệ phân cấp giữa các class và subclass được tạo ra bằng Thuật toán 2. Tiếp đó đó, các cá thể ảnh sau khi phân lớp tự động bằng bộ phân lớp SVM sẽ được thêm vào Ontology một cách tự động bởi Thuật toán 3. Hình 5 mô tả cách hiển thị mô hình Ontology trực quan trong Protégé.
  6. Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 321 B. Truy vấn trên Ontology Dựa trên nhãn lớp của ảnh đầu vào được nhận dạng từ bộ phân lớp SVM, câu truy vấn SPARQL được tạo ra để thực hiện truy vấn trên Ontology nhằm tìm ra tập ảnh tương tự và ngữ nghĩa hình ảnh. Thuật toán tạo câu truy vấn SPARQL để truy vấn thông tin sinh viên và tập ảnh tương tự trên Ontology được mô tả như sau: Thuật toán 4. Truy vấn thông tin sinh viên (CSPARQLAno) Đầu vào: Class label. Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿. Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙) Begin 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = ""; 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?FileAnotation + WHERE { sbir: classLabel sbir: anoFilename ? FileAnotation .}”; Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿; End. Thuật toán 5. Tìm kiếm tập ảnh tương tự (CSPARQLSI ) Đầu vào: Class label. Đầu ra: Câu truy vấn 𝑆𝑃𝑅𝐴𝑄𝐿. Function CSPARQL(𝑐𝑙𝑎𝑠𝑠𝐿𝑎𝑏𝑒𝑙) Begin 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 = ""; 𝑠𝑆𝑃𝐴𝑅𝑄𝐿 += “SELECT DISTINCT ?ImgName + WHERE { {? IMG sbir: imgName? ImgName . ? IMG sbir: opClassLabel sbir: inClassLable . sbir: inClassLabel rdf: type owl: NamedIndividual . sbir: inClassLabel rdf: type sbir: ClassLabel . } }”; Return 𝑠𝑆𝑃𝐴𝑅𝑄𝐿; End. Hình 5. Ontology của tập dữ liệu sinh viên HUFI trên Protégé
  7. 322 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY V. THỰC NGHIỆM VÀ ĐÁNH GIÁ A. Mô hình thực nghiệm Hình 6. Mô hình hệ thống tra cứu thông tin qua ảnh khuôn mặt Mô hình tổng quát của hệ thống tra cứu thông tin qua ảnh khuôn mặt gồm 2 pha như mô tả trong Hình 6. Pha huấn luyện nhằm huấn luyện bộ phân lớp SVM và tạo Ontology mô tả cho tập dữ liệu ảnh, pha truy vấn thực hiện tra cứu thông tin và tập ảnh tương tự cho mỗi ảnh đầu vào. Pha huấn luyện: Bước 1: Phát hiện khuôn mặt và trích xuất đặc trưng các đối tượng trên khuôn mặt bằng phương pháp HOG cho tập dữ liệu ảnh; Bước 2: Huấn luyện thuật toán SVM để tạo ra bộ phân lớp SVM nhằm phân lớp tự động cho các ảnh đầu vào; Bước 3: Xây dựng Ontology mô tả cho tập dữ liệu ảnh. Trong đó, hình ảnh và thông tin mô tả được phân lớp và trích xuất tự động, đồng thời được thêm vào Ontology một cách tự động. Pha truy vấn: Bước 1: Từ ảnh truy vấn, dò tìm khuôn mặt và rút trích đặc trưng các đối tượng trên khuôn mặt của ảnh này; Bước 2: Sử dụng bộ phân lớp SVM đã huấn luyện để phân lớp véctơ đặc trưng của ảnh đầu vào; Bước 3: Kết xuất thông tin mô tả và tập ảnh tương tự của ảnh truy vấn. B. Dữ liệu thực nghiệm Để đánh giá hiệu quả của mô hình nhận dạng, chúng tôi sử dụng tập dữ liệu ảnh chuẩn Yale Face [38], đã được cộng đồng nghiên cứu nhận dạng khuôn mặt trên thế giới sử dụng. Tập dữ liệu ảnh này bao gồm 165 ảnh đa mức xám của 15 người với giới tính, độ tuổi khác nhau ở định dạng .jpg. Có 11 ảnh ứng với mỗi người, mỗi hình ảnh có biểu hiện khuôn mặt hoặc điều kiện ánh sáng khác nhau như: hạnh phúc, buồn, ngạc nhiên, nháy mắt, ánh sáng trung tâm, ánh sáng phía bên trái, có đeo kính,… Kích thước của ảnh là 243×320 pixels với 256 mức xám cho mỗi pixel. Bên cạnh đó, để xây dựng hệ tra cứu thông tin sinh viên HUFI qua hình ảnh, chúng tôi xây dựng tập dữ liệu ảnh sinh viên HUFI gồm 2100 ảnh màu của 110 sinh viên, mỗi sinh viên từ 10 đến 20 ảnh, mỗi ảnh được chụp dưới điều kiện ánh sáng và biểu hiện khuôn mặt khác nhau như hình. Các ảnh được chuẩn hóa về kích thước 512×512 trước khi thực hiện dò tìm khuôn mặt và trích xuất đặc trưng. C. Kết quả thực nghiệm Thực nghiệm được thực thi trên máy PC CPU Intel Core i5-7200U CPU @ 2.50GHz, 12.0GB RAM, hệ điều hành Windows 10 Pro 64 bit, sử dụng ngôn ngữ lập trình C# và .NET Framework 4.8; biểu đồ đường cong Precison- Recall và ROC được vẽ bằng Matlab. Kết quả thực nghiệm được đánh giá trên bộ dữ liệu Yale Face và sinh viên HUFI như mô tả ở trên. Để đánh giá hiệu quả của phương pháp tìm nhận dạng, phần thực nghiệm được đánh giá các giá trị gồm: độ chính xác (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛), độ phủ (𝑟𝑒𝑐𝑎𝑙𝑙) và độ đo dung hòa 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒. Công thức tính các giá trị này cho bài toán phân lớp [34] như công thức (4) và bài toán tìm kiếm ảnh tương tự [2] như công thức (5). ∑𝐶 𝑐=1 𝑇𝑃 ∑𝐶 𝑐=1 𝑇𝑃 (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛×𝑟𝑒𝑐𝑎𝑙𝑙) 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = ∑𝐶 𝑟𝑒𝑐𝑎𝑙𝑙 = ∑𝐶 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 = 2 × (4) 𝑐=1(𝑇𝑃+𝐹𝑃) 𝑐=1(𝑇𝑃+𝐹𝑁) (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙) Trong đó, TP (True Positive): Số ảnh thuộc lớp positive được phân loại đúng là positive; TN (True Negative): Số ảnh thuộc lớp negative được phân loại đúng là negative; FP (False Posivite): Số ảnh thuộc lớp negative bị phân loại nhầm là positive; FN (False Negative): Số ảnh thuộc lớp positive bị phân loại nhầm là negative; C là số lớp của tập dữ liệu ảnh. Các giá trị độ chính xác, độ phủ và độ do dung hòa được tính theo tỷ lệ %.
  8. Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 323 |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩ 𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = |𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠 ∩𝑟𝑒𝑡𝑟𝑖𝑒𝑣𝑒𝑑 𝑖𝑚𝑎𝑔𝑒𝑠| 𝑟𝑒𝑐𝑎𝑙𝑙 = (5) |𝑟𝑒𝑙𝑒𝑣𝑎𝑛𝑡 𝑖𝑚𝑎𝑔𝑒𝑠| (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙) 𝐹 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 = 2 × (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙) Trong đó, relavant images là tập ảnh tưởng tự với ảnh truy vấn có trong tập dữ liệu ảnh, retrieved images là tập ảnh đã tìm kiếm được. Các giá trị độ chính xác, độ phủ và độ do dung hòa được tính theo tỷ lệ % và được quy đổi thành giá trị trên đoạn [0, 1]. Hiệu suất của phương pháp được trình bày trong Bảng 1, kết quả trên tập ảnh sinh viên HUFI thấp hơn Yale face do chất lượng ảnh do sinh viên tự chụp chưa chuẩn; giá trị MAP của phương pháp đề xuất được so sánh với các phương pháp khác trên cùng bộ dữ liệu Yale face được mô tả trong Bảng 2. Đường cong Precision-Recall và ROC cho tập ảnh sinh viên HUFI được mô tả trong hình từ Hình 9, mỗi đường cong mô tả một bộ dữ liệu của một phân lớp hình ảnh được truy vấn; diện tích dưới các đường cong này cho thấy độ chính xác của việc truy vấn ảnh trên Ontology khá cao. Hình 10, Hình 11 mô tả giá trị precision, recall, F1-score trung bình nhận dạng ảnh của 15 phân lớp trên tập ảnh Yale face và 110 phân lớp trên tập ảnh sinh viên HUFI. Các giá trị precision, recall và F-measure trung bình tìm kiếm ảnh trên Ontology được liệt kê trong Hình 12. Kết quả trong Bảng 2 cho thấy phương pháp đề xuất của chúng tôi tương đối chính xác so với các công trình nhận dạng khuôn mặt được công bố trong những năm gần đây. Bảng 1. Hiệu suất nhận dạng ảnh khuôn mặt của phương pháp được đề xuất trên các bộ dữ liệu thực nghiệm Số ảnh Độ chính xác Độ phủ Độ dung hòa Tổng Số ảnh Tập ảnh huấn trung bình trung bình trung bình số ảnh kiểm thử luyện (precision) (recall) (F1-score) Yale Face 165 132 33 96,67% 97,78% 97,22% Sinh viên HUFI 2100 1680 420 84,55% 89,39% 86,90% Bảng 2. So sánh độ chính xác nhận dạng giữa các phương pháp trên bộ dữ liệu Yale Face Phương pháp Độ chính xác nhận dạng trung bình (MAP) Z Sufyanu và cộng sự, 2016 [33] 93,40% Al-Dabagh và cộng sự, 2018 [3] 95,25% Mourad MOUSSA và cộng sự, 2018 [20] 95,50% Saeed Najafi Khanbebin và Vahid Mehrdad, 2020 [21] 94,09% Đề xuất của nhóm tác giả 96,67% Qua Bảng 3 cho thấy hiệu suất tìm kiếm ảnh trên Ontology đã đề xuất là khá cao và có thể ứng dụng cho các hệ thống tra cứu thông tin trong thực tế. Chúng tôi không so sánh hiệu suất với các công trình tìm kiếm ảnh trên Ontology khác do không cùng tập dữ liệu thực nghiệm. Bảng 3. Hiệu suất tìm kiếm ảnh tương tự trên Ontology Độ chính xác Độ phủ Độ dung hòa Tập ảnh trung bình trung bình trung bình Sinh viên HUFI 0,962504 0,956456 0,957437 Hình 7. Ứng dụng thực nghiệm của phương pháp đề xuất
  9. 324 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY Hình 8. Kết quả tìm kiếm tập ảnh tương tự của ứng dụng Hình 9. Precision-Recall và đường cong ROC nhận dạng của hệ thống trên tập dữ liệu sinh viên HUFI Hình 10. Trung bình độ chính xác, độ phủ và độ dung hòa nhận dạng của hệ thống trên tập dữ liệu sinh viên HUFI Hình 11. Trung bình độ chính xác, độ phủ và độ dung hòa nhận dạng của hệ thống trên tập dữ liệu Yale face
  10. Nguyễn Văn Thịnh, Đặng Văn Thành Nhân, Đinh Thị Mận, Nguyễn Thế Hữu, Văn Thế Thành 325 Hình 12. Trung bình độ chính xác, độ phủ và độ dung hòa tìm kiếm ảnh trên Ontology của hệ thống trên tập dữ liệu sinh viên HUFI VI. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong bài báo này, một phương pháp tra cứu thông tin qua ảnh khuôn mặt dựa trên Ontology đã được xây dựng. Một Ontology bán tự động được xây dựng để mô tả tập dữ liệu ảnh, tiếp đó quá trình nhận dạng ảnh khuôn mặt được thực hiện dựa trên đặc trưng HOG và thuật toán SVM nhằm phân lớp ảnh đầu vào. Từ đó, câu truy vấn SPARQL được tạo ra tự động và truy vấn trên Ontology đã xây dựng nhằm trích xuất ra thông tin hình ảnh và tập ảnh tương tự. Dựa trên phương pháp và mô hình đề xuất, thực nghiệm được xây dựng và đánh giá kết quả dựa trên các giá trị recall, precision, F-score. Kết quả thực nghiệm được so sánh với các phương pháp khác trên cùng một tập dữ liệu ảnh đã cho thấy phương pháp đề xuất tương đối hiệu quả. Thực nghiệm cũng cho thấy tính đúng đắn của mô hình và các thuật toán đã đề xuất, do đó phương pháp này có thể làm cơ sở để phát triển các hệ thống tra cứu thông tin qua ảnh khuôn mặt và ứng dụng trong thực tế. Hướng phát triển tiếp theo của của mô hình là phát triển Ontology mô tả các nghiệp vụ thực tế liên quan đến sinh viên như xem thời khóa biểu, kết quả học tập,… đồng thời xây dựng ứng dụng thực nghiệm trên thiết bị di động để thuận tiện cho người sử dụng. VII. LỜI CẢM ƠN Nghiên cứu này do Trường Đại học Công nghiệp thực phẩm Thành phố Hồ Chí Minh bảo trợ và cấp kinh phí theo Hợp đồng số 147/HĐ-DCT (This work has been sponsored and funded by Ho Chi Minh City University of Food Industry under Contract No. 147/ HD-DCT). TÀI LIỆU THAM KHẢO [1] Hafiz Ahamed, Ishraq Alamat al. Md Manirul Islam. "HOG-CNN based real time face recognition". International Conference on Advancement in Electrical and Electronic Engineering (ICAEEE), 2018, IEEE. [2] Abbes Amira Ahmad Alzu’bi, Naeem Ramzan, "Semantic content-based image retrieval: A comprehensive study", Journal of Visual Communication and Image Representation, vol. 32, pp. 20-54, 2015. [3] Mustafa Zuhaer Nayef Al-Dabagh, MH Mohammed Alhabibat al.FH Al-Mukhtar, "Face recognition system based on kernel discriminant analysis, k-nearest neighbor and support vector machine", International Journal of Research and Engineering, vol. 5, No. 3, pp. 335-338, 2018. [4] M Annalakshmi, S Mohamed Mansoor Roomiat al. A Sheik Naveedh, "A hybrid technique for gender classification with SLBP and HOG features", Cluster Computing, vol. 22, No. 1, pp. 11-20, 2019. [5] Gidudu Anthony, Hulley Greggat al.Marwala Tshilidzi, "Image classification using SVMs: one-against-one vs one-against-all", arXiv preprint arXiv:0711.2914, 2007. [6] Jair Cervantes, et al., "A comprehensive survey on support vector machine classification: Applications, challenges and trends", Neurocomputing, vol. 408, pp. 189-215, 2020. [7] Corinna CortesVladimir Vapnik, "Support-vector networks", Machine Learning, vol. 20, No. 3, pp. 273-297, 1995. [8] Musab Coşkun, et al. "Face recognition based on convolutional neural network". International Conference on Modern Electrical and Energy Systems (MEES), 2017, IEEE. [9] Walaa A Elnozahy, et al., "Question answering system to support university students’ orientation, recruitment and retention", Procedia Computer Science, vol. 164, pp. 56-63, 2019. [10] Jalila Filali, Hajer Zghalat al. Jean Martinet. "Towards visual vocabulary and ontology-based image retrieval system". International Conference on Agents and Artificial Intelligence, 2016. [11] Mohammed Essmat Ibrahim, Yanyan Yangat al. David Ndzi. "Using ontology for personalised course recommendation applications". International Conference on Computational Science and Its Applications, 2017, Springer. [12] Ridwan Andi KambauZainal Arifin Hasibuan. "Concept-based multimedia information retrieval system using ontology search in cultural heritage". Second International Conference on Informatics and Computing (ICIC), 2017, IEEE. [13] Sri Karnila, Suhendro Iriantoat al. Rio Kurniawan, "Face recognition using content based image retrieval for intelligent security", International Journal of Advanced Engineering Research and Science, vol. 6, No. 1, pp. 91-98, 2019. [14] Yassin Kortli, et al., "Face recognition systems: A survey", Sensors, vol. 20, No. 2, pp. 342, 2020.
  11. 326 MỘT PHƯƠNG PHÁP TRA CỨU THÔNG TIN ẢNH KHUÔN MẶT DỰA TRÊN ONTOLOGY [15] Ashu Kumar, Amandeep Kaurat al. Munish Kumar, "Face detection techniques: a review", Artificial Intelligence Review, vol. 52, No. 2, pp. 927-948, 2019. [16] Mihai Lupu, et al., Current challenges in patent information retrieval. Vol. 37, 2017, Springer. [17] Huda MadyShadi MS Hilles. "Face recognition and detection using Random forest and combination of LBP and HOG features". International Conference on Smart Computing and Electronic Enterprise (ICSCEE), 2018, IEEE. [18] Umar Manzoor, et al., "Semantic image retrieval: An ontology based approach", International Journal of Advanced Research in Artificial Intelligence, vol. 4, No. 4, pp. 1-8, 2015. [19] Yanti Idaya Aspura MKShahrul Azman Mohd Noah, "Semantic text-based image retrieval with multi-modality ontology and DBpedia", The Electronic Library, 2017. [20] Mourad Moussa, Maha Hmilaat al. Ali Douik, "A novel face recognition approach based on genetic algorithm optimization", Studies in Informatics and Control, vol. 27, No. 1, pp. 127-134, 2018. [21] Saeed Najafi KhanbebinVahid Mehrdad, "Local improvement approach and linear discriminant analysis-based local binary pattern for face recognition", Neural Computing and Applications, vol. 33, No. 13, pp. 7691-7707, 2021. [22] Thanh Hải Nguyễn, et al., "Giải pháp điểm danh sinh viên bằng nhận diện gương mặt với đặc trưng Haar-Like kết hợp thuật toán rừng ngẫu nhiên", 2020. [23] Charbel Obeid, et al. "Ontology-based recommender system in higher education". Companion Proceedings of the The Web Conference 2018. [24] opencv. "Cascade Classifier". https://docs.opencv.org/3.4/db/d28/tutorial_cascade_classifier.html. [25] Opencv. "Foreground Extraction using grabcut algorithm". https://docs.opencv.org/4.5.2/dd/dfc/tutorial_ js_grabcut.html. [26] opencv. "Trained classifiers for detecting objects". https://github.com/opencv/opencv/tree/master/data. [27] Nicolas Ortiz, et al., "Survey of biometric pattern recognition via machine learning techniques", Contemporary Engineering Sciences, vol. 11, No. 34, pp. 1677-1694, 2018. [28] Tran Thi Thao Pham Van Truong, "Nhận dạng khuôn mặt trực tiếp và ứng dụng trong mở cửa tự động", Measurement, Control, and Automation, vol. 1, No. 1, 2020. [29] Xiaojing Qin, Hui Zhangat al., Huaiguo Zheng. "Research on Intelligent Retrieval System for agricultural information resources based on ontology". Journal of Physics: Conference Series, 2019, IOP Publishing. [30] PK ReshmaVL Lajish, "Ontology Based semantic information retrieval model for university domain", Int. J. Appl. Eng. Res, vol. 13, pp. 12142-12145, 2018. [31] Francis A RuamboMrindoko R Nicholaus. "Towards enhancing information retrieval systems: A brief survey of strategies and challenges". 11th International Congress on Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT), 2019. IEEE. [32] Ramesh Sharda, Dursun Delenat al., Efraim Turban, Analytics, Data Science, & Artificial Intelligence, 2020: Pearson Education, Limited. [33] Zahraddeen Sufyanu, et al., "Enhanced Face Recognition Using Discrete Cosine Transform", Engineering Letters, vol. 24, No. 1, 2016. [34] Robert Susmaga, Confusion matrix visualization, Intelligent Information Processing and Web Mining, 2004, Springer. p. 107- 116. [35] Bộ Giáo dục và Đào tạo. "Số liệu thống kê giáo dục năm 2019-2020". https://moet.gov.vn/thong-ke/Pages/thong-ke.aspx. [36] Mohammad aman ullahsyed akhter hossain, Ontology-based information retrieval system for university: methods and reasoning, Emerging Technologies in Data Mining and Information Security, 2019, Springer. p. 119-128. [37] Pham Van Truong, Tran Thi Thao, "Nhận dạng khuôn mặt trực tiếp và ứng dụng trong mở cửa tự động", Measurement, Control, and Automation, vol. 1, No. 1, 2020. [38] UCSD Computer Vision. "Yale face database". http://vision.ucsd.edu/content/yale-face-database. [39] Zimeng Xing, et al., "Application of Ontology in the Web information retrieval", Journal on Big Data, vol. 1, No. 2, pp. 79, 2019. [40] Yuqian Zhou, Ding Liuat al., Thomas Huang. "Survey of face detection on low-quality images". 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018), 2018, IEEE. A FACE IMAGE RETRIEVAL METHOD BASED ON ONTOLOGY Nguyen Van Thinh, Dang Van Thanh Nhan, Dinh Thi Man, Nguyen The Huu, Van The Thanh ABSTRACT: In this paper, a method of facial image retrieval is proposed by approaching the classification of the input image, from there the information and a similar image are queried on Ontology. Firstly, the HOG (Histogram of Oriented Gradient) features are extracted from the image dataset for training the SVM (Support Vector Machine) classifier to identify an image. Secondly, an Ontology describing the image dataset is built semi-automatically to retrieve information and similar images. Finally, the SPARQL query is created automatically from label of input image to execute queries on the established Ontology. To demonstrate the efficiency of the proposed method, an experiment is conducted and evaluated based on the Yale Face and images of students from Ho Chi Minh City University of Food Industry (HUFI) datasets. The experiment results showed the possibility and efficiency of the method while making it easier to expand the retrieval information related to academics.
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản
2=>2