zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Công Nghệ Thông Tin

» Cơ sở dữ liệu

Xây dựng bộ cơ sở dữ liệu cho bài toán phát hiện hoạt động của người học

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:3

Báo xấu

5
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nghiên cứu này thực hiện xây dựng một cơ sở dữ liệu phục vụ cho bài toán nhận dạng các hoạt động trong lớp học. Cơ sở dữ liệu này sẽ bao gồm các hoạt động có ý nghĩa trong việc thể hiện chất lượng giờ học như: hoạt động ngồi học, hoạt động giơ tay, hoạt động đứng lên phát biểu, hoạt động ngủ gục và hoạt động sử dụng điện thoại.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Xây dựng bộ cơ sở dữ liệu cho bài toán phát hiện hoạt động của người học

Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8 XÂY DỰNG BỘ CƠ SỞ DỮ LIỆU CHO BÀI TOÁN PHÁT HIỆN HOẠT ĐỘNG CỦA NGƯỜI HỌC Nguyễn Thị Phương Dung1, Nguyễn Hữu Quỳnh1, Lê Thị Lan2 1 Trường Đại học Thủy lợi, email: dungntp@tlu.edu.vn 2 Trường Điện - Điện tử, Đại học Bách khoa Hà Nội 1. GIỚI THIỆU CHUNG cho bài toán nhận dạng các hoạt động trong lớp học. Cơ sở dữ liệu này sẽ bao gồm các hoạt Hoạt động của người học, một phương thức động có ý nghĩa trong việc thể hiện chất lượng phi ngôn ngữ, là một dấu hiệu quan trọng để giờ học như: hoạt động ngồi học, hoạt động giơ biểu thị trạng thái học tập và mức độ tập trung của người học trong lớp. Bằng cách quan sát tay, hoạt động đứng lên phát biểu, hoạt động và phân tích hành vi, sự tập trung của người ngủ gục và hoạt động sử dụng điện thoại. học trong lớp, giáo viên và người quản lý có 2. PHƯƠNG PHÁP NGHIÊN CỨU thể thu được những thông tin quý giá. Qua đó có thể đánh giá được chất lượng giờ học, và có 2.1. Hiện trạng thể điều chỉnh phương pháp giảng dạy sao cho Đối với bài toán nhận dạng hoạt động sử kết quả dạy và học đạt thành tích cao hơn, hiệu dụng các mô hình học sâu, dữ liệu dùng để mô quả hơn. Thực tế cho thấy, từ trước đến nay, đã có nhiều phương pháp đánh giá chất lượng hình học tập là rất quan trọng. Mặc dù đã có dạy và học được ứng dụng. Trong đó phổ biến một vài bộ dữ liệu đề xuất cho bài toán nhận nhất là phương pháp quan sát thủ công. dạng hoạt động người, nhưng các hoạt động Ngày nay, với sự phát triển không ngừng trong các bộ dữ liệu này chủ yếu là các dữ liệu của các thiết bị thông minh, camera giám sát liên quan đến các hoạt động hằng ngày của con được lắp đặt ở hầu hết các lớp học, giúp cho người, hoặc các hoạt động trong lĩnh vực chăm việc nắm bắt thông tin lớp học trở nên trực sóc sức khỏe người già, thể dục thể thao. Có quan hơn. Cùng với đó là sự phát triển của các một số ít các nghiên cứu đã xây dựng những bộ hệ thống nhận dạng hoạt động thực hiện nhận dữ liệu cho hoạt động của người học như: các hình ảnh thu được từ các thiết bị giám sát, - Trong [1] các tác giả đã thực hiện thu xử lý và cho ra kết quả là các phát hiện và thập hình ảnh từ hơn 30 trường tiểu học và nhận biết được những hoạt động trong hình trung học khác nhau. Tổng dữ liệu thu được ảnh. Điều này hỗ trợ các nhà quản lý dễ dàng là 40.000 hình ảnh bao gồm 70.000 mẫu giơ theo dõi và đưa ra các đánh giá xác thực hơn. tay, 20.000 mẫu đứng và 3.000 mẫu ngủ. Kết quả của các hệ thống nhận dạng hoạt - Trong [2] các tác giả thu thập 22.000 hình động được ứng dụng trong nhiều lĩnh vực của ảnh và gán nhãn 77.000 hộp chú thích từ 4 lớp đời sống như: hỗ trợ giám sát an ninh, hỗ trợ trong một trường tiểu học để làm dữ liệu huấn giám sát trong y tế, hỗ trợ giám sát trong giáo luyện trong khi sử dụng 1 video của 23 sinh dục [1] [2] [4]... Tuy nhiên, trong giáo dục, viên trong một phòng họp làm dữ liệu kiểm việc ứng dụng nhận dạng hoạt động chưa được thử. Độ phân giải của tất cả các hình ảnh là khai thác triệt để, một trong các nguyên nhân là 19201080 pixel. Sự khác biệt lớn giữa tư thế do thiếu cơ sở dữ liệu cho bài toán nhận dạng của người trẻ trong bộ dữ liệu huấn luyện và các hoạt động trong lớp học. Nghiên cứu này người trưởng thành trong bộ thử nghiệm gây thực hiện xây dựng một cơ sở dữ liệu phục vụ khó khăn cho bài toán phát hiện. 90
Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8 - Các tác giả trong bài báo [3] đã trình bày Với cách lắp đặt như vậy, bộ dữ liệu thu một bộ dữ liệu có 15 lớp hoạt động bao gồm được còn có thể dùng cho bài toán nhận dạng 817 video của 73 học sinh (32 nam và 41 nữ và phát hiện đa góc nhìn. Năm camera này ở các độ tuổi từ 18 đến 27 tuổi) với tốc độ được đồng bộ hóa về thời gian, có độ phân ghi hình là 30 hình trên giây và độ phân giải giải full HD 19201080 pixel, tốc độ ghi hình của camera là 1280720 pixel. là 25fps và đều có nắp che giúp cho người dạy - Trong [4] các tác giả quan tâm đến 6 lớp và người học có trạng thái tự nhiên nhất, hoạt động bao gồm giơ tay phải, tay trái, cả 2 không có cảm giác bị theo dõi. Sau đó chúng tay, ngủ gục, đứng lên và ngồi học. tôi thực hiện ghi hình 20 giờ học của các lớp Tuy nhiên, các bộ dữ liệu đều chưa được học khác nhau, với tổng dung lượng thu được công khai và dữ liệu thường tập trung vào là 45GB video. Từ dữ liệu video thu được đó, từng hoạt động của mỗi cá nhân đơn lẻ. Chưa chúng tôi tiến hành tách thành các khung hình có bộ dữ liệu nào liên quan đến nhiều hoạt để gán nhãn các hoạt động. Do các hoạt động động của nhiều người học trong cùng một trong lớp học được xem xét ở mức giây hoặc khung hình lớp học, nhất là những hoạt động phút để giáo viên có thể nhận biết nên việc đáng quan tâm như đã liệt kê ở trên. tách khung hình được thực hiện ở tốc độ 5fps. Điều này giúp giảm thông tin dư thừa trong 2.2. Xây dựng bộ cơ sở dữ liệu khi vẫn giữ được thông tin cần thiết. Trong Để cung cấp một bộ cơ sở dữ liệu phục vụ mỗi khung hình có thể xuất hiện nhiều hoạt cho bài toán phát hiện và nhận dạng các hoạt động cùng lúc nên tất cả các hoạt động đều sẽ động của nhiều người học trong lớp học nhằm được gán nhãn. Ví dụ, tại một thời điểm, có đánh giá chất lượng giờ giảng. Chúng tôi thực một vài người học giơ tay, trong khi một vài hiện thiết lập một phòng học có kích thước người học khác lại ngủ gục hoặc sử dụng điện 9.2m  8.8m với sức chứa khoảng 40 sinh thoại, số còn lại thì ở trạng thái ngồi học tập viên. Trong đó lắp đặt 5 camera gắn trần nhằm trung. Khi đó, khung hình sẽ có một vài nhãn thu được hình ảnh từ 5 góc nhìn khác nhau giơ tay, một vài nhãn ngủ gục, một vài nhãn trong lớp học, 2 camera phía trước, 2 camera sử dụng điện thoại và một vài nhãn ngồi học. phía sau và 1 camera được lắp ở bên sườn lớp Với tốc độ tách khung hình là 5fps, vị trí của học. Vị trí các camera được bố trí như Hình 1. các hình trạng hoạt động không thay đổi nhiều ở các khung hình liên tiếp. Do đó chúng tôi cải tiến công cụ gán nhãn LabelMe sao cho kế thừa được bước gán nhãn ở khung hình trước cho khung hình sau giúp giảm công sức gán nhãn. Ở khung hình sau, chúng tôi chỉ cần sửa đổi những nhãn sai lệch vị trí, hầu hết sẽ giữ lại được những gì đã kế thừa ở bước trước. Quy trình gán nhãn được mô tả như Hình 2. Hình 1. Sơ đồ lắp camera Hình 2. Quy trình gán nhãn 91
Tuyển tập Hội nghị Khoa học thường niên năm 2023. ISBN: 978-604-82-7522-8 Với mục tiêu là thu thập các hình trạng về Bộ dữ liệu đã được chia theo 2 phương thức 5 loại hoạt động quan tâm nên chúng tôi tập đánh giá: đánh giá chéo lớp học và đánh giá trung gán nhãn ở những ảnh có nhiều hoạt chéo hướng nhìn. Phương thức chéo lớp học động trước, tổng số lượng ảnh gán nhãn được được chia theo cách: tập dữ liệu dùng cho quá là 31,046 ảnh. trình huấn luyện sẽ bao gồm các lớp học khác với các lớp học trong tập thử nghiệm. Điều 3. KẾT QUẢ NGHIÊN CỨU này đảm bảo người học trong các lớp là khác Kết thúc quá trình gán nhãn, chúng tôi thu nhau, các hình trạng gán nhãn sẽ không bị được một tập gồm 596,371 hộp giới hạn cho giống nhau trong tập huấn luyện và tập kiểm 5 hoạt động quan tâm. Số lượng các nhãn thử. Phương thức thứ 2 được chia theo cách: tương ứng với các loại hoạt động được thể tập dữ liệu dùng để huấn luyện sẽ có hướng hiện trong biểu đồ Hình 3. Các hoạt động nhìn khác với tập dữ liệu dùng để kiểm thử. được đặt tên bằng tiếng anh tương ứng: ngồi Theo phương thức này, tập dữ liệu huấn luyện học - sitting, giơ tay - raising_hand, đứng lên sẽ là những hình trạng thu được từ 4 trong 5 - standing, ngủ gục - slepping và sử dụng camera trong khi tập dữ liệu kiểm thử sẽ là điện thoại - using_phone. những hình trạng thu được từ camera còn lại. 4. KẾT LUẬN Trong nghiên cứu này, nhóm nghiên cứu đã thực hiện xây dựng một bộ cơ sở dữ liệu phục vụ cho bài toán phát hiện và nhận dạng hoạt động trong lớp học. Bộ dữ liệu bao gồm 596,371 mẫu cho 5 hoạt động có tầm ảnh hưởng lớn nhất trong việc đánh giá chất lượng giờ học; sitting, standing, raising_hand, sleeping và using_phone với số lượng các mẫu tương ứng là 34,8102, 32,059, 56,534, 49,411 và 110,265. Chúng tôi hy vọng bộ dữ Hình 3. Thống kê số lượng mẫu liệu của chúng tôi sẽ có ích với các độc giả có nhu cầu sử dụng trong mục đích nghiên cứu. Hình 4 mô tả một số hình trạng tương ứng Thông tin về CSDL có tại StudentAct Dataset với các loại hoạt động. (comvis-hust.github.io). 5. TÀI LIỆU THAM KHẢO [1] Zheng, R., Jiang, F. and Shen, R., 2021, January. GestureDet: Real-time student gesture analysis with multi-dimensional attention-based detector. In Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence (pp. 680-686). [2] Liu, T., Jiang, F. and Shen, R., 2020, November. Fast and accurate hand-raising gesture detection in classroom. In international conference on neural information processing (pp. 232-239). Hình 4. Mô tả mẫu hoạt động của người học Cham: Springer International Publishing. 92

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.