zunia.vn

Tuyển sinh 2024 dành cho Gen-Z

zunia.vn

» Công Nghệ Thông Tin

» Cơ sở dữ liệu

Tối ưu bài toàn phân loại hành động dựa vào đặc trưng mới

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:3

Báo xấu

23
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết Tối ưu bài toàn phân loại hành động dựa vào đặc trưng mới trình bày việc đề xuất giải pháp phân loại hành động dựa vào sự kết hợp giữa OpenPose và LSTM. Tác giả đề xuất giải pháp tối ưu bằng cách thêm các đặc trưng mới để nâng cao hiệu quả của mô hình.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tối ưu bài toàn phân loại hành động dựa vào đặc trưng mới

Tuyển tập Hội nghị Khoa học thường niên năm 2021. ISBN: 978-604-82-5957-0 TỐI ƯU BÀI TOÀN PHÂN LOẠI HÀNH ĐỘNG DỰA VÀO ĐẶC TRƯNG MỚI Phạm Trí Công Trường Đại học Thủy lợi, email: phtcong@tlu.edu.vn 1. GIỚI THIỆU Bước 2: Các frame riêng lẻ được trích chọn 18 điểm quan trọng của cơ thể dựa vào thư Phân loại hành động người là một trong viện OpenPose. Đến bước 3, 18 điểm của cơ những bài toán đã được nghiên cứu từ lâu. Với đầu vào là một video, dựa vào các đặc thể được sử dụng để tạo ra các đặc trưng mới trưng của các frame liên tiếp nhau, giải pháp tùy theo kịch bản. Cuối cùng, các đặc trưng phải phân loại thành các hành động. Một mới và đặc trưng của 18 điểm được sử dụng trong những vấn đề gặp phải đối với bài toán để huấn luyện module LSTM trong quá trình này là có một số hành động hay bị phân loại training. Ở giai đoạn phân loại, mô hình nhầm sang hành động khác do sự tương tự về LSTM đã được huấn luyện, sẽ sử dụng đầu tư thế. Ví dụ hành động đứng yên hay bị vào là các đặc trưng, để phân loại hành động nhầm với hành động đi bộ. Trong nghiên cứu thành một trong năm hành động. này, tác giả đề xuất giải pháp phân loại hành động dựa vào sự kết hợp giữa OpenPose và LSTM. Tác giả đề xuất giải pháp tối ưu bằng cách thêm các đặc trưng mới để nâng cao hiệu quả của mô hình. Nghiên cứu sử dụng bộ dữ liệu gồm 2022 video để huấn luyện và đánh giá mô hình đề xuất. Kết quả là, giải pháp tối ưu đề xuất giúp tăng 7.2% độ chính xác mean recall. Hình 1. Kiến trúc hệ thống phân loại 2. PHƯƠNG PHÁP NGHIÊN CỨU hành động người bằng video Phân loại hành động bằng video đã được Trong nghiên cứu này, ở bước ba, nhiều nhà nghiên cứu thực hiện với nhiều kỹ Transform, tác giả dựa vào phân tích đặc trưng thuật khác nhau. Có nhiều giải pháp sử dụng giữa các tư thế để tạo ra các đặc trưng mới kỹ thuật học sâu để phân loại [1], [2]. Có kỹ như: khoảng cách giữa các bàn tay, bàn chân, thuật kết hợp giữa học sau và LSTM để phân đầu gối, đầu gối với cổ, vai, bàn chân với cổ và loại [3], [4]. Có kỹ thuật sử dụng kết hợp vai. Để đánh giá hiệu quả quả giải pháp, giữa OpenPose để trích xuất các điểm quan nghiên cứu thực hiện so sánh hiệu quả của giải trọng của cơ thể, sau đó dùng LSTM để phân pháp đề xuất với base-line model trên bộ dữ loại hành động [5], [6]. liệu thu thập từ các nguồn khác nhau. Trong nghiên cứu này, tác giả đề xuất giải pháp kết hợp giữa OpenPose và LSTM để phân 3. CHI TIẾT THỰC NGHIỆM loại năm loại hành động thông dụng. Mô hình hệ thống được mô tả ở Hình 1 gồm 4 bước. 3.1. Bộ dữ liệu Bước 1: Video đầu vào được chuyển thành Bộ dữ liệu được sử dụng trong nghiên cứu các frame riêng lẻ để xử lý. Sau đó, ở này được thu thập từ Youtube, Facebook, và 119
Tuyển tập Hội nghị Khoa học thường niên năm 2021. ISBN: 978-604-82-5957-0 Tự quay. Việc thu thập và xử lý dữ liệu là đánh giá độ chính xác cuối cùng của phương công đoạn mất rất nhiều thời gian và công pháp trên tập dữ liệu kiểm thử. sức. Các video được chỉnh sửa bằng phần 4. KẾT QUẢ THỰC NGHIỆM mềm để loại bỏ những phần không liên quan trong video. Sau khi xử lý xong thì được bộ Trong nghiên cứu này, tác giả thực hiện dữ liệu bao gồm 2022 video ngắn gồm 5 hai kịch bản để đánh giá hiệu quả của giải hành động khác nhau (Eat, Sit, Sleep, Stand, pháp đề xuất: 1) Base-line model được thực Walk). Trong đó, 80% dữ liệu được sử dụng hiện với đầu vào cho LSTM là 18 đặc trưng cho huấn luyện mô hình (dữ liệu train), 10% là đầu ra của OpenPose; 2) Tối ưu model dành cho tập validation và 10% cho tập kiểm bằng cách thêm các đặc trưng mới. Với hai thử. Số lượng và phân bổ video cho các tập kịch bản này, tác giả đã huấn luyện LSTM được thể hiện ở Bảng 1 bên dưới. với cùng 50 epoch, lựa chọn model có độ chính xác tốt nhất trên tập dữ liệu validation, Bảng 1. Dữ liệu của năm loại hành động sau đó đánh giá trên bộ dữ liệu test gồm 206 của mỗi tập Train, Val, Test video. Kết quả của hai kịch bản lần lượt được thể hiện ở Hình 2 và Hình 3. Eat Sit Sleep Stand Walk Total Train 326 326 345 316 297 1610 3.3. Base-line model Val 41 43 45 40 37 206 Trong phần này, tác giả đánh giá hiệu quả Test 41 42 45 40 38 206 của base - line model. Mô hình này được thực hiện với đầu vào cho LSTM là 18 đặc Bộ dữ liệu bao gồm 2022 video, trong đó trưng, là đầu ra của OpenPose. Mười tám đặc 1610 video được sử dụng để huấn luyện, 206 trưng này được sử dụng trực tiếp làm đầu vào video được sử dụng cho tập validation, còn lại của LSTM. Kết quả của giải pháp này được 206 video được sử dụng để đánh giá mô hình. thể hiện như Hình 2. 3.2. Thiết lập thông số thực nghiệm Với phương pháp này, tác giả chuẩn bị dữ liệu đầu vào cho model LSTM. Các video train sẽ được xử lý qua model của Openpose để trích xuất ra 18 điểm của cơ thể. Cứ 24 khung hình liên tiếp sẽ được sử dụng để xác định hành động của người trong video. Dữ liệu của 24 khung hình này sẽ được sử dụng là đầu vào cho LSTM để học và phân loại hành động. Thông số chi tiết được mô tả ở Bảng 2. Hình 2. Độ chính xác của bài toán phân loại hành động sử dụng OpenPose kết hợp Bảng 2. Thông số thực nghiệm với LSTM STT Thông số Giá trị Độ chính xác khi tính trung bình đường 1 Số lần huấn luyện 50 chéo của ma trận (mean recall) ở Hình 2 là 2 Số frames/hành động 24 86.4%. Kết quả này tương đối cao, nhưng nhìn vào hình 2 thì thấy hành động Eat có Trong nghiên cứu này, mô hình LSTM recall lớn nhất là 100%, trong khi đó Stand được huấn luyện 50 epoch. Sau khi hoàn có recall thấp nhất chỉ đạt 70%. Đặc biệt thành train ở mỗi epoch, một model sẽ được hành động Stand bị đoán nhầm nhiều nhất lưu lại. Sau toàn bộ quá trình training, 50 vào hai lớp là Walk và Sleep. Số kết quả model được lưu lại với các chỉ số loss và Stand bị đoán nhầm thành Walk là khá nhiều accuracy, chỉ số Accuracy tăng ở mức cao với 20%. Sau đó là Stand bị đoán nhầm thành nhất là 84%. Model có Accuracy tốt nhất trên Sleep là 10%. Tương tự như vậy, hành động bộ dữ liệu validation sẽ được lựa chọn để Sleep tuy có độ chính xác là 90%, đứng thứ 3 120
Tuyển tập Hội nghị Khoa học thường niên năm 2021. ISBN: 978-604-82-5957-0 trong 5 hành động. Tuy nhiên, Sleep chỉ bị recall 7.2% (từ 86.4% lên 93.6%). Với kết đoán sai thành Stand. quả này, giải pháp đã có thể triển khai trong 3.4. Tối ưu giải pháp bằng đặc trưng mới các dự án thực tế. Nguyên nhân của sự nhầm lẫn giữa ba 5. KẾT LUẬN hành động Stand, Walk, và Sleep là do một Trong nghiên cứu này, chúng tôi đã đề xuất số video Openpose chưa nhận được hết các giải pháp sử dụng OpenPose và LSTM cho bài điểm khớp trên cơ thể. Về mặt logic là do tư toán phân loại hành động người sử dụng video. thế giống nhau giữa ba hành động này. Nghĩa Nghiên cứu đã đánh giá giải pháp với các đặc là tư thế Sleep, Stand, Walk có sự tương trưng cơ bản và đề xuất giải pháp để nâng cao đồng là chúng có cùng một dạng là tư thế hiệu quả của hệ thống bằng cách sử dụng các người, tay, và chân. Trong đó hai hành động đặc trưng thêm mới. Giải pháp đề xuất không Stand và Walk thì vị trí của 18 điểm cơ thể những nâng cao độ chính xác mean recall gần như có thể như nhau. Hai hành động này 7.2% mà còn tăng độ chính xác của lớp stand, khi quay 90% thì rất giống với tư thế của lớp có hiệu quả thấp nhất với base line model. đang ngủ. Nhưng ta có thể thêm một số thuộc Kết quả này có ý nghĩa rất lớn là chúng ta có tính khác để phân biệt giữa các hành động thể thêm các đặc trưng mới gần gũi với logic này. Tác giả đưa ra giải pháp để giải quyết của con người để tăng hiệu quả của mô hình vấn đề trên bằng việc kết hợp 18 điểm cơ thể học máy một cách nhanh chóng. với các đặc trưng khác như nêu ở giải pháp Do thời gian có hạn nên nghiên cứu mới chỉ hai. Phân tích hành động thấy khi đi thì đánh giá được với bộ dữ liệu thu thập được là khoảng cách 2 chân thay đổi, còn hành động 2022 video với 5 hành động. Trong tương lai, đứng thì không. Vì vậy ta cho thêm các thuộc tác giả sẽ thực hiện đánh giá trên nhiều dữ liệu tính khoảng cách 2 bàn chân, khoảng cách 2 hơn và nhiều hành động hơn. Không những đầu gối. Các hành động ngồi, ngủ hay bị vậy, ý tưởng này còn có thể sử dụng cho các nhầm với đứng, ta cho thêm một số thuộc bài toán khác tương tự như bài toán này. tính như khoảng cách giữa bàn tay và đầu gối, khoảng cách bàn tay và vai. Một số 6. TÀI LIỆU THAM KHẢO thuộc tính khác cũng được thêm vào như [1] Y. Lecun, Y. Bengio, and G. Hinton, “Deep khoảng cách khủy tay và đầu gối, khoảng learning,” Nature, vol. 521, no. 7553, pp. cách 2 khủy tay, khoảng 2 bàn tay. Kết quả 436–444, 2015, doi: 10.1038/nature14539. sau khi huấn luyện lại mô hình với các thuộc [2] C.-F. Chen et al., “Deep Analysis of CNN- tính thêm ở trên được biểu diễn ở Hình 3. based Spatio-temporal Representations for Action Recognition,” Oct. 2020, [Online]. Available: http://arxiv.org/abs/2010.11757. [3] N. Kojovic, S. Natraj, S. P. Mohanty, T. Maillart, and M. Schaer, “Using 2D Video- based Pose Estimation forAutomated Prediction of Autism Spectrum Disordersin Preschoolers,” medRxiv, 2021, doi: 10.1101/2021.04.01.21254463. [4] C. I. Orozco, M. E. Buemi, and J. J. Berlles, “CNN-LSTM Architecture for Action Recognition in Videos,” 2019. Hình 3. Độ chính xác của bài toán phân loại [5] C. Sawant, “Human activity recognition with openpose and Long Short-Term hành động sử dụng OpenPose kết hợp với Memory on real time images,” 2020. LSTM sử dụng thêm các đặc trưng mới [6] F. M. Noori, B. Wallace, M. Z. Uddin, and J. Độ chính xác trên hành động Stand vẫn Torresen, “A Robust Human Activity Recognition Approach Using OpenPose, thấp nhất nhưng đã tăng 10% từ 70% lên Motion Features, and Deep Recurrent Neural 80%. Hơn nữa, giải pháp này còn tăng mean Network,” 2019, pp. 299–310. 121

CÓ THỂ BẠN MUỐN DOWNLOAD

THÔNG TIN

TRỢ GIÚP

HỖ TRỢ KHÁCH HÀNG

Theo dõi chúng tôi

Chịu trách nhiệm nội dung:

Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA

LIÊN HỆ

Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM

Hotline: 093 303 0098

Email: support@tailieu.vn

Giấy phép Mạng Xã Hội số: 670/GP-BTTTT cấp ngày 30/11/2015 Copyright © 2022-2032 TaiLieu.VN. All rights reserved.