Luận văn Thạc sĩ Khoa học máy tính: Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ THỊ THANH VÂN

TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D TRONG MÚA CHÈO TRUYỀN THỐNG

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Hà Nội – 2021

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ THỊ THANH VÂN

TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D TRONG MÚA CHÈO TRUYỀN THỐNG

Ngành: Khoa học máy tính

Chuyên ngành: Khoa học máy tính

Mã số: 8480101.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:

PGS.TS. Lê Thanh Hà

TS. Ma Thị Châu

Hà Nội – 06/2021

MỤC LỤC

LỜI CẢM ƠN .................................................................................................................. 3

LỜI CAM ĐOAN ............................................................................................................ 4

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ..................................................... 5

DANH SÁCH CÁC BẢNG ............................................................................................ 6

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ......................................................................... 7

MỞ ĐẦU ....................................................................................................................... 11

1.1. Định nghĩa bài toán .................................................................................................................... 14

1.1.1. Định nghĩa bài toán ............................................................................................................. 14

1.2.2. Phân tích bài toán ................................................................................................................ 14

1.2. Những nghiên cứu trước đây ...................................................................................................... 15

1.2.1. Xác định vị trí mẫu .............................................................................................................. 16

1.2.2. Phân loại mẫu ...................................................................................................................... 16

1.2.3. Trích chọn đặc trưng ........................................................................................................... 17

1.2.4. Nghiên cứu sử dụng dữ liệu múa truyền thống 3D ............................................................. 18

1.3. Phương pháp đề xuất .................................................................................................................. 20

1.3.1. Kỹ thuật sliding window ..................................................................................................... 20

1.3.2. Thuật toán DTW .................................................................................................................. 20

CHƯƠNG 1: TỔNG QUAN ......................................................................................... 14

2.1. Múa Chèo truyền thống .............................................................................................................. 23

2.1.1. Giới thiệu múa Chèo truyền thống ...................................................................................... 23

2.1.2. Các tư thế cơ bản trong múa Chèo truyền thống ................................................................. 25

2.1.2.1. Các tư thế tay ................................................................................................................ 25

2.1.3.2. Các tư thế chân ............................................................................................................. 36

2.1.3.3. Các tư thế ngồi ............................................................................................................. 41

2.2. Các mẫu chuyển động 3D cơ bản của múa Chèo ....................................................................... 44

2.2.1. Cụm tay ............................................................................................................................... 45

2.2.2. Cụm chân-ngồi .................................................................................................................... 54

CHƯƠNG 2: CƠ SỞ NGHIÊN CỨU ........................................................................... 23

3.1. Mô tả hệ thống tìm kiếm mẫu chuyển động 3D Chèo truyền thống .......................................... 65

3.2. Các thành phần chính trong hệ thống tìm kiếm mẫu chuyển động 3D Chèo truyền thống ........ 66

3.2.1. Danh sách các góc cần tính ................................................................................................. 66

3.2.2. Đề xuất các vị trí mẫu ......................................................................................................... 80

3.2.3. Tổng hợp đề xuất ................................................................................................................. 82

CHƯƠNG 3: HỆ THỐNG TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D CHÈO TRUYỀN THỐNG ......................................................................................................................... 65

3.2.4. Phân loại nhóm .................................................................................................................... 84

4.1. Dữ liệu ........................................................................................................................................ 86

4.2. Phương pháp đánh giá ................................................................................................................ 87

4.3. Một số phương pháp dùng để so sánh ........................................................................................ 89

4.3.1. So sánh với DTW ................................................................................................................ 90

4.3.2. So sánh với phương pháp chọn đặc trưng Danh sách góc ................................................... 91

4.4. Kết quả thí nghiệm ..................................................................................................................... 91

CHƯƠNG 4: THỰC NGHIỆM ..................................................................................... 86

CHƯƠNG 5: KẾT LUẬN ........................................................................................... 100

TÀI LIỆU THAM KHẢO ........................................................................................... 102

PHỤ LỤC .................................................................................................................... 105

LỜI CẢM ƠN

Để hoàn thành được bài luận văn thạc sĩ này, tôi xin bày tỏ sự cảm kích đặc biệt tới các cố vấn của tôi, Phó giáo sư Tiến sĩ Lê Thanh Hà và Tiến sĩ Ma Thị Châu – người đã định hướng, trực tiếp dẫn dắt và cố vấn cho tôi trong suốt thời gian thực hiện đề tài nghiên cứu khoa học. Xin chân thành cảm ơn những lời nhận xét góp ý thẳng thắn của thầy cô giúp tôi hoàn thiện đề tài. Đồng thời, thầy cô cũng là người luôn cho tôi những lời khuyên vô cùng quý giá về cả kiến thức chuyên môn cũng như định hướng phát triển sự nghiệp. Một lần nữa, tôi xin gửi lời cảm ơn đến thầy cô bằng tất cả tấm lòng và sự biết ơn của mình.

Tôi cũng xin gửi lời cảm ơn chân thành đến cô Bích Ngọc – giáo viên dạy múa Chèo (trường Đại học Sân khấu Điện Ảnh) đã truyền đạt cho tôi những kiến thức bổ ích về múa Chèo. Những kiến thức này đã giúp tôi vượt qua những khó khăn trong lúc thực hiện đề tài.

Sau cùng, tôi xin tỏ lòng biết ơn đến cha mẹ, người thân và bạn bè đã luôn bên cạnh ủng hộ, động viên tôi trong cuộc sống cũng như trong thời gian hoàn thành luận văn thạc sĩ.

Xin chân thành cảm ơn tất cả mọi người!

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của bản thân, không sao chép lại của người khác. Trong toàn bộ nội dung của luận văn, những điều được trình bày hoặc là của cá nhân hoặc là được tổng hợp từ nhiều nguồn tài liệu. Các nội dung nghiên cứu và kết quả trong đề tài này là trung thực, chưa được ai công bố trong bất cứ công trình nào. Nếu có bất kỳ sự gian lận nào, tôi xin chịu trách nhiệm trước Hội đồng cũng như kết quả luận văn của mình.

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Tên viết tắt DTW HMM LCSS EDR BVH Giải thích Dynamic Time Warping Hiden Markov Model Longest Common Subsequence Edit Distance on Real Sequence Biovision Hierarchy

DANH SÁCH CÁC BẢNG Bảng 4.1. Phân bổ dữ liệu cụm tay dùng cho đánh giá. ................................................ 86 Bảng 4.2. Phân bổ dữ liệu cụm chân-ngồi dùng cho đánh giá. ..................................... 87 Bảng 4.3. Kết quả thử nghiệm T0 của cụm tay. ............................................................ 92 Bảng 4.4. Kết quả cụm chân-ngồi ở trường hợp T0. ..................................................... 93 Bảng 4.5. Kết quả thử nghiệm T1, T2, T3 trên các nhóm tay. ...................................... 93 Bảng 4.6. Kết quả thử nghiệm T1, T2, T3 dùng DTW cho cụm chân-ngồi.................. 95 Bảng 4.7. Kết quả so sánh phương pháp đặc trưng cho cụm tay. ................................. 97 Bảng 4.8. Kết quả so sánh phương pháp chọn đặc trưng cho cụm chân-ngồi. ............. 98

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1. Một số điểm nối trong khung xương. ............................................................ 15 Hình 1.2. Ví dụ dùng cửa sổ trượt. ................................................................................ 20 Hình 1.3. Ma trận chi phí. .............................................................................................. 21 Hình 1.4. Đường đi tối ưu (đường nét đứt). .................................................................. 21 Hình 2.1. Quy định các hướng. ..................................................................................... 24 Hình 2.2. Vị trí tay. ........................................................................................................ 24 Hình 2.3. Trạng thái ngửa và sấp của một bàn tay. Nguồn: https://en.wikipedia.org/ .. 24 Hình 2.4. Tư thế múa chạy đàn. .................................................................................... 25 Hình 2.5. Động tác múa chạy đàn. ................................................................................ 26 Hình 2.6. Động tác quay sợi cụm 1. .............................................................................. 26 Hình 2.7. Tư thế dâng hoa (cao). ................................................................................... 27 Hình 2.8. Động tác dâng hoa (cao). ............................................................................... 27 Hình 2.9. Động tác bay. ................................................................................................. 27 Hình 2.10. Động tác chống sườn. .................................................................................. 28 Hình 2.11. Động tác đưa thoi. ....................................................................................... 28 Hình 2.12. Tư thế dâng rượu. ........................................................................................ 28 Hình 2.13. Động tác dâng rượu (bên phải). ................................................................... 29 Hình 2.14. Động tác dâng rượu (bên trái). .................................................................... 29 Hình 2.15. Động tác soi bóng (bên trái). ....................................................................... 29 Hình 2.16. Động tác soi bóng (bên phải)....................................................................... 30 Hình 2.17. Động tác rắc dâu (phải). .............................................................................. 30 Hình 2.18. Động tác rắc dâu (trái). ................................................................................ 30 Hình 2.19. Động tác xe tơ cụm 3 (phải). ....................................................................... 31 Hình 2.20. Động tác xe tơ cụm 3 (trái). ......................................................................... 31 Hình 2.21. Tư thế cướp bông. ........................................................................................ 31 Hình 2.22. Động tác múa cướp bông (hướng 8). ........................................................... 32 Hình 2.23. Động tác múa cướp bông (hướng 2). ........................................................... 32 Hình 2.24. Động tác phủi tay áo (phải). ........................................................................ 33 Hình 2.25. Động tác phủi tay áo (trái). .......................................................................... 33 Hình 2.26. Động tác đề thơ. ........................................................................................... 33 Hình 2.27. Tư thế tấu nhạc. ........................................................................................... 34 Hình 2.28. Động tác tấu nhạc (bên phải). ...................................................................... 34 Hình 2.29. Động tác tấu nhạc (bên trái). ....................................................................... 34 Hình 2.30. Động tác quay sợi cụm 5 (trái). ................................................................... 35 Hình 2.31. Động tác vuốt tóc (bên phải). ...................................................................... 35 Hình 2.32. Động tác gánh (phải). .................................................................................. 35 Hình 2.33. Động tác gánh (bên trái). ............................................................................. 36 Hình 2.34. Động tác ném (phải). ................................................................................... 36 Hình 2.35. Động tác ném (trái). ..................................................................................... 36 Hình 2.36. Tư thế chữ V. ............................................................................................... 37 Hình 2.37. Động tác xiến (ngang). ................................................................................ 37 Hình 2.38. Động tác xiến (vòng). .................................................................................. 37

Hình 2.39. Động tác xiến (thẳng). ................................................................................. 38 Hình 2.40. Tư thế chân chữ chi. .................................................................................... 38 Hình 2.41. Động tác đi chữ chi kiểu nữ tiến. ................................................................ 39 Hình 2.42. Động tác đi chữ chi kiểu nữ lùi. .................................................................. 39 Hình 2.43. Động tác đi chữ chi kiểu nam tiến. .............................................................. 39 Hình 2.44. Động tác đi chữ chi kiểu nam lùi. ................................................................ 40 Hình 2.45. Tư thế quả trám. .......................................................................................... 40 Hình 2.46. Tư thế chữ đinh. ........................................................................................... 41 Hình 2.47. Tư thế đệm gót. ............................................................................................ 41 Hình 2.48. Tư thế chân chống chân quỳ. ....................................................................... 42 Hình 2.49. Tư thế hai đầu gối cùng quỳ. ....................................................................... 42 Hình 2.50. Ngồi thế 2 cao. ............................................................................................. 43 Hình 2.51. Tư thế ngồi Hai chân co về một bên............................................................ 43 Hình 2.52. Tư thế duỗi thẳng hai chân. ......................................................................... 44 Hình 2.53. Tư thế hai chân bắt chéo. ............................................................................. 44 Hình 2.54. Biểu diễn khung xương 3D. ........................................................................ 45 Hình 2.55. Biểu diễn 3D tư thế múa chạy đàn. ............................................................. 46 Hình 2.56. Biểu diễn 3D động tác múa chạy đàn. ......................................................... 46 Hình 2.57. Biểu diễn 3D của động tác quay sợi cụm 1. ................................................ 46 Hình 2.58. Biểu diễn 3D của tư thế dâng hoa. .............................................................. 47 Hình 2.59. Biểu diễn 3D của tư thế dâng hoa hạ. .......................................................... 47 Hình 2.60. Biểu diễn 3D của động tác bay. ................................................................... 47 Hình 2.61. Biểu diễn 3D của động tác chống sườn. ...................................................... 48 Hình 2.62. Biểu diễn 3D của động tác đưa thoi. ........................................................... 48 Hình 2.63. Biểu diễn 3D của tư thế dâng rượu. ............................................................. 48 Hình 2.64. Biểu diễn 3D của động tác dâng rượu (phải)............................................... 49 Hình 2.65. Biểu diễn 3D của động tác dâng rượu (trái). ............................................... 49 Hình 2.66. Biểu diễn 3D của động tác xe tơ cụm 3. ...................................................... 49 Hình 2.67. Biểu diễn 3D của chuyển động hạ xuống (thế 3). ....................................... 50 Hình 2.68. Biểu diễn 3D của chuyển động dâng lên (thế 3). ........................................ 50 Hình 2.69. Biểu diễn 3D của tư thế cướp bông. ............................................................ 50 Hình 2.70. Biểu diễn 3D của chuyển động vuốt xuống (thế 4 trái). ............................. 51 Hình 2.71. Biểu diễn 3D của chuyển động vuốt xuống (thế 4 phải). ............................ 51 Hình 2.72. Biểu diễn 3D của chuyển động viết (thế 4). ................................................ 51 Hình 2.73. Biểu diễn 3D của động tác phủi tay áo (phải). ............................................ 52 Hình 2.74. Biểu diễn 3D của động tác phủi tay áo (trái). .............................................. 52 Hình 2.75. Biểu diễn 3D của tư thế tấu nhạc. ................................................................ 53 Hình 2.76. Biểu diễn 3D của tư thế chạm đầu (thế 5). .................................................. 53 Hình 2.77. Biểu diễn 3D của động tác gánh. ................................................................. 53 Hình 2.78. Biểu diễn 3D của động tác xe tơ cụm 5. ...................................................... 54 Hình 2.79. Biểu diễn 3D của tư thế chân chữ V. ........................................................... 54 Hình 2.80. Biểu diễn 3D của động tác xiến ngang. ....................................................... 55 Hình 2.81. Biểu diễn 3D của tư thế chân chữ chi. ......................................................... 55 Hình 2.82. Biểu diễn 3D của động tác chân chữ chi nữ tiến. ........................................ 56

Hình 2.83. Biểu diễn 3D của động tác chân chữ chi nữ lùi. .......................................... 56 Hình 2.84. Biểu diễn 3D của động tác chân chữ chi nam tiến. ..................................... 56 Hình 2.85. Biểu diễn 3D của động tác chân chữ chi nam lùi. ....................................... 57 Hình 2.86. Biểu diễn 3D của tư thế chân quả trám. ...................................................... 57 Hình 2.87. Biểu diễn 3D của chuyển động chân quả trám (trái). .................................. 58 Hình 2.88. Biểu diễn 3D của chuyển động chân quả trám (phải). ................................ 58 Hình 2.89. Biểu diễn 3D của tư thế chân chữ đinh. ...................................................... 59 Hình 2.90. Biểu diễn 3D của chuyển động chân chữ đinh (trái). .................................. 59 Hình 2.91. Biểu diễn 3D của chuyển động chân chữ đinh (phải). ................................ 59 Hình 2.92. Biểu diễn 3D của tư thế đệm gót. ................................................................ 60 Hình 2.93. Biểu diễn 3D của tư thế chân chống chân quỳ. ........................................... 60 Hình 2.94. Biểu diễn 3D của chuyển động chân chống chân quỳ (trái). ....................... 61 Hình 2.95. Biểu diễn 3D của chuyển động chân chống chân quỳ (phải). ..................... 61 Hình 2.96. Biểu diễn 3D của tư thế hai đầu gối cùng quỳ. ........................................... 61 Hình 2.97. Biểu diễn 3D của chuyển động hai đầu gối cùng quỳ. ................................ 62 Hình 2.98. Biểu diễn 3D của tư thế hai chân co về một bên (trái). ............................... 62 Hình 2.99. Biểu diễn 3D của chuyển động hai chân co về một bên (trái). ................... 62 Hình 2.100. Biểu diễn 3D của tư thế duỗi thẳng hai chân. ........................................... 63 Hình 2.101. Biểu diễn 3D của chuyển động duỗi thẳng hai chân. ................................ 63 Hình 2.102. Biểu diễn 3D của tư thế hai chân bắt chéo (phải). .................................... 63 Hình 2.103. Biểu diễn 3D của chuyển động hai chân bắt chéo (phải). ......................... 64 Hình 3.1. Luồng hoạt động của thuật toán đề xuất. ....................................................... 65 Hình 3.2. Đặc điểm của nhóm ARM1. .......................................................................... 67 Hình 3.3. Đặc điểm của nhóm ARM2. .......................................................................... 68 Hình 3.4. Đặc điểm đứng của nhóm LEG1 (đường màu đỏ). ....................................... 71 Hình 3.5. Đặc điểm bàn chân nhóm LEG1 (đường màu đỏ). ....................................... 71 Hình 3.6. Luồng hoạt động của bước Đề xuất các vị trí mẫu. ....................................... 80 Hình 3.7. Một số đề xuất sinh ra với độ dài mẫu A1 là 5 và sliding là 3. ..................... 82 Hình 3.8. Luồng hoạt động của bước Tổng hợp đề xuất. .............................................. 83 Hình 3.9. Một số đề xuất của các mẫu bị trùng lặp hoặc xếp chồng lên nhau. ............. 84 Hình 3.10. Luồng hoạt động của bước Phân loại nhóm. ............................................... 84 Hình 3.11. Một số nhóm chồng lên nhau. ..................................................................... 84 Hình 4.1. Biểu diễn các kết quả dự đoán trên một dữ liệu đánh giá 𝑋1. ...................... 87 Hình 4.2. Biểu diễn kết quả của phép thử T0 cho cụm tay. .......................................... 92 Hình 4.3. Biểu diễn kết quả của phép thử T0 cho cụm chân-ngồi. ............................... 93 Hình 4.4. Biểu diễn kết quả các phép thử trên nhóm ARM1. ....................................... 94 Hình 4.5. Biểu diễn kết quả các phép thử trên nhóm ARM2. ....................................... 95 Hình 4.6. Biểu diễn kết quả các phép thử trên nhóm ARM3. ....................................... 95 Hình 4.7. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG1. ......................... 96 Hình 4.8. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG2. ......................... 96 Hình 4.9. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG3. ......................... 97 Hình 4.10. Kết quả áp dụng DTW cho các phép thử trên nhóm SIT1. ......................... 97 Hình 4.11. Kết quả áp dụng DTW cho các phép thử trên nhóm SIT3. ......................... 97 Hình 4.12. Kết quả so sánh phương pháp chọn đặc trưng trên cụm tay. ...................... 98

Hình 4.13. Kết quả so sánh phương pháp chọn đặc trưng trên cụm chân-ngồi. ........... 99 Hình 6.1. Cấu trúc phần thứ nhất của định dạng BVH. .............................................. 112 Hình 6.2. Cấu trúc phần thứ hai của định dạng BVH. ................................................ 112 Hình 6.3. Cách sắp xếp các phần của nhân vật. .......................................................... 112 Hình 6.4. Biểu diễn 1 file có độ dài 914 frame. .......................................................... 113

MỞ ĐẦU

1. Tính cấp thiết đề tài

Đề tài được tiến hành dựa trên tính cấp thiết bảo tồn và số hoá chuyển động 3D Chèo truyền thống. Hiện nay, những người am hiểu múa Chèo truyền thống không nhiều cũng như những nghiên cứu chuyên sâu cho nó khá ít ỏi. Để các thế hệ trẻ có thể tiếp cận và tìm hiểu về múa Chèo truyền thống, việc bảo tồn và số hoá múa Chèo truyền thống là vô cùng cần thiết.

Hơn nữa, sau khi số hoá chuyển động 3D Chèo truyền thống đã phát sinh một vấn đề, đó là chưa có công cụ hỗ trợ quản lý dữ liệu Chèo truyền thống ở định dạng chuyển động 3D hiệu quả. Khi phân tích dữ liệu Chèo truyền thống trong chuyển động 3D, chúng ta sẽ có nhiều nhu cầu thao tác dữ liệu. Tìm kiếm những tư thế (hoặc động tác) cơ bản trong kho lưu trữ dữ liệu Chèo truyền thống ở định dạng chuyển động 3D sẽ trở nên khó khăn. Bởi lẽ, chúng ta sẽ tốn thời gian kiểm tra từng tệp dữ liệu và xác định những tư thế (hoặc động tác) cơ bản này.

Vậy nên, đề tài “Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống” trở nên cần thiết hơn bao giờ hết. Đề tài đề xuất lưu trữ chuyển động 3D Chèo truyền thống, thuật toán xác định vị trí mẫu có khả năng xuất hiện và phân loại mẫu chuyển động 3D Chèo truyền thống. Thuật toán đề xuất này sẽ dựa vào hai kỹ thuật chính là sliding window và Dynamic Time Warping.

2. Mục đích nghiên cứu

Từ nhu cầu cấp thiết bảo tồn và số hoá chuyển động 3D Chèo truyền thống, chúng ta cần có những nghiên cứu áp dụng công nghệ trong quản lý dữ liệu này. Từ đề tài này, chúng ta có hai vấn đề cần giải quyết là lưu trữ chuyển động 3D Chèo truyền thống, xác định vị trí mẫu có khả năng xuất hiện và phân loại mẫu. Dựa vào vấn đề cần giải quyết, chúng ta đề ra một số mục tiêu cụ thể.

Đầu tiên, đề tài hỗ trợ xây dựng công cụ quản lý dữ liệu chuyển động 3D Chèo truyền thống. Thông thường một công cụ quản lý dữ liệu cần có bước đầu tìm kiếm dữ liệu. Từ kết quả tìm kiếm, chúng ta mới có thể thực hiện các thao tác chỉnh sửa hoặc thêm bớt dữ liệu. Trong trường hợp múa Chèo truyền thống, chúng ta cần tìm kiếm những tư thế cơ bản và những động tác của nó. Sau đó, công cụ quản lý dữ liệu mới có thể tiến hành thao tác sửa đổi trên những tư thế (hoặc động tác) này.

Thứ hai, đề tài đề xuất cách lưu trữ dữ liệu chuyển động 3D Chèo truyền thống. Việc lưu trữ dữ liệu chuyển động 3D Chèo truyền thống là bước quan trọng. Quan trọng vì việc trích rút nhiều thông tin hữu ích sẽ phụ thuộc chủ yếu vào bước này. Kéo theo đó, kết quả thử nghiệm chính xác hay không cũng bị ảnh hưởng từ cách trích chọn đặc trưng này.

Thứ ba, đề tài định nghĩa các động tác chuyển động 3D cơ bản của múa Chèo truyền thống (gọi là mẫu). Trong múa Chèo truyền thống, những biến thể (tư thế, động tác) của mỗi tư thế cơ bản khá đa dạng về mặt không gian và thời gian nên sẽ khó thu thập đủ dữ liệu phục vụ cho nghiên cứu. Ở đây, đề tài sẽ cố gắng định nghĩa những mẫu điển hình nhất làm cơ sở cho việc tìm kiếm.

Thứ tư, đề tài xây dựng thuật toán tìm kiếm nội dung chuyển động 3D Chèo truyền thống. Múa Chèo truyền thống có những đặc trưng riêng, khác biệt với múa truyền thống của những dân tộc khác. Vì thế những nghiên cứu múa truyền thống của nhiều nước cũng khó áp dụng cho múa Chèo truyền thống được. Hơn nữa, chúng ta chưa có công bố nghiên cứu chuyên ngành nào cho việc tìm kiếm nội dung chuyển động 3D Chèo truyền thống. Vậy nên, đề tài sẽ xây dựng một thuật toán tìm kiếm riêng cho chuyển động 3D Chèo truyền thống.

3. Đối tượng và phạm vi nghiên cứu

Về đối tượng trong đề tài, chúng ta tập trung hai đối tượng: đối tượng nghiên cứu và đối tượng khảo sát. Đối tượng nghiên cứu trong đề tài là những tư thế và động tác cơ bản trong múa Chèo truyền thống. Những tư thế hoặc động tác cơ bản là cơ sở để chúng ta xây dựng các mẫu trong dữ liệu chuyển động 3D Chèo truyền thống. Mặt khác, đối tượng khảo sát trong đề tài là chuyển động múa Chèo truyền thống. Những chuyển động múa này là tổ hợp của nhiều tư thế (hoặc động tác) cơ bản.

Về phạm vi nghiên cứu, đề tài được thực hiện ở phòng thí nghiệm HMI (trường Đại học Công nghệ-Đại học Quốc gia Hà Nội). Thời gian nghiên cứu đề tài kéo dài 6 tháng (từ tháng 10/2020 - 4/2021). Do thời gian nghiên cứu ngắn nên đề tài tập trung nghiên cứu về các nhóm tư thế cơ bản trong múa Chèo truyền thống (tư thế tay, chân và ngồi). Cụ thể, đề tài xếp mỗi tư thế cùng với tất các biến thể của tư thế vào cùng một nhóm.

4. Ý nghĩa khoa học và thực tiễn của đề tài

Đề tài “Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống” có một số

ý nghĩa thực tiễn.

Thứ nhất, đề tài hỗ trợ việc tìm kiếm chuyển động 3D Chèo truyền thống hiệu quả. So với việc tìm các tư thế động tác cơ bản trong múa Chèo bằng cách thủ công, việc tự động hoá sẽ giúp chúng ta tiết kiệm thời gian đáng kể.

Thứ hai, đề tài giúp những người yêu nghệ thuật múa Chèo truyền thống có cơ hội tìm hiểu và học hỏi từ những dữ liệu 3D Chèo truyền thống. Thực tế, những nghệ nhân và giáo viên của bộ môn nghệ thuật múa Chèo truyền thống không nhiều. Những người giỏi về bộ môn này ngày càng cao tuổi. Nhiều bài múa của bộ môn nghệ thuật này chưa được truyền dạy hết. Nghệ thuật Chèo truyền thống có nguy cơ thất truyền. Đề

tài ra đời sẽ mang lại cơ hội cho những người tâm huyết với múa Chèo truyền thống có cơ hội truyền lại cho đời sau vốn kiến thức sâu rộng của họ. Dù những bạn trẻ không có cơ hội lĩnh hội trực tiếp những thế hệ cây đa cây đề, họ vẫn có thể tự chiêm nghiệm dựa vào bài giảng số hoá về múa Chèo truyền thống.

Thứ ba, đề tài mở đường cho những nghiên cứu sâu hơn về múa Chèo truyền thống. Nghiên cứu về nghệ thuật múa Chèo truyền thống bị chững lại tính từ những năm 2000 trở về đây. Thêm vào đó, chưa có một nghiên cứu ứng dụng công nghệ trong nghệ thuật múa Chèo truyền thống. Vì thế, sự ra đời của đề tài này sẽ đặt viên gạch đầu tiên của việc ứng dụng 3D trong múa Chèo truyền thống.

5. Cấu trúc luận văn

Trong luận văn, các hình từ 2.4-2.103 được lấy từ dữ liệu chuyển động 3D Chèo truyền thống của phòng thí nghiệm HMI [4]. Luận văn được chia thành 5 chương. Chương 1 nêu rõ bài toán được giải quyết, cung cấp thông tin về những nghiên cứu trước đây và căn cứ vào đó để đề xuất một số kỹ thuật cho đề tài. Chương 2 giới thiệu về múa Chèo truyền thống và các tư thế (hoặc động tác) cơ bản trong múa Chèo truyền thống. Thêm nữa, chương 2 cũng đưa ra các định nghĩa về những dữ liệu mẫu chuyển động 3D được dùng trong bài toán, cách lưu trữ dữ liệu mẫu. Chương 3 mô tả chi tiết thuật toán đề xuất. Chương 4 tiến hành thử nghiệm trên thuật toán đề xuất, nêu các phương pháp đánh giá và nhận xét kết quả. Chương 5 kết luận những ưu điểm và hạn chế của thuật toán đề xuất và đưa ra những cải tiến trong tương lai.

CHƯƠNG 1: TỔNG QUAN

1.1. Định nghĩa bài toán

1.1.1. Định nghĩa bài toán

Bài toán tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống phải giải quyết hai vấn đề: xác định vị trí các mẫu và phân loại các mẫu trong chuyển động 3D. Việc xác định vị trí các mẫu có thể giải quyết bằng nhiều kỹ thuật. Tuy nhiên, kỹ thuật sliding window (mục 1.3.1) sẽ quét được hầu hết sự xuất hiện của các mẫu. Phân loại mẫu trong chuyển động 3D được quy về bài toán so sánh giữa 2 chuyển động tương đồng (motion similarity). Bài toán này được định nghĩa như sau:

Cho một tập các mẫu Α = {𝐴1, 𝐴2, … 𝐴𝑛} (trong đó 𝐴𝑖 là mẫu) và một dữ liệu

chuyển động X. Yêu cầu tìm kiếm các 𝐴𝑖 có trong X.

Ở đây, tập các mẫu A chính là các tư thế và các biến thể của các tư thế tương ứng trong chuyển động 3D. Trong khi dữ liệu chuyển động X là bài múa hoặc động tác tổ hợp từ những tư thế và các biến thể của các tư thế đó trong chuyển động 3D.

1.2.2. Phân tích bài toán

Trước khi giải quyết bài toán, ta cần thu hẹp phạm vi bài toán. Đầu tiên, mỗi dữ liệu (ở định dạng tệp bvh) chỉ lưu thông tin khung xương của một người diễn nên ta sẽ mặc định bài toán chỉ làm trường hợp xuất hiện một người trong dữ liệu chuyển động X. Tiếp đến, đề tài phân chia thành các nhóm tương ứng với số lượng các tư thế cơ bản. Cụ thể, đề tài định nghĩa 15 nhóm tương ứng 15 tư thế cơ bản. Ngoài ra, những động tác phức tạp sẽ được tách thành những tư thế cơ bản.

Dữ liệu ở dạng bvh có chứa nhiều thông tin về khung xương nhưng chúng ta chỉ cần 19 điểm (hình 1.1): đầu (Head), cổ (Neck), vai phải (RightShoulder), vai trái (LeftShoulder), khuỷu tay phải (RightElbow), khuỷu tay trái (LeftElbow), cổ tay phải (RightWrist), cổ tay trái (LeftWrist), ngón tay phải (RightWristEnd), ngón tay trái (LeftWristEnd), giữa hông (Hips), hông phải (RightHip), hông trái (LeftHip), đầu gối phải (RightKnee), đầu gối trái (LeftKnee), mắt cá chân phải (RightAnkle), mắt cá chân trái (LeftAnkle), ngón chân phải (RightToe), ngón chân trái (LeftToe).

Hình 1.1. Một số điểm nối trong khung xương.

Để đơn giản, ta coi mỗi frame trong dữ liệu chuyển động chỉ chứa một khung xương. Ta sẽ so sánh hai khung xương tại vị trí được xét dựa vào so sánh các cặp góc tạo bởi những vectơ xương tương ứng. Giả sử ta có hai vectơ xương tương ứng là 𝐴𝐵⃗⃗⃗⃗⃗ và 𝐴′𝐵′ ⃗⃗⃗⃗⃗⃗⃗⃗ . Công thức tính góc 𝜃 tạo bởi giữa hai vectơ này như sau:

⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ 𝐴𝐵⃗⃗⃗⃗⃗ ∙𝐴′𝐵′ ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ | |𝐴𝐵⃗⃗⃗⃗⃗ |∙|𝐴′𝐵′

𝜃 = 𝑎𝑐𝑜𝑠 ( ) (1.1)

* Những định nghĩa được đưa ra như sau:

✓ Vectơ đi từ khớp nối A sang khớp nối B được ký hiệu là A_B. Ví dụ: LHIP_LANKLE là vectơ đi từ khớp nối LHIP (hông trái) sang khớp nối LANKLE (mắt cá chân trái).

✓ Góc tạo bởi hai vectơ A_B và C_D được ký hiệu là A_B - C_D. Ví dụ: tạo bởi hai vectơ - RANKLE_RTOE là góc

LHIP_LANKLE LHIP_LANKLE và RANKLE_RTOE.

1.2. Những nghiên cứu trước đây

Bài toán tìm kiếm những mẫu chuyển động múa Chèo trong chuyển động 3D cần qua hai bước chính: đề xuất những vùng (segment) trên chuyển động này mà mẫu có thể xuất hiện (gọi là sinh đề xuất) và gán tên mẫu cho những đề xuất đó (gọi là phân loại mẫu hay gán nhãn). Trong phần này, luận văn sẽ tìm hiểu những kỹ thuật được áp dụng cho hai bước trên. Ngoài ra, luận văn cũng tìm hiểu cách chọn đặc trưng dùng trong phân loại mẫu và những nghiên cứu áp dụng công nghệ trong múa Chèo truyền thống.

1.2.1. Xác định vị trí mẫu

Xác định vị trí mẫu là một bước quan trọng của quá trình tìm kiếm mẫu trong chuỗi thời gian. Hướng tiếp cận Phân mảnh chuỗi thời gian (time series segmentation) được dùng phổ biến cho bước này bởi tính ưu việt của nó [17]:

- Tìm kiếm những vị trí tương đồng nhanh và chính xác - Áp dụng nhiều phép đo tính khoảng cách - Khai thác đồng thời nội dung và thứ tự thời gian - Hỗ trợ các thuật toán phân cụm và phân loại - Hỗ trợ phát hiện vị trí thay đổi

Phân mảnh chuỗi thời gian có 3 kiểu chính: sliding window, top-down, bottom-up. Sliding window [17] bắt đầu bằng cách xác định điểm mút bên trái của segment đầu tiên (thường là điểm dữ liệu đầu tiên trong chuỗi thời gian). Điểm mút bên trái cũng chính là điểm bắt đầu cho cửa sổ trượt sang phải dọc theo chuỗi thời gian. Trong khi trượt, kích thước cửa sổ tăng lên và các điểm dữ liệu mới sẽ tự động được thêm vào segment. Việc tự động tăng được dừng lại khi giá trị lỗi của segment đó không lớn hơn một ngưỡng cho phép. Điểm dừng này cũng chính là một điểm mút bên trái của segment mới.

Top-down [17] lúc bắt đầu coi chuỗi thời gian như một phân vùng. Thuật toán tiến hành đưa ra một danh sách các đề xuất vị trí phân chia. Vị trí tốt nhất chia phân vùng này thành 2 phần (S1 và S2) thoả mãn độ lệch giữa 2 vùng là lớn nhất. Nếu giá trị lỗi xấp xỉ (approximation error) của một vùng dưới ngưỡng cho phép thì vùng đó không bị phân chia và vùng đó được chấp nhận. Nếu vượt ngưỡng cho phép thì vùng đó phải tiếp tục phân chia. Thủ tục này được lặp lại cho đến khi một trong những điều kiện dừng được thoả mãn 1 trong 2 điều kiện: đạt đến k segment, approximation error dưới ngưỡng cho phép.

Bottom-up [17] chia chuỗi thời gian (độ dài n) thành một số phần rất nhỏ có độ dài bằng nhau. Sau đó, tiến hành so sánh các cặp segment liên tiếp nhau. Cặp có giá trị lỗi nhỏ nhất được hợp lại thành một segment lớn hơn. Thủ tục được lặp lại cho đến khi một trong những điều kiện dừng được thoả mãn: đạt được k segment, approximation error vượt quá ngưỡng cho phép.

1.2.2. Phân loại mẫu

Phân loại mẫu chính là so sánh từng mẫu với đề xuất (segment) và chọn tên mẫu gắn với đề xuất đó. Để làm được điều này, chúng ta cần tìm một kỹ thuật so sánh độ tương đồng giữa chúng. Theo Anna Sebernegg [24], có nhiều hướng tiếp cận bài toán này. Ở đây chúng ta tập trung chủ yếu 3 hướng chính: dóng chuỗi theo thời gian (temporal alignment), so sánh theo quỹ đạo (trajectory-based) và so sánh theo quy tắc (rule-based).

Dóng chuỗi theo thời gian được tiến hành bằng cách đo khoảng cách giữa các mối nối (joint) hoặc các góc quay [24]. Dynamic Time Warping (DTW) và Hidden Markov Models (HMM) là hai kỹ thuật điển hình của hướng tiếp cận này. DTW đo độ tương đồng giữa hai chuỗi biến đổi theo thời gian thông qua việc tìm đường đi giữa hai chuỗi này với tổng chi phí nhỏ nhất. Những bài toán đo độ tương đồng thường dùng thuật toán DTW cho dữ liệu nhiều chiều mặc dù nó có nhược điểm là thời gian chạy bậc hai và hạn chế trong tìm ý nghĩa giữa hai chuỗi sau khi bỏ qua yếu tố thời gian. Ngược lại, HMM lại dựa vào việc biểu diễn trạng thái của hoạt động. Người ta dùng HMM chủ yếu trong giai đoạn huấn luyện (trong học máy) và phân loại lớp. Kỹ thuật này cũng loại bỏ yếu tố thời gian bằng cách giả thiết rằng các quan sát độc lập nhau về thời gian. Kỹ thuật HMM cũng đã được áp dụng cho một số tư thế tay (wave, stop, come) [12]. Tuy nhiên, ta không thể kiểm tra tập dữ liệu 3D Chèo truyền thống theo [12] vì cách lấy đặc trưng của hai tập dữ liệu là hoàn toàn khác nhau.

Trong hướng tiếp cận So sánh theo quỹ đạo, chuyển động được coi là một tập hợp các quỹ đạo theo không gian-thời gian [24]. Theo đó, độ tương đồng được đo theo các quỹ đạo này. Cách đo độ tương đồng cũng dùng những phép đo khoảng cách như DTW, LCSS, edit distance on real sequence (EDR)... Các quỹ đạo có thể lấy từ quá trình thu dữ liệu chuyển động (dùng các điểm đánh dấu) hoặc dựa vào sự thay đổi không gian- thời gian của dữ liệu khung xương 3D. Tuy nhiên, hướng tiếp cận này phụ thuộc lớn vào độ chính xác của dữ liệu.

Phương pháp so sánh theo quy tắc phần lớn dựa vào khuôn mẫu (template) và được áp dụng trong nhận diện hành động [24]. Theo phương pháp này, một tập các quy tắc định nghĩa ra các khuôn mẫu. Hệ thống sẽ so sánh chuyển động cần xét với những khuôn mẫu được định nghĩa trên. Mặc dù việc triển khai hệ thống khá đơn giản nhưng chỉ áp dụng cho bài toán có số lượng khuôn mẫu ít đa dạng. Vậy nên, hướng này không phù hợp với bài toán của chúng ta.

Từ những phân tích trên, kỹ thuật DTW (dùng cho hướng tiếp cận gióng chuỗi theo thời gian) sẽ phù hợp với điều kiện bài toán chúng ta. Điều phù hợp đầu tiên, kỹ thuật DTW áp dụng cho độ dài mẫu khác nhau. Thực tế, các động tác cơ bản của múa Chèo được thực hiện trong những khoảng thời gian khác nhau. Ví dụ, động tác quay sợi cụm 1 biểu diễn trong 11 giây; động tác soi bóng cần 4 giây để hoàn thành. Điều phù hợp thứ hai là kỹ thuật DTW áp dụng được cho dữ liệu nhiều chiều. Dễ thấy, dữ liệu chuyển động 3D là dữ liệu nhiều chiều. Dùng DTW với dữ liệu nhiều chiều giúp chúng ta xây dựng thuật toán đơn giản hơn.

1.2.3. Trích chọn đặc trưng

Dữ liệu chuyển động chứa thông tin vị trí, hướng và di chuyển của người trong không gian 3D kèm theo nhiễu. Mô hình khung xương người là một cách lưu dữ liệu chuyển động phổ biến và hiệu quả. Đó là do thiết bị thu dữ liệu sẵn có với giá không

quá đắt cùng với sự ra đời của nhiều thuật toán hỗ trợ giải quyết bài toán liên quan đến cách lấy đặc trưng này. Cách lưu trữ theo khung xương cũng kéo theo nhiều nghiên cứu quan trọng.

Năm 2016, Raviteja Vemulapalli và Rama Chellappa đã đề xuất kỹ thuật rolling rotations cho nhận diện hành động người trên dữ liệu 3D [26]. Kỹ thuật này được thực hiện theo 2 bước: dùng các phép quay 3D để biểu diễn các phần khung xương, sau đó đưa những chuyển động (ở phép quay 3D) thành những đường cong trong nhóm Lie. Rolling rotations có nhiều ý nghĩa nhưng đáng chú ý là kỹ thuật này đã giúp giảm chiều dữ liệu.

Năm 2017, Yusuke Goutsu, Wataru Takano và Yoshihiko Nakamura đã đề xuất một mô hình phân loại hoạt động hàng ngày của con người dựa vào những phần trên cơ thể người và các câu mô tả [11]. Trong khi nghiên cứu, Goutsu và các cộng sự đã phát hiện ra hai vấn đề. Thứ nhất, đặc trưng được lấy từ một số phần khác nhau của cơ thể (gọi là đặc trưng cục bộ) có ích hơn là lấy đặc trưng từ toàn bộ cơ thể (gọi là đặc trưng toàn cục). Ví dụ, hành động “đấm” chỉ sử dụng một tay trong khi hành động “vỗ tay” dùng cả hai bàn tay... Thứ hai, đặc trưng cục bộ có liên quan đến mục đích của hành động. Lấy một ví dụ cụ thể cho trường hợp gọi điện thoại. Người gọi cần di chuyển bàn tay giữ điện thoại áp sát mặt. Khi đó mối quan hệ giữa vị trí bàn tay và mặt là quan trọng.

Năm 2019, Sheng Li và các cộng sự ở đại học Bắc Kinh (Trung Quốc) đưa ra thuật toán nén dữ liệu 3D (gọi là MJS) để hỗ trợ cho bài toán nhận diện hành động [18]. Qua quá trình quan sát, Li và các đồng nghiệp nhận thấy chỉ một số các điểm nối trong khung xương có ảnh hưởng đến chuyển động. Phát hiện này đã được áp dụng trong thuật toán MJS. Thuật toán MJS được thực hiện theo 2 bước: tìm ra các điểm chuyển động sau đó kết hợp với các thuật toán nén không mất mát dữ liệu.

Năm 2019, Kao và các đồng nghiệp đã đề xuất cách biểu diễn dữ liệu chuyển động 3D (khung xương) theo đồ thị vô hướng [15]. Mỗi điểm nối của khung xương sẽ tương ứng với một đỉnh của đồ thị. Mỗi cạnh của đồ thị nhận giá trị trọng số đơn vị.

Từ những phân tích trên, chúng ta rút ra 2 điểm quan trọng. Thứ nhất, đề tài cần thiết sử dụng dữ liệu chuyển động 3D biểu diễn ở dạng khung xương. Lý do là có nhiều nghiên cứu về chúng sẽ hỗ trợ đáng kể cho việc tìm kiếm mẫu. Thứ hai, chọn lựa một số điểm nối trong khung xương có ảnh hưởng đến chuyển động. Việc chọn lựa này sẽ giúp chúng ta tối ưu thuật toán tìm kiếm mẫu.

1.2.4. Nghiên cứu sử dụng dữ liệu múa truyền thống 3D

Tới thời điểm này đã có nhiều nghiên cứu về múa truyền thống biểu diễn ở dạng

3D. Dưới đây là một số nghiên cứu điển hình.

Năm 2010, Björn Rennhak cùng các cộng sự đã đề xuất một kỹ thuật phát hiện cấu trúc chuyển động trong những điệu múa truyền thống Nhật [23]. Từ việc phân tích

nghệ thuật múa dân gian Nhật Bản, họ đã rút ra 2 kết luận. Thứ nhất, một loạt các tư thế trong bài múa sẽ mang đặc trưng cho cấu trúc của một bài múa (dance structure) nhưng lại ít quan trọng so với các vị trí cơ thể hình thành nên một tư thế (gọi là keyposes). Thứ hai, khi các tư thế trong bài múa được thực hiện thì chúng sẽ truyền tải phong cách và nội dung của bài múa. Dựa vào 2 kết luận này, nhóm của Björn Rennhak đã xây dựng thuật toán phát hiện chuyển động quay (turning motion) của cẳng tay (forearm).

Năm 2017, Protopapadakis và các cộng sự (đại học Kỹ thuật quốc gia Atens, Hy Lạp) đã xây dựng mô hình nhận diện múa truyền thống Hy Lạp (không bao gồm các biến thể) ở dạng 3D [22]. Thiết bị Kinect II được dùng để thu dữ liệu 3D này. Mô hình sử dụng một số thuật toán lấy mẫu dùng để tìm ra các mẫu đại diện. Thuật toán OPTICS (Ordering Points to Identify the Clustering Structure) để tìm kiếm các cụm trong dữ liệu. Thuật toán chọn đại diện phân tán (sparse representative selection) tập trung vào nhận diện các đối tượng điển hình. Nhóm cũng đã sử dụng một số bộ phân loại: kNN (k nearest neighbors), cây phân loại, mạng nơron nhân tạo (artificial neural network), SVM (support vector machine).

Năm 2020, nhóm Joko Sutopo đề xuất một mô hình phát hiện và nhận diện kiểu chuyển động múa trong múa rối bóng Golek Menak [14]. Múa rối bóng Golek Menak là một loại hình múa truyền thống Indonesia. Golek Menak chia ra thành 3 đoạn: mở màn, hội thoại giữa những người múa, đóng màn. Mỗi đoạn có những điệu bộ (gesture) khác nhau. Dữ liệu múa Golek Menak được thu bởi thiết bị Kinect X-Box 360. Hệ thống dùng 16 điểm nối trong khung xương (6 điểm bên trái, 6 điểm bên phải) trong một điệu bộ để trích rút đặc trưng bằng cách áp dụng LMA (phân tích chuyển động Laban) trên 2 thành phần: Space và Effort. Tiếp đó, thuật toán đưa các đặc trưng này vào mô hình HMM để học cách phân loại các điệu bộ đó.

Hiện tại, Việt Nam có rất ít công bố kết quả nghiên cứu về múa truyền thống Việt Nam liên quan đến dữ liệu chuyển động 3D. Năm 2019, nhóm của Nguyễn Xuân Thành đã có đề xuất một hệ thống khôi phục dữ liệu khung xương 3D từ dữ liệu khung xương 2D [21]. Hệ thống này dùng thuật toán OMP (Orthogonal Matching Pursuit) để đưa ra những đề xuất khung xương 3D cho khung xương 2D (gồm 15 điểm). Sau đó, hệ thống dùng một mô hình được học sẵn Pose-angle Limits để loại bỏ những khung xương bị lỗi và chọn ra những đề xuất tốt nhất. Tiếp đến, hệ thống dùng kỹ thuật xử lý pose liên tục (temporal model) để loại bỏ những điểm nối gây ra chuyển động. Hệ thống sẽ được đánh giá trên 2 tập dữ liệu CMU và múa truyền thống Việt Nam.

Từ những điều tra ở trên, chúng ta khẳng định rằng, chưa có nghiên cứu nào về phát hiện và nhận diện mẫu trong chuyển động 3D múa Chèo. Vì vậy, chúng ta có thể kết luận đề tài đang nghiên cứu là đề tài mới hoàn toàn.

1.3. Phương pháp đề xuất

Do đề tài là mới trong nghiên cứu chuyển động 3D Chèo nên chúng ta có thể áp dụng một số kỹ thuật từ những nghiên cứu trước đó về tìm kiếm mẫu chuyển động 3D và nghiên cứu trong múa truyền thống nói chung. Ở đây, đề tài chọn hai kỹ thuật chính được làm là sliding window và thuật toán DTW.

1.3.1. Kỹ thuật sliding window Kỹ thuật sliding window là một trong những kỹ thuật cơ bản của phương pháp Phân mảnh chuỗi thời gian (xem mục 1.2.1). Kỹ thuật sliding window dùng một cửa sổ (gọi là window hay kernel) có kích thước cố định để trượt qua mỗi vị trí của mảng.

Ví dụ, tìm hai số cạnh nhau có giá trị liên tiếp nhau trong một dãy số gồm: 6, 3, 5, 7, 8, 9, 7, 2. Từ yêu cầu bài toán, ta suy ra hiệu của số sau trừ số trước bằng 1. Như vậy, để giải bài nay ta chỉ cần cho một cửa sổ (độ dài là 2) trượt từ đầu đến cuối mảng để kiểm tra điều kiện trên. Khi cửa sổ ở vị trí đầu tiên, ta thấy 3 − 6 ≠ 1 không thoả mãn yêu cầu nên bỏ qua. Cửa sổ trượt đến vị trí thứ hai, ta thấy 5 − 3 ≠ 1 nên bỏ qua. Sau khi cửa sổ trượt qua hết các vị trí trong mảng ta thu được kết quả là cặp vị trí (4, 5), (5, 6) tương ứng với cặp giá trị (7, 8), (8, 9).

Hình 1.2. Ví dụ dùng cửa sổ trượt.

Trong đề tài, kỹ thuật sliding window sẽ sinh ra những đề xuất (xem ở mục 3.2.2) mà tại đó mẫu có thể xuất hiện. Mỗi đề xuất có độ dài mặc định bằng độ dài mẫu.

1.3.2. Thuật toán DTW

Giả sử có hai chuỗi theo thời gian lần lượt là 𝑆 = (𝑠1, 𝑠2, … , 𝑠𝑛) và 𝑇 = (𝑡1, 𝑡2, … , 𝑡𝑚). Mỗi thành phần trong S và T là một giá trị vô hướng. Ta xây dựng một

ma trận chi phí kích cỡ n x m. Trong đó, phần tử hàng i cột j (ký hiệu 𝐶(𝑠𝑖, 𝑡𝑗)) là khoảng cách Euclide giữa 𝑠𝑖 và 𝑡𝑗. Đề tài tính khoảng cách Euclide theo danh sách góc (xem mục 3.2.1).

t2 t4 t5 s1 s2 s3 s4 s5 s6 s7

t3 t1 Hình 1.3. Ma trận chi phí.

Mục tiêu của thuật toán DTW là tìm ra đường đi tối ưu, hay nói cách khác đường đi có độ dài nhỏ nhất. Thuật toán áp dụng phương pháp lập trình động. Do đó, ta có phương trình đệ quy tính khoảng cách (tổng chi phí kết nối của đường đi) từ vị trí (1, 1) đến vị trí (𝑖, 𝑗) là:

𝐷(𝑖, 𝑗) = 𝑚𝑖𝑛{𝐷(𝑖 − 1, 𝑗 − 1), 𝐷(𝑖 − 1, 𝑗), 𝐷(𝑖, 𝑗 − 1)} + 𝐶(𝑠𝑖, 𝑡𝑗) (1.2)

Hình 1.4. Đường đi tối ưu (đường nét đứt).

Từ đó, thuật toán DTW [32] được xây dựng như sau:

function DTW(S, T):

𝐷(1,1) ∶= 𝐶(𝑠1, 𝑡1)

for 𝑖 ≔ 2 to n:

𝐷(𝑖, 1) ≔ 𝐷(𝑖 − 1,1) + 𝐶(𝑠𝑖, 𝑡1)

for 𝑗 ≔ 2 to m:

𝐷(1, 𝑗) = 𝐷(1, 𝑗 − 1) + 𝐶(𝑠1, 𝑡𝑗)

for 𝑖 ≔ 2 to n:

for 𝑗 ≔ 2 đến m:

𝐷(𝑖, 𝑗) = 𝑚𝑖𝑛{𝐷(𝑖 − 1, 𝑗 − 1), 𝐷(𝑖 − 1, 𝑗), 𝐷(𝑖, 𝑗 − 1)} + 𝐶(𝑠𝑖, 𝑡𝑗)

return 𝐷(𝑚, 𝑛)

CHƯƠNG 2: CƠ SỞ NGHIÊN CỨU

2.1. Múa Chèo truyền thống

2.1.1. Giới thiệu múa Chèo truyền thống

Múa Chèo là một trong những thành tố tổ hợp nên sân khấu Chèo [1]: múa, âm nhạc, diễn... Âm nhạc là phương tiện biểu hiện và cũng là linh hồn của múa Chèo [1]. Nhạc và múa Chèo luôn đồng hành với nhau để tạo ra những đặc điểm, tính cách riêng cho từng đoạn múa, lớp múa. Ví dụ, bài hát gà rừng đã tạo ra một điệu múa gà rừng đặc trưng, không thể lẫn với những điệu múa khác [1]. Quan trọng hơn, nhạc cụ trong dàn nhạc đã là một phần không thể thiếu trong múa Chèo. Trong đó, trống và nhị là hai nhạc cụ thường được dùng đến nhất. Ở trích đoạn Suý Vân giả dại (xe tơ-dệt vải), âm thanh của dàn nhạc cất lên, lúc dồn dập lúc nhịp nhàng. Điều đó đã làm cho người xem cảm nhận và hoà mình vào bối cảnh của từng hoạt động xe tơ, dệt vải, xâu kim của nhân vật Suý Vân. Khi xe tơ, nhịp trống tăng dần; khi dệt vải thì nhịp trống trở nên đều đặn và nhịp nhàng.

Căn cứ theo phương tiện biểu diễn, các động tác múa Chèo được chia thành hai loại chính: múa có đạo cụ và múa không đạo cụ [1]. Đạo cụ được dùng để múa là đạo cụ gắn bó với nhân vật trong sinh hoạt hàng ngày hoặc trong công việc thường xuyên như quạt, mái chèo… Trong bài múa “Thị Mầu lên chùa”, chiếc quạt đã khắc hoạ thành công tính cách nhân vật Thị Mầu [1]. Một loạt các động tác quạt chụm, quạt xoè, vờn bay trên cao, dưới thấp… kèm theo ánh mắc liếc ngang liếc dọc đã cho khán giả thấy cách yêu của Thị Mầu – một cách yêu rạo rực, cháy bỏng, khát khao, phá bỏ những rào cản của chế độ phong kiến. Quạt cũng nói lên tính lẳng lơ của Thị Mầu: khi dùng quạt che mặt, khi dùng chuôi quạt để vuốt tóc, vuốt má Thị Kính. Một ví dụ khác là mái chèo được dùng đến trong những động tác múa đẩy thuyền, múa chèo đò. Mái chèo đã thể hiện linh hoạt theo nội dung của đoạn diễn hoặc minh họa lời hát để người xem dễ hình dung tưởng tượng. Trong vở Từ Thức, mái chèo trên tay nhân vật Từ Thức khéo léo đưa thuyền vào động tiên [2]. Trái lại, mái chèo của Tuần Ty (trong trích đoạn Tuần Ty – Đào Huế) lại vội vàng, gấp gáp làm thuyền xoay đi nhiều hướng [2]. Múa không đạo cụ là múa chỉ dùng hình thể mà không cần thêm đạo cụ. Trước khi đi vào chi tiết, ta cần nắm được một số quy tắc của múa:

✓ Không gian xung quanh người biểu diễn được chia thành 8 hướng [3]. Hướng 1 là ở phía trước mặt người biểu diễn. Từ đó mà ta xác định các hướng còn lại.

Hình 2.1. Quy định các hướng.

✓ Vị trí tay chia thành 3 trường hợp: cao, trung, hạ. Trong đó, vị trí cao tính từ vai trở lên đầu; vị trí trung tính từ vùng hông đến vai; vị trí hạ tính từ hông xuống phía chân.

Hình 2.2. Vị trí tay.

✓ Ngoài ra, chúng ta cũng cần phân biệt trạng thái của bàn tay để hiểu rõ về mô

tả động tác.

+ Bàn tay ngửa: Lòng bàn tay hướng lên trên, lưng bàn tay hướng xuống dưới. + Bàn tay sấp: Lòng bàn tay hướng xuống dưới, lưng bàn tay hướng lên trên.

a) ngửa b) sấp

Hình 2.3. Trạng thái ngửa và sấp của một bàn tay. Nguồn: https://en.wikipedia.org/

Múa tay không chính là nghệ thuật sử dụng bàn tay, cổ tay và ngón tay. Đây chính là đặc trưng cơ bản của múa Chèo [1, 2]. Bàn tay của Chèo thể hiện được màu sắc

riêng của Chèo mà không một loại hình nghệ thuật nào khác có được. Bắt đầu học múa Chèo, người diễn viên phải tập cuộn từng đốt ngón tay, cổ tay, bàn tay. Việc tập luyện này đòi hỏi nhiều thời gian tập luyện mới đạt được yêu cầu của múa Chèo. Bên cạnh đó, chuyển động chân kết hợp với múa tay để định hình tính cách và tâm lý nhân vật. Ví dụ, động tác đi thư sinh đại diện cho nhân vật thư sinh. Vậy nên, động tác này yêu cầu đi khoan thai, chững chạc, dáng ngay thẳng, đầu gối thẳng khi bước. Động tác đi nữ lệch đại diện cho nhân vật nữ lệch lẳng lơ, ong bướm, đa tình. Thế nên, khi biểu diễn động tác này, mông phải đung đưa theo mỗi bước chân, hai chân đi phải chéo nhau.

2.1.2. Các tư thế cơ bản trong múa Chèo truyền thống

Trong múa Chèo, các tư thế cơ bản được chia thành 3 nhóm tay, chân, ngồi.

Dựa vào giáo trình múa Chèo cơ bản [3], chúng ta sẽ mô tả những nhóm này:

2.1.2.1. Các tư thế tay * Thế 1 (múa chạy đàn)

- Đặc điểm chính của thế 1:

i) Hai cổ tay để cách ngực 20 cm và bắt chéo nhau (hình 2.4). ii) Dựng đứng hai bàn tay sao cho lưng của chúng áp vào nhau. iii) Các ngón tay để khép, lưng bàn tay hơi cong tạo thành búp sen thẳng. iv) Khuỷu tay để bành ra tạo với cổ hình tam giác.

Hình 2.4. Tư thế múa chạy đàn.

- Một số biến thể của tư thế:

+ Động tác múa chạy đàn (hình 2.5): Khi múa hai tay để bắt chéo cổ tay ở trước ngực, hai mu bàn tay hướng vào nhau, hai lòng bàn tay hướng ra hai bên. Lúc múa cuộn từng ngón một vào lòng bàn tay. Hai tay múa cùng 1 lúc và đi cùng 1 chiều.

Hình 2.5. Động tác múa chạy đàn.

+ Động tác quay sợi cụm 1: Hai tay để thế 1 (hình 2.6). Hai bàn tay cùng quay một vòng tròn trước ngực (đi xuống thì úp lòng bàn tay, đi lên thì ngửa lòng bàn tay). Hai bàn tay quay từ chậm đến nhanh.

Hình 2.6. Động tác quay sợi cụm 1.

* Thế 2 (dâng hoa)

- Đặc điểm chính của thế 2:

i) Cổ tay để cao ở hai bên người (hình 2.7). ii) Hai bàn tay để ngửa sao cho ngón cái và ngón trỏ duỗi thẳng, ngón giữa co vào và cong hai đốt ngoài, ngón út và ngón đéo nhẫn hơi cong, nhưng thấp hơn ngón giữa.

iii) Khuỷu tay co lại thành hình tam giác.

Hình 2.7. Tư thế dâng hoa (cao).

- Một số biến thể của tư thế:

+ Động tác dâng hoa: khi múa, hai tay để thế 2, múa cuộn ngón ở tầm cao.

Hình 2.8. Động tác dâng hoa (cao).

+ Động tác bay (hình 2.9): Hai tay để thế 2 (trung) và úp bàn tay. Hai cổ tay cong lên khi kéo hai cánh tay xuống thế 2 (hạ). Hai bàn tay chúi xuống khi đưa hai cánh tay lên ngang vai. Động tác này được tính bằng 1 lần đưa hai tay lên và 1 lần đưa hai tay xuống.

Hình 2.9. Động tác bay.

+ Động tác chống sườn (hình 2.10): Hai cổ tay chống vào sườn.

Hình 2.10. Động tác chống sườn.

+ Động tác đưa thoi (hình 2.11): Hai tay để ngửa hai bàn tay ở thế 2 (hạ). Làm động tác đưa thoi từng tay một, mặt nhìn theo tay đưa.

Hình 2.11. Động tác đưa thoi.

* Thế 3 (dâng rượu)

- Đặc điểm chính của thế 3:

i) Hai bàn tay đặt ngửa và khép các ngón, đặt cao thấp khác nhau chỉ về hướng

2 hoặc hướng 8 (hình 2.12).

ii) Tay phải hướng về hướng 2, cổ tay cao hơn vai, bàn tay để ngửa như thế 2,

chỉ hướng 2.

iii) Tay trái để thấp khuỷu tay, đặt cạnh khuỷu tay của tay phải bàn tay để ngửa,

các ngón cũng cong như thế 2. iv) Cánh tay không chạm vào ngực.

a) phải b) trái

Hình 2.12. Tư thế dâng rượu.

- Một số biến thể của tư thế:

+ Động tác dâng rượu (hình 2.13): hai tay chỉ về hướng 2 cao và hạ như động tác gốc. Hai tay cuộn ngón tay và đứng thẳng cổ tay, chỉ ngả cổ tay 45 độ về hướng chỉ, mắt nhìn theo tay chỉ. Làm tương tự cho bên trái (hình 2.14).

Hình 2.13. Động tác dâng rượu (bên phải).

Hình 2.14. Động tác dâng rượu (bên trái).

+ Động tác soi bóng (hình 2.16): Để hai tay ở thế 3 cao như tư thế gốc. Hai tay cuộn ngón và hất ngửa hai lòng bàn tay ở bên phải hướng 3, mặt nhìn về hướng 8. Làm tương tự cho bên trái (hình 2.15).

Hình 2.15. Động tác soi bóng (bên trái).

Hình 2.16. Động tác soi bóng (bên phải).

+ Động tác rắc dâu (hình 2.17): Hai tay để ở thế 3 (hạ) về bên phải. Bàn tay chỉ về hướng 2, người nghiêng theo tay 20 độ, rung từ cổ tay đến bàn tay, mặt nhìn theo tay rung. Làm tương tự cho bên trái (hình 2.18).

Hình 2.17. Động tác rắc dâu (phải).

Hình 2.18. Động tác rắc dâu (trái).

+ Động tác xe tơ cụm 3 (hình 2.19): Hai tay để thế 3 (cao). Đối với tay phải, ngón cái và ngón chỉ cầm vào nhau, và vê sợi; đối với tay trái, ngón cái cầm vào ngón giữa, ngón trỏ chỉ thẳng và quay những vòng nhỏ nhỏ vào người để xe sợi cho săn. Mặt nhìn theo tay phải. Đổi bên làm tương tự (hình 2.20).

Hình 2.19. Động tác xe tơ cụm 3 (phải).

Hình 2.20. Động tác xe tơ cụm 3 (trái).

* Thế 4 (cướp bông)

- Đặc điểm chính của thế 4:

i) Bàn tay phải chúc ngón xuống chỉ về hướng 8, để ngửa các ngón co duỗi

như thế 2.

ii) Bàn tay trái để úp cong cổ tay, các ngón tay chỉ về hướng 2, bàn tay và ngón

tay tạo một góc gần vuông (hình 2.21).

iii) Hai bàn tay để chéo nhau thành hình chữ X, đặt cạnh sườn và hất lòng bàn

tay trái ra ngoài, sau đó làm ngược lại.

a) phải b) trái

Hình 2.21. Tư thế cướp bông.

- Một số biến thể của tư thế:

+ Động tác múa cướp bông: hai tay để ở tư thế gốc. Hai tay có thể múa ở tầm hạ phía trước, tầm trung hướng 2 (hình 2.23) và tầm trung hướng 8 (hình 2.22). Mặt nhìn theo tay múa.

Hình 2.22. Động tác múa cướp bông (hướng 8).

Hình 2.23. Động tác múa cướp bông (hướng 2).

+ Động tác phủi tay áo (hình 2.25): Tay trái để thẳng xuống dưới, bàn tay ngửa. Tay phải cuộn ngón đưa lên cánh tay trái cho đến khi lên hết cánh tay trái thì hất cong cổ tay và úp bàn tay vuốt xuống hết cánh tay trái thì dừng lại. Tay trái cuộn ngón vuốt lên vai phải, và hất cong cổ tay, úp bàn tay xuống vuốt đến hết tay phải thì dừng lại. Mắt nhìn theo tay. Đổi bên làm tương tự (hình 2.24).

Hình 2.24. Động tác phủi tay áo (phải).

Hình 2.25. Động tác phủi tay áo (trái).

+ Động tác đề thơ: Ngửa bàn tay trái ở trước mặt. Ở tay phải, các ngón cái và ngón giữa chạm vào nhau, ngón trỏ giơ lên để tả cái bút, 2 ngón khác duỗi thẳng. Khi viết, cong và rung cổ tay. Mắt nhìn theo tay viết. Người hơi cúi về phía trước (viết vào lòng bàn tay trái).

Hình 2.26. Động tác đề thơ.

* Thế 5 (tấu nhạc)

- Đặc điểm chính của thế 5:

i) Tay phải bàn tay để ngửa (các ngón như tư thế 2) đưa lên cao, hướng về

hướng 2 (hình 2.27).

ii) Cánh tay đưa lên tạo cho khuỷu tay thành một góc nhọn 45 độ. iii) Tay trái, bàn tay úp để cạnh sườn trái, các ngón và bàn tay thẳng. iv) Bàn tay và cổ tay thành một góc vuông. v) Khuỷu tay trái thẳng xuôi theo cánh tay. vi) Khi múa cả hai bên và hai tay đảo ngược nhau lên xuống.

a) phải b) trái

Hình 2.27. Tư thế tấu nhạc.

- Một số biến thể của tư thế:

+ Động tác tấu nhạc: lấy từ tư thế gốc thế 5 (hình 2.28 và 2.29).

Hình 2.28. Động tác tấu nhạc (bên phải).

Hình 2.29. Động tác tấu nhạc (bên trái).

+ Động tác xe tơ cụm 5:

Hình 2.30. Động tác quay sợi cụm 5 (trái).

+ Động tác vuốt tóc (hình 2.31):

Hình 2.31. Động tác vuốt tóc (bên phải).

+ Động tác gánh (hình 2.32):

Hình 2.32. Động tác gánh (phải).

Hình 2.33. Động tác gánh (bên trái).

+ Động tác ném (hình 2.34):

Hình 2.34. Động tác ném (phải).

Hình 2.35. Động tác ném (trái).

2.1.3.2. Các tư thế chân * Thế 1 (chữ V):

- Đặc điểm chính của thế 1:

i) Hai chân đứng hình chữ V hoặc A

a) chữ V b) chữ A

Hình 2.36. Tư thế chữ V.

- Một số biến thể của tư thế:

+ Động tác xiến:

o Xiến ngang (hình 2.37):

o Xiến tròn (hình 2.38):

Hình 2.37. Động tác xiến (ngang).

Hình 2.38. Động tác xiến (vòng).

o Xiến thẳng (hình 2.39):

Hình 2.39. Động tác xiến (thẳng).

* Thế 2 (chữ chi):

- Đặc điểm chính của thế 2:

i) Hai chân đứng song song, chân trái bước lên đặt xế mũi chân về hướng 8

(hình 2.40).

ii) Để 2 bàn chân trên sàn, chân phải nhấc gót chân lên mũi chân trái bám sát

mặt sàn và quay về hướng 2.

a) trái b) phải

Hình 2.40. Tư thế chân chữ chi.

- Một số biến thể của tư thế:

+ Động tác đi chữ chi kiểu nữ tiến (hình 2.41):

Hình 2.41. Động tác đi chữ chi kiểu nữ tiến.

+ Động tác đi chữ chi kiểu nữ lùi (hình 2.42):

Hình 2.42. Động tác đi chữ chi kiểu nữ lùi.

+ Động tác đi chữ chi kiểu nam tiến (hình 2.43):

Hình 2.43. Động tác đi chữ chi kiểu nam tiến.

+ Động tác đi chữ chi kiểu nam lùi (hình 2.44):

Hình 2.44. Động tác đi chữ chi kiểu nam lùi.

* Thế 3 (quả trám):

- Đặc điểm chính của thế 3:

i) Hai chân đứng song song, chân trái đặt chéo bàn chân về hướng 1, chân trái để

cao hơn chân phải nửa bàn chân (hình 2.45).

a) phải b) trái

Hình 2.45. Tư thế quả trám.

* Thế 4 (chữ đinh):

- Đặc điểm chính của thế 4:

i) Hai chân đứng thế 1, chân trái đặt lên hướng 8, mũi chân phải chỉ về hướng 2

(hình 2.46).

ii) Hai chân đều bám sát mặt sàn, trọng lượng dồn về chân trái, chân trái đặt nhẹ.

a) trái b) phải

Hình 2.46. Tư thế chữ đinh.

* Thế 5 (đệm gót):

- Đặc điểm chính của thế 5:

i) Chân trái đứng mũi chân thẳng hướng 1. ii) Bàn chân để trên mặt sàn, chân phải đệm phần mũi về phía sau gót chân trái,

phần gót chân phải nhấc lên (hình 2.47).

a) phải b) trái

Hình 2.47. Tư thế đệm gót.

2.1.3.3. Các tư thế ngồi * Thế 1 (chân chống chân quỳ)

- Đặc điểm chính của thế 1:

i) Ngồi xuống, chân trái chống, bàn chân sát mặt sàn, đầu gối phải quỳ xuống sàn

(hình 2.48).

ii) Phần mũi chân phải bám sát mặt sàn, gót chỉ lên, ngồi vào gót chân phải. iii) Mũi chân trái và đầu gối chân phải để bằng nhau và chỉ về hướng 1.

a) trái b) phải

Hình 2.48. Tư thế chân chống chân quỳ.

* Thế 2 (hai đầu gối cùng quỳ):

- Đặc điểm chính của thế 2:

i) Hai đầu gối quỳ song song mặt sàn, phần mũi chân chống sát xuống sàn, phần

gót chân chống lên, ngồi vào hai gót chân (hình 2.49).

Hình 2.49. Tư thế hai đầu gối cùng quỳ.

- Một số biến thể của tư thế:

+ Ngồi thế 2 cao (hình 2.50):

Hình 2.50. Ngồi thế 2 cao.

* Thế 3 (ngồi hai chân co về 1 bên):

- Đặc điểm chính của thế 3 (hình 2.51):

i) Ngồi bệt xuống sàn hai chân co về một bên cạnh người (trái hoặc phải).

a) trái b) phải

Hình 2.51. Tư thế ngồi Hai chân co về một bên.

* Thế 4 (duỗi thẳng hai chân):

- Đặc điểm chính của thế 4:

i) Ngồi duỗi thẳng 2 chân về hướng 1, hai chân bắt chéo lên nhau (hình 2.52).

Hình 2.52. Tư thế duỗi thẳng hai chân.

* Thế 5 (hai chân bắt chéo):

- Đặc điểm chính của thế 5:

i) Chân phải quỳ thẳng đầu gối về hướng 1. ii) Chân trái vắt qua chân phải. Mũi chân trái thẳng về hướng 1 (hình 2.53). iii) Mũi chân phải để trên mặt sàn, gót chân chống lên, ngồi lên gót chân phải.

Hình 2.53. Tư thế hai chân bắt chéo.

2.2. Các mẫu chuyển động 3D cơ bản của múa Chèo

Chuyển động 3D là chuyển động trong không gian 3 chiều theo thời gian. Ở đây, chuyển động 3D sẽ được xem như chuyển động của một khung xương người trong không gian 3D theo thời gian. Mỗi khung xương người được cấu tạo bởi nhiều khớp nối (joint). Tuỳ vào từng thiết bị thu dữ liệu và yêu cầu bài toán mà số khớp nối có thể khác nhau (luận văn cần dùng ít nhất 19 khớp nối). Tại mỗi thời điểm, một khung xương sẽ

thể hiện tư thế của người diễn trong múa Chèo. Chuyển động này được lưu trữ ở định dạng BVH (tham khảo phụ lục 5).

Hình 2.54. Biểu diễn khung xương 3D.

Dựa theo định nghĩa các tư thế cơ bản trong múa Chèo truyền thống, chúng ta sẽ có định nghĩa các mẫu chuyển động 3D tương ứng. Chúng ta chia các mẫu chuyển động 3D thành 15 nhóm. Những nhóm này được xếp vào 2 cụm: tay và chân-ngồi. Cụm tay gồm các tư thế liên quan đến chuyển động tay (tư thế tay). Cụm chân gồm các tư thế liên quan đến chuyển động chân (tư thế chân và tư thế ngồi). Mỗi nhóm trong cụm gồm một tư thế cơ bản cùng với những biến thể của tư thế này. Lý do cho việc sắp xếp này là vì tại mỗi thời điểm biểu diễn, người múa chỉ có thể kết hợp một tư thế tay với một tư thế chân hoặc một tư thế tay với một tư thế ngồi. Ngoài ra, khi nhắc đến dữ liệu mẫu chuyển động 3D chính là nói đến một chuyển động 3D đã được định nghĩa. Định nghĩa về các mẫu ở mỗi nhóm được mô tả cụ thể như dưới đây.

2.2.1. Cụm tay

Dễ nhận thấy chuyển động tay có tính chất linh hoạt hơn so với chân. Tính linh hoạt này dẫn đến kết quả là số lượng biến thể nhiều và đa dạng. Việc xây dựng thuật toán tìm kiếm mẫu chuyển động sẽ khó khăn hơn. Hơn nữa, múa tay không trong Chèo truyền thống chú trọng vào trạng thái của bàn tay (sấp, ngửa…). Để làm đơn giản cho bài toán, chúng ta chỉ tập trung xây dựng thuật toán tìm kiếm vào hình dáng của tư thế tay.

Nhóm ARM1:

Nhóm ARM1 gồm tư thế tay múa chạy đàn (hình 2.55) và các biến thể của múa chạy đàn. Trong tư thế Múa chạy đàn, hai tay hoạt động ở giữa người với độ cao từ thắt lưng trở lên, hai tay chuyển động cùng chiều, hai bàn tay cùng úp cùng ngửa hoặc cùng tựa lưng vào nhau. Điều đó cho thấy biến thể của tư thế này đa dạng theo độ cao. Chúng ta sẽ không thể lấy đủ tất cả các mẫu cho những trường hợp thế này mà chỉ đưa ra một số trường hợp điển hình. Dựa vào những trường hợp điển hình để xây dựng nên thuật toán tìm kiếm cho nhóm tư thế này.

Hình 2.55. Biểu diễn 3D tư thế múa chạy đàn.

* Một số biến thể của tư thế múa chạy đàn:

- Động tác múa chạy đàn (hình 2.56):

Hình 2.56. Biểu diễn 3D động tác múa chạy đàn.

- Động tác quay sợi cụm 1 (hình 2.57):

Hình 2.57. Biểu diễn 3D của động tác quay sợi cụm 1.

Nhóm ARM2:

Nhóm ARM2 gồm tư thế tay dâng hoa (hình 2.58) và các biến thể của dâng hoa. Đặc điểm của nhóm tư thế này là hai tay di chuyển cùng chiều ở hai bên người. Giống như nhóm ARM1, chúng ta cũng chỉ đưa ra một số mẫu đại diện để xây dựng thuật toán cho nhóm ARM2.

Hình 2.58. Biểu diễn 3D của tư thế dâng hoa.

* Một số biến thể của tư thế dâng hoa:

-Tư thế dâng hoa hạ (hình 2.59):

Hình 2.59. Biểu diễn 3D của tư thế dâng hoa hạ.

- Động tác bay (hình 2.60):

Hình 2.60. Biểu diễn 3D của động tác bay.

- Động tác chống sườn (hình 2.61):

Hình 2.61. Biểu diễn 3D của động tác chống sườn.

- Động tác đưa thoi (hình 2.62):

Hình 2.62. Biểu diễn 3D của động tác đưa thoi.

Nhóm ARM3:

Nhóm ARM3 gồm tư thế tay dâng rượu (hình 2.63) và các biến thể của dâng rượu. Đặc điểm của nhóm ARM3 là hai tay cùng chuyển động về một phía. Mặc dù phạm vi di chuyển tương đối hẹp nhưng chuyển động của nhóm này cũng khá đa dạng. Do vậy, chúng ta cần xét một số mẫu điển hình để xây dựng thuật toán.

a) Trái b) phải

Hình 2.63. Biểu diễn 3D của tư thế dâng rượu.

* Một số biến thể của tư thế dâng rượu:

- Động tác dâng rượu (hình 2.64, 2.65):

Hình 2.64. Biểu diễn 3D của động tác dâng rượu (phải).

Hình 2.65. Biểu diễn 3D của động tác dâng rượu (trái).

-Động tác xe tơ cụm 3 (hình 2.66):

Hình 2.66. Biểu diễn 3D của động tác xe tơ cụm 3.

- Chuyển động hạ xuống (hình 2.67):

Hình 2.67. Biểu diễn 3D của chuyển động hạ xuống (thế 3).

- Chuyển động dâng lên (hình 2.68):

Hình 2.68. Biểu diễn 3D của chuyển động dâng lên (thế 3).

Nhóm ARM4:

Nhóm ARM4 gồm tư thế tay múa cướp bông (hình 2.69) và các biến thể của cướp bông. Đặc điểm của nhóm này là hai tay di chuyển ngược chiều nhau tập trung trong khu vực trước người. Phạm vi di chuyển này sẽ dễ gây nhầm sang nhóm ARM1 và ARM3. Việc lấy mẫu đại diện và xây dựng thuật toán cho nhóm này khá phức tạp.

a) phải b) trái

Hình 2.69. Biểu diễn 3D của tư thế cướp bông.

* Một số biến thể của tư thế cướp bông:

- Chuyển động vuốt xuống (hình 2.70, 2.71): được lấy từ động tác múa

cướp bông.

Hình 2.70. Biểu diễn 3D của chuyển động vuốt xuống (thế 4 trái).

Hình 2.71. Biểu diễn 3D của chuyển động vuốt xuống (thế 4 phải).

- Chuyển động viết (hình 2.72): được lấy từ động tác đề thơ.

Hình 2.72. Biểu diễn 3D của chuyển động viết (thế 4).

- Động tác phủi tay áo (hình 2.73, 2.74):

Hình 2.73. Biểu diễn 3D của động tác phủi tay áo (phải).

Hình 2.74. Biểu diễn 3D của động tác phủi tay áo (trái).

Nhóm ARM5:

Nhóm ARM5 gồm tư thế tay tấu nhạc (hình 2.75) và các biến thể của tấu nhạc. Đặc điểm của nhóm này là một tay giơ lên cao, một tay để xuôi theo thân. Ở đây, ta thấy hai tay chuyển động khá linh hoạt theo chiều rộng và ngang. Vì thế, số biến thể ở nhóm ARM5 đa dạng. Chúng ta cần phải lấy nhiều mẫu đại diện để làm cơ sở xây dựng thuật toán.

a) Bên trái b) Bên phải

Hình 2.75. Biểu diễn 3D của tư thế tấu nhạc.

* Một số biến thể của tư thế tấu nhạc:

- Tư thế chạm đầu (hình 2.76): được trích ra từ động tác vuốt tóc.

Hình 2.76. Biểu diễn 3D của tư thế chạm đầu (thế 5).

- Động tác gánh (hình 2.77):

Hình 2.77. Biểu diễn 3D của động tác gánh.

- Động tác xe tơ cụm 5 (hình 2.78):

Hình 2.78. Biểu diễn 3D của động tác xe tơ cụm 5.

2.2.2. Cụm chân-ngồi Nhóm LEG1:

Nhóm LEG1 gồm tư thế chân chữ V (hình 2.79) và các biến thể của chân chữ V. Đặc điểm của nhóm này là khi đứng hai bàn chân để thành hình chữ V hoặc chữ A. Do đặc điểm đơn giản nên số biến thể không đa dạng. Vì vậy, nhóm LEG1 chỉ cần chọn một số mẫu điển hình làm cơ sở xây dựng thuật toán.

a) chữ V b) chữ A

Hình 2.79. Biểu diễn 3D của tư thế chân chữ V.

* Một số biến thể của tư thế chân chữ V:

- Động tác xiến ngang (hình 2.80):

Hình 2.80. Biểu diễn 3D của động tác xiến ngang.

Nhóm LEG2:

Nhóm LEG2 gồm tư thế chân chữ chi (hình 2.81) và các biến thể của chân chữ chi. Đặc điểm của nhóm này là khi đứng một chân để trước người, mũi chân hướng 8, chân còn lại để phía sau người và mũi chân hướng 2. Ngoài ra, cách chuyển động của nhóm LEG2 phân biệt cho nam và nữ. Tư thế gốc mô tả cách đi mềm mại của nữ trong khi động tác đi dành cho nam lại mang tính cứng nhắc hơn. Vì vậy, các mẫu của nhóm LEG2 cần phải lấy mẫu đại diện cho nam và nữ.

Hình 2.81. Biểu diễn 3D của tư thế chân chữ chi.

* Một số biến thể của tư thế chân chữ chi:

- Động tác chân chữ chi nữ tiến (hình 2.82):

Hình 2.82. Biểu diễn 3D của động tác chân chữ chi nữ tiến.

- Động tác chân chữ chi nữ lùi (hình 2.83):

Hình 2.83. Biểu diễn 3D của động tác chân chữ chi nữ lùi.

- Động tác chân chữ chi nam tiến (hình 2.84):

Hình 2.84. Biểu diễn 3D của động tác chân chữ chi nam tiến.

- Động tác chân chữ chi nam lùi (hình 2.85):

Hình 2.85. Biểu diễn 3D của động tác chân chữ chi nam lùi.

Nhóm LEG3:

Nhóm LEG3 gồm tư thế chân quả trám (hình 2.86) và các biến thể của chân quả trám. Đặc điểm của nhóm này là khi đứng một chân vắt qua chân kia. Đặc điểm này cũng làm cho nhóm LEG3 khó có nhiều biến thể. Vì vậy, các mẫu của nhóm này chỉ cần tư thế gốc và chuyển động gốc của tư thế này.

a) phía phải b) phía trái

Hình 2.86. Biểu diễn 3D của tư thế chân quả trám.

* Một số biến thể của tư thế chân quả trám:

- Chuyển động chân quả trám (hình 2.87, 2.88):

Hình 2.87. Biểu diễn 3D của chuyển động chân quả trám (trái).

Hình 2.88. Biểu diễn 3D của chuyển động chân quả trám (phải).

Nhóm LEG4:

Nhóm LEG4 gồm tư thế chân chữ đinh (hình 2.89) và các biến thể của chân chữ đinh. Đặc điểm của nhóm này là khi đứng hai bàn chân đều ở vị trí trước người, một bàn chân để hướng 8 trong khi bàn chân còn lại để hướng 2. Biến thể của chúng là những trường hợp 2 bàn chân tạo thành góc vuông. Do tính đặc biệt này nên nhóm 9 cũng không có đa dạng. Việc lấy mẫu chỉ cần tư thế gốc và chuyển động gốc của chúng.

a) phải b) trái

Hình 2.89. Biểu diễn 3D của tư thế chân chữ đinh.

* Một số biến thể của tư thế chân chữ đinh:

- Chuyển động chân chữ đinh (hình 2.90 2.91):

Hình 2.90. Biểu diễn 3D của chuyển động chân chữ đinh (trái).

Hình 2.91. Biểu diễn 3D của chuyển động chân chữ đinh (phải).

Nhóm LEG5:

Nhóm LEG5 gồm tư thế chân đệm gót (hình 2.92) và các biến thể của chân đệm gót. Đặc điểm của nhóm này là khi đứng một chân chống và 1 chân để ½ bàn chân chạm đất. Hơn nữa, biến thể của tư thế chân đệm gót không đa dạng. Lý do là tư thế này chỉ xét ở trường hợp đứng yên tại chỗ. Vậy nên, ta chỉ cần lấy mẫu là tư thế gốc.

a) đệm chân phải b) đệm chân trái

Hình 2.92. Biểu diễn 3D của tư thế đệm gót.

Nhóm SIT1:

Nhóm SIT1 gồm tư thế ngồi chân chống chân quỳ (hình 2.93) và các biến thể của chân chống chân quỳ. Đặc điểm của nhóm này là khi ngồi một chân chống và một chân quỳ xuống sàn. Trong khi ngồi, chuyển động của tư thế này cũng không thay đổi nhiều. Vậy nên, chúng ta chỉ cần lấy mẫu là tư thế gốc và động tác gốc của nó.

Hình 2.93. Biểu diễn 3D của tư thế chân chống chân quỳ.

* Một số biến thể của tư thế chân chống chân quỳ:

- Chuyển động chân chống chân quỳ (hình 2.94, 2.95):

Hình 2.94. Biểu diễn 3D của chuyển động chân chống chân quỳ (trái).

Hình 2.95. Biểu diễn 3D của chuyển động chân chống chân quỳ (phải).

Nhóm SIT2:

Nhóm SIT2 gồm tư thế ngồi hai đầu gối cùng quỳ (hình 2.96) và các biến thể của hai đầu gối cùng quỳ. Đặc điểm của nhóm này khá đơn giản: quỳ cả 2 chân. Biến thể của nhóm này không nhiều tập trung ở khoảng cách giữa mông và hai chân.

Hình 2.96. Biểu diễn 3D của tư thế hai đầu gối cùng quỳ.

* Một số biến thể của tư thế hai đầu gối cùng quỳ:

- Chuyển động hai đầu gối cùng quỳ (hình 2.97):

Hình 2.97. Biểu diễn 3D của chuyển động hai đầu gối cùng quỳ.

Nhóm SIT3:

Nhóm SIT3 gồm tư thế ngồi hai chân co về một bên (hình 2.98) và các biến thể của hai chân co về một bên. Đặc điểm của nhóm này là hai chân để sang cùng một bên khi ngồi. Biến thể của nhóm này không nhiều nên ta chỉ cần một ít mẫu làm đại diện.

Hình 2.98. Biểu diễn 3D của tư thế hai chân co về một bên (trái).

* Một số biến thể của tư thế hai chân co về một bên:

- Chuyển động hai chân co về một bên (hình 2.99):

Hình 2.99. Biểu diễn 3D của chuyển động hai chân co về một bên (trái).

Nhóm SIT4:

Nhóm SIT4 gồm tư thế ngồi duỗi thẳng hai chân (hình 2.100) và các biến thể của duỗi thẳng hai chân. Đặc điểm của nhóm SIT4 là hai chân duỗi thẳng ở phía trước người

khi ngồi. Nhóm này ít biến thể nên chúng ta chỉ cần một mẫu làm đại diện cho việc xây dựng thuật toán.

Hình 2.100. Biểu diễn 3D của tư thế duỗi thẳng hai chân.

* Một số biến thể của tư thế duỗi thẳng hai chân:

- Chuyển động duỗi thẳng hai chân (hình 2.101):

Hình 2.101. Biểu diễn 3D của chuyển động duỗi thẳng hai chân.

Nhóm SIT5:

Nhóm SIT5 gồm tư thế ngồi hai chân bắt chéo (hình 2.102) và các biến thể của hai chân bắt chéo. Đặc điểm của nhóm SIT5 là một chân bắt chéo lên chân còn lại khi ngồi. Do biến thể này không điển hình nên chúng ta sẽ chỉ cần ít mẫu làm đại diện cho việc xây dựng thuật toán.

Hình 2.102. Biểu diễn 3D của tư thế hai chân bắt chéo (phải).

* Một số biến thể của tư thế hai chân bắt chéo:

- Chuyển động hai chân bắt chéo (hình 2.103):

Hình 2.103. Biểu diễn 3D của chuyển động hai chân bắt chéo (phải).

CHƯƠNG 3: HỆ THỐNG TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D CHÈO TRUYỀN THỐNG

3.1. Mô tả hệ thống tìm kiếm mẫu chuyển động 3D Chèo truyền thống

Trong dữ liệu chuyển động 3D, các khớp nối trong khung xương được biểu diễn bởi vectơ khoảng cách và bậc quay theo khớp nối cha. Đây được gọi là hệ toạ độ cục bộ. Để thuận tiện cho việc tính toán về sau, những thông tin trong hệ toạ độ cục bộ được đưa về chung một hệ toạ độ (gồm toạ độ vị trí và toạ độ quay). Đề tài sử dụng công cụ bvh converter (https://github.com/tekulvw/bvh-converter) cho việc chuyển sang một hệ toạ độ chung. Bộ công cụ này sẽ xuất thông tin và được lưu trữ ở một chỗ nào đó trong một tệp (file). Hệ thống sẽ đọc dữ liệu từ những tệp xuất này và chỉ đọc vào thông tin của 19 khớp nối.

Nhắc lại, một bài múa hoặc động tác tổ hợp từ những tư thế (hoặc động tác) cơ bản (trong múa Chèo truyền thống ở dạng 3D) là một chuyển động 3D cần xét, gọi là một chuyển động 𝑋𝑖. Cũng vậy, mỗi mẫu chuyển động 3D cơ bản trong múa Chèo truyền thống gọi là một mẫu 𝐴𝑗. Tuy nhiên, thực tế chúng ta xử lý mức dưới mẫu (một số đại diện của mẫu). Vì vậy, trong chương này, khi nói đến khái niệm mẫu chúng ta ngầm hiểu là một đại diện của mẫu (động tác hoặc biến thể của tư thế múa trong 3D), khái niệm nhóm là tên nhóm chuyển động 3D cơ bản (được định nghĩa mục 2.2). Đầu vào của hệ thống là dữ liệu được đọc từ 19 khớp nối của chuyển động 𝑋𝑖và mẫu 𝐴𝑗. Mỗi một cặp dữ liệu này sẽ được đưa vào bước Đề xuất các vị trí mẫu (Find position of patterns). Ở đây, chương trình sẽ tiến hành trích rút đặc trưng (dựa theo danh sách góc của nhóm mà mẫu 𝐴𝑗 thuộc về), sau đó phân mảnh dữ liệu chuyển động 𝑋𝑖 (mỗi mảnh được gọi là một đề xuất). Những đề xuất này sẽ được tính độ tương đồng với mẫu 𝐴𝑗. Danh sách kết quả tính mức độ tương đồng của các cặp (đề xuất, mẫu 𝐴𝑗) sẽ được chuyển sang bước tổng hợp đề xuất (aggregate proposals) để đưa ra những danh sách các đề xuất của các nhóm ở dạng chuẩn và sau đó thực hiện phân loại nhóm (classifìy groups). Kết thúc chương trình, hệ thống đưa ra danh sách các cặp thông tin (vị trí xuất hiện nhóm, tên nhóm).

Hình 3.1. Luồng hoạt động của thuật toán đề xuất.

Dưới đây là những mô tả chi tiết những thành phần chính của hệ thống đề xuất:

3.2. Các thành phần chính trong hệ thống tìm kiếm mẫu chuyển động 3D Chèo truyền thống

3.2.1. Danh sách các góc cần tính

Căn cứ vào sự hoạt động độc lập của các tư thế tay so với tư thế chân/ngồi mà chúng ta xem xét những khớp nối cần dùng. Cụ thể, các nhóm tay sẽ chỉ quan tâm nửa thân trên (từ hông trở lên đầu) và các nhóm chân/ngồi tập trung vào nửa thân dưới (từ hông trở xuống chân). Mặt khác, dựa theo ý tưởng của nhóm ShengLi [18] và cánh tay robot (trong chuyển động học), chúng ta lựa chọn các góc cho phù hợp. Đối với ý tưởng ShengLi, chúng ta quan tâm đến các khớp nối gây nên chuyển động của nhóm. Đối với quan điểm cánh tay robot, chúng ta chỉ quan tâm điểm cố định (vai, hông) và điểm tiếp xúc cuối (cổ tay, mắt cá chân). Danh sách các góc cho từng nhóm được mô tả cụ thể dưới đây.

Nhóm ARM1:

* Các góc được dùng:

* Giải thích:

Để nhận diện được nhóm ARM1 (thuộc tư thế múa chạy đàn, hình 3.2), các góc

cần tính phải thoả mãn các yêu cầu sau:

- hai tay để ở giữa người, hai bàn tay cùng trạng thái và chuyển động cùng chiều nhau (tính các góc 1-11).

Hình 3.2. Đặc điểm của nhóm ARM1.

- phân biệt với các tư thế khác:

✓ tư thế múa chạy đàn khác với tư thế dâng hoa, dâng rượu và tấu nhạc ở

chỗ: 2 tay để đối xứng ở giữa người (tính các góc 1-11).

✓ tư thế múa chạy đàn khác với tư thế cướp bông ở chỗ: 2 tay chuyển động

cùng chiều nhau (tính các góc 2-11).

Nhóm ARM2:

* Các góc được dùng:

1) NECK_LWRIST - NECK_RWRIST 2) LSHOULDER_LWRIST - RSHOULDER_RWRIST 3) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 4) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 5) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 6) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 7) LWRIST_LELBOW - LWRIST_LFINGER 8) RWRIST_RELBOW - RWRIST_RFINGER 9) LSHOULDER_RSHOULDER - LWRIST_LFINGER 10) RSHOULDER_LSHOULDER - RWRIST_RFINGER 11) LELBOW_LWRIST - LSHOULDER_RSHOULDER 12) RELBOW_RWRIST - RSHOULDER_LSHOULDER 13) LELBOW_LWRIST - HIPS_NECK 14) RELBOW_RWRIST - HIPS_NECK 15) LELBOW_LWRIST - RELBOW_RWRIST 16) LWRIST_RWRIST - LSHOULDER_RSHOULDER 17) LSHOULDER_RWRIST - LSHOULDER_RSHOULDER 18) RSHOULDER_LWRIST - RSHOULDER_LSHOULDER 19) LWRIST_RWRIST - LSHOULDER_RSHOULDER 20) LELBOW_LWRIST - RHIP_RSHOULDER 21) RELBOW_RWRIST - LHIP_LSHOULDER

22) RSHOULDER_RWRIST - NECK_HIPS 23) LSHOULDER_LWRIST - NECK_HIPS

* Giải thích:

Để nhận diện được nhóm ARM2 (thuộc tư thế dâng hoa, hình 3.3), các góc cần

tính phải thoả mãn các yêu cầu sau:

- Hai bàn tay cùng trạng thái (úp, ngửa…) và chuyển động cùng chiều ở hai bên người (tính các góc 3-23).

Hình 3.3. Đặc điểm của nhóm ARM2.

- Phân biệt với các tư thế khác:

✓ tư thế dâng hoa khác tư thế dâng rượu, tư thế múa chạy đàn và tư thế cướp bông ở chỗ: hai tay chuyển động ở hai bên người (tính các góc 1-6, 11-12, 15-19).

✓ tư thế dâng hoa khác tư thế tấu nhạc ở chỗ: hai bàn tay cùng trạng thái và

hai tay chuyển động cùng chiều (tính các góc 1-6, 11-23).

Nhóm ARM3:

* Các góc được dùng:

1) LELBOW_LWRIST - LSHOULDER_RSHOULDER 2) RELBOW_RWRIST - RSHOULDER_LSHOULDER 3) LELBOW_LWRIST - HIPS_NECK 4) RELBOW_RWRIST - HIPS_NECK 5) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 6) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 7) LELBOW_LWRIST - LELBOW_RELBOW 8) RELBOW_RWRIST - RELBOW_LELBOW

* Giải thích:

Để nhận diện được nhóm ARM3 (thuộc tư thế dâng rượu), các góc cần tính phải

thoả mãn các yêu cầu sau:

- Hai bàn tay chuyển động cùng chiều ở cùng một bên (tính các góc 1-8).

- Phân biệt với các tư thế khác:

✓ Tư thế dâng rượu khác với tư thế dâng hoa và tấu nhạc ở chỗ: hai tay

chuyển động ở cùng một bên (tính các góc 1, 2, 5-8).

✓ Tư thế dâng rượu khác với tư thế múa chạy đàn ở chỗ: hai tay không để ở

giữa người (tính các góc 1-6).

✓ Tư thế dâng rượu khác với tư thế cướp bông ở chỗ: hai tay chuyển động

cùng chiều nhau (tính các góc 1-8).

Nhóm ARM4:

* Các góc được dùng:

1) LWRIST_LFINGER - LSHOULDER_RSHOULDER 2) RWRIST_RFINGER - RSHOULDER_LSHOULDER 3) LELBOW_LWRIST - LSHOULDER_RSHOULDER 4) RELBOW_RWRIST - RSHOULDER_LSHOULDER 5) NECK_LWRIST - NECK_RWRIST 6) LELBOW_LWRIST - RSHOULDER_RELBOW 7) RELBOW_RWRIST - LSHOULDER_LELBOW 8) LWRIST_LFINGER - RSHOULDER_RELBOW 9) RWRIST_RFINGER - LSHOULDER_LELBOW 10) LELBOW_LWRIST - LSHOULDER_RWRIST 11) RELBOW_RWRIST - RSHOULDER_LWRIST 12) LELBOW_LWRIST - NECK_RWRIST 13) RELBOW_RWRIST - NECK_LWRIST 14) LWRIST_LFINGER - RWRIST_RFINGER 15) LWRIST_LFINGER - LWRIST_RFINGER 16) RWRIST_RFINGER - RWRIST_LFINGER 17) LWRIST_LFINGER - LWRIST_RSHOULDER 18) RWRIST_RFINGER - RWRIST_LSHOULDER 19) LELBOW_LWRIST - LELBOW_LSHOULDER 20) RELBOW_RWRIST - RELBOW_RSHOULDER

* Giải thích:

Để nhận diện được nhóm ARM4 (thuộc tư thế cướp bông), các góc cần tính phải

thoả mãn các yêu cầu sau:

- Hai bàn tay khác trạng thái nhau và hai tay chuyển động ngược chiều nhau ở trước người (tính các góc 1-20).

- Phân biệt với các tư thế khác:

✓ Tư thế cướp bông khác với tư thế dâng hoa ở chỗ: hai tay chuyển động

ngược chiều nhau ở trước người (tính các góc 3-7, 10-13, 19, 20).

✓ Tư thế cướp bông khác với tư thế dâng rượu ở chỗ: hai tay chuyển động ngược chiều nhau có thể cùng phía hoặc khác phía (tính các góc 3-7, 10- 13, 19, 20).

✓ Tư thế cướp bông khác với tư thế múa chạy đàn ở chỗ: hai tay chuyển động ngược chiều nhau ở mọi vị trí trước người (tính các góc 3-7, 10-13, 19, 20).

✓ Tư thế cướp bông khác với tư thế tấu nhạc ở chỗ: hai tay chuyển động ngược chiều nhau và giao nhau tại một diểm ở trước người (tính các góc 3-7, 10-13, 19, 20).

Nhóm ARM5:

* Các góc được dùng:

1) LELBOW_LWRIST - RELBOW_RWRIST 2) LSHOULDER_LWRIST - RSHOULDER_RWRIST 3) LWRIST_RWRIST - LSHOULDER_RSHOULDER

* Giải thích:

Để nhận diện được nhóm ARM5 (thuộc tư thế tấu nhạc), các góc cần tính phải

thoả mãn các yêu cầu sau:

- Một tay giơ lên cao ở bên người, một tay để xuôi theo người (tính các góc 1-3).

- Phân biệt với các tư thế khác:

✓ Tư thế tấu nhạc khác với các tư thế còn lại ở chỗ: một tay giơ lên cao ở

bên người, một tay để xuôi bên người (tính các góc 1-3).

Nhóm LEG1:

* Các góc được dùng:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LHIP_RHIP - LANKLE_RANKLE 6) LHIP_RHIP - LANKLE_LTOE 7) RHIP_LHIP - RANKLE_RTOE 8) LANKLE_LTOE - RANKLE_RTOE 9) LANKLE_LTOE - LANKLE_RANKLE 10) RANKLE_RTOE - RANKLE_LANKLE

11) LANKLE_LTOE - LANKLE_RANKLE 12) RANKLE_RTOE - RANKLE_LANKLE 13) LANKLE_RANKLE - LTOE_RTOE

* Giải thích:

Để nhận diện được nhóm LEG1 (thuộc tư thế chân chữ V), các góc cần tính phải

thoả mãn các yêu cầu sau:

- khi đứng hoặc đi lại, hai bàn chân tạo thành hình chữ V (hoặc A) ở giữa người (tính các góc 5-13). Xem hình 3.5.

- phân biệt được với các tư thế ngồi:

LKNEE_LHIP và

✓ ta nhận thấy khi đứng cần có sự phối kết hợp của vùng hông và đầu gối (hình 3.4). Do đó ta chọn vectơ HIPS_NECK để tính góc với LKNEE_LHIP với RKNEE_RHIP; LKNEE_LANKLE; RKNEE_RHIP với RKNEE_RANKLE (xem các góc 1-4).

Hình 3.4. Đặc điểm đứng của nhóm LEG1 (đường màu đỏ).

- phân biệt với các tư thế khác:

Hình 3.5. Đặc điểm bàn chân nhóm LEG1 (đường màu đỏ).

✓ Chân chữ chi và đệm gót khác với chân chữ V là đều có 1 bàn chân để

trước người và 1 bàn chân để sau người (tính các góc 5, 13).

✓ Chân quả trám khác với chân chữ V là có 1 chân vắt chéo qua chân kia ở

trước người (tính các góc 5).

✓ Chân chữ đinh khác với chân chữ V là có một chân đứng và một chân

chếch sao cho 2 bàn chân tạo thành góc vuông (tính các góc 5-13).

Nhóm LEG2:

* Các góc được dùng:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LANKLE_LHIP - LANKLE_LTOE 6) RANKLE_RHIP - RANKLE_RTOE 7) LHIP_RHIP - LANKLE_LTOE 8) RHIP_LHIP - RANKLE_RTOE 9) LANKLE_LTOE - LANKLE_RANKLE 10) RANKLE_RTOE - RANKLE_LANKLE 11) LHIP_RHIP - LHIP_LANKLE 12) RHIP_LHIP - RHIP_RANKLE 13) LANKLE_RANKLE - LTOE_RTOE 14) LHIP_LANKLE - RHIP_RANKLE 15) LKNEE_LANKLE - RHIP_RANKLE 16) RKNEE_RANKLE - LHIP_LANKLE 17) LANKLE_LTOE - RANKLE_RHIP 18) RANKLE_RTOE - LANKLE_LHIP 19) LHIP_LKNEE - RHIP_RKNEE 20) LKNEE_RKNEE - LANKLE_RANKLE 21) LANKLE_RANKLE - LANKLE_LHIP 22) RANKLE_LANKLE - RANKLE_RHIP 23) LHIP_RHIP - LANKLE_RANKLE 24) LANKLE_LTOE - RANKLE_RTOE

* Giải thích:

Để nhận diện được nhóm LEG2 (thuộc tư thế chân chữ chi), các góc cần tính phải

thoả mãn các yêu cầu sau:

- khi đứng hoặc đi lại, một chân trước người một chân sau người (tính các góc 15, 16, 20, 23)

- phân biệt được với các tư thế ngồi:

LKNEE_LHIP và

✓ Ta nhận thấy khi đứng cần có sự phối kết hợp của vùng hông và đầu gối (hình 3.4). Do đó ta chọn vectơ HIPS_NECK để tính góc với với RKNEE_RHIP; LKNEE_LHIP LKNEE_LANKLE; RKNEE_RHIP với RKNEE_RANKLE (tính các góc 1-4).

- phân biệt với các tư thế khác:

✓ Chân chữ chi khác với chân chữ V, chữ đinh và quả trám ở chỗ: một chân trước một chân sau, hai bàn chân không tạo góc vuông và cũng không tạo hình chữ V hay chữ A (tính các góc 5-16, 19, 20, 23, 24).

✓ Chân chữ chi khác với chân đệm gót ở chỗ: hai bàn chân trên mặt đất (tính

các góc 15- 18, 21, 22).

Nhóm LEG3:

* Các góc được dùng:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LHIP_RHIP - LANKLE_RANKLE 6) LANKLE_LTOE - LANKLE_RANKLE 7) RANKLE_RTOE - RANKLE_LANKLE 8) LHIP_RHIP - LANKLE_LTOE 9) RHIP_LHIP - RANKLE_RTOE 10) LKNEE_RKNEE - LANKLE_RANKLE 11) LHIP_RHIP - LKNEE_RKNEE 12) LKNEE_RKNEE - LANKLE_LTOE 13) LKNEE_RKNEE - RANKLE_RTOE

* Giải thích:

Để nhận diện được nhóm LEG3 (thuộc tư thế chân chữ quả trám), các góc cần

tính phải thoả mãn các yêu cầu sau:

- khi đứng, một chân vắt qua chân kia (tính các góc 5, 10, 11)

- phân biệt được với các tư thế ngồi:

LKNEE_LHIP và

✓ Ta nhận thấy khi đứng cần có sự phối kết hợp của vùng hông và đầu gối (hình 3.4). Do đó ta chọn vectơ HIPS_NECK để tính góc với LKNEE_LHIP với RKNEE_RHIP; LKNEE_LANKLE; RKNEE_RHIP với RKNEE_RANKLE (tính các góc 1-4).

- phân biệt với các tư thế khác:

✓ Chân quả trám phân biệt với chân chữ chi và đệm gót ở chỗ: hai bàn chân

đều ở trước người (tính các góc 5-7).

✓ Chân quả trám phân biệt với chân chữ V và chữ đinh ở chỗ: một chân đứng vắt chéo qua chân kia ở trước người (tính các góc 5, 8, 9, 12, 13).

Nhóm LEG4:

* Các góc được dùng:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LANKLE_LTOE - RANKLE_RTOE 6) LHIP_RHIP - LANKLE_LTOE 7) RHIP_LHIP - RANKLE_RTOE 8) LHIP_RHIP - LANKLE_RANKLE 9) LKNEE_RKNEE - LANKLE_RANKLE 10) LHIP_RHIP - LKNEE_RKNEE 11) LANKLE_LTOE - LANKLE_RANKLE 12) RANKLE_RTOE - RANKLE_LANKLE 13) LHIP_RHIP - LHIP_LANKLE 14) RHIP_LHIP - RHIP_RANKLE 15) LKNEE_RKNEE - LANKLE_LTOE 16) RKNEE_LKNEE - RANKLE_RTOE 17) LANKLE_LTOE - LHIP_LKNEE 18) RANKLE_RTOE - RHIP_RKNEE

* Giải thích:

Để nhận diện được nhóm LEG4 (thuộc tư thế chân chữ đinh), các góc cần tính

phải thoả mãn các yêu cầu sau:

- khi đứng hai bàn chân tạo thành góc vuông (một bàn chân hướng 2, một bàn

chân hướng 8). Danh sách các góc cần tính gồm: 5-7, 11-18.

- phân biệt được với các tư thế ngồi:

✓ Dễ thấy khi đứng cần có sự phối kết hợp của vùng hông và đầu gối (hình 3.4). Do đó ta chọn vectơ HIPS_NECK để tính góc với LKNEE_LHIP và RKNEE_RHIP; LKNEE_LHIP với LKNEE_LANKLE; RKNEE_RHIP với RKNEE_RANKLE (tính các góc 1-4).

- phân biệt với các tư thế khác:

✓ Chân chữ đinh khác với đệm gót và chữ chi ở chỗ: hai bàn chân đều ở

trước người (tính các góc 8-10, 17, 18).

✓ Chân chữ đinh khác với chân quả trám ở chỗ: hai chân không vắt qua nhau

(tính các góc 8-18).

✓ Chân chữ đinh khác với chân chữ V ở chỗ: hai bàn chân không để đối xứng nhau và hai bàn chân tạo thành góc vuông (1 bàn chân hướng 2 và 1 bàn chân hướng 8). Danh sách các góc cần tính gồm: 8-18.

Nhóm LEG5:

* Các góc được dùng:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LKNEE_LHIP - LKNEE_LANKLE 6) RKNEE_RHIP - RKNEE_RANKLE 7) LHIP_RHIP - LANKLE_RANKLE 8) LANKLE_LTOE - RHIP_RANKLE 9) RANKLE_RTOE - LHIP_LANKLE 10) LTOE_LANKLE - LTOE_RANKLE 11) RTOE_RANKLE - RTOE_LANKLE 12) LANKLE_LTOE - LHIP_RHIP 13) RANKLE_RTOE - RHIP_LHIP 14) LKNEE_LANKLE - RKNEE_RANKLE

* Giải thích:

Để nhận diện được nhóm LEG5 (thuộc tư thế chân đệm gót), các góc cần tính

phải thoả mãn các yêu cầu sau:

- khi đứng, một chân chống, một chân kiễng gót (tính các góc 8-14)

- phân biệt được với các tư thế ngồi: tính các góc 1-6.

- phân biệt với các tư thế khác:

✓ Chân đệm gót khác với chân chữ V, quả trám và chữ đinh ở chỗ: một bàn

chân ở trước người, một bàn chân ở sau người (tính các góc 7, 14).

✓ Chân đệm gót khác với chân chữ chi ở chỗ: một chân chống một chân

nhấc gót ở phía sau người (tính các góc 7-14).

Nhóm SIT1:

* Các góc được dùng:

1) HIPS_NECK - LHIP_LKNEE 2) HIPS_NECK - RHIP_RKNEE

3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LANKLE_RANKLE - LHIP_RHIP 6) LKNEE_RKNEE - LHIP_RHIP 7) LKNEE_RKNEE - LHIP_RHIP 8) LANKLE_LKNEE - LANKLE_LTOE 9) RANKLE_RKNEE - RANKLE_RTOE 10) LANKLE_RANKLE - LKNEE_RKNEE 11) LHIP_LKNEE - RANKLE_RTOE 12) RHIP_RKNEE - LANKLE_LTOE 13) LHIP_LKNEE - RHIP_RKNEE 14) LANKLE_LKNEE - RANKLE_RTOE 15) RANKLE_RKNEE - LANKLE_LTOE

* Giải thích:

Để nhận diện được nhóm SIT1 (thuộc tư thế chân chống chân quỳ), các góc tính

cần phải thoả mãn các yêu cầu sau:

- khi ngồi quỳ, một chân chống, một chân quỳ (tính các góc 3-9, 14, 15).

- phân biệt được với các tư thế chân:

vectơ LKNEE_LHIP và RKNEE_RHIP;

✓ Dễ thấy khi ngồi (quỳ, bệt) cần có sự phối kết hợp của vùng hông và đầu gối (hình 3.4). Do đó ta chọn vectơ HIPS_NECK để tính góc với với LKNEE_LHIP LKNEE_LANKLE; vectơ RKNEE_RHIP với RKNEE_RANKLE (tính các góc 1-4).

- phân biệt với các tư thế khác:

✓ tư thế chân chống chân quỳ khác với tư thế hai đầu gối cùng quỳ ở chỗ:

chỉ dùng 1 chân để quỳ (tính các góc 3-9, 14, 15).

✓ tư thế chân chống chân quỳ khác với tư thế hai chân duỗi thẳng và hai chân co về 1 bên ở chỗ: nửa ngồi nửa quỳ (tính các góc 1-9, 14, 15). ✓ tư thế chân chống chân quỳ khác với tư thế hai chân bắt chéo ở chỗ: không

có chân nào vắt qua chân nào (tính các góc 10-13).

Nhóm SIT2:

* Các góc được dùng:

1) LHIP_RHIP - LANKLE_RANKLE 2) LHIP_RHIP - LKNEE_RKNEE 3) LHIP_RHIP - LHIP_LKNEE 4) RHIP_LHIP - RHIP_RKNEE

5) LHIP_LKNEE - LKNEE_LANKLE 6) RHIP_RKNEE - RKNEE_RANKLE 7) HIPS_NECK - LANKLE_RANKLE 8) LHIP_RHIP - RHIP_RKNEE 9) RHIP_LHIP - LHIP_LKNEE 10) LANKLE_RANKLE - LANKLE_LKNEE 11) RANKLE_LANKLE - RANKLE_RKNEE 12) LANKLE_RANKLE - RANKLE_RKNEE 13) RANKLE_LANKLE - LANKLE_LKNEE 14) LANKLE_RANKLE - LANKLE_LHIP 15) RANKLE_LANKLE - RANKLE_RHIP 16) LHIP_LANKLE - LKNEE_LANKLE 17) RHIP_RANKLE - RKNEE_RANKLE 18) LHIP_LKNEE - RHIP_RKNEE 19) LHIP_LKNEE - RKNEE_RANKLE 20) RHIP_RKNEE - LKNEE_LANKLE

* Giải thích:

Để nhận diện được nhóm SIT2 (thuộc tư thế hai đầu gối cùng quỳ), các góc tính

cần phải thoả mãn các yêu cầu sau:

- khi ngồi quỳ, hai đầu gối cùng quỳ (tính các góc 1-7, 16-20)

- phân biệt được với các tư thế chân:

✓ Ta nhận thấy khi quỳ, hai mắt cá chân ở đằng sau người. Riêng đối với quỳ thấp, hai cẳng chân ngược hướng với hai đùi. Do đó ta tính các góc 1- 7, 16, 17.

- phân biệt với các tư thế ngồi khác:

✓ Tư thế hai đầu gối cùng quỳ khác với tư thế chân chống chân quỳ và hai chân bắt chéo ở chỗ: hai đầu gồi đều quỳ trên sàn (tính các góc 1, 2, 16- 20).

✓ Tư thế hai đầu gối cùng quỳ khác với tư thế duỗi thẳng hai chân ở chỗ: hai

chân gập về phía sau (tính các góc 2-6, 16-20).

✓ Tư thế hai đầu gối cùng quỳ khác với tư thế ngồi hai chân co về một bên

ở chỗ: hai chân gập về phía sau (tính các góc 2-17).

Nhóm SIT3:

* Các góc được dùng:

1) HIPS_NECK - LHIP_LKNEE 2) HIPS_NECK - RHIP_RKNEE

3) HIPS_NECK - LKNEE_LANKLE 4) HIPS_NECK - RKNEE_RANKLE 5) LHIP_LKNEE - LKNEE_LANKLE 6) RHIP_RKNEE - RKNEE_RANKLE 7) LHIP_LSHOULDER - LHIP_LKNEE 8) RHIP_RSHOULDER - RHIP_RKNEE 9) RHIP_LHIP - RKNEE_LKNEE 10) RHIP_LHIP - RHIP_RKNEE 11) LHIP_RHIP - LHIP_LKNEE

* Giải thích:

Để nhận diện được nhóm SIT3 (thuộc tư thế ngồi hai chân co về một bên), các

góc tính cần phải thoả mãn các yêu cầu sau:

- khi ngồi bệt, hai chân để cùng một phía (tính các góc ).

- phân biệt được với các tư thế chân:

✓ Ta nhận thấy tư thế ngồi hai chân co về một bên khác với các tư thế chân

ở chỗ: vùng hông bị gập. Do đó, các góc cần tính là: 1, 2, 7, 8.

- phân biệt với các tư thế ngồi khác:

✓ Tư thế ngồi hai chân co về một bên khác tư thế chân chống chân quỳ và hai chân bắt chéo ở chỗ: ngồi bệt xuống sàn (tính các góc 1-4, 7, 8). ✓ Tư thế ngồi hai chân co về một bên khác tư thế hai đầu gối cùng quỳ ở

chỗ: hai chân để sang cùng một bên người (tính các góc 9-11).

✓ Tư thế ngồi hai chân co về một bên khác tư thế duỗi thẳng hai chân ở chỗ: hai chân để ở trước người và co hai chân ở một bên (tính các góc 5-11).

Nhóm SIT4:

* Các góc được dùng:

1) LHIP_RHIP - LHIP_LKNEE 2) RHIP_LHIP - RHIP_RKNEE 3) LHIP_LKNEE - LKNEE_LANKLE 4) RHIP_RKNEE - RKNEE_RANKLE 5) HIPS_NECK - LHIP_LANKLE 6) HIPS_NECK - RHIP_RANKLE 7) HIPS_NECK - LKNEE_LANKLE 8) HIPS_NECK - RKNEE_RANKLE 9) HIPS_NECK - LHIP_LKNEE 10) HIPS_NECK - RHIP_RKNEE

* Giải thích:

Để nhận diện được nhóm SIT4 (thuộc tư thế duỗi thẳng hai chân), các góc tính

cần phải thoả mãn các yêu cầu sau:

- khi ngồi bệt, hai chân duỗi thẳng (tính các góc 1-10)

- phân biệt được với các tư thế chân:

✓ Ngồi bệt xuống sàn (tính các góc 5-10).

- phân biệt với các tư thế ngồi khác:

✓ Tư thế duỗi thẳng hai chân khác với tư thế chân chống chân quỳ và hai

chân bắt chéo ở chỗ: ngồi bệt xuống sàn (tính các góc 5-10).

✓ Tư thế duỗi thẳng hai chân khác với tư thế hai đầu gối cùng quỳ ở chỗ: hai

chân để ở trước người và duỗi thẳng chân (tính các góc 1-4).

✓ Tư thế duỗi thẳng hai chân khác với tư thế ngồi hai chân co về một bên ở

chỗ: hai chân để ở trước người (tính các góc 3, 4).

Nhóm SIT5:

* Các góc được dùng:

1) HIPS_NECK - LHIP_LANKLE 2) HIPS_NECK - RHIP_RANKLE 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) RHIP_LHIP - RANKLE_LANKLE 6) RKNEE_LKNEE - RANKLE_LANKLE 7) RKNEE_LKNEE - RHIP_LHIP 8) RKNEE_LANKLE - RHIP_LHIP 9) LKNEE_RANKLE - LHIP_RHIP 10) LHIP_RHIP - RHIP_RKNEE 11) RHIP_LHIP - LHIP_LKNEE

* Giải thích:

Để nhận diện được nhóm SIT5 (thuộc tư thế hai chân bắt chéo), các góc cần tính

phải thoả mãn các yêu cầu sau:

- khi ngồi quỳ, chân nọ vắt qua chân kia (tính các góc 5-11).

- phân biệt được với các tư thế chân:

✓ Ta nhận thấy khi ngồi (quỳ, xổm) cần có sự phối kết hợp của vùng hông và đầu gối (hình 3.4). Do đó ta chọn vectơ HIPS_NECK để tính góc với với RKNEE_RHIP; LKNEE_LHIP LKNEE_LHIP và

LKNEE_LANKLE; RKNEE_RHIP với RKNEE_RANKLE (tính các góc 1-4).

- phân biệt với các tư thế khác:

✓ Tư thế hai chân bắt chéo khác với tư thế ngồi hai chân co về một bên và duỗi thẳng hai chân ở chỗ: ngồi quỳ và để chân nọ vắt sang chân kia (tính các góc 5-11).

✓ Tư thế hai chân bắt chéo khác với tư thế hai đầu gối cùng quỳ ở chỗ: chỉ

có 1 đầu gối để xuống sàn (tính các góc 3-5).

✓ Tư thế hai chân bắt chéo khác với tư thế chân chống chân quỳ ở chỗ: một

chân quỳ và một chân vắt sang (tính các góc 5-11).

3.2.2. Đề xuất các vị trí mẫu

Tại đây, hệ thống tiến hành trích rút đặc trưng cho dữ liệu chuyển động 𝑋𝑖 và mẫu 𝐴𝑗. Tiếp đến, hệ thống sẽ sinh ra nhiều đề xuất từ 𝑋𝑖 và đem từng đề xuất này so sánh tương đồng với mẫu 𝐴𝑗 (xem hình 3.6).

Hình 3.6. Luồng hoạt động của bước Đề xuất các vị trí mẫu.

*Trích rút đặc trưng (Extract features):

Mỗi dữ liệu mẫu cần xét chỉ thuộc vào một nhóm duy nhất. Dựa theo danh sách những góc được liệt kê cho nhóm (mục 3.2.1) mà mẫu thuộc về, chúng ta chỉ lấy ra thông tin các khớp nối cần tính. Sau đó sắp xếp thông tin của những khớp nối này theo đúng thứ tự trong danh sách. Cách làm này được gọi là trích rút đặc trưng.

Ví dụ, xét mẫu Gánh (thuộc nhóm ARM5) có số độ dài là n. Toạ độ trong không

gian 3 chiều của các điểm khớp nối cần tính trong mẫu này là:

NECK(𝑥𝐴_𝑁𝐸𝐶𝐾, 𝑦𝐴_𝑁𝐸𝐶𝐾, 𝑧𝐴_𝑁𝐸𝐶𝐾),

HIPS(𝑥𝐴_𝐻𝐼𝑃𝑆, 𝑦𝐴_𝐻𝐼𝑃𝑆, 𝑧𝐴_𝐻𝐼𝑃𝑆),

LSHOULDER(𝑥𝐴_LSHOULDER, 𝑦𝐴_LSHOULDER, 𝑧𝐴_LSHOULDER),

RSHOULDER(𝑥𝐴_RSHOULDER, 𝑦𝐴_RSHOULDER, 𝑧𝐴_RSHOULDER),

LWRIST(𝑥𝐴_LWRIST, 𝑦𝐴_LWRIST, 𝑧𝐴_LWRIST),

RWRIST(𝑥𝐴_𝑅WRIST, 𝑦𝐴_RWRIST, 𝑧𝐴_RWRIST),

LELBOW(𝑥𝐴_LELBOW, 𝑦𝐴_LELBOW, 𝑧𝐴_LELBOW),

RELBOW(𝑥𝐴_RELBOW, 𝑦𝐴_RELBOW, 𝑧𝐴_RELBOW)

Trong danh sách có k góc cần tính. Ta sẽ tính k góc này (theo công thức 1.1) rồi lưu vào trong một mảng có k phần tử. Làm tương tự với các frame của mẫu Gánh. Kết quả thu được là một đặc trưng ở dạng ma trận có kích cỡ n x k.

Cách làm tương tự với các đề xuất của dữ liệu đánh giá Múa phối kết hợp. Giả sử mỗi đề xuất có độ dài là m (𝑚 ≤ 𝑛). Toạ độ trong không gian 3 chiều của các điểm khớp nối cần tính trong dữ liệu đánh giá này là:

NECK(𝑥𝑋_𝑁𝐸𝐶𝐾, 𝑦𝑋_𝑁𝐸𝐶𝐾, 𝑧𝑋_𝑁𝐸𝐶𝐾),

HIPS(𝑥𝑋_𝐻𝐼𝑃𝑆, 𝑦𝑋_𝐻𝐼𝑃𝑆, 𝑧𝑋_𝐻𝐼𝑃𝑆),

LSHOULDER(𝑥𝑋_LSHOULDER, 𝑦𝑋_LSHOULDER, 𝑧𝑋_LSHOULDER),

RSHOULDER(𝑥𝑋_RSHOULDER, 𝑦𝑋_RSHOULDER, 𝑧𝑋_RSHOULDER),

LWRIST(𝑥𝑋_LWRIST, 𝑦𝑋_LWRIST, 𝑧𝑋_LWRIST),

RWRIST(𝑥𝑋_𝑅WRIST, 𝑦𝑋_RWRIST, 𝑧𝑋_RWRIST),

LELBOW(𝑥𝑋_LELBOW, 𝑦𝑋_LELBOW, 𝑧𝑋_LELBOW),

RELBOW(𝑥𝑋_RELBOW, 𝑦𝑋_RELBOW, 𝑧𝑋_RELBOW)

Ta cũng cần tính k góc cho các đề xuất đánh giá. Kết quả thu được là đặc trưng

của một đề xuất ở dạng ma trận Segj có kích cỡ là m x k.

* Sinh đề xuất:

Áp dụng kỹ thuật sliding window, hệ thống chia dữ liệu chuyển động 𝑋𝑖 thành nhiều phần có độ dài mặc định theo bước trượt d. Mỗi phần của dữ liệu được gọi là một đề xuất (proposal). Gọi 𝑙𝐴𝑗là độ dài mẫu 𝐴𝑗, 𝑙𝑋 là độ dài dữ liễu đánh giá 𝑋𝑖. Quy ước một đề xuất bắt đầu với vị trí p và kết thúc ở vị trí q được kí hiệu là ╚ p, q╝. Ví dụ: hình 3.7 có độ dài mẫu A1 là 5, bước trượt sliding là 3. Ta có một số đề xuất: ╚1, 5╝, ╚3, 8╝, ╚6, 11╝, ╚9, 14╝.

Hình 3.7. Một số đề xuất sinh ra với độ dài mẫu A1 là 5 và sliding là 3.

function sinh_de_xuat (X, 𝑙𝐴𝑗):

if 𝑙𝑋 < 𝑙𝐴𝑗 then return 𝑋𝑖;

𝑠𝑙𝑖𝑑𝑖𝑛𝑔 ≔ 𝑎;

segmentsTest := [];

if 𝑙𝐴𝑗 < 𝑠𝑙𝑖𝑑𝑖𝑛𝑔 then:

𝑠𝑙𝑖𝑑𝑖𝑛𝑔 ≔ 𝑙𝐴𝑗;

foreach frame in 𝑋𝑖:

Lấy một đoạn 𝑋𝑖 dài 𝑙𝐴𝑗 tính từ frame hiện tại thêm vào mảng segmentsTest;

Sau đó hàm duyệt nhảy qua 𝑠𝑙𝑖𝑑𝑖𝑛𝑔 frame;

return segmentsTest;

Thuật toán sinh các đề xuất được viết ở dạng mã giả như sau:

* Đo độ tương đồng (measure similarity abilitiy):

Từng đề xuất được đem so sánh độ tương đồng với mẫu 𝐴𝑗 theo thuật toán DTW. Thuật toán DTW trả về chi phí nhỏ nhất của đường đi giữa đề xuất và mẫu (có giá trị nhỏ nhất là 0). Ta gọi tắt là chi phí tương đồng. Chi phí này có giá trị càng nhỏ thì đề xuất và mẫu càng tương đồng nhau và ngược lại.

3.2.3. Tổng hợp đề xuất

Tại đây, các đề xuất của cùng một mẫu 𝐴𝑗 được lọc và hợp nhất những đề xuất

bị trùng hoặc xếp chồng lên nhau.

Hình 3.8. Luồng hoạt động của bước Tổng hợp đề xuất.

* Lọc đề xuất (Filter proposals):

Sau khi lấy được danh sách các đề xuất (proposals) cho mỗi mẫu 𝐴𝑗 (có độ dài 𝑛𝐴𝑗) cùng chi phí đường đi tối ưu, ta tiến hành lọc các đề xuất theo hệ riêng 𝛽𝐴𝑖 của mẫu 𝐴𝑗 và số góc được tính 𝑛𝜃. Ta có thuật toán viết dưới dạng mã giả như sau:

Hàm loc_de_xuat (proposals, 𝛽𝐴𝑗, 𝑛𝜃):

segment_true := [];

𝛼 là hằng số dương;

𝑡ℎ𝑟𝑒𝑠ℎ0 ≔ 𝑛𝐴𝑗 ∗ 𝛼; // tính ngưỡng cho các tư thế

if 𝐴𝑗 là động tác then: // tính ngưỡng cho các động tác

𝑡ℎ𝑟𝑒𝑠ℎ0 ≔ 𝑛𝐴𝑗 ∗ 𝛽𝐴𝑗 ∗ 𝑛𝜃;

𝐴𝑗

foreach 𝑝𝑟𝑜𝑝𝑜𝑠𝑎𝑙𝑘 in proposals:

là tổng chi phí đường đi tối ưu giữa 𝑝𝑟𝑜𝑝𝑜𝑠𝑎𝑙𝑘 với 𝐴𝑗; 𝑐𝑜𝑠𝑡𝑝𝑟𝑜𝑝𝑜𝑠𝑎𝑙𝑘

𝐴𝑗 if 𝑐𝑜𝑠𝑡𝑝𝑟𝑜𝑝𝑜𝑠𝑎𝑙𝑘 đánh giá 𝑋𝑖 vào mảng segment_true;

< 𝑡ℎ𝑟𝑒𝑠ℎ0 then lưu vị trí 𝑝𝑟𝑜𝑝𝑜𝑠𝑎𝑙𝑘 trên dữ liệu

return segment_true;

* Chọn đại diện nhóm (Choose group representatives):

Sau bước lọc, xuất hiện trường hợp một đề xuất có nhiều tên mẫu hoặc một số đề xuất trong cùng một mẫu bị chồng lên nhau (hình 3.9). Tại bước này, hệ thống chỉ quan tâm các đề xuất của các mẫu thuộc cùng một nhóm. Hệ thống thực hiện giải quyết như sau:

✓ gộp những đề xuất bị xếp chồng lên nhau trong cùng một mẫu thành một danh sách duy nhất. Xét ví dụ ở hình 3.9, mẫu A3 có các đề xuất bị trùng là: ╚3, 5╝, ╚3, 8╝. Sau khi gộp, mẫu A3 có một đề xuất duy nhất là ╚3, 8╝.

✓ gộp các đề xuất bị trùng hoặc xếp chồng của các mẫu thuộc cùng một nhóm với nhau. Xét ví dụ ở hình 3.9, mẫu A3 và A2 có đề xuất bị trùng nhau là ╚3, 8╝. Giả sử A2 và A3 thuộc cùng một nhóm G1, hệ thống chỉ cần gán nhãn G1 cho đề xuất ╚3,8╝.

Hình 3.9. Một số đề xuất của các mẫu bị trùng lặp hoặc xếp chồng lên nhau.

3.2.4. Phân loại nhóm

Hệ thống sẽ chia bước Phân loại nhóm thành hai bước nhỏ: sắp xếp lại các đề

xuất cho chuẩn và gán nhãn các đề xuất theo tên nhóm (hình 3.10).

Hình 3.10. Luồng hoạt động của bước Phân loại nhóm.

Vì vị trí đề xuất của nhóm này có thể bị trùng với nhóm khác nên hệ thống phải thực hiện theo quy tắc là mỗi đề xuất chỉ có duy nhất một tên nhóm đại diện. Ta xét một ví dụ ở hình 3.11. Đề xuất ╚1, 3╝ có gán nhãn 3 nhóm ARM1, ARM2, ARM4. Đề xuất ╚3, 5╝ của nhóm ARM4 nằm trong đề xuất ╚3, 8╝ của nhóm ARM1 và ARM3. Đề xuất ╚6, 11╝ xếp chồng lên đề xuất ╚3, 8╝ và ╚9, 14╝. Đề xuất ╚12, 17╝ xếp chồng lên đề xuất ╚14, 17╝. Để áp dụng quy tắc trên, chúng ta đưa ra một giải pháp như sau:

Hình 3.11. Một số nhóm chồng lên nhau.

- Liệt kê vị trí đầu và cuối của tất cả các đề xuất của các nhóm và cho vào một danh sách L. Như vậy, L gồm: 1, 3, 3, 3, 5, 3, 8, 6, 11, 9, 14, 12, 17, 14, 17.

- Loại bỏ những phần tử trùng lặp ra khỏi danh sách L, sắp xếp chúng theo thứ tự tăng dần và cho vào danh sách L2. Ta thu được L2 gồm: 1, 3, 5, 6, 8, 9, 11, 12, 14, 17.

- Tạo ra tất cả các đề xuất có thể có từ danh sách L2: ╚1, 3╝, ╚3, 5╝, ╚5, 6╝, ╚6, 8╝, ╚8, 9╝, ╚9, 11╝, ╚11, 12╝, ╚12, 14╝, ╚14, 17╝.

- Chọn ra những đề xuất trong danh sách L2 cũng phải thuộc vào ít nhất một đề xuất của nhóm nào đó. Sau khi chọn, ta có được danh sách các đề xuất có ít nhất 1 nhóm đi kèm. Ví dụ: đề xuất ╚1, 3╝ thuộc các nhóm ARM1, ARM2 và ARM4; đề xuất ╚3, 5╝ thuộc các nhóm ARM1, ARM3 và ARM4; đề xuất ╚5, 6╝ thuộc các nhóm ARM1 và ARM3.

- Trường hợp đề xuất có nhiều nhóm đi kèm, ta cần chọn ra nhóm đại diện bằng cách sau:

+ Giả sử ta có n nhóm cần xét là 𝐶𝑖 với 𝑖 = 1, 𝑛̅̅̅̅̅ và đề xuất SG.

+ Trong nhóm 𝐶𝑖, dùng thuật toán DTW để tính điểm tương đồng giữa SG với các mẫu 𝐴𝑗 (với 𝑖 = 1, 𝑚̅̅̅̅̅̅) trong nhóm (xem danh sách góc ở mục 3.2.1). Riêng với cặp nhóm ARM1 và ARM4, ARM3 và ARM4, chúng cần dùng danh sách tính góc riêng (tham khảo phụ lục 4).

Gọi 𝑛𝑜𝑝𝑡𝑖𝑚𝑎𝑙𝐴𝑗 là số các vị trí phân biệt của mẫu 𝐴𝑗 trên đường đi tối ưu.

𝑚

𝑆𝐺}

Gọi 𝑛𝑜𝑝𝑡𝑖𝑚𝑎𝑙𝑆𝐺 là số các vị trí phân biệt của SG trên đường đi tối ưu.

𝑡=1

theo điều kiện: Độ tương đồng của nhóm 𝐶𝑖 chính là 𝑠𝑖𝑚𝐶𝑖 = 𝑚𝑎𝑥 {𝑠𝑖𝑚𝐴𝑗

𝑆𝐺 =

𝑛𝑜𝑝𝑡𝑖𝑚𝑎𝑙𝑆𝐺 𝑙𝑆𝐺

𝑚𝑛

. 𝑠𝑖𝑚𝐴𝑗

𝑖=1

Cụm chân-ngồi làm tương tự như cụm tay, chỉ khác ở chỗ ta sẽ không có danh sách góc riêng cho một số cặp nhóm.

. + Từ đó, nhóm đại diện cho đề xuất SG là 𝑚𝑎𝑥{𝑠𝑖𝑚𝐶𝑖}

CHƯƠNG 4: THỰC NGHIỆM

4.1. Dữ liệu

Sử dụng dữ liệu múa Chèo của phòng thí nghiệm HMI [4], bộ môn Hệ thống thông

tin và truyền thông (tạm gọi dữ liệu này là HMI-3DCheo). Cụ thể:

- 5 tư thế tay và một số biến thế điển hình của chúng. - 5 tư thế chân và một số biến thể điển hình của chúng. - 5 tư thế ngồi và một số biến thể điển hình của chúng. - Dữ liệu để đánh giá (test) gồm:

+ múa phối kết hợp: phối hợp các động tác tay, chân và ngồi. + tổ hợp múa quay lưu không nam và nữ: gồm động tác quay lưu không nữ và quay lưu không nam. Những động tác này chủ yếu là sự tổ hợp nhiều tư thế chân (chữ đinh, đệm gót, quả trám, chữ V…). + tổ hợp đi nữ lệch và nam ngang: gồm động tác đi nữ lệch và đi nam ngang. Những động tác này có sự phối kết hợp của tay và chân. + đi quả trám: biểu diễn động tác đi quả trám. Dữ liệu này gồm một số tư thế chân cơ bản: chân quả trám, chân chữ chi, đệm gót và chữ V. + động tác lão say: mô tả nhân vật say rượu. Nó tập trung vào các tư thế chân (đi quả trám…). + trích đoạn Suý Vân giả dại: là bài múa xe tơ - dệt vải dành cho nhân vật Suý Vân. Trích đoạn này có sự phối hợp của 3 cụm tư thế tay-chân-ngồi cùng với nhiều biến thể của chúng. + Thị Kính hát sứ rầu ba than: là bài hát Chèo của nhân vật Thị Kính sử dụng chủ yếu động tác lễ phật (thuộc tư thế múa chạy đàn), động tác đi chân chữ chi.

Các tư thế đều có độ dài 5 frame trong khi biến thể của chúng tuỳ ý. Dữ liệu đánh giá sẽ cần số lượng frame khá lớn. Dưới đây là thông tin số lượng frame của từng dữ liệu đánh giá.

Bảng 4.1. Phân bổ dữ liệu cụm tay dùng cho đánh giá.

Nhóm

ARM1 ARM2 ARM3 ARM4 ARM5

Dữ liệu

35.9% 0.0%

23.8% 100.0%

10.0% 0.0%

0.0% 0.0%

21.4% 0.0%

64.0%

36.0%

0.0%

100.0% 12.0% 22.0% 32.1% 39.8%

0.0% 32.4% 23.5% 38.9% 18.7%

0.0% 0.0% 9.2% 2.2% 2.5%

0.0% 0.0% 16.3% 23.2% 21.3%

0.0% 29.3% 26.2% 1.5% 12.9%

Múa phối kết hợp (6906 frame) Tổ hợp động tác quay lưu không nam và nữ (3149 frame) Tổ hợp động tác đi nữ lệch và nam ngang (2744 frame) Đi quả trám (1037 frame) Động tác lão say (1604 frame) Trích đoạn Suý Vân giả dại (6218 frame) Thị Kính hát sứ rầu ba than (6804 frame) HMI-3DCheo

Bảng 4.2. Phân bổ dữ liệu cụm chân-ngồi dùng cho đánh giá.

Nhóm

LEG1 LEG2 LEG3 LEG4 LEG5 SIT1

SIT2

SIT3

SIT4

SIT5

37.0%

37.2%

2.8%

7.1%

6.0%

9.7%

0.0%

20.9%

9.1%

14.1% 27.9% 23.2%

0.0%

27.2%

71.8%

0.0%

Dữ liệu Múa phối kết hợp (6906 frame) Tổ hợp động tác quay lưu không nam và nữ (3149 frame) Tổ hợp động tác đi nữ lệch và nam ngang (2744 frame)

7.1%

24.4%

34.8%

0.0%

11.2%

0.0%

Đi quả trám (1037 frame)

14.7%

20.2%

30.2% 31.2%

0.0%

11.8%

6.8%

0.06%

0.1%

5.5%

0.8%

5.9%

51.5%

16.1%

0.2%

22.6%

56.3%

1.5%

0.0%

0.9%

0.7%

16.4%

0.0%

Động tác lão say (1604 frame) Trích đoạn Suý Vân giả dại (6218 frame) Thị Kính hát sứ rầu ba than (68004 frame)

23.0%

33.9%

5.6%

6.6%

5.9%

2.7%

5.2%

11.2%

3.5%

0.05%

HMI-3DCheo

4.2. Phương pháp đánh giá

𝑚

Các phép đo đánh giá (precision, recall, F1-score) [31] dựa trên diện tích đoán

𝑛 . Để đơn giản ta cho chiều cao hình chữ

𝑗=1 các mẫu này có trong tập đánh giá 𝑋 = {𝑋𝑖}𝑖=1 nhật là 1. Ta quy ước 𝑆𝑖,𝑗 là ký hiệu diện tích của một đề xuất ╚i, j╝.

) và diện tích thực tế (ground truth) mà đúng các mẫu 𝐴𝑗 (trong tập mẫu 𝐴 = {𝐴𝑗}

Hình 4.1. Biểu diễn các kết quả dự đoán trên một dữ liệu đánh giá 𝑋1.

Xi là tổng diện tích thực tế mà 𝐴𝑗 được đoán đúng trên Xi.

* Thống kê cho từng nhóm:

Xi là tổng diện tích dự đoán của 𝐴𝑗 trên 𝑋𝑖.

Gọi 𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴𝑗

Xi là tổng diện tích thực tế của mẫu 𝐴𝑗 trên 𝑋𝑖.

Gọi 𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴𝑗

Gọi 𝑟𝑒𝑎𝑙𝐴𝑗

Gọi 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴𝑗 là tỉ lệ phần trăm diện tích các đề xuất của mẫu 𝐴𝑗 được đoán đúng trên tập đánh giá X.

∑

𝑛 𝑖=1

∑

𝑛 𝑖=1

Xi 𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴𝑗 Xi 𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴𝑗

(4.1) 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴𝑗 =

Nếu 𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴𝑗 = 0 thì 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴𝑗 = 0

∑

𝑛 𝑖=1

Gọi 𝑟𝑒𝑐𝑎𝑙𝑙𝐴𝑗 là tỉ lệ phần trăm diện tích thực tế của nhóm 𝐴𝑗 được đoán đúng trên tập đánh giá X.

∑

Xi 𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴𝑗 Xi 𝑛 𝑅𝑒𝑎𝑙𝐴𝑗 𝑖=1

(4.2) 𝑟𝑒𝑐𝑎𝑙𝑙𝐴𝑗 =

Nếu 𝑅𝑒𝑎𝑙𝐴𝑗 = 0 thì 𝑟𝑒𝑐𝑎𝑙𝑙𝐴𝑗 = 0

Gọi 𝐹1 − 𝑠𝑐𝑜𝑟𝑒𝐴𝑗 là khả năng dự đoán chính xác nhóm 𝐴𝑗 trên tập X. Công thức như sau:

2∗𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴𝑗 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴𝑗

∗𝑟𝑒𝑐𝑎𝑙𝑙𝐴𝑗 +𝑟𝑒𝑐𝑎𝑙𝑙𝐴𝑗

(4.3) 𝐹1 − 𝑠𝑐𝑜𝑟𝑒𝐴𝑗 =

Nếu 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴𝑗 = 0 và 𝑟𝑒𝑐𝑎𝑙𝑙𝐴𝑗 = 0 thì 𝐹1 − 𝑠𝑐𝑜𝑟𝑒𝐴𝑗 = 0

Hình 4.1 là kết quả dự đoán trên dữ liệu X1. Để đơn giản, coi tập X chỉ có duy nhất dữ liệu X1. Như vậy các kết quả được tính như sau:

X1 = 𝑆32,35 + 𝑆37,40 + 𝑆43,46 + 𝑆48,51 = 4 + 4 + 4 + 4 = 16

- Tính nhóm 𝐴1:

X1 = 𝑆30,35 + 𝑆37,40 + 𝑆43,46 + 𝑆48,51 + 𝑆82,85 = 6 + 4 + 4 + 4 + 4 = 22

𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴1

X1 = 𝑆32,53 + 𝑆66,76 = 12 + 11 = 23

𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴1

𝑅𝑒𝑎𝑙𝐴1

= 73% 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴1 = 16 22

= 69% 𝑟𝑒𝑐𝑎𝑙𝑙𝐴1 =

- Tính mẫu 𝐴2:

𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴2 = 𝑆93,96 = 4

𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴2 = 𝑆93,98 = 6

𝑅𝑒𝑎𝑙𝐴2 = 𝑆87,96 = 10

= 67% 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴2 =

𝑟𝑒𝑐𝑎𝑙𝑙𝐴2 =

= 40%

- Tính mẫu 𝐴3:

𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴3 = 0

𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴3 = 0

𝑅𝑒𝑎𝑙𝐴3 = 𝑆5,15

𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝐴3= 0

𝑟𝑒𝑐𝑎𝑙𝑙𝐴3 = 0

* Thống kê trên toàn bộ dữ liệu test:

∑

𝑚 𝑗=1

𝑛 𝑖=1

Gọi precision là tỉ lệ phần trăm diện tích các đề xuất được đoán đúng trên tập X.

∑

𝑚 𝑗=1

𝑛 𝑖=1

Xi 𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴𝑗 Xi 𝑇𝑜𝑡𝑎𝑙𝑃𝑟𝑒𝑑𝐴𝑗

(4.4) 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =

∑

𝑚 𝑗=1

𝑛 𝑖=1

Gọi recall là tỉ lệ phần trăm diện tích thực tế được đoán đúng trên tập X.

∑

𝑚 𝑗=1

Xi 𝑇𝑟𝑢𝑒𝑃𝑟𝑒𝑑𝐴𝑗 Xi 𝑛 𝑅𝑒𝑎𝑙𝐴𝑗 𝑖=1

(4.5) 𝑟𝑒𝑐𝑎𝑙𝑙 =

2∗𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛∗𝑟𝑒𝑐𝑎𝑙𝑙

Gọi F1-score là khả năng dự đoán chính xác các mẫu trên tập X.

𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙

(4.6) 𝐹1 − 𝑠𝑐𝑜𝑟𝑒 =

Ở hình 4.1, giả sử chỉ có 1 dữ liệu trong bộ dữ liệu test. Như vậy, ta chỉ cần tính kết quả như sau:

TruePred = 𝑆32,35 + 𝑆37,40 + 𝑆43,46 + 𝑆48,51 + 𝑆93,96 = 4 + 4 + 4 + 4 + 4 = 20

TotalPred = 𝑆30,35 + 𝑆37,40 + 𝑆43,46 + 𝑆48,51 + 𝑆66,76 + 𝑆82,85 + 𝑆93,98

= 6 + 4 + 4 + 4 + 11 + 4 + 6 = 39

𝑅𝑒𝑎𝑙 = 𝑆5,15 + 𝑆32,53 + 𝑆66,76 + 𝑆87,96 = 11 + 12 + 11 + 10 = 44

𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = = 51% 20 39

𝑅𝑒𝑐𝑎𝑙𝑙 = = 45% 20 44

4.3. Một số phương pháp dùng để so sánh

Thí nghiệm sẽ tiến hành 2 phương pháp so sánh: so sánh độ tương đồng (với

DTW) và so sánh phương pháp chọn đặc trưng (với đặc trưng Danh sách góc).

4.3.1. So sánh với DTW * Thuật toán LCSS [10] được cải tiến từ thuật toán DTW. Mục đích của LCSS là tìm chuỗi con dài nhất xuất hiện chung trong những chuỗi (theo thời gian) được so sánh. Do thuật toán gốc chỉ dùng để so sánh những chuỗi một chiều nên bài này sẽ dựa vào định nghĩa so sánh tương đồng của Vlachos [28] để xây dựng thuật toán LCSS dùng cho thí nghiệm (ở bước tính độ tương đồng trong mục 3.2.2 và 3.2.4) như sau:

𝑛

𝑚 và một mẫu 𝐴 = {𝑦𝑗}

𝑗=1

𝑝

. Trong đó 𝑥𝑖 =

𝑝 {𝜃𝑘}𝑘=1 A thuộc về). Ta xây dựng một ma trận T (kích thước (m + 1) x (n + 1)) để tính LCSS như sau:

𝑇[𝑖, −1] = 𝑇[−1, 𝑗] = 0 với 𝑖 = −1, 𝑚 − 1

̅̅̅̅̅̅̅̅̅̅̅̅ ̅̅̅̅̅̅̅̅̅̅̅̅̅ và 𝑗 = −1, 𝑛 − 1

(4.7)

𝑇[𝑖, 𝑗] = {

𝑇[𝑖 − 1, 𝑗 − 1] + 1, 𝑛ế𝑢 𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗) = 1 𝑚𝑎𝑥 (𝑇[𝑖 − 1, 𝑗], 𝑇[𝑖, 𝑗 − 1]), 𝑛ế𝑢 𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗) = 0

≤

∗ √𝑛 (4.8), ngược lại

Trong đó, 𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗) = 1 khi √∑ (𝜃𝑘 − 𝜔𝑘)2

𝑝 𝑘=1

𝜑∗𝜋 180

𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗) = 0. Ở đây, 𝜑 là độ sai lệch về góc có thể chấp nhận được.

𝑋 =

là những đặc trưng (gồm p góc được dùng cho nhóm mà mẫu Giả sử có một đề xuất 𝑋 = {𝑥𝑖}𝑖=1 và 𝑦𝑗 = {𝜔𝑘}𝑘=1

𝑛𝜔 𝑛

Ma trận T sẽ được dùng để tìm ra chuỗi con chung dài nhất giữa X và A gọi là 𝜔. Do đó, điều kiện lọc đề xuất (trong mục 3.2.3) cần được thay đổi cho phù hợp. Gọi độ dài của chuỗi 𝜔 là 𝑛𝜔. Đề xuất được chọn thoả mãn điều kiện: 𝑛𝜔 > 0.4 ∗ 𝑛. Tương tự, điều kiện chọn tên nhóm cũng phải thay đổi (mục 3.2.4): 𝑠𝑖𝑚𝐴

𝑛

* Thuật toán EDR [16] là thuật toán được cải tiến từ thuật toán gốc Edit distance [5] cho bài toán so sánh hai chuỗi đa chiều. Thuật toán EDR trái ngược với thuật toán LCSS ở chỗ: tìm ra số thao tác chỉnh sửa ít nhất trên cả hai chuỗi sao cho hai chuỗi sau khi chỉnh sửa sẽ giống nhau nhiều nhất. Dựa vào định nghĩa về 2 vectơ của hai quỹ đạo khớp nhau (giống nhau) của thuật toán EDR, ta cũng xây dựng lại thuật toán EDR cho phù hợp với bài toán của chúng ta:

𝑚 và một mẫu 𝐴 = {𝑦𝑗}

𝑗=1

. Trong đó

𝑝

Giả sử có một dữ liệu đánh giá 𝑋 = {𝑥𝑖}𝑖=1 𝑝 là những đặc trưng (gồm p góc được dùng cho nhóm mà và 𝑦𝑗 = {𝜔𝑘}𝑘=1

𝑇[0,0] = 0

𝑇[𝑖, 0] = 𝑖 với 𝑖 = 0, 𝑚̅̅̅̅̅̅

𝑇[0, 𝑗] = 𝑗 với 𝑖 = 0, 𝑛̅̅̅̅̅

𝑇[𝑖, 𝑗] = min (𝑇[𝑖 − 1, 𝑗 − 1] + 𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗), 𝑇[𝑖 − 1, 𝑗] + 1, 𝑇[𝑖, 𝑗 − 1] + 1) (4.9)

𝑥𝑖 = {𝜃𝑘}𝑘=1 mẫu A thuộc về). Ta xây dựng một ma trận T (kích thước (m + 1) x (n + 1)) để tính EDR như sau:

∗ √𝑛 (4.10)

Trong đó, 𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗) = 0 𝑛ế𝑢 √∑ (𝜃𝑘 − 𝜔𝑘)2

𝑝 𝑘=1

𝜑∗𝜋 180

𝑚𝑎𝑡𝑐ℎ(𝑥𝑖, 𝑦𝑗) = 1 nếu không thoả mãn (4.10)

Ma trận T sẽ được dùng để tìm ra số thao tác chỉnh sửa ít nhất trên X và A, gọi là 𝑛𝐸𝐷𝑅. Như vậy điều kiện lọc đề xuất (mục 3.2.3) sẽ là: 𝑛𝐸𝐷𝑅 < 0.4 ∗ max (n, m). 𝑋 = max (n, m). Cũng vậy, điều kiện chọn tên nhóm cũng phải thay đổi (mục 3.2.4): 𝑠𝑖𝑚𝐴

4.3.2. So sánh với phương pháp chọn đặc trưng Danh sách góc

Ta quy ước các nhóm tay sẽ chỉ quan tâm từ vùng hông trở lên đầu, nhóm chân và ngồi quan tâm từ vùng hông trở xuống bàn chân. Ngoài ra, ta gọi phương pháp chọn đặc trưng dùng danh sách góc cho mỗi nhóm tư thế (xem mục 3.2.1) là CheoAngle. Luận văn sẽ tiến hành so sánh phương pháp CheoAngle với ShengLi [18] và JointRelativeDist [13].

𝑧) và 𝑢𝑜 = (𝑢𝑜

𝑦, 𝑢𝑜

Phương pháp ShengLi sẽ xét những khớp nối gây nên chuyển động. Theo đó, luận văn cũng sẽ chỉ áp dụng cách làm này để xây dựng danh sách góc đại diện cho cụm tay và cụm chân và cụm ngồi (xem phụ lục 6) mà không làm riêng cho từng nhóm như phương pháp CheoAngle. Cụ thể, danh sách góc của nhóm tay là những góc được tạo thành chủ yếu từ các khớp nối gây nên chuyển động của tay. Ví dụ, cụm tay có một số vị trí tạo nên chuyển động múa như hai cổ tay, hai khuỷu tay. Từ 4 vị trí này ta sẽ kết hợp với những vị trí khác để lập nên danh sách góc cho cụm tay (dựa vào đặc điểm của mỗi nhóm tư thế tay). Làm tương tự với cụm chân và cụm ngồi.

2 )

2| (4.11)

2 𝑥 − 𝑢𝑜 𝑥)

𝑧 − 𝑢𝑜 𝑧)

Phương pháp JointRelativeDist tính khoảng cách tương đối của một cặp khớp nối của hai khung xương. Dựa vào ý tưởng này ta sẽ xây dựng phương pháp chọn đặc trưng 𝑝 cho khung xương cần xét. Giả sử 𝑃1 = {𝑢𝑘}𝑘=1 là một khung xương cần lấy đặc trưng. 𝑦, 𝑢𝑘 𝑥, 𝑢𝑘 𝑧) trong 𝑃1 là: 𝑥, 𝑢𝑜 Khoảng cách Euclide của hai điểm 𝑢𝑘 = (𝑢𝑘

𝑦 − 𝑢𝑜

+ (𝑢𝑘

𝑦 + (𝑢𝑘

(𝑢𝑘, 𝑢𝑜) = |√(𝑢𝑘 𝐷𝑃1

Từ công thức (4.11) ta có mô tả đặc trưng 𝐹𝑃1 của khung xương 𝑃1 lấy theo

𝑞 (4.12)

phương pháp JointRelativeDist là:

(𝑢𝑘, 𝑢𝑜)}𝑖=1 𝐹𝑃1 = {𝐷𝑃1

Trong đó, 𝑞 là số cặp khớp nối cần tính của khung xương. Ở đây, luận văn sẽ chỉ định nghĩa danh sách các cặp khớp nối cho cụm tư thế tay, chân và ngồi (xem phụ lục 7) thay vì cho từng nhóm tư thế.

4.4. Kết quả thí nghiệm

Trước khi thực hiện thí nghiệm, chúng ta đưa ra một số quy ước. Danh sách các góc chuẩn của một nhóm (xem mục 2.4.2) được gọi là T0. Các phép thử dùng danh sách

các góc tuỳ ý của một nhóm (xem phụ lục 3) đặt tên theo thứ tự T1, T2... Khi thực hiện phép thử khác T0 của một nhóm, mặc định các nhóm còn lại trong cụm là phép thử T0. Do sự đóng góp của các nhóm trong dữ liệu đánh giá chênh lệch khá lớn (xem mục 4.1) nên luận văn sẽ chỉ thử nghiệm danh sách góc tuỳ ý trên một số nhóm có đóng góp lớn như ARM1, ARM2...

Phép đo

ARM1 ARM2 ARM3 ARM4 ARM5

Phương pháp

Bảng 4.3. Kết quả thử nghiệm T0 của cụm tay.

LCSS

EDR

Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%)

DTW

65.7 75.6 70.3 75.4 74.3 74.8 91.6 70.2 79.5

85.6 72.3 78.4 71.1 28.0 40.2 60.2 22.8 33.1

51.2 29.4 37.3 63.1 49.9 55.7 74.8 35.6 48.3

1.6 4.1 2.3 0.0 0.0 0.0 0.0 0.0 0.0

66.7 67.5 67.1 58.3 81.5 68.0 65.3 50.5 57.0

HMI- 3DCheo 66.8 62.1 64.4 64.2 49.1 55.7 73.3 39.1 51.0

Hình 4.2. Biểu diễn kết quả của phép thử T0 cho cụm tay.

Luận văn thực hiện một số thí nghiệm để chứng minh 2 luận điểm: thuật toán DTW tốt hơn so với một số phương pháp, tầm quan trọng của việc chọn danh sách góc cần tính. Luận điểm thứ nhất được chứng minh qua kết quả so sánh với một số phương pháp khác (được đề cập ở mục 4.3.1) trong bảng 4.3 và 4.4 (tương ứng với biểu đồ hình 4.2 và 4.3). Dễ thấy, precision và recall trung bình của DTW hầu hết cao hơn so với LCSS và EDR. Ở cụm tay, recall trung bình lần lượt của DTW, LCSS và EDR là: 49.78, 46.74, 35.82. Đối với cụm chân-ngồi, precision trung bình lần lượt của DTW, LCSS và EDR là: 66.36, 61.47, 60.82; recall trung bình tương ứng là: 62.55, 54.99, 52.72. Đối chiếu với biểu đồ của hai cụm này, ta cũng nhận thấy kết quả của DTW được phân bổ đều cho các nhóm hơn là LCSS và EDR. So sánh về kết quả F1-score, DTW chiếm tỉ lệ lớn hơn so với LCSS và EDR (chỗ bôi đậm). Những nhóm có F1-score ở DTW cao hơn so với LCSS và EDR là ARM2, ARM4, LEG3, LEG4, LEG5, SIT2, SIT5.

Phép đo

LEG1 LEG2 LEG3 LEG4 LEG5 SIT1 SIT2 SIT3 SIT4 SIT5

Phương pháp

83.8

72.5

34.1

53.2

35.4

66.4

74.6

99.0

96.5

48.1

Bảng 4.4. Kết quả cụm chân-ngồi ở trường hợp T0.

HMI- 3DCheo 71.3

DTW

44.7 58.3

41.0 52.4

30.0 31.9

69.1 60.1

34.8 35.1

94.4 78.0

23.4 35.7

93.5 96.2

94.6 95.5

100.0 65.0

51.3 59.6

81.0

56.4

25.0

56.8

34.9

82.0

74.5

95.1

86.8

22.2

66.0

LCSS

65.0 72.1

87.0 68.4

1.8 3.4

41.0 47.6

33.5 34.1

88.6 85.2

7.7 14.0

97.8 96.4

96.7 91.5

30.8 25.8

68.0 67.0

82.4

63.2

62.5

36.5

32.3

90.2

29.3

97.7

91.9

22.2

67.9

EDR

54.5 65.6

83.6 72.0

11.2 19.0

39.8 38.1

33.9 33.1

80.9 85.3

1.6 3.1

91.1 94.3

99.8 95.7

30.8 25.8

63.7 65.7

Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%)

Hình 4.3. Biểu diễn kết quả của phép thử T0 cho cụm chân-ngồi.

Luận điểm thứ hai được chứng minh từ bảng 4.5 và 4.6. Bảng 4.5 biểu diễn ở dạng biểu đồ hình 4.3, 4.4 và 4.5. Cũng vậy, bảng 4.6 được biểu diễn bởi biểu đồ hình 4.7, 4.8, 4.9, 4.10. Dễ thấy, khi thay đổi danh sách nhóm của một số góc sẽ dẫn đến thay đổi kết quả đo của nhiều nhóm khác. Cụ thể, danh sách góc ARM3 thay đổi sẽ kéo theo sự đổi precision và recall của ARM2; danh sách góc nhóm LEG1 thay đổi sẽ kéo theo sự thay đổi lớn precision và recall của LEG4; danh sách góc nhóm LEG2 thay đổi sẽ kéo theo sự thay đổi lớn về precision và recall của LEG3, LEG4, LEG5; danh sách góc nhóm SIT3 thay đổi sẽ kéo theo sự thay đổi lớn về precision và recall của SIT4 và SIT5; danh sách góc nhóm SIT1 thay đổi sẽ kéo theo sự thay đổi lớn về precision và recall của LEG1, LEG2, LEG3, LEG4, LEG5, SIT3, SIT4 và SIT5.

Bảng 4.5. Kết quả thử nghiệm T1, T2, T3 trên các nhóm tay.

Kết quả đo

ARM1 48.7

ARM2 85.6

ARM3 51.2

ARM4 0.0

ARM5 66.7

T1

74.9

72.3

29.4

0.0

67.5

Precision (%) Recall (%)

59.0

78.4

37.3

0.0

67.1

48.6

85.6

51.2

0.0

66.7

75.2

72.3

29.4

0.0

67.5

T2

59.0

78.4

37.3

0.0

67.1

49.5

85.6

51.2

0.0

66.7

Phép thử trên ARM1

75.9

72.3

29.4

0.0

67.5

T3

59.9

78.4

37.3

0.0

67.1

61.5

90.7

51.2

1.4

66.7

73.5

65.0

29.5

4.1

67.5

T1

66.9

75.7

37.4

2.1

67.1

61.0

93.1

51.2

1.4

66.7

74.2

61.9

29.5

4.1

67.5

T2

67.0

74.4

37.4

2.1

67.1

Phép thử trên ARM2

65.0

89.1

51.2

1.5

66.7

78.4

67.1

29.4

4.1

67.5

T3

71.1

76.5

37.3

2.2

67.1

79.3

80.2

18.4

1.6

66.3

73.5

44.6

28.2

4.1

69.4

T1

76.3

57.3

22.3

2.3

67.8

66.7

80.6

29.5

1.6

66.5

76.5

61.7

24.9

4.1

69.2

T2

71.3

69.9

27.0

2.3

67.8

Phép thử trên ARM3

65.1

79.3

11.7

1.6

65.1

77.5

54.1

8.0

4.1

60.7

T3

70.8

64.3

9.5

2.3

62.8

F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%)

Hình 4.4. Biểu diễn kết quả các phép thử trên nhóm ARM1.

Hình 4.5. Biểu diễn kết quả các phép thử trên nhóm ARM2.

Hình 4.6. Biểu diễn kết quả các phép thử trên nhóm ARM3.

Kết quả đo

Bảng 4.6. Kết quả thử nghiệm T1, T2, T3 dùng DTW cho cụm chân-ngồi.

T1

T2

Phép thử trên LEG1

T3

T1

T2

Phép thử trên LEG2

T3

T1

T2

Phép thử trên LEG3

T3

Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%)

LEG1 LEG2 LEG3 LEG4 LEG5 SIT1 66.2 66.4 94.4 96.2 77.8 78.6 66.1 74.1 94.4 78.3 77.8 76.1 66.5 79.3 94.9 55.7 78.2 65.4 66.5 83.8 94.4 44.7 78.0 58.3 66.3 83.8 94.4 44.7 77.9 58.3 62.2 83.8 73.2 44.7 67.3 58.3 66.5 83.8 94.4 44.7 78.0 58.3 66.5 83.8 94.4 44.7 78.0 58.3 66.2 83.8 95.2 44.7

34.8 29.1 31.7 34.2 29.2 31.5 34.1 29.4 31.6 37.8 41.1 39.4 38.9 40.4 39.6 37.2 27.4 31.6 10.2 23.3 14.2 12.1 19.6 15.0 7.3 29.9

73.1 38.6 50.5 73.3 40.4 52.1 73.3 40.4 52.1 68.0 60.3 63.9 57.3 71.7 63.7 54.6 96.6 69.8 72.7 40.8 52.3 72.9 41.2 52.6 72.8 40.8

37.4 34.8 36.0 35.4 34.8 35.1 35.7 34.8 35.2 35.6 28.2 31.5 43.6 24.8 31.6 0.0 0.0 0.0 34.1 25.5 29.2 25.2 15.7 19.3 24.6 14.5

52.6 36.1 42.8 51.9 50.6 51.2 52.7 64.2 57.9 48.1 49.9 49.0 49.1 32.3 38.9 55.8 28.4 37.6 50.8 49.6 50.2 52.1 60.4 55.9 47.4 41.4

SIT2 74.6 23.4 35.7 74.6 23.4 35.7 74.3 23.8 36.1 74.6 23.4 35.7 74.6 23.4 35.7 74.9 24.0 36.4 74.6 23.4 35.7 74.6 23.4 35.7 73.9 23.6

SIT3 99.0 93.5 96.2 99.0 93.5 96.2 99.0 93.5 96.2 99.0 93.5 96.2 99.0 93.5 96.2 98.9 93.5 96.1 99.0 93.5 96.2 99.0 93.5 96.2 99.0 93.9

SIT4 96.5 94.6 95.5 96.5 94.6 95.5 96.5 97.8 97.2 96.4 94.6 95.5 96.5 94.6 95.5 96.6 97.0 96.8 96.5 94.6 95.5 96.5 94.6 95.5 96.5 94.8

SIT5 48.1 100.0 65.0 48.1 100.0 65.0 48.1 100.0 65.0 48.1 100.0 65.0 48.1 100.0 65.0 46.4 100.0 63.4 48.1 100.0 65.0 48.1 100.0 65.0 44.8 100.0

T1

T2

Phép thử trên SIT1

T3

T1

T2

Phép thử trên SIT3

T3

58.3 83.8 44.7 58.3 24.1 0.9 1.8 13.0 0.2 0.4 83.8 44.7 58.3 83.8 44.7 58.3 83.7 44.5 58.2

52.3 72.4 41.1 52.4 69.5 9.5 16.8 51.7 4.4 8.1 72.6 41.0 52.4 72.5 41.0 52.4 72.4 41.0 52.4

44.2 53.2 69.1 60.1 80.3 33.2 47.0 74.0 7.6 13.7 53.2 69.1 60.1 53.2 69.1 60.1 53.2 69.1 60.1

11.8 33.8 30.0 31.8 34.6 11.9 17.7 48.5 9.0 15.1 34.1 30.0 31.9 34.1 30.0 31.9 34.1 30.0 31.9

18.3 35.4 34.8 35.1 15.3 4.7 7.2 67.3 22.2 33.4 35.4 34.8 35.1 35.4 34.8 35.1 35.4 34.8 35.1

78.1 67.8 91.1 77.7 3.8 93.0 7.3 3.0 88.1 5.7 66.4 94.4 78.0 66.4 94.4 78.0 67.8 94.4 78.9

35.7 67.2 20.1 30.9 63.2 21.3 31.9 64.8 17.6 27.6 74.6 23.4 35.7 74.6 23.4 35.7 74.6 23.4 35.7

96.4 98.9 93.4 96.1 99.2 92.8 95.9 99.1 81.9 89.7 74.3 93.2 82.7 95.3 80.4 87.2 70.8 97.7 82.1

95.7 96.5 94.6 95.5 94.9 51.7 66.9 97.5 35.3 51.8 96.6 93.5 95.0 96.9 92.1 94.5 97.9 82.6 89.6

61.9 61.1 84.6 71.0 44.8 100.0 61.9 58.3 53.8 56.0 48.1 100.0 65.0 48.1 100.0 65.0 0.0 0.0 0.0

Hình 4.7. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG1.

Hình 4.8. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG2.

Hình 4.9. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG3.

Hình 4.10. Kết quả áp dụng DTW cho các phép thử trên nhóm SIT1.

Luận điểm 2 còn được chứng minh thông qua kết quả so sánh phương pháp chọn đặc trưng (xem các bảng 4.7, 4.8). Kết quả ở bảng 4.7 và 4.8 lần lượt được biểu diễn ở hình 4.12 và 4.13. Xét kết quả F1-score, ta nhận thấy phương pháp CheoAngle vượt trội so với ShengLi và JointRelativeDist (những số bôi đậm). Đối chiếu kết quả trên hình vẽ, các giá trị precision và recall ở phương pháp CheoAngle phân bổ đều cho các nhóm hơn so với hai phương pháp còn lại.

Hình 4.11. Kết quả áp dụng DTW cho các phép thử trên nhóm SIT3.

Bảng 4.7. Kết quả so sánh phương pháp đặc trưng cho cụm tay.

Phương pháp

Phép đo

ARM1

ARM2

ARM3

ARM4

ARM5

HMI- 3DCheo

85.6

Precision (%)

65.7

51.2

1.6

66.7

66.8

72.3

Recall (%)

75.6

29.4

4.1

67.5

62.1

CheoAngle

78.4

F1-score (%)

70.3

37.3

2.3

67.1

64.4

93.8

Precision (%)

61.0

27.1

0.0

44.2

56.0

46.4

76.5

Recall (%)

30.4

0.0

78.0

53.0

ShengLi

62.1 96.1

F1-score (%) Precision (%)

67.9 84.7

28.7 8.9

0.0 11.8

56.4 46.4

54.5 57.2

38.8

48.6

Recall (%)

4.9

33.3

42.8

34.7

JointRelativeDist

55.3

F1-score (%)

61.8

6.3

17.4

44.5

43.2

Hình 4.12. Kết quả so sánh phương pháp chọn đặc trưng trên cụm tay.

Phép đo

LEG1 LEG2 LEG3 LEG4 LEG5 SIT1 SIT2 SIT3 SIT4 SIT5

Phương pháp

83.8

72.5

34.1

53.2

35.4

66.4

74.6

99.0

96.5

48.1

Bảng 4.8. Kết quả so sánh phương pháp chọn đặc trưng cho cụm chân-ngồi.

HMI- 3DCheo 71.3

44.7

41.0

30.0

69.1

34.8

94.4

23.4

93.5

94.6

100.0

51.3

CheoAn gle

58.3

52.4

31.9

60.1

35.1

78.0

35.7

96.2

95.5

65.0

59.6

87.9

69.1

59.8

36.2

61.8

25.1

5.8

95.6

87.5

0.0

58.2

58.1

70.7

3.5

32.4

21.4

94.4

11.2

16.2

73.0

0.0

49.6

ShengLi

69.9

6.6

34.2

31.8

39.6

7.6

27.7

79.6

0.0

53.6

77.0

56.9

8.2

24.3

59.2

7.5

0.0

33.0

62.7

11.1

0.8

2.7

4.6

87.7

0.0

21.5

JointRel ativeDist

69.1

18.6

1.5

4.9

8.6

13.8

0.0

26.1

Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%) Precision (%) Recall (%) F1-score (%)

Hình 4.13. Kết quả so sánh phương pháp chọn đặc trưng trên cụm chân-ngồi.

100

Luận văn đã làm tốt từ những mục tiêu đề ra. Thứ nhất, luận văn đã xây dựng thành công một hệ thống tìm kiếm nhằm hỗ trợ cho công cụ quản lý dữ liệu chuyển động 3D Chèo truyền thống. Hệ thống này có đầu ra là danh sách các đề xuất và tên nhóm tương ứng. Qua đó, công cụ quản lý dữ liệu 3D Chèo truyền thống có thể thực hiện các thao tác thêm, sửa, xóa trên những đề xuất này. Thứ hai, luận văn đã áp dụng định dạng BVH trong việc lưu trữ dữ liệu chuyển động 3D Chèo truyền thống. Định dạng BVH lưu trữ khung xương người chuyển động theo thời gian. Với cách lưu trữ này, luận văn khai thác tốt đối tượng biểu diễn mà không bị ảnh hưởng bởi khung cảnh xung quanh. Thứ ba, luận văn đã định nghĩa 15 nhóm chuyển động 3D Chèo truyền thống (tương đương 15 nhóm tư thế cơ bản trong múa Chèo truyền thống). Những nhóm chuyển động 3D được định nghĩa này sẽ giúp hệ thống phân loại tương đối chính xác những tư thế cơ bản của múa Chèo truyền thống. Thứ tư, đề tài xây dựng thành công thuật toán tìm kiếm mẫu chuyển động 3D Chèo truyền thống. Cụ thể hệ thống nhận diện khá tốt một số nhóm (đại diện cho một số mẫu) như: ARM1, ARM2, ARM5, LEG4, SIT1, SIT3, SIT4, SIT5. Tuy nhiên, một số nhóm được nhận diện kém như ARM3, ARM4, SIT2. Kết quả từ những thí nghiệm trong chương 4 đã chứng minh tính hiệu quả của việc áp dụng một số kỹ thuật đề xuất. Kỹ thuật sliding window hỗ trợ tìm kiếm mẫu trên diện rộng. Thuật toán DTW làm cho việc phân loại các mẫu trở nên đơn giản. Thêm vào đó, cách chọn các góc cần tính của chuyển động cũng đóng vai trò quan trọng đến kết quả dự đoán cũng như quy mô dữ liệu sử dụng. Ở cụm tay, danh sách góc của các nhóm ARM1, ARM2 và ARM5 cho kết quả khả quan (f1-score trên 60%); danh sách góc của các nhóm ARM3 và ARM4 cho kết quả thấp (f1-score dưới 50%) cần phải điều chỉnh. Ở cụm chân-ngồi, danh sách góc của các góc LEG4, SIT1, SIT3, SIT4 và SIT5 cho kết quả f1-score tương đối tốt (trên 60%); LEG1, LEG2, và SIT2 cho kết quả chưa hợp lý (precision cao, recall thấp) cần phải kiểm tra lại cách chọn góc và mẫu được chọn; LEG 3 và LEG5 cho kết quả thấp ở precision và recall nên phải thay đổi danh sách góc của chúng.

Bên cạnh những ưu điểm, thuật toán đề xuất có một số hạn chế. Hạn chế thứ nhất là phụ thuộc độ dài mẫu. Một số động tác dài ngắn phụ thuộc vào nhịp điệu của bài múa cũng như kỹ thuật của người diễn. Độ dài mẫu sẽ gây ảnh hưởng đến việc chọn ngưỡng cho mẫu. Hạn chế thứ hai là kích cỡ cửa sổ và bước trượt cửa sổ. Nếu bước trượt ngắn sẽ làm tiêu tốn thời gian xử lý của thuật toán. Trái lại, bước trượt dài sẽ bỏ qua các mẫu cần tìm. Trong khi đó, kích cỡ window càng

CHƯƠNG 5: KẾT LUẬN

101

ngắn thì chỉ lấy được một phần của mẫu dẫn đến khó phân loại. Ngược lại, kích cỡ window càng dài thì sẽ dễ lấy nhầm sang mẫu khác.

Trong tương lai, đề tài có thể cải tiến để đạt kết quả cao hơn. Thứ nhất, đề tài có thể sửa đổi danh sách các góc cần tính. Trong quá trình phân loại, nhóm nào có danh sách góc cần tính mang ít đặc trưng của nhóm sẽ dễ lấy nhầm sang các nhóm khác. Thứ hai, đề tài có thể kết hợp thêm thông tin bậc quay của góc nối để bổ trợ cho việc so sánh mẫu. Một số mẫu có rất ít sự thay đổi tư thế trong chuyển động mà chỉ thay đổi rất nhỏ ở một vài vị trí khớp nối. Điều này sẽ gây khó khăn cho việc so sánh với các nhóm khác nhau khi chúng gần như ở cùng một tư thế. Ví dụ như động tác xâu kim (thuộc nhóm tư thế cướp bông) có vị trí hai tay ở giữa người (giống với tư thế múa chạy đàn) chỉ khác là hai bàn tay chuyển động ngược chiều.

102

TÀI LIỆU THAM KHẢO

Tiếng Việt

[1] Lê Ngọc Canh (2003), Nghệ thuật múa Chèo, Nhà xuất bản Sân khấu, Hà Nội. [2] Trần Lan Hương (2014), Nghệ thuật múa trong Chèo truyền thống, Nhà xuất

bản Sân khấu Hà Nội, Hà Nội.

[3] Nguyễn Thị Ngọc (1998), Giáo trình múa chèo, Nhà xuất bản Đại học Sân khấu

và Điện ảnh Hà Nội, Hà Nội.

[4] Phòng thí nghiệm HMI, Dữ liệu 3D Chèo, Đại học Công nghệ-Đại học Quốc gia

Hà Nội, Hà Nội. Nguồn: http://disanso.vn/vidman/.

Tiếng Anh

[5] L. Allison (1999). Dynamic Programming Algorithm (DPA) for Edit-Distance. [Online]. Available: http://users.monash.edu/~lloyd/tildeAlgDS/Dynamic/Edit/ Available: [6] Bvhacker Bvhacker. [Online]. (2011). 1.8.

https://www.bvhacker.com/

[7] Blender 2.8. (2020). [Online]. Available: https://www.blender.org/download/ [8] BVH Animation BETA. http://lo- (2014). [Online]. Available:

th.github.io/olympe/BVH_player.html

[9] City Universiy of Hong kong (2007). BVH Motion Capture Data Animated. [Online]. Available: https://www.cs.cityu.edu.hk/~howard/Teaching/CS4185- 5185-2007-SemA/Group12/BVH.html

[10] Gaspard-Monge Institute of Electronics and Computer Science (1998). Longest https://www-igm.univ- [Online]. Available:

common subsequences. mlv.fr/~lecroq/seqcomp/node4.html

[11] Goutsu, Y., Takano, W. & Nakamura, Y. Classification of Multi-class Daily Human Motion using Discriminative Body Parts and Sentence Descriptions. Int J Comput Vis 126, 495–514 (2018). https://doi.org/10.1007/s11263-017-1053- 3

Technology. [Online].

[13]

[12] K. Himanshu (2014), Gesture Recognition Using Hidden Markov Models Augmented with Active Difference Signatures, M.S. thesis, Rochester Institute Available: of https://scholarworks.rit.edu/cgi/viewcontent.cgi?article=9680&context=theses Jeff K. T. Tang, Howard Leung, Taku Komura, and Hubert P. H. Shum (2008). Emulating human perception of motion similarity. Comput. Animat. Virtual Worlds 19, 3–4 (September 2008), 211–221.

[14] Joko Sutopo, Mohd Khanapi Abd Ghani, Burhanuddin Mohd Aboobaider, Zulhawati (2020), “Dance gesture recognition using space component and effort component of Laban movement analysis”, International Journal of Scientific &

103

2025-2029, Processing (ICIP), Image 2019, pp.

Technology Research, Volume 9, Issue 02, pp. 3389-3394. Available: http://www.ijstr.org/final-print/feb2020/Dance-Gesture-Recognition-Using- Space-Component-And-Effort-Component-Of-Laban-Movement-Analysis.pdf [15] J. Kao, A. Ortega, D. Tian, H. Mansour and A. Vetro, "Graph Based Skeleton Modeling for Human Activity Analysis," 2019 IEEE International Conference on doi: 10.1109/ICIP.2019.8803186.

for Moving Object Trajectories.

[16] Lei Chen, M. Tamer Özsu, Vincent Oria (2005). Robust and Fast Similarity Search [Online]. Available: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.577.8494&rep=rep1 &type=pdf

[17] M. Last, H. Bunke, and A. Kandel. 2018. Data Mining in Time Series and Streaming Databases. World Scientific Publishing Co Pte Ltd, Singapore. [18] S. Li, T. Jiang, Y. Tian and T. Huang, "3D Human Skeleton Data Compression for Action Recognition," 2019 IEEE Visual Communications and Image Processing (VCIP), Sydney, NSW, Australia, 2019, pp. 1-4, doi: 10.1109/VCIP47243.2019.8965920.

[19] MVN Analyze. Xsens. [Online]. Available: https://www.xsens.com/software-

downloads

[20] Mocappys. How to use an xsens mvn mocap system. [Online]. Available:

https://mocappys.com/how-to-use-an-xsens-mvn-mocap- system/#.YIFVjOgzaM8

[21] X. T. Nguyen, T. D. Ngo, T. H. Le (2019). A Spatial-temporal 3D Human Pose Available: Framework. [Online].

Reconstruction https://arxiv.org/ftp/arxiv/papers/1901/1901.02529.pdf

[22] Protopapadakis, Eftychios & Grammatikopoulou, A. & Doulamis, Anastasios & Nikos, Grammalidis. (2017). Folk dance pattern recognition over depth images acquired via kinect sensor. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. XLII- 2/W3. 587-593. 10.5194/isprs-archives-XLII-2-W3-587-2017.

[23] B. Rennhak, T. Shiratori, S. Kudoh, P. Vinayavekhin and K. Ikeuchi, "Detecting dance motion structure using body components and turning motions," 2010 IEEE/RSJ International Conference on Intelligent Robots and Systems, Taipei, Taiwan, 2010, pp. 2264-2269, doi: 10.1109/IROS.2010.5649303.

[24] A. Sebernegg, P. Kan, H. Kaufmann (2020). Motion similarity modeling -- a state of the art report. arXiv:2008.05872 [cs.GR], 13 Aug., 2020. [Online]. Available: https://arxiv.org/pdf/2008.05872.pdf

[25] Su, Han, Liu, Shuncheng, Zheng, Bolong, Zhou, Xiaofang, and Zheng, Kai (2020). A survey of trajectory distance measures and performance evaluation. VLDB Journal 29 (1) 3-32. https://doi.org/10.1007/s00778-019-00574-9

104

[26] R. Vemulapalli and R. Chellappa, "Rolling Rotations for Recognizing Human Actions from 3D Skeletal Data," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 4471-4479, doi: 10.1109/CVPR.2016.484.

[27] University of Wisconsin-Madison. Biovision BVH. [Online]. Available: https://research.cs.wisc.edu/graphics/Courses/cs-838-1999/Jeff/BVH.html [28] M. Vlachos, G. Kollios and D. Gunopulos, "Discovering similar multidimensional trajectories," Proceedings 18th International Conference on Data Engineering, 2002, pp. 673-684, doi: 10.1109/ICDE.2002.994784.

[29] Xsens. MVN user manual. (2020). [Online]. Available:

https://www.xsens.com/hubfs/Downloads/usermanual/MVN_User_Manual.pd f

[30] Wikipedia (2021). Human right hand [Photograph]. Retrieved from

https://upload.wikimedia.org/wikipedia/commons/thumb/3/32/Human-Hands- Front-Back.jpg/240px-Human-Hands-Front-Back.jpg

[31] Wikipedia Pattern (2021). recognition. [Online].

Available: https://en.wikipedia.org/wiki/Precision_and_recall#:~:text=In%20pattern%20r ecognition%2C%20information%20retrieval,relevant%20instances%20that%2 0were%20retrieved.

[32] Z. Zhang, R. Tavenard, A. Bailly, X. Tang, P. Tang (2017). Dynamic Time Warping Under Limited Warping Path. Retrieved from hal.archives-ouvertes.fr: https://hal.archives-ouvertes.fr/hal-01470554/document.

105

PHỤ LỤC

Phụ lục 1: Cách thu dữ liệu 3D

Dữ liệu múa Chèo 3D được thu từ thiết bị Xsens MVN. Quy trình thu được

thực hiện theo các bước sau:

• Bước 1: sạc đầy pin cho các cảm biến và cho thiết bị điều phối. • Bước 2: Cài đặt phần mềm MVN Analyze (tải phần mềm từ

https://www.xsens.com/software-downloads) và điền license key. Xem hướng dẫn chi tiết ở https://www.xsens.com/hubfs/Downloads/usermanual/MVN_User_Manual. pdf

• Bước 3: cấu hình Access Point (trường hợp MVN Link) hoặc Awinda

Station (trường hợp MVN Awinda).

• Bước 4: người diễn mặc trang phục và gắn các cảm biến, thiết bị điều phối

và bộ pin lên người.

• Bước 5: tiến hành đo một số chỉ số của người diễn như: chiều cao, độ rộng vai, độ dài các chi… Nếu chỉ có duy nhất một người diễn thì ta chỉ cần làm bước này một lần.

• Bước 6: cấu hình Body Pack (trường hợp MVN Link) • Bước 7: kiểm tra hoạt động của các cảm biến • Bước 8: hiệu chỉnh (xem https://mocappys.com/how-to-use-an-xsens-mvn-

mocap-system/#.YIFVjOgzaM8)

• Bước 9: tiến hành thu dữ liệu trên phần mềm. • Bước 10: Lưu kết quả ở định dạng bvh

Phụ lục 2: Một số công cụ đọc định dạng BVH

1. Phần mềm Bvhacker được tải về từ trang https://www.bvhacker.com/.

2. Phần mềm Blender (tải từ https://www.blender.org/download/ )

3. BVH Animation BETA (http://lo-th.github.io/olympe/BVH_player.html)

Phụ lục 3: Danh sách các góc (của phương pháp đề xuất) trong thử nghiệm T1, T2, T3

1. Thử nghiệm trên nhóm ARM1

* Danh sách các góc cho thử nghiệm T1: 1) NECK_LWRIST - NECK_RWRIST 2) LWRIST_RWRIST - LSHOULDER_RSHOULDER 3) LSHOULDER_RSHOULDER - LELBOW_RELBOW

106

4) LELBOW_LWRIST - RELBOW_RWRIST 5) NECK_HIPS - LWRIST_RWRIST 6) LWRIST_LFINGER - RWRIST_RFINGER 7) LWRIST_LELBOW - LWRIST_RELBOW 8) RWRIST_RELBOW - RWRIST_LELBOW 9) LSHOULDER_LELBOW - LSHOULDER_RSHOULDER 10) RSHOULDER_RELBOW - RSHOULDER_LSHOULDER

1) LSHOULDER_LWRIST - LSHOULDER_RWRIST 2) RSHOULDER_RWRIST - RSHOULDER_LWRIST 3) LELBOW_LWRIST - LELBOW_RWRIST 4) RELBOW_RWRIST - RELBOW_LWRIST 5) LWRIST_LFINGER - RWRIST_RFINGER

* Danh sách các góc cho thử nghiệm T2:

1) LELBOW_LWRIST - LSHOULDER_RSHOULDER 2) RELBOW_RWRIST - RSHOULDER_LSHOULDER 3) LELBOW_LWRIST - HIPS_NECK 4) RELBOW_RWRIST - HIPS_NECK 5) LELBOW_LWRIST - RELBOW_RWRIST

* Danh sách các góc cho thử nghiệm T3:

2. Thử nghiệm trên nhóm ARM2

1) NECK_LWRIST - NECK_RWRIST 2) LWRIST_RWRIST - LSHOULDER_RSHOULDER 3) LSHOULDER_RSHOULDER - LELBOW_RELBOW 4) LELBOW_LWRIST - RELBOW_RWRIST 5) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 6) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 7) LWRIST_LELBOW - LWRIST_LFINGER 8) RWRIST_RELBOW - RWRIST_RFINGER 9) LSHOULDER_RSHOULDER - LWRIST_LFINGER 10) RSHOULDER_LSHOULDER - RWRIST_RFINGER 11) LELBOW_LWRIST - LSHOULDER_RSHOULDER 12) RELBOW_RWRIST - RSHOULDER_LSHOULDER 13) LELBOW_LWRIST - LSHOULDER_RSHOULDER 14) RELBOW_RWRIST - RSHOULDER_LSHOULDER 15) LSHOULDER_LELBOW - LSHOULDER_RSHOULDER 16) RSHOULDER_RELBOW - RSHOULDER_LSHOULDER 17) LELBOW_LWRIST - HIPS_NECK 18) RELBOW_RWRIST - HIPS_NECK 19) LELBOW_LWRIST - HIPS_NECK 20) RELBOW_RWRIST - HIPS_NECK 21) LSHOULDER_LELBOW - HIPS_NECK 22) RSHOULDER_RELBOW - HIPS_NECK 23) LSHOULDER_LELBOW - RSHOULDER_RELBOW 24) LWRIST_RWRIST - HIPS_NECK 25) NECK_HIPS - NECK_LWRIST 26) NECK_HIPS - NECK_RWRIST

* Danh sách các góc cho thử nghiệm T1:

* Danh sách các góc cho thử nghiệm T2:

107

1) LSHOULDER_LWRIST - RSHOULDER_RWRIST 2) LWRIST_RWRIST - NECK_HIPS 3) LWRIST_LELBOW - LWRIST_RWRIST 4) RWRIST_RELBOW - RWRIST_LWRIST 5) LELBOW_LWRIST - HIPS_NECK 6) RELBOW_RWRIST - HIPS_NECK 7) LWRIST_RWRIST - LSHOULDER_RSHOULDER 8) LSHOULDER_RWRIST - RSHOULDER_LWRIST 9) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 10) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 11) LELBOW_RELBOW - LSHOULDER_RSHOULDER 12) LWRIST_RWRIST - LELBOW_RELBOW 13) LSHOULDER_LWRIST - LHIP_LSHOULDER 14) RSHOULDER_RWRIST - RHIP_RSHOULDER 15) HIPS_LWRIST - HIPS_LHIP 16) HIPS_RWRIST - HIPS_RHIP

1) LWRIST_RWRIST - LSHOULDER_RSHOULDER 2) LSHOULDER_RWRIST - LSHOULDER_RSHOULDER 3) RSHOULDER_LWRIST - RSHOULDER_LSHOULDER 4) LWRIST_RWRIST - LSHOULDER_RSHOULDER 5) LELBOW_LWRIST - RHIP_RSHOULDER 6) RELBOW_RWRIST - LHIP_LSHOULDER

* Danh sách các góc cho thử nghiệm T3:

3. Thử nghiệm trên nhóm ARM3

1) NECK_LWRIST - NECK_RWRIST 2) LWRIST_RWRIST - LSHOULDER_RSHOULDER 3) LWRIST_RWRIST - LHIP_RHIP 4) LWRIST_LELBOW - LWRIST_LFINGER 5) RWRIST_RELBOW - RWRIST_RFINGER

* Danh sách các góc cho thử nghiệm T1:

1) LWRIST_LELBOW - LWRIST_LFINGER 2) RWRIST_RELBOW - RWRIST_RFINGER 3) LWRIST_LFINGER - RWRIST_RFINGER 4) LELBOW_LWRIST - RELBOW_RWRIST 5) NECK_LWRIST - NECK_HIPS 6) NECK_RWRIST - NECK_HIPS

* Danh sách các góc cho thử nghiệm T2:

1) LWRIST_LFINGER - LWRIST_RSHOULDER 2) RWRIST_RFINGER - RWRIST_LSHOULDER 3) LELBOW_LWRIST - LELBOW_LSHOULDER 4) RELBOW_RWRIST - RELBOW_RSHOULDER

* Danh sách các góc cho thử nghiệm T3:

4. Thử nghiệm trên nhóm LEG1

* Danh sách góc cho thử nghiệm T1: 1) HIPS_NECK - LKNEE_LHIP

108

2) HIPS_NECK - RKNEE_RHIP 3) 4) 5) 6) 7)

LKNEE_LHIP - LKNEE_LANKLE RKNEE_RHIP - RKNEE_RANKLE LHIP_RHIP - LANKLE_RANKLE LHIP_RHIP - LTOE_RTOE LANKLE_LTOE - RANKLE_RTOE

1) HIPS_NECK - LKNEE_LHIP 2) LKNEE_LHIP - RKNEE_RHIP 3) LKNEE_LANKLE - RKNEE_RANKLE 4) LKNEE_LHIP - LKNEE_LANKLE 5) RKNEE_RHIP - RKNEE_RANKLE 6) LKNEE_RKNEE - LANKLE_RANKLE 7) LANKLE_LTOE - RANKLE_RTOE 8) LANKLE_LTOE - LANKLE_RANKLE 9) RANKLE_RTOE - RANKLE_LANKLE

* Danh sách góc cho thử nghiệm T2:

1) LHIP_RHIP - LTOE_RTOE 2) LANKLE_LTOE - LANKLE_RANKLE 3) RANKLE_RTOE - RANKLE_LANKLE 4) LANKLE_LTOE - LANKLE_RANKLE 5) RANKLE_RTOE - RANKLE_LANKLE 6) LANKLE_LTOE - RANKLE_RTOE

* Danh sách góc cho thử nghiệm T3:

5. Thử nghiệm trên nhóm LEG2

1) 2) 3) 4) 5) 6) 7) 8) 9)

* Danh sách các góc cho thử nghiệm T1:

HIPS_NECK - LKNEE_LHIP HIPS_NECK - RKNEE_RHIP LKNEE_LHIP - LKNEE_LANKLE RKNEE_RHIP - RKNEE_RANKLE LHIP_RHIP - LANKLE_RANKLE RANKLE_RTOE - LKNEE_LANKLE LANKLE_LTOE - RKNEE_RANKLE LANKLE_LTOE - RANKLE_RTOE LHIP_RHIP - LKNEE_RKNEE

1) HIPS_NECK - LKNEE_LHIP 2) LKNEE_LHIP - LKNEE_LANKLE 3) RKNEE_RHIP - RKNEE_RANKLE 4) LANKLE_LKNEE - LANKLE_LTOE 5) RANKLE_RKNEE - RANKLE_RTOE 6) RANKLE_RTOE - LKNEE_LANKLE 7) LANKLE_LTOE - RKNEE_RANKLE 8) LANKLE_LTOE - LANKLE_RANKLE 9) RANKLE_RTOE - RANKLE_LANKLE

* Danh sách các góc cho thử nghiệm T2:

* Danh sách các góc cho thử nghiệm T3:

109

1) LANKLE_LHIP - LANKLE_LTOE 2) RANKLE_RHIP - RANKLE_RTOE 3) LHIP_RHIP - LHIP_LANKLE 4) RHIP_LHIP - RHIP_RANKLE 5) LHIP_RHIP - LANKLE_RANKLE

6. Thử nghiệm trên nhóm LEG3

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) 4) 5) 6) 7)

LKNEE_LHIP - LKNEE_LANKLE RKNEE_RHIP - RKNEE_RANKLE LKNEE_LHIP - RKNEE_RHIP LHIP_RHIP - LANKLE_RANKLE LKNEE_RKNEE - LANKLE_RANKLE

* Danh sách các góc cho thử nghiệm T1:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LHIP_RHIP - LHIP_LANKLE 6) RHIP_LHIP - RHIP_RANKLE 7) RANKLE_RTOE - LKNEE_LANKLE 8) LANKLE_LTOE - RKNEE_RANKLE 9) LHIP_RHIP - LANKLE_RANKLE

* Danh sách các góc cho thử nghiệm T2:

1) LKNEE_RKNEE - LANKLE_LTOE 2) LKNEE_RKNEE - RANKLE_RTOE 3) LANKLE_LTOE - LANKLE_RANKLE 4) RANKLE_RTOE - RANKLE_LANKLE

* Danh sách các góc cho thử nghiệm T3:

7. Thử nghiệm trên nhóm SIT1

1) LSHOULDER_LHIP - RHIP_RKNEE 2) RSHOULDER_RHIP - LHIP_LKNEE 3) LANKLE_LKNEE - LANKLE_RHIP 4) RANKLE_RKNEE - RANKLE_LHIP 5) HIPS_NECK - LHIP_RHIP

* Danh sách các góc cho thử nghiệm T1:

1) HIPS_NECK - LHIP_RHIP 2) HIPS_NECK - LKNEE_RKNEE 3) HIPS_NECK - LANKLE_RANKLE 4) LHIP_RHIP - LHIP_LANKLE 5) LHIP_RHIP - RHIP_RANKLE 6) RHIP_LHIP - RHIP_RANKLE 7) RHIP_LHIP - LHIP_LANKLE

* Danh sách các góc cho thử nghiệm T2:

110

8) HIPS_NECK - LKNEE_LANKLE

1) LANKLE_LKNEE - LANKLE_LTOE 2) RANKLE_RKNEE - RANKLE_RTOE 3) LANKLE_RANKLE - LKNEE_RKNEE 4) LHIP_LKNEE - RANKLE_RTOE

* Danh sách các góc cho thử nghiệm T3:

8. Thử nghiệm trên nhóm SIT3:

1) RHIP_LHIP - RKNEE_RANKLE 2) LHIP_RHIP - LKNEE_RKNEE 3) RANKLE_LANKLE - RANKLE_RKNEE 4) HIPS_NECK - LKNEE_RKNEE 5) LHIP_LKNEE - RKNEE_RANKLE 6) RHIP_RKNEE - LKNEE_LANKLE 7) LHIP_RHIP - LANKLE_RANKLE 8) HIPS_NECK - LHIP_RHIP

* Danh sách các góc cho thử nghiệm T1:

1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) HIPS_NECK - LHIP_RHIP 6) HIPS_NECK - LKNEE_RKNEE 7) HIPS_NECK - LANKLE_RANKLE 8) LHIP_RHIP - LHIP_LANKLE

9) LHIP_RHIP - RHIP_RANKLE 10) RHIP_LHIP - RHIP_RANKLE 11) RHIP_LHIP - LHIP_LANKLE 12) HIPS_NECK - LKNEE_LANKLE 13) HIPS_NECK - RKNEE_RANKLE 14) LHIP_RHIP - LANKLE_RANKLE 15) LANKLE_LKNEE - LANKLE_RHIP 16) RANKLE_RKNEE - RANKLE_LHIP

* Danh sách các góc cho thử nghiệm T2:

1) RANKLE_RTOE - RANKLE_LANKLE 2) LANKLE_LTOE - LANKLE_RANKLE 3) RANKLE_LANKLE - RANKLE_RKNEE 4) LKNEE_LHIP - LKNEE_LANKLE

* Danh sách các góc cho thử nghiệm T3:

Phụ lục 4: Danh sách các góc (của phương pháp đề xuất) được dùng so sánh theo cặp nhóm

1. Cặp ARM1 và ARM4

111

10) RWRIST_RFINGER - NECK_HIPS 11) LELBOW_LWRIST - LELBOW_RELBOW 12) RELBOW_RWRIST - RELBOW_LELBOW 13) LELBOW_LWRIST - NECK_HIPS 14) RELBOW_RWRIST - NECK_HIPS

1) LELBOW_LWRIST - NECK_HIPS 2) RELBOW_RWRIST - NECK_HIPS 3) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 4) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 5) LELBOW_LWRIST - LSHOULDER_RSHOULDER 6) RELBOW_RWRIST - RSHOULDER_LSHOULDER 7) LELBOW_LWRIST - RSHOULDER_RELBOW 8) RELBOW_RWRIST - LSHOULDER_LELBOW

2. Cặp ARM3 và ARM4

Phụ lục 5: Cấu trúc dữ liệu chuyển động 3D Chèo truyền thống

Dữ liệu chuyển động 3D Chèo truyền thống được lưu ở định dạng BVH (Biovision Hierarchy) [8]. Định dạng BVH được tổ chức thành 2 phần. Phần thứ nhất (hình 6.1) mô tả khung xương ở tư thế lúc ban đầu. Phần thứ hai (hình 6.2) mô tả khung xương ở các tư thế khác nhau theo thời gian. Phần một bắt đầu bằng từ khóa HIERARCHY. Tiếp đến, mối nối Hips được coi là vị trí gốc (ROOT). Đây là điểm bắt đầu của cấu trúc phân nhánh các điểm cha-con. ROOT chỉ vị trí của Hips trong không gian ba chiều. Dưới ROOT là phần JOINT, biểu diễn thông tin vị trí của một khớp nối so với vị trí của khớp nối cha. Khớp nối nào không có khớp nối con thì được kết nối với phần End Site. Mỗi phần đều có thông tin OFFSET và CHANNELS. OFFSET lưu vectơ khoảng cách với khớp nối cha. CHANNELS là nơi biểu diễn thông tin về tọa độ quay và dịch chuyển của khớp nối được dùng cho xử lý ở phần thứ 2.

112

Hình 6.1. Cấu trúc phần thứ nhất của định dạng BVH.

Phần 2 bắt đầu bằng từ khóa MOTION. Dòng sau đó lưu số frame được dùng để lưu chuyển động. Dòng tiếp theo ghi tốc độ biểu diễn số frame trong một giây. Các dòng còn lại, mỗi dòng biểu diễn thông tin tọa độ quay và dịch chuyển của từng khớp nối theo đặc tả của CHANNELS tương ứng cho mỗi frame.

Hình 6.2. Cấu trúc phần thứ hai của định dạng BVH.

Dữ liệu dạng BVH được biểu diễn như hình 6.3:

Hình 6.3. Cách sắp xếp các phần của nhân vật.

Ta có thể biểu diễn các frame của một dữ liệu thu được như hình 6.4. Quy ước

độ dài của một tệp (file) dữ liệu là số frame của dữ liệu đó.

113

Hình 6.4. Biểu diễn 1 file có độ dài 914 frame.

Phụ lục 6: Danh sách góc của phương pháp ShengLi

1) NECK_LWRIST - NECK_RWRIST 2) LELBOW_LWRIST - LSHOULDER_RSHOULDER 3) RELBOW_RWRIST - RSHOULDER_LSHOULDER 4) LSHOULDER_RSHOULDER - LSHOULDER_LWRIST 5) RSHOULDER_LSHOULDER - RSHOULDER_RWRIST 6) LELBOW_LWRIST - LELBOW_RWRIST 7) RELBOW_RWRIST - RELBOW_LWRIST 8) LWRIST_LFINGER - LSHOULDER_RSHOULDER 9) RWRIST_RFINGER - RSHOULDER_LSHOULDER 10) LSHOULDER_LWRIST - RELBOW_RWRIST 11) RSHOULDER_RWRIST - LELBOW_LWRIST 12) LELBOW_LWRIST - LELBOW_LSHOULDER 13) RELBOW_RWRIST- RELBOW_RSHOULDER 14) LWRIST_LELBOW - LWRIST_LFINGER 15) RWRIST_RELBOW - RWRIST_RFINGER 16) LELBOW_LWRIST - LSHOULDER_RSHOULDER 17) RELBOW_RWRIST - RSHOULDER_LSHOULDER 18) LELBOW_LWRIST - HIPS_NECK 19) RELBOW_RWRIST - HIPS_NECK 20) LSHOULDER_LWRIST - LSHOULDER_RSHOULDER 21) RSHOULDER_RWRIST - RSHOULDER_LSHOULDER 22) LELBOW_LWRIST - LELBOW_RELBOW 23) RELBOW_RWRIST - RELBOW_LELBOW 24) LELBOW_LWRIST - RELBOW_RWRIST 25) LSHOULDER_LWRIST - RSHOULDER_RWRIST 26) LWRIST_RWRIST - LSHOULDER_RSHOULDER

1. Danh sách góc cho cụm tay

14) LHIP_LANKLE - RHIP_RANKLE 15) LKNEE_LANKLE - RHIP_RANKLE 16) RKNEE_RANKLE - LHIP_LANKLE 17) LANKLE_LTOE - RANKLE_RHIP 18) RANKLE_RTOE - LANKLE_LHIP 19) LHIP_LKNEE - RHIP_RKNEE 20) LKNEE_RKNEE - LANKLE_RANKLE 21) LANKLE_RANKLE - LANKLE_LHIP 22) RANKLE_LANKLE - RANKLE_RHIP 23) LHIP_RHIP - LANKLE_RANKLE 24) LANKLE_LTOE - RANKLE_RTOE 25) LANKLE_LKNEE - LANKLE_LTOE 26) RANKLE_RKNEE - RANKLE_RTOE

2. Danh sách góc cho cụm chân 1) HIPS_NECK - LKNEE_LHIP 2) HIPS_NECK - RKNEE_RHIP 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LANKLE_LHIP - LANKLE_LTOE 6) RANKLE_RHIP - RANKLE_RTOE 7) LHIP_RHIP - LANKLE_LTOE 8) RHIP_LHIP - RANKLE_RTOE 9) LANKLE_LTOE - LANKLE_RANKLE 10) RANKLE_RTOE - RANKLE_LANKLE 11) LHIP_RHIP - LHIP_LANKLE 12) RHIP_LHIP - RHIP_RANKLE 13) LANKLE_RANKLE - LTOE_RTOE

114

9) RANKLE_RKNEE - RANKLE_RTOE 10) LANKLE_RANKLE - LKNEE_RKNEE 11) LHIP_LKNEE - RANKLE_RTOE 12) RHIP_RKNEE - LANKLE_LTOE 13) LHIP_LKNEE - RHIP_RKNEE 14) LANKLE_LKNEE - RANKLE_RTOE 15) RANKLE_RKNEE - LANKLE_LTOE

3. Danh sách góc cho cụm ngồi 1) HIPS_NECK - LHIP_LKNEE 2) HIPS_NECK - RHIP_RKNEE 3) LKNEE_LHIP - LKNEE_LANKLE 4) RKNEE_RHIP - RKNEE_RANKLE 5) LANKLE_RANKLE - LHIP_RHIP 6) LKNEE_RKNEE - LHIP_RHIP 7) LKNEE_RKNEE - LHIP_RHIP 8) LANKLE_LKNEE - LANKLE_LTOE

Phụ lục 7: Danh sách các cặp điểm nối của phương pháp JointRelativeDist

9) RELBOW_LWRIST 10) LSHOULDER_RWRIST 11) RSHOULDER_LWRIST 12) LELBOW_LHIP 13) RELBOW_RHIP 14) LFINGER_LSHOULDER 15) RFINGER_RSHOULDER

1) LWRIST_RWRIST 2) LFINGER_RFINGER 3) LELBOW_RELBOW 4) LWRIST_LHIP 5) RWRIST_RHIP 6) LSHOULDER_LWRIST 7) RSHOULDER_RWRIST 8) LELBOW_RWRIST

1. Danh sách cặp điểm nối cho cụm tay

14) LKNEE_RANKLE 15) RKNEE_LANKLE 16) LKNEE_RTOE 17) RKNEE_LTOE 18) LANKLE_RTOE 19) RANKLE_LTOE 20) LHIP_RANKLE 21) RHIP_LANKLE 22) LSHOULDER_LKNEE 23) RSHOULDER_RKNEE 24) LSHOULDER_LANKLE 25) RSHOULDER_RANKLE

1) NECK_RANKLE 2) NECK_LANKLE 3) NECK_LKNEE 4) NECK_RKNEE 5) NECK_LTOE 6) NECK_RTOE 7) LHIP_LANKLE 8) LHIP_LTOE 9) RHIP_RANKLE 10) RHIP_RTOE 11) LTOE_RTOE 12) LKNEE_RKNEE 13) LANKLE_RANKLE

2. Danh sách cặp điểm nối cho cụm chân

1) HIPS_LANKLE 2) HIPS_RANKLE 3) HIPS_LTOE 4) HIPS_RTOE 5) LHIP_LANKLE 6) LHIP_LTOE 7) RHIP_RANKLE 8) RHIP_RTOE 9) LTOE_RTOE 10) LKNEE_RKNEE 11) LANKLE_RANKLE 12) LANKLE_RANKLE 13) LKNEE_RANKLE 14) RKNEE_LANKLE

15) LKNEE_RANKLE 16) RKNEE_LANKLE 17) LKNEE_RTOE 18) RKNEE_LTOE 19) LHIP_RKNEE 20) RHIP_LKNEE 21) NECK_RANKLE 22) NECK_LANKLE 23) NECK_LKNEE 24) NECK_RKNEE 25) NECK_RANKLE 26) NECK_LANKLE 27) NECK_LKNEE 28) NECK_RKNEE

29) LHIP_RANKLE 30) RHIP_LANKLE 31) LHIP_RANKLE 32) RHIP_LANKLE 33) LANKLE_RTOE 34) RANKLE_LTOE 35) LSHOULDER_LANKLE 36) RSHOULDER_RANKLE 37) LSHOULDER_LANKLE 38) RSHOULDER_RANKLE 39) LSHOULDER_LTOE 40) RSHOULDER_RTOE 41) LSHOULDER_LTOE 42) RSHOULDER_RTOE

3. Danh sách cặp điểm nối cho cụm ngồi

115

43) LSHOULDER_RKNEE 44) RSHOULDER_LKNEE 45) LSHOULDER_RTOE 46) RSHOULDER_LTOE

47) LSHOULDER_RANKLE 48) RSHOULDER_LANKLE 49) LSHOULDER_RANKLE 50) RSHOULDER_LANKLE

51) LSHOULDER_RKNEE 52) RSHOULDER_LKNEE 53) LSHOULDER_RKNEE 54) RSHOULDER_LKNEE

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc

Hà Nội, ngày 24 tháng 07 năm 2021

BẢN XÁC NHẬN ĐÃ SỬA CHỮA CÁC THIẾU SÓT CỦA LUẬN VĂN

Trường Đại học Công nghệ đã có Quyết định số 408/QĐ-ĐT ngày 27 tháng 5

năm 2021 về việc thành lập Hội đồng chấm luận văn Thạc sĩ cho học viên Lê Thị Thanh Vân, sinh ngày 30/05/1989, tại Yên Bái, chuyên ngành Khoa học máy tính, ngành Khoa học máy tính.

Ngày 10 tháng 07 năm 2021, Trường Đại học Công nghệ (ĐHCN) đã tổ chức cho học viên bảo vệ luận văn Thạc sĩ trước Hội đồng chấm (có biên bản kèm theo). Theo Quyết nghị của Hội đồng chấm luận văn Thạc sĩ, học viên phải bổ sung và sửa chữa các điểm sau đây trước khi nộp quyển luận văn cuối cùng cho Nhà trường để hoàn thiện hồ sơ sau bảo vệ:

1. Chỉnh sửa tên gọi các chương, mục

2. Bổ sung một số phương pháp so sánh trích chọn đặc trưng và kết quả thí nghiệm cho

việc so sánh này

3. Sửa lại phần kết luận

4. Rà soát những lỗi về chính tả, ngữ pháp, ký hiệu…

Ngày 24 tháng 07 năm 2021, học viên đã nộp bản luận văn có chỉnh sửa. Chúng

tôi nhận thấy rằng nội dung, hình thức của luận văn và tóm tắt luận văn đã được sửa chữa, bổ sung theo các điểm trên của Quyết nghị.

Đề nghị Trường Đại học Công nghệ, ĐHQG HN cho phép học viên được làm các

thủ tục khác để được công nhận và cấp bằng Thạc sĩ.

Xin trân trọng cảm ơn!

XÁC NHẬN CỦA THÀNH VIÊN HỘI ĐỒNG/HỘI ĐỒNG ĐỀ NGHỊ HỌC VIÊN SỬA CHỮA LUẬN VĂN