Luận văn Thạc sĩ Khoa học máy tính: Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:124

Thêm vào BST

Báo xấu

18
lượt xem 6
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề tài này nghiên cứu xây dựng thuật toán tìm kiếm nội dung chuyển động 3D Chèo truyền thống. Múa Chèo truyền thống có những đặc trưng riêng, khác biệt với múa truyền thống của những dân tộc khác. Vì thế những nghiên cứu múa truyền thống của nhiều nước cũng khó áp dụng cho múa Chèo truyền thống được. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học máy tính: Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THANH VÂN TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D TRONG MÚA CHÈO TRUYỀN THỐNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Hà Nội – 2021
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ THỊ THANH VÂN TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D TRONG MÚA CHÈO TRUYỀN THỐNG Ngành: Khoa học máy tính Chuyên ngành: Khoa học máy tính Mã số: 8480101.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS. Lê Thanh Hà TS. Ma Thị Châu Hà Nội – 06/2021
1 MỤC LỤC LỜI CẢM ƠN ..................................................................................................................3 LỜI CAM ĐOAN ............................................................................................................4 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT .....................................................5 DANH SÁCH CÁC BẢNG ............................................................................................6 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .........................................................................7 MỞ ĐẦU .......................................................................................................................11 CHƯƠNG 1: TỔNG QUAN .........................................................................................14 1.1. Định nghĩa bài toán .................................................................................................................... 14 1.1.1. Định nghĩa bài toán ............................................................................................................. 14 1.2.2. Phân tích bài toán ................................................................................................................ 14 1.2. Những nghiên cứu trước đây ...................................................................................................... 15 1.2.1. Xác định vị trí mẫu .............................................................................................................. 16 1.2.2. Phân loại mẫu ...................................................................................................................... 16 1.2.3. Trích chọn đặc trưng ........................................................................................................... 17 1.2.4. Nghiên cứu sử dụng dữ liệu múa truyền thống 3D ............................................................. 18 1.3. Phương pháp đề xuất .................................................................................................................. 20 1.3.1. Kỹ thuật sliding window ..................................................................................................... 20 1.3.2. Thuật toán DTW.................................................................................................................. 20 CHƯƠNG 2: CƠ SỞ NGHIÊN CỨU ...........................................................................23 2.1. Múa Chèo truyền thống .............................................................................................................. 23 2.1.1. Giới thiệu múa Chèo truyền thống ...................................................................................... 23 2.1.2. Các tư thế cơ bản trong múa Chèo truyền thống ................................................................. 25 2.1.2.1. Các tư thế tay................................................................................................................ 25 2.1.3.2. Các tư thế chân ............................................................................................................. 36 2.1.3.3. Các tư thế ngồi ............................................................................................................. 41 2.2. Các mẫu chuyển động 3D cơ bản của múa Chèo ....................................................................... 44 2.2.1. Cụm tay ............................................................................................................................... 45 2.2.2. Cụm chân-ngồi .................................................................................................................... 54 CHƯƠNG 3: HỆ THỐNG TÌM KIẾM MẪU CHUYỂN ĐỘNG 3D CHÈO TRUYỀN THỐNG .........................................................................................................................65 3.1. Mô tả hệ thống tìm kiếm mẫu chuyển động 3D Chèo truyền thống .......................................... 65 3.2. Các thành phần chính trong hệ thống tìm kiếm mẫu chuyển động 3D Chèo truyền thống........ 66 3.2.1. Danh sách các góc cần tính ................................................................................................. 66 3.2.2. Đề xuất các vị trí mẫu ......................................................................................................... 80 3.2.3. Tổng hợp đề xuất................................................................................................................. 82
2 3.2.4. Phân loại nhóm .................................................................................................................... 84 CHƯƠNG 4: THỰC NGHIỆM.....................................................................................86 4.1. Dữ liệu ........................................................................................................................................ 86 4.2. Phương pháp đánh giá ................................................................................................................ 87 4.3. Một số phương pháp dùng để so sánh ........................................................................................ 89 4.3.1. So sánh với DTW ................................................................................................................ 90 4.3.2. So sánh với phương pháp chọn đặc trưng Danh sách góc ................................................... 91 4.4. Kết quả thí nghiệm ..................................................................................................................... 91 CHƯƠNG 5: KẾT LUẬN ...........................................................................................100 TÀI LIỆU THAM KHẢO ...........................................................................................102 PHỤ LỤC ....................................................................................................................105
3 LỜI CẢM ƠN Để hoàn thành được bài luận văn thạc sĩ này, tôi xin bày tỏ sự cảm kích đặc biệt tới các cố vấn của tôi, Phó giáo sư Tiến sĩ Lê Thanh Hà và Tiến sĩ Ma Thị Châu – người đã định hướng, trực tiếp dẫn dắt và cố vấn cho tôi trong suốt thời gian thực hiện đề tài nghiên cứu khoa học. Xin chân thành cảm ơn những lời nhận xét góp ý thẳng thắn của thầy cô giúp tôi hoàn thiện đề tài. Đồng thời, thầy cô cũng là người luôn cho tôi những lời khuyên vô cùng quý giá về cả kiến thức chuyên môn cũng như định hướng phát triển sự nghiệp. Một lần nữa, tôi xin gửi lời cảm ơn đến thầy cô bằng tất cả tấm lòng và sự biết ơn của mình. Tôi cũng xin gửi lời cảm ơn chân thành đến cô Bích Ngọc – giáo viên dạy múa Chèo (trường Đại học Sân khấu Điện Ảnh) đã truyền đạt cho tôi những kiến thức bổ ích về múa Chèo. Những kiến thức này đã giúp tôi vượt qua những khó khăn trong lúc thực hiện đề tài. Sau cùng, tôi xin tỏ lòng biết ơn đến cha mẹ, người thân và bạn bè đã luôn bên cạnh ủng hộ, động viên tôi trong cuộc sống cũng như trong thời gian hoàn thành luận văn thạc sĩ. Xin chân thành cảm ơn tất cả mọi người!
4 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của bản thân, không sao chép lại của người khác. Trong toàn bộ nội dung của luận văn, những điều được trình bày hoặc là của cá nhân hoặc là được tổng hợp từ nhiều nguồn tài liệu. Các nội dung nghiên cứu và kết quả trong đề tài này là trung thực, chưa được ai công bố trong bất cứ công trình nào. Nếu có bất kỳ sự gian lận nào, tôi xin chịu trách nhiệm trước Hội đồng cũng như kết quả luận văn của mình.
5 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Tên viết tắt Giải thích DTW Dynamic Time Warping HMM Hiden Markov Model LCSS Longest Common Subsequence EDR Edit Distance on Real Sequence BVH Biovision Hierarchy
6 DANH SÁCH CÁC BẢNG Bảng 4.1. Phân bổ dữ liệu cụm tay dùng cho đánh giá. ................................................86 Bảng 4.2. Phân bổ dữ liệu cụm chân-ngồi dùng cho đánh giá. .....................................87 Bảng 4.3. Kết quả thử nghiệm T0 của cụm tay. ............................................................ 92 Bảng 4.4. Kết quả cụm chân-ngồi ở trường hợp T0. .....................................................93 Bảng 4.5. Kết quả thử nghiệm T1, T2, T3 trên các nhóm tay. ......................................93 Bảng 4.6. Kết quả thử nghiệm T1, T2, T3 dùng DTW cho cụm chân-ngồi..................95 Bảng 4.7. Kết quả so sánh phương pháp đặc trưng cho cụm tay. .................................97 Bảng 4.8. Kết quả so sánh phương pháp chọn đặc trưng cho cụm chân-ngồi. .............98
7 DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1. Một số điểm nối trong khung xương. ............................................................ 15 Hình 1.2. Ví dụ dùng cửa sổ trượt. ................................................................................20 Hình 1.3. Ma trận chi phí............................................................................................... 21 Hình 1.4. Đường đi tối ưu (đường nét đứt). ..................................................................21 Hình 2.1. Quy định các hướng. .....................................................................................24 Hình 2.2. Vị trí tay. ........................................................................................................24 Hình 2.3. Trạng thái ngửa và sấp của một bàn tay. Nguồn: https://en.wikipedia.org/ ..24 Hình 2.4. Tư thế múa chạy đàn. ....................................................................................25 Hình 2.5. Động tác múa chạy đàn. ................................................................................26 Hình 2.6. Động tác quay sợi cụm 1. ..............................................................................26 Hình 2.7. Tư thế dâng hoa (cao). ...................................................................................27 Hình 2.8. Động tác dâng hoa (cao). ...............................................................................27 Hình 2.9. Động tác bay. .................................................................................................27 Hình 2.10. Động tác chống sườn. ..................................................................................28 Hình 2.11. Động tác đưa thoi. .......................................................................................28 Hình 2.12. Tư thế dâng rượu. ........................................................................................28 Hình 2.13. Động tác dâng rượu (bên phải). ...................................................................29 Hình 2.14. Động tác dâng rượu (bên trái). ....................................................................29 Hình 2.15. Động tác soi bóng (bên trái). .......................................................................29 Hình 2.16. Động tác soi bóng (bên phải).......................................................................30 Hình 2.17. Động tác rắc dâu (phải). ..............................................................................30 Hình 2.18. Động tác rắc dâu (trái). ................................................................................30 Hình 2.19. Động tác xe tơ cụm 3 (phải). .......................................................................31 Hình 2.20. Động tác xe tơ cụm 3 (trái). .........................................................................31 Hình 2.21. Tư thế cướp bông.........................................................................................31 Hình 2.22. Động tác múa cướp bông (hướng 8)............................................................32 Hình 2.23. Động tác múa cướp bông (hướng 2)............................................................32 Hình 2.24. Động tác phủi tay áo (phải). ........................................................................33 Hình 2.25. Động tác phủi tay áo (trái). ..........................................................................33 Hình 2.26. Động tác đề thơ............................................................................................33 Hình 2.27. Tư thế tấu nhạc. ...........................................................................................34 Hình 2.28. Động tác tấu nhạc (bên phải). ......................................................................34 Hình 2.29. Động tác tấu nhạc (bên trái). .......................................................................34 Hình 2.30. Động tác quay sợi cụm 5 (trái). ...................................................................35 Hình 2.31. Động tác vuốt tóc (bên phải). ......................................................................35 Hình 2.32. Động tác gánh (phải). ..................................................................................35 Hình 2.33. Động tác gánh (bên trái). .............................................................................36 Hình 2.34. Động tác ném (phải). ...................................................................................36 Hình 2.35. Động tác ném (trái). .....................................................................................36 Hình 2.36. Tư thế chữ V. ............................................................................................... 37 Hình 2.37. Động tác xiến (ngang). ................................................................................37 Hình 2.38. Động tác xiến (vòng). ..................................................................................37
8 Hình 2.39. Động tác xiến (thẳng). .................................................................................38 Hình 2.40. Tư thế chân chữ chi. ....................................................................................38 Hình 2.41. Động tác đi chữ chi kiểu nữ tiến. ................................................................ 39 Hình 2.42. Động tác đi chữ chi kiểu nữ lùi. ..................................................................39 Hình 2.43. Động tác đi chữ chi kiểu nam tiến. .............................................................. 39 Hình 2.44. Động tác đi chữ chi kiểu nam lùi................................................................. 40 Hình 2.45. Tư thế quả trám. ..........................................................................................40 Hình 2.46. Tư thế chữ đinh............................................................................................41 Hình 2.47. Tư thế đệm gót............................................................................................. 41 Hình 2.48. Tư thế chân chống chân quỳ. .......................................................................42 Hình 2.49. Tư thế hai đầu gối cùng quỳ. .......................................................................42 Hình 2.50. Ngồi thế 2 cao. ............................................................................................. 43 Hình 2.51. Tư thế ngồi Hai chân co về một bên............................................................43 Hình 2.52. Tư thế duỗi thẳng hai chân. .........................................................................44 Hình 2.53. Tư thế hai chân bắt chéo. .............................................................................44 Hình 2.54. Biểu diễn khung xương 3D. ........................................................................45 Hình 2.55. Biểu diễn 3D tư thế múa chạy đàn. ............................................................. 46 Hình 2.56. Biểu diễn 3D động tác múa chạy đàn. .........................................................46 Hình 2.57. Biểu diễn 3D của động tác quay sợi cụm 1. ................................................46 Hình 2.58. Biểu diễn 3D của tư thế dâng hoa. .............................................................. 47 Hình 2.59. Biểu diễn 3D của tư thế dâng hoa hạ. ..........................................................47 Hình 2.60. Biểu diễn 3D của động tác bay. ...................................................................47 Hình 2.61. Biểu diễn 3D của động tác chống sườn. ......................................................48 Hình 2.62. Biểu diễn 3D của động tác đưa thoi. ...........................................................48 Hình 2.63. Biểu diễn 3D của tư thế dâng rượu.............................................................. 48 Hình 2.64. Biểu diễn 3D của động tác dâng rượu (phải)...............................................49 Hình 2.65. Biểu diễn 3D của động tác dâng rượu (trái). ...............................................49 Hình 2.66. Biểu diễn 3D của động tác xe tơ cụm 3.......................................................49 Hình 2.67. Biểu diễn 3D của chuyển động hạ xuống (thế 3). .......................................50 Hình 2.68. Biểu diễn 3D của chuyển động dâng lên (thế 3). ........................................50 Hình 2.69. Biểu diễn 3D của tư thế cướp bông. ............................................................ 50 Hình 2.70. Biểu diễn 3D của chuyển động vuốt xuống (thế 4 trái). ............................. 51 Hình 2.71. Biểu diễn 3D của chuyển động vuốt xuống (thế 4 phải). ............................ 51 Hình 2.72. Biểu diễn 3D của chuyển động viết (thế 4). ................................................51 Hình 2.73. Biểu diễn 3D của động tác phủi tay áo (phải). ............................................52 Hình 2.74. Biểu diễn 3D của động tác phủi tay áo (trái). ..............................................52 Hình 2.75. Biểu diễn 3D của tư thế tấu nhạc................................................................. 53 Hình 2.76. Biểu diễn 3D của tư thế chạm đầu (thế 5). ..................................................53 Hình 2.77. Biểu diễn 3D của động tác gánh. .................................................................53 Hình 2.78. Biểu diễn 3D của động tác xe tơ cụm 5.......................................................54 Hình 2.79. Biểu diễn 3D của tư thế chân chữ V............................................................54 Hình 2.80. Biểu diễn 3D của động tác xiến ngang. .......................................................55 Hình 2.81. Biểu diễn 3D của tư thế chân chữ chi..........................................................55 Hình 2.82. Biểu diễn 3D của động tác chân chữ chi nữ tiến. ........................................56
9 Hình 2.83. Biểu diễn 3D của động tác chân chữ chi nữ lùi. ..........................................56 Hình 2.84. Biểu diễn 3D của động tác chân chữ chi nam tiến. .....................................56 Hình 2.85. Biểu diễn 3D của động tác chân chữ chi nam lùi. .......................................57 Hình 2.86. Biểu diễn 3D của tư thế chân quả trám. ......................................................57 Hình 2.87. Biểu diễn 3D của chuyển động chân quả trám (trái). ..................................58 Hình 2.88. Biểu diễn 3D của chuyển động chân quả trám (phải). ................................ 58 Hình 2.89. Biểu diễn 3D của tư thế chân chữ đinh. ......................................................59 Hình 2.90. Biểu diễn 3D của chuyển động chân chữ đinh (trái). ..................................59 Hình 2.91. Biểu diễn 3D của chuyển động chân chữ đinh (phải). ................................ 59 Hình 2.92. Biểu diễn 3D của tư thế đệm gót. ................................................................ 60 Hình 2.93. Biểu diễn 3D của tư thế chân chống chân quỳ. ...........................................60 Hình 2.94. Biểu diễn 3D của chuyển động chân chống chân quỳ (trái)........................61 Hình 2.95. Biểu diễn 3D của chuyển động chân chống chân quỳ (phải). .....................61 Hình 2.96. Biểu diễn 3D của tư thế hai đầu gối cùng quỳ. ...........................................61 Hình 2.97. Biểu diễn 3D của chuyển động hai đầu gối cùng quỳ. ................................ 62 Hình 2.98. Biểu diễn 3D của tư thế hai chân co về một bên (trái). ............................... 62 Hình 2.99. Biểu diễn 3D của chuyển động hai chân co về một bên (trái). ...................62 Hình 2.100. Biểu diễn 3D của tư thế duỗi thẳng hai chân. ...........................................63 Hình 2.101. Biểu diễn 3D của chuyển động duỗi thẳng hai chân. ................................ 63 Hình 2.102. Biểu diễn 3D của tư thế hai chân bắt chéo (phải). ....................................63 Hình 2.103. Biểu diễn 3D của chuyển động hai chân bắt chéo (phải). .........................64 Hình 3.1. Luồng hoạt động của thuật toán đề xuất........................................................65 Hình 3.2. Đặc điểm của nhóm ARM1. ..........................................................................67 Hình 3.3. Đặc điểm của nhóm ARM2. ..........................................................................68 Hình 3.4. Đặc điểm đứng của nhóm LEG1 (đường màu đỏ). .......................................71 Hình 3.5. Đặc điểm bàn chân nhóm LEG1 (đường màu đỏ). .......................................71 Hình 3.6. Luồng hoạt động của bước Đề xuất các vị trí mẫu........................................80 Hình 3.7. Một số đề xuất sinh ra với độ dài mẫu A1 là 5 và sliding là 3. .....................82 Hình 3.8. Luồng hoạt động của bước Tổng hợp đề xuất. ..............................................83 Hình 3.9. Một số đề xuất của các mẫu bị trùng lặp hoặc xếp chồng lên nhau. .............84 Hình 3.10. Luồng hoạt động của bước Phân loại nhóm. ...............................................84 Hình 3.11. Một số nhóm chồng lên nhau. .....................................................................84 Hình 4.1. Biểu diễn các kết quả dự đoán trên một dữ liệu đánh giá 𝑋1. ......................87 Hình 4.2. Biểu diễn kết quả của phép thử T0 cho cụm tay. ..........................................92 Hình 4.3. Biểu diễn kết quả của phép thử T0 cho cụm chân-ngồi. ............................... 93 Hình 4.4. Biểu diễn kết quả các phép thử trên nhóm ARM1. .......................................94 Hình 4.5. Biểu diễn kết quả các phép thử trên nhóm ARM2. .......................................95 Hình 4.6. Biểu diễn kết quả các phép thử trên nhóm ARM3. .......................................95 Hình 4.7. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG1. .........................96 Hình 4.8. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG2. .........................96 Hình 4.9. Kết quả áp dụng DTW cho các phép thử trên nhóm LEG3. .........................97 Hình 4.10. Kết quả áp dụng DTW cho các phép thử trên nhóm SIT1. .........................97 Hình 4.11. Kết quả áp dụng DTW cho các phép thử trên nhóm SIT3. .........................97 Hình 4.12. Kết quả so sánh phương pháp chọn đặc trưng trên cụm tay. ......................98
10 Hình 4.13. Kết quả so sánh phương pháp chọn đặc trưng trên cụm chân-ngồi. ...........99 Hình 6.1. Cấu trúc phần thứ nhất của định dạng BVH. ..............................................112 Hình 6.2. Cấu trúc phần thứ hai của định dạng BVH. ................................................112 Hình 6.3. Cách sắp xếp các phần của nhân vật. ..........................................................112 Hình 6.4. Biểu diễn 1 file có độ dài 914 frame. ..........................................................113
11 MỞ ĐẦU 1. Tính cấp thiết đề tài Đề tài được tiến hành dựa trên tính cấp thiết bảo tồn và số hoá chuyển động 3D Chèo truyền thống. Hiện nay, những người am hiểu múa Chèo truyền thống không nhiều cũng như những nghiên cứu chuyên sâu cho nó khá ít ỏi. Để các thế hệ trẻ có thể tiếp cận và tìm hiểu về múa Chèo truyền thống, việc bảo tồn và số hoá múa Chèo truyền thống là vô cùng cần thiết. Hơn nữa, sau khi số hoá chuyển động 3D Chèo truyền thống đã phát sinh một vấn đề, đó là chưa có công cụ hỗ trợ quản lý dữ liệu Chèo truyền thống ở định dạng chuyển động 3D hiệu quả. Khi phân tích dữ liệu Chèo truyền thống trong chuyển động 3D, chúng ta sẽ có nhiều nhu cầu thao tác dữ liệu. Tìm kiếm những tư thế (hoặc động tác) cơ bản trong kho lưu trữ dữ liệu Chèo truyền thống ở định dạng chuyển động 3D sẽ trở nên khó khăn. Bởi lẽ, chúng ta sẽ tốn thời gian kiểm tra từng tệp dữ liệu và xác định những tư thế (hoặc động tác) cơ bản này. Vậy nên, đề tài “Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống” trở nên cần thiết hơn bao giờ hết. Đề tài đề xuất lưu trữ chuyển động 3D Chèo truyền thống, thuật toán xác định vị trí mẫu có khả năng xuất hiện và phân loại mẫu chuyển động 3D Chèo truyền thống. Thuật toán đề xuất này sẽ dựa vào hai kỹ thuật chính là sliding window và Dynamic Time Warping. 2. Mục đích nghiên cứu Từ nhu cầu cấp thiết bảo tồn và số hoá chuyển động 3D Chèo truyền thống, chúng ta cần có những nghiên cứu áp dụng công nghệ trong quản lý dữ liệu này. Từ đề tài này, chúng ta có hai vấn đề cần giải quyết là lưu trữ chuyển động 3D Chèo truyền thống, xác định vị trí mẫu có khả năng xuất hiện và phân loại mẫu. Dựa vào vấn đề cần giải quyết, chúng ta đề ra một số mục tiêu cụ thể. Đầu tiên, đề tài hỗ trợ xây dựng công cụ quản lý dữ liệu chuyển động 3D Chèo truyền thống. Thông thường một công cụ quản lý dữ liệu cần có bước đầu tìm kiếm dữ liệu. Từ kết quả tìm kiếm, chúng ta mới có thể thực hiện các thao tác chỉnh sửa hoặc thêm bớt dữ liệu. Trong trường hợp múa Chèo truyền thống, chúng ta cần tìm kiếm những tư thế cơ bản và những động tác của nó. Sau đó, công cụ quản lý dữ liệu mới có thể tiến hành thao tác sửa đổi trên những tư thế (hoặc động tác) này. Thứ hai, đề tài đề xuất cách lưu trữ dữ liệu chuyển động 3D Chèo truyền thống. Việc lưu trữ dữ liệu chuyển động 3D Chèo truyền thống là bước quan trọng. Quan trọng vì việc trích rút nhiều thông tin hữu ích sẽ phụ thuộc chủ yếu vào bước này. Kéo theo đó, kết quả thử nghiệm chính xác hay không cũng bị ảnh hưởng từ cách trích chọn đặc trưng này.
12 Thứ ba, đề tài định nghĩa các động tác chuyển động 3D cơ bản của múa Chèo truyền thống (gọi là mẫu). Trong múa Chèo truyền thống, những biến thể (tư thế, động tác) của mỗi tư thế cơ bản khá đa dạng về mặt không gian và thời gian nên sẽ khó thu thập đủ dữ liệu phục vụ cho nghiên cứu. Ở đây, đề tài sẽ cố gắng định nghĩa những mẫu điển hình nhất làm cơ sở cho việc tìm kiếm. Thứ tư, đề tài xây dựng thuật toán tìm kiếm nội dung chuyển động 3D Chèo truyền thống. Múa Chèo truyền thống có những đặc trưng riêng, khác biệt với múa truyền thống của những dân tộc khác. Vì thế những nghiên cứu múa truyền thống của nhiều nước cũng khó áp dụng cho múa Chèo truyền thống được. Hơn nữa, chúng ta chưa có công bố nghiên cứu chuyên ngành nào cho việc tìm kiếm nội dung chuyển động 3D Chèo truyền thống. Vậy nên, đề tài sẽ xây dựng một thuật toán tìm kiếm riêng cho chuyển động 3D Chèo truyền thống. 3. Đối tượng và phạm vi nghiên cứu Về đối tượng trong đề tài, chúng ta tập trung hai đối tượng: đối tượng nghiên cứu và đối tượng khảo sát. Đối tượng nghiên cứu trong đề tài là những tư thế và động tác cơ bản trong múa Chèo truyền thống. Những tư thế hoặc động tác cơ bản là cơ sở để chúng ta xây dựng các mẫu trong dữ liệu chuyển động 3D Chèo truyền thống. Mặt khác, đối tượng khảo sát trong đề tài là chuyển động múa Chèo truyền thống. Những chuyển động múa này là tổ hợp của nhiều tư thế (hoặc động tác) cơ bản. Về phạm vi nghiên cứu, đề tài được thực hiện ở phòng thí nghiệm HMI (trường Đại học Công nghệ-Đại học Quốc gia Hà Nội). Thời gian nghiên cứu đề tài kéo dài 6 tháng (từ tháng 10/2020 - 4/2021). Do thời gian nghiên cứu ngắn nên đề tài tập trung nghiên cứu về các nhóm tư thế cơ bản trong múa Chèo truyền thống (tư thế tay, chân và ngồi). Cụ thể, đề tài xếp mỗi tư thế cùng với tất các biến thể của tư thế vào cùng một nhóm. 4. Ý nghĩa khoa học và thực tiễn của đề tài Đề tài “Tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống” có một số ý nghĩa thực tiễn. Thứ nhất, đề tài hỗ trợ việc tìm kiếm chuyển động 3D Chèo truyền thống hiệu quả. So với việc tìm các tư thế động tác cơ bản trong múa Chèo bằng cách thủ công, việc tự động hoá sẽ giúp chúng ta tiết kiệm thời gian đáng kể. Thứ hai, đề tài giúp những người yêu nghệ thuật múa Chèo truyền thống có cơ hội tìm hiểu và học hỏi từ những dữ liệu 3D Chèo truyền thống. Thực tế, những nghệ nhân và giáo viên của bộ môn nghệ thuật múa Chèo truyền thống không nhiều. Những người giỏi về bộ môn này ngày càng cao tuổi. Nhiều bài múa của bộ môn nghệ thuật này chưa được truyền dạy hết. Nghệ thuật Chèo truyền thống có nguy cơ thất truyền. Đề
13 tài ra đời sẽ mang lại cơ hội cho những người tâm huyết với múa Chèo truyền thống có cơ hội truyền lại cho đời sau vốn kiến thức sâu rộng của họ. Dù những bạn trẻ không có cơ hội lĩnh hội trực tiếp những thế hệ cây đa cây đề, họ vẫn có thể tự chiêm nghiệm dựa vào bài giảng số hoá về múa Chèo truyền thống. Thứ ba, đề tài mở đường cho những nghiên cứu sâu hơn về múa Chèo truyền thống. Nghiên cứu về nghệ thuật múa Chèo truyền thống bị chững lại tính từ những năm 2000 trở về đây. Thêm vào đó, chưa có một nghiên cứu ứng dụng công nghệ trong nghệ thuật múa Chèo truyền thống. Vì thế, sự ra đời của đề tài này sẽ đặt viên gạch đầu tiên của việc ứng dụng 3D trong múa Chèo truyền thống. 5. Cấu trúc luận văn Trong luận văn, các hình từ 2.4-2.103 được lấy từ dữ liệu chuyển động 3D Chèo truyền thống của phòng thí nghiệm HMI [4]. Luận văn được chia thành 5 chương. Chương 1 nêu rõ bài toán được giải quyết, cung cấp thông tin về những nghiên cứu trước đây và căn cứ vào đó để đề xuất một số kỹ thuật cho đề tài. Chương 2 giới thiệu về múa Chèo truyền thống và các tư thế (hoặc động tác) cơ bản trong múa Chèo truyền thống. Thêm nữa, chương 2 cũng đưa ra các định nghĩa về những dữ liệu mẫu chuyển động 3D được dùng trong bài toán, cách lưu trữ dữ liệu mẫu. Chương 3 mô tả chi tiết thuật toán đề xuất. Chương 4 tiến hành thử nghiệm trên thuật toán đề xuất, nêu các phương pháp đánh giá và nhận xét kết quả. Chương 5 kết luận những ưu điểm và hạn chế của thuật toán đề xuất và đưa ra những cải tiến trong tương lai.
14 CHƯƠNG 1: TỔNG QUAN 1.1. Định nghĩa bài toán 1.1.1. Định nghĩa bài toán Bài toán tìm kiếm mẫu chuyển động 3D trong múa Chèo truyền thống phải giải quyết hai vấn đề: xác định vị trí các mẫu và phân loại các mẫu trong chuyển động 3D. Việc xác định vị trí các mẫu có thể giải quyết bằng nhiều kỹ thuật. Tuy nhiên, kỹ thuật sliding window (mục 1.3.1) sẽ quét được hầu hết sự xuất hiện của các mẫu. Phân loại mẫu trong chuyển động 3D được quy về bài toán so sánh giữa 2 chuyển động tương đồng (motion similarity). Bài toán này được định nghĩa như sau: Cho một tập các mẫu Α = {𝐴1 , 𝐴2 , … 𝐴𝑛 } (trong đó 𝐴𝑖 là mẫu) và một dữ liệu chuyển động X. Yêu cầu tìm kiếm các 𝐴𝑖 có trong X. Ở đây, tập các mẫu A chính là các tư thế và các biến thể của các tư thế tương ứng trong chuyển động 3D. Trong khi dữ liệu chuyển động X là bài múa hoặc động tác tổ hợp từ những tư thế và các biến thể của các tư thế đó trong chuyển động 3D. 1.2.2. Phân tích bài toán Trước khi giải quyết bài toán, ta cần thu hẹp phạm vi bài toán. Đầu tiên, mỗi dữ liệu (ở định dạng tệp bvh) chỉ lưu thông tin khung xương của một người diễn nên ta sẽ mặc định bài toán chỉ làm trường hợp xuất hiện một người trong dữ liệu chuyển động X. Tiếp đến, đề tài phân chia thành các nhóm tương ứng với số lượng các tư thế cơ bản. Cụ thể, đề tài định nghĩa 15 nhóm tương ứng 15 tư thế cơ bản. Ngoài ra, những động tác phức tạp sẽ được tách thành những tư thế cơ bản. Dữ liệu ở dạng bvh có chứa nhiều thông tin về khung xương nhưng chúng ta chỉ cần 19 điểm (hình 1.1): đầu (Head), cổ (Neck), vai phải (RightShoulder), vai trái (LeftShoulder), khuỷu tay phải (RightElbow), khuỷu tay trái (LeftElbow), cổ tay phải (RightWrist), cổ tay trái (LeftWrist), ngón tay phải (RightWristEnd), ngón tay trái (LeftWristEnd), giữa hông (Hips), hông phải (RightHip), hông trái (LeftHip), đầu gối phải (RightKnee), đầu gối trái (LeftKnee), mắt cá chân phải (RightAnkle), mắt cá chân trái (LeftAnkle), ngón chân phải (RightToe), ngón chân trái (LeftToe).
15 Hình 1.1. Một số điểm nối trong khung xương. Để đơn giản, ta coi mỗi frame trong dữ liệu chuyển động chỉ chứa một khung xương. Ta sẽ so sánh hai khung xương tại vị trí được xét dựa vào so sánh các cặp góc tạo bởi những vectơ xương tương ứng. Giả sử ta có hai vectơ xương tương ứng là ⃗⃗⃗⃗⃗ 𝐴𝐵 và ⃗⃗⃗⃗⃗⃗⃗⃗ 𝐴′ 𝐵′ . Công thức tính góc 𝜃 tạo bởi giữa hai vectơ này như sau: ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ⃗⃗⃗⃗⃗ ∙𝐴 𝐴𝐵 ′ 𝐵′ 𝜃 = 𝑎𝑐𝑜𝑠 ( ⃗⃗⃗⃗⃗ ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗ ) (1.1) |𝐴𝐵 |∙|𝐴′ 𝐵′| * Những định nghĩa được đưa ra như sau: ✓ Vectơ đi từ khớp nối A sang khớp nối B được ký hiệu là A_B. Ví dụ: LHIP_LANKLE là vectơ đi từ khớp nối LHIP (hông trái) sang khớp nối LANKLE (mắt cá chân trái). ✓ Góc tạo bởi hai vectơ A_B và C_D được ký hiệu là A_B - C_D. Ví dụ: LHIP_LANKLE - RANKLE_RTOE là góc tạo bởi hai vectơ LHIP_LANKLE và RANKLE_RTOE. 1.2. Những nghiên cứu trước đây Bài toán tìm kiếm những mẫu chuyển động múa Chèo trong chuyển động 3D cần qua hai bước chính: đề xuất những vùng (segment) trên chuyển động này mà mẫu có thể xuất hiện (gọi là sinh đề xuất) và gán tên mẫu cho những đề xuất đó (gọi là phân loại mẫu hay gán nhãn). Trong phần này, luận văn sẽ tìm hiểu những kỹ thuật được áp dụng cho hai bước trên. Ngoài ra, luận văn cũng tìm hiểu cách chọn đặc trưng dùng trong phân loại mẫu và những nghiên cứu áp dụng công nghệ trong múa Chèo truyền thống.
16 1.2.1. Xác định vị trí mẫu Xác định vị trí mẫu là một bước quan trọng của quá trình tìm kiếm mẫu trong chuỗi thời gian. Hướng tiếp cận Phân mảnh chuỗi thời gian (time series segmentation) được dùng phổ biến cho bước này bởi tính ưu việt của nó [17]: - Tìm kiếm những vị trí tương đồng nhanh và chính xác - Áp dụng nhiều phép đo tính khoảng cách - Khai thác đồng thời nội dung và thứ tự thời gian - Hỗ trợ các thuật toán phân cụm và phân loại - Hỗ trợ phát hiện vị trí thay đổi Phân mảnh chuỗi thời gian có 3 kiểu chính: sliding window, top-down, bottom-up. Sliding window [17] bắt đầu bằng cách xác định điểm mút bên trái của segment đầu tiên (thường là điểm dữ liệu đầu tiên trong chuỗi thời gian). Điểm mút bên trái cũng chính là điểm bắt đầu cho cửa sổ trượt sang phải dọc theo chuỗi thời gian. Trong khi trượt, kích thước cửa sổ tăng lên và các điểm dữ liệu mới sẽ tự động được thêm vào segment. Việc tự động tăng được dừng lại khi giá trị lỗi của segment đó không lớn hơn một ngưỡng cho phép. Điểm dừng này cũng chính là một điểm mút bên trái của segment mới. Top-down [17] lúc bắt đầu coi chuỗi thời gian như một phân vùng. Thuật toán tiến hành đưa ra một danh sách các đề xuất vị trí phân chia. Vị trí tốt nhất chia phân vùng này thành 2 phần (S1 và S2) thoả mãn độ lệch giữa 2 vùng là lớn nhất. Nếu giá trị lỗi xấp xỉ (approximation error) của một vùng dưới ngưỡng cho phép thì vùng đó không bị phân chia và vùng đó được chấp nhận. Nếu vượt ngưỡng cho phép thì vùng đó phải tiếp tục phân chia. Thủ tục này được lặp lại cho đến khi một trong những điều kiện dừng được thoả mãn 1 trong 2 điều kiện: đạt đến k segment, approximation error dưới ngưỡng cho phép. Bottom-up [17] chia chuỗi thời gian (độ dài n) thành một số phần rất nhỏ có độ dài bằng nhau. Sau đó, tiến hành so sánh các cặp segment liên tiếp nhau. Cặp có giá trị lỗi nhỏ nhất được hợp lại thành một segment lớn hơn. Thủ tục được lặp lại cho đến khi một trong những điều kiện dừng được thoả mãn: đạt được k segment, approximation error vượt quá ngưỡng cho phép. 1.2.2. Phân loại mẫu Phân loại mẫu chính là so sánh từng mẫu với đề xuất (segment) và chọn tên mẫu gắn với đề xuất đó. Để làm được điều này, chúng ta cần tìm một kỹ thuật so sánh độ tương đồng giữa chúng. Theo Anna Sebernegg [24], có nhiều hướng tiếp cận bài toán này. Ở đây chúng ta tập trung chủ yếu 3 hướng chính: dóng chuỗi theo thời gian (temporal alignment), so sánh theo quỹ đạo (trajectory-based) và so sánh theo quy tắc (rule-based).
17 Dóng chuỗi theo thời gian được tiến hành bằng cách đo khoảng cách giữa các mối nối (joint) hoặc các góc quay [24]. Dynamic Time Warping (DTW) và Hidden Markov Models (HMM) là hai kỹ thuật điển hình của hướng tiếp cận này. DTW đo độ tương đồng giữa hai chuỗi biến đổi theo thời gian thông qua việc tìm đường đi giữa hai chuỗi này với tổng chi phí nhỏ nhất. Những bài toán đo độ tương đồng thường dùng thuật toán DTW cho dữ liệu nhiều chiều mặc dù nó có nhược điểm là thời gian chạy bậc hai và hạn chế trong tìm ý nghĩa giữa hai chuỗi sau khi bỏ qua yếu tố thời gian. Ngược lại, HMM lại dựa vào việc biểu diễn trạng thái của hoạt động. Người ta dùng HMM chủ yếu trong giai đoạn huấn luyện (trong học máy) và phân loại lớp. Kỹ thuật này cũng loại bỏ yếu tố thời gian bằng cách giả thiết rằng các quan sát độc lập nhau về thời gian. Kỹ thuật HMM cũng đã được áp dụng cho một số tư thế tay (wave, stop, come) [12]. Tuy nhiên, ta không thể kiểm tra tập dữ liệu 3D Chèo truyền thống theo [12] vì cách lấy đặc trưng của hai tập dữ liệu là hoàn toàn khác nhau. Trong hướng tiếp cận So sánh theo quỹ đạo, chuyển động được coi là một tập hợp các quỹ đạo theo không gian-thời gian [24]. Theo đó, độ tương đồng được đo theo các quỹ đạo này. Cách đo độ tương đồng cũng dùng những phép đo khoảng cách như DTW, LCSS, edit distance on real sequence (EDR)... Các quỹ đạo có thể lấy từ quá trình thu dữ liệu chuyển động (dùng các điểm đánh dấu) hoặc dựa vào sự thay đổi không gian- thời gian của dữ liệu khung xương 3D. Tuy nhiên, hướng tiếp cận này phụ thuộc lớn vào độ chính xác của dữ liệu. Phương pháp so sánh theo quy tắc phần lớn dựa vào khuôn mẫu (template) và được áp dụng trong nhận diện hành động [24]. Theo phương pháp này, một tập các quy tắc định nghĩa ra các khuôn mẫu. Hệ thống sẽ so sánh chuyển động cần xét với những khuôn mẫu được định nghĩa trên. Mặc dù việc triển khai hệ thống khá đơn giản nhưng chỉ áp dụng cho bài toán có số lượng khuôn mẫu ít đa dạng. Vậy nên, hướng này không phù hợp với bài toán của chúng ta. Từ những phân tích trên, kỹ thuật DTW (dùng cho hướng tiếp cận gióng chuỗi theo thời gian) sẽ phù hợp với điều kiện bài toán chúng ta. Điều phù hợp đầu tiên, kỹ thuật DTW áp dụng cho độ dài mẫu khác nhau. Thực tế, các động tác cơ bản của múa Chèo được thực hiện trong những khoảng thời gian khác nhau. Ví dụ, động tác quay sợi cụm 1 biểu diễn trong 11 giây; động tác soi bóng cần 4 giây để hoàn thành. Điều phù hợp thứ hai là kỹ thuật DTW áp dụng được cho dữ liệu nhiều chiều. Dễ thấy, dữ liệu chuyển động 3D là dữ liệu nhiều chiều. Dùng DTW với dữ liệu nhiều chiều giúp chúng ta xây dựng thuật toán đơn giản hơn. 1.2.3. Trích chọn đặc trưng Dữ liệu chuyển động chứa thông tin vị trí, hướng và di chuyển của người trong không gian 3D kèm theo nhiễu. Mô hình khung xương người là một cách lưu dữ liệu chuyển động phổ biến và hiệu quả. Đó là do thiết bị thu dữ liệu sẵn có với giá không
18 quá đắt cùng với sự ra đời của nhiều thuật toán hỗ trợ giải quyết bài toán liên quan đến cách lấy đặc trưng này. Cách lưu trữ theo khung xương cũng kéo theo nhiều nghiên cứu quan trọng. Năm 2016, Raviteja Vemulapalli và Rama Chellappa đã đề xuất kỹ thuật rolling rotations cho nhận diện hành động người trên dữ liệu 3D [26]. Kỹ thuật này được thực hiện theo 2 bước: dùng các phép quay 3D để biểu diễn các phần khung xương, sau đó đưa những chuyển động (ở phép quay 3D) thành những đường cong trong nhóm Lie. Rolling rotations có nhiều ý nghĩa nhưng đáng chú ý là kỹ thuật này đã giúp giảm chiều dữ liệu. Năm 2017, Yusuke Goutsu, Wataru Takano và Yoshihiko Nakamura đã đề xuất một mô hình phân loại hoạt động hàng ngày của con người dựa vào những phần trên cơ thể người và các câu mô tả [11]. Trong khi nghiên cứu, Goutsu và các cộng sự đã phát hiện ra hai vấn đề. Thứ nhất, đặc trưng được lấy từ một số phần khác nhau của cơ thể (gọi là đặc trưng cục bộ) có ích hơn là lấy đặc trưng từ toàn bộ cơ thể (gọi là đặc trưng toàn cục). Ví dụ, hành động “đấm” chỉ sử dụng một tay trong khi hành động “vỗ tay” dùng cả hai bàn tay... Thứ hai, đặc trưng cục bộ có liên quan đến mục đích của hành động. Lấy một ví dụ cụ thể cho trường hợp gọi điện thoại. Người gọi cần di chuyển bàn tay giữ điện thoại áp sát mặt. Khi đó mối quan hệ giữa vị trí bàn tay và mặt là quan trọng. Năm 2019, Sheng Li và các cộng sự ở đại học Bắc Kinh (Trung Quốc) đưa ra thuật toán nén dữ liệu 3D (gọi là MJS) để hỗ trợ cho bài toán nhận diện hành động [18]. Qua quá trình quan sát, Li và các đồng nghiệp nhận thấy chỉ một số các điểm nối trong khung xương có ảnh hưởng đến chuyển động. Phát hiện này đã được áp dụng trong thuật toán MJS. Thuật toán MJS được thực hiện theo 2 bước: tìm ra các điểm chuyển động sau đó kết hợp với các thuật toán nén không mất mát dữ liệu. Năm 2019, Kao và các đồng nghiệp đã đề xuất cách biểu diễn dữ liệu chuyển động 3D (khung xương) theo đồ thị vô hướng [15]. Mỗi điểm nối của khung xương sẽ tương ứng với một đỉnh của đồ thị. Mỗi cạnh của đồ thị nhận giá trị trọng số đơn vị. Từ những phân tích trên, chúng ta rút ra 2 điểm quan trọng. Thứ nhất, đề tài cần thiết sử dụng dữ liệu chuyển động 3D biểu diễn ở dạng khung xương. Lý do là có nhiều nghiên cứu về chúng sẽ hỗ trợ đáng kể cho việc tìm kiếm mẫu. Thứ hai, chọn lựa một số điểm nối trong khung xương có ảnh hưởng đến chuyển động. Việc chọn lựa này sẽ giúp chúng ta tối ưu thuật toán tìm kiếm mẫu. 1.2.4. Nghiên cứu sử dụng dữ liệu múa truyền thống 3D Tới thời điểm này đã có nhiều nghiên cứu về múa truyền thống biểu diễn ở dạng 3D. Dưới đây là một số nghiên cứu điển hình. Năm 2010, Björn Rennhak cùng các cộng sự đã đề xuất một kỹ thuật phát hiện cấu trúc chuyển động trong những điệu múa truyền thống Nhật [23]. Từ việc phân tích