Luận án Tiến sĩ Kỹ thuật Điện tử: Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VỀ MÔ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU

LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ

Hà Nội − 2020

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VỀ MÔ HÌNH NHẬN DẠNG TƯ THẾ VÕ DỰA TRÊN ẢNH CHIỀU SÂU

Ngành: Kỹ thuật điện tử Mã số : 9520203

LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ

NGƯỜI HƯỚNG DẪN KHOA HỌC: 1. TS. Lê Dũng 2. TS. Phạm Thành Công

Hà Nội − 2020

LỜI CAM ĐOAN

Tôi xin cam đoan luận án: "Về mô hình nhận dạng tư thế võ dựa trên ảnh chiều

sâu" là công trình nghiên cứu của riêng tôi.

Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công bố trên các tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học trong nước và quốc tế.

Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên cứu

trong và ngoài nước.

Hà Nội, tháng 01 năm 2020

NGHIÊN CỨU SINH

Nguyễn Tường Thành

TẬP THỂ HƯỚNG DẪN

TS Lê Dũng TS. Phạm Thành Công

i

LỜI CẢM ƠN

Luận án tiến sĩ được thực hiện tại Viện Điện tử Viễn thông, trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS Lê Dũng và TS Phạm Thành Công. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu. Nghiên cứu sinh xin được trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được trích dẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án.

Nghiên cứu sinh xin trân trọng cảm ơn Viện Điện tử Viễn thông; Phòng Đào tạo Trường Đại học Bách Khoa Hà Nội; Các thầy cô trong Viện Điện tử Viễn thông, các anh chị và các bạn trong nhóm NCS, các võ sư Hồ Minh Mộng Hùng, Phạm Đình Khiêm, Phạm Ngọc Dương, Bùi Thị Lành, Nguyễn Quốc Tiễn, Trung tâm Võ thuật cổ tryền Bình Định, TP. Quy Nhơn, tỉnh Bình Định...đã quan tâm, động viên giúp đỡ và tạo điều kiện thuận lợi về thời gian, địa điểm nghiên cứu, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu.

Nghiên cứu sinh xin cảm ơn TS. Lê Văn Hùng nghiên cứu tại Viện nghiên cứu quốc tế MICA, Đại học Bách khoa Hà Nội và Đại học Tân Trào đã hỗ trợ kỹ thuật, đồng tác giả giúp NCS thực hiện các nghiên cứu của luận án.

Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Đại học Quy Nhơn; Ban chủ nhiệm Khoa Kỹ thuật và Công nghệ, gia đình, bạn bè và đồng nghiệp đã động viên khích lệ, tạo mọi điều kiện thuận lợi để NCS yên tâm công tác và học tập.

Hà Nội, tháng 01 năm 2020

NGHIÊN CỨU SINH

Nguyễn Tường Thành

ii

NỘI DUNG

LỜI CAM ĐOAN i

LỜI CẢM ƠN ii

NỘI DUNG v

KÝ HIỆU VÀ VIẾT TẮT vi

DANH SÁCH BẢNG BIỂU viii

DANH SÁCH HÌNH VẼ xiv

MỞ ĐẦU 1

Chương 1: TỔNG QUAN 12

12 12 14

16 16 16 16 17 18 21 22 23 23 24

25

1.4.3 Nhận xét 25 25

1.1 Học máy, học sâu và ứng dụng . . . . . . . . . . . . . . . . . . . . . . . 1.1.1 Học máy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.1.2 Học sâu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Hệ thống khôi phục hoạt động của người trong không gian 3-D và chấm điểm võ thuật . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2.1 Hệ thống khôi phục hoạt động của người trong không gian 3-D . 1.2.2 Hệ thống chấm điểm võ thuật . . . . . . . . . . . . . . . . . . . 1.3 Ước lượng khung xương trên cơ thể người trong không gian 2-D . . . . 1.3.1 Ước lượng khung xương trên ảnh màu . . . . . . . . . . . . . . 1.3.2 Ước lượng khung xương trên ảnh độ sâu . . . . . . . . . . . . . 1.3.3 Ước lượng tư thế dựa trên đối tượng và ngữ cảnh hoạt động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.3.4 Nhận xét 1.4 Ước lượng khung xương và tư thế người trong môi trường 3-D . . . . . 1.4.1 Phục hồi tư thế 3-D của người từ một ảnh . . . . . . . . . . . . 1.4.2 Phục hồi tư thế 3-D của người . . . . . . . . . . . . . . . . . . . 1.4.2.1 Phục hồi khung xương, tư thế người trong không gian 3-D từ một ảnh . . . . . . . . . . . . . . . . . . . . . . 1.4.2.2 Phục hồi khung xương, tư thế người trong không gian 3-D từ một chuỗi ảnh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5 Các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5.1 Giới thiệu Kinect . . . . . . . . . . . . . . . . . . . . . . . . . . 1.5.2 Hiệu chỉnh dữ liệu thu từ cảm biến Kinect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Tổng kết chương 31 31 31 37

iii

Chương 2: ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ

LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D 38

39 39 40

2.2.4 Ước lượng khung xương, tư thế người khi bị che khuất

2.1 Ước lượng khung xương trong không gian 2-D . . . . . . . . . . . . . . 2.1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.1.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . Sử dụng học sâu cho việc ước lượng các hành động trong bài võ 2.1.3 43 cổ truyền trong không gian 2-D . . . . . . . . . . . . . . . . . . 43 2.1.3.1 Phương thức . . . . . . . . . . . . . . . . . . . . . . . 47 2.1.3.2 Cơ sở dữ liệu các bài võ cổ truyền . . . . . . . . . . . 53 2.1.3.3 Phương thức đánh giá . . . . . . . . . . . . . . . . . . 56 2.1.3.4 Xoay và dịch dữ liệu trong không gian 3-D . . . . . . . 61 2.1.3.5 Kết quả ước lượng và nhận xét . . . . . . . . . . . . . 2.1.4 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 2.2 Phục hồi khung xương, tư thế người trong không gian 3-D và bị che khuất 74 74 2.2.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 2.2.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . 2.2.3 Phục hồi khung xương, tư thế người trong không gian 3-D . . . 77 2.2.3.1 Nghiên cứu so sánh về khôi phục khung xương người trong không gian 3-D . . . . . . . . . . . . . . . . . . 2.2.3.2 Thí nghiệm và kết quả ước lượng khung xương 3-D . . 2.2.3.3 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2.3 Tổng kết chương 78 82 84 85 92

Chương 3: NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ

TRUYỀN VIỆT NAM 93

3.3.1 Nhận diện động tác tấn công

93 3.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.3 Cơ sở lý thuyết để nhận diện động tác tấn công và chấm điểm động tác võ 97 97 . . . . . . . . . . . . . . . . . . . 97 3.3.1.1 Xử lý dữ liệu . . . . . . . . . . . . . . . . . . . . . . . 97 3.3.1.2 Trích xuất đặc trưng cơ thể người với camera Kinect . 3.3.2 Mô hình chấm điểm động tác võ cổ truyền . . . . . . . . . . . . 102 3.3.2.1 Mô tả động tác người . . . . . . . . . . . . . . . . . . 102 3.3.2.2 Công thức chấm điểm . . . . . . . . . . . . . . . . . . 105 3.4 Thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 . . . . . . . . . . . . . . . . . . . 107 3.4.1 Nhận diện động tác tấn công

iv

. . . 107 3.4.1.1 Nhận diện động tác tấn công bằng cây phân loại 3.4.1.2 Nhận diện động tác tấn công bằng mạng nơ ron . . . . 108 3.4.2 Chấm điểm động tác võ cổ truyền Việt Nam . . . . . . . . . . . 110 3.5 Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115 3.6 Tổng kết chương

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 115

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN 117

TÀI LIỆU THAM KHẢO PHỤ LỤC 120 134

v

DANH MỤC CÁC KÝ HIỆU VÀ VIẾT TẮT

Số Viết tắt Giải nghĩa Nghĩa tiếng Việt

1 AD Average deviation Độ lệch trung bình

2 AP Average Precision Độ chính xác trung bình

3 APM Articulated Part-based Modeldeviation Mô hình dựa trên phần khớp nối

4 CPM Convolutional Pose Machines Máy học cử chỉ tích chập

5 CPU Central Processing Unit Đơn vị xử lý trung tâm

6 CNN Convolutional Nerural Network Mạng Nơ ron tích chập

7 CNNs Convolutional Nerural Networks Mạng Nơ ron tích chập nhiều lớp

8 DPM Deformable Part Model Mô hình phần biến dạng

9 DTW Dynamic Time Warping So khớp chuỗi thời gian động

10 DV Digital Video Video số

11 fps f rame per second Khung hình trên giây

12 GPU Graphics Processing Unit Đơn vị xử lý đồ họa

13 HMMs Hidden Markov Models Mô hình Markov ẩn

14 HOG Histogram of Oriented Gradients Biểu đồ hướng dốc

15 HRNet High-Resolution Network Mạng độ phân giải cao

IR 16 InfraRed camera Máy ảnh hồng ngoại

JI 17 Jaccard Index Chỉ số Jaccard

18 LSTM Long Short-Term Memory

Mạng bộ nhớ ngắn định hướng dài hạn

19 MADS Martial Arts, Dancing and Sports Võ cổ truyền, khiêu vũ, thể thao

20 MOCAP MOtion CAPture Thu nhận chuyển động

21 MPJPE MeanPerJointPositionError

Độ đo sai số trung bình của các khớp nối

22 MS MicroSoft Microsoft

23 MSE Mean Squared Error Sai số bình phương

24 OCR Optical Character Recognition Nhận dạng ký tự quang học

25 OKS Object Key point Similarity Độ tương tự các điểm đại diện

26 OpenCV Open Computer Vision

Thư viện mã nguồn mở thị giác máy tính

27 OpenNI Open Natural Interaction Thư viện hỗ trợ đa ngôn ngữ

28 PCA Principal Component Analysis Phân tích nguyên lý thành phần

vi

29 PCL Poind Cloud Library Thư viện đám mây điểm

30 RAM Random Access Memory Bộ nhớ truy nhập ngẫu nhiên

31 RDF Random Decision Forests Rừng quyết định ngẫu nhiên

32 RGB Red Green Blue Đỏ Xanh lá Xanh lơ

Software Development Kit Kit phát triển phần mềm 33 SDK

Support Vector Machine Học máy hỗ trợ vector 34 SVM

35 TOF Time-Of-Flight sensor Cảm biến TOF

36 V1 Version 1 Phiên bản 1

37 V2 Version 2 Phiên bản 2

38 VE Vector Estimation Vector dự đoán

39 VG Vector Ground truth Vector đánh dấu thực

40 VNMA VietNam Martial Arts Võ cổ truyền Việt Nam

vii

DANH SÁCH BẢNG BIỂU

Bảng 1.1 Thống kê các nghiên cứu ước lượng khung xương của người trong không gian 3-D mà có đánh giá trên cơ cở dữ liệu Human3.6M [86] và . . . . . . . . . . . . . . . . . . . . . . . . . . . . . kết quả ước lượng. 27

Bảng 1.2 Khảo sát về ước lượng tư thế người trong không gian 3-D sử dụng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 ảnh. 29

Bảng 1.3 Khảo sát về ước lượng khung xương người trong không gian 3-D từ một chuỗi ảnh. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

Bảng 2.1 Số khung hình trong các tư thế võ của cơ sở dữ liệu VNMA. . . . 50

Bảng 2.2 Số khung hình trong các tư thế võ của cơ sở dữ liệu SVNMA. . . 51

Bảng 2.3 Kết quả trung bình của ước lượng các khớp nối (AP), góc lệch giữa các khớp của dữ liệu gốc và các khớp nối ước lượng được (AD) và khoảng cách giữa các trung bình giữa các điểm đại diện ước lượng được . . . . . . . và các điểm đại diện của dữ liệu gốc, tương ứng với nhau. 61

Bảng 2.4 Kết quả ước lượng khung xương trên ảnh và chiếu sang không gian 3-D với 14 điểm xương trên dữ liệu VNMA. Kết quả được đánh giá trên độ đo MPJPE theo đơn vị milimet (mm). . . . . . . . . . . . . . . . . . 68

Bảng 2.5 Số khung hình đánh giá trong dữ liệu VNMA. . . . . . . . . . . . 69

Bảng 2.6 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS với 14 điểm xương. . . . . . . . . . . 71

Bảng 2.7 Số khung hình cho việc đánh giá ước lượng khung xương trên ảnh sai đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS. . . . . . . . 72

Bảng 2.8 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không . . . . . . . . . gian 3-D trên cơ sở dữ liệu VNMA với 15 điểm xương. 88

Bảng 2.9 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS với 15 điểm xương. . . . . . . . . . . 89

Bảng 3.1 Thể hiện tám véc tơ chi . . . . . . . . . . . . . . . . . . . . . . . 104

viii

DANH SÁCH HÌNH VẼ

Hình 1 Cảm biến MS Kinect phiên bản 1. . . . . . . . . . . . . . . . . . 2

Hình 2 Minh họa dữ liệu khung xương thu được từ cảm biến MS Kinect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . phiên bản 1 [36]. 2

Hình 3 Một lớp dạy võ cổ truyền tại thành phố Quy Nhơn, tỉnh Bình . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Định, Việt Nam. 4

Hình 4

Khung xương, tư thế của người được ước lượng (các điểm màu xanh là các điểm xương và các khớp nối màu vàng) và môi trường được xây dựng lại trong không gian 3-D (thế giới thực). . . . . . . . . . . . . 5

Hình 5 Minh họa thiết lập các thiết bị. . . . . . . . . . . . . . . . . . . . 7

Hình 6 Mô hình giải quyết vấn đề ước lượng khung xương, tư thế người . . . . . . . . . trong không gian 3-D và tái tạo lại môi trường thực tế. 9

Hình 1.1 Minh họa mô hình của học máy [58]. . . . . . . . . . . . . . . . . 13

Hình 1.2 Mô hình phân loại học máy [59]. . . . . . . . . . . . . . . . . . . 14

Hình 1.3 Mô hình của học sâu [59]. . . . . . . . . . . . . . . . . . . . . . . 15

Hình 1.4 Minh họa phương thức ước lượng tư thế, khung xương trong không gian 3-D [155]: Đầu vào là một ảnh màu (RGB), đầu tiên là ước lượng khung xương trong không gian ảnh (2-D) sau đó ước lượng giá trị độ sâu của khung xương bằng việc tìm kiếm một mô hình khung xương, tư thế phù hợp. Khung xương ước lượng được có màu đỏ, khung xương gốc có màu xám. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Hình 1.5 Minh họa ảnh màu, ảnh độ sâu thu được từ cảm biến Kinect phiên . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . bản 1. 32

Hình 1.6 Minh họa cảm biến Kinect phiên bản 1. . . . . . . . . . . . . . . 32

Hình 1.7 Minh họa ảnh các trạng thái hoạt động của người trong thực tế [86], [89] và hệ thống MOCAP [102] để xác định vị trí các chi, các bộ . . . . . . . . . . . . . . . . . . phận của người trong không gian 3-D. 34

ix

Hình 1.8 Minh họa ảnh về các loại hoạt động trong cơ sở dữ liệu [32] và hệ thống MOCAP [102] để xác định vị trí các chi, các bộ phận của người . . . . . . . . . . . . . . . . . . . . . . . . . . . trong không gian 3-D. 36

Hình 2.1 Minh họa kết quả ước lượng khung xương, tư thế người trong không gian 2-D [106]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Hình 2.2 Minh họa bản đồ các điểm nổi bật được tạo ra từ ảnh cơ thể người. Trong đó mỗi vùng điểm nổi bật là một ứng cử viên vị trí của các điểm đại diện [110]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

Hình 2.3 Minh họa đánh nhãn các điểm đại diện trên dữ liệu ảnh của người. Các điểm màu đỏ là các điểm đại diện trên cơ thể người. Các đoạn màu . . . . . . xanh thể hiện sự kết nối giữa các bộ phận trên cơ thể người. 44

45 Hình 2.4 Kiến trúc mạng nơ ron tích chập cho việc ước lượng các điểm đại diện St, và các bộ phận phù hợp trên cơ thể người khác nhau [24]. . . .

Hình 2.5 Minh họa chi tiết mô hình dự đoán vùng các điểm nổi bật (heatmaps) [111]. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Hình 2.6 Minh họa chi tiết mô hình trích chọn đặc trưng cho việc huấn luyện . mô hình dự đoán các vùng nổi bật (heatmaps) ở từng giai đoạn [111]. 46

Hình 2.7 Minh họa kết quả ước lượng khung xương trên ảnh của mô hình đã được huấn luyện trên bộ cơ sở dữ liệu 2016 MSCOCO Keypoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Challenge [23]. 47

Hình 2.8 Minh họa kiến trúc mạng HRnet [115]. Trong đó chiều ngang và chiều dọc lần lượt thể hiện độ sâu và biến đổi kích thước cửa sổ của bản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . đồ đặc trưng. 48

Hình 2.9 Nghiên cứu so sánh cho đánh giá ước lượng khung xương, tư thế . . . . . . . . . . . . . . . . . . . . . . . . . . . trong không gian 2-D. 49

Hình 2.10 Minh họa việc đánh dấu dữ liệu gốc về khung xương, tư thế người trong không gian 3-D. Trong đó thứ tự đánh dấu của các điểm như sau: (1) Đầu, (2) Cổ, (3) Vai phải, (4) khuyủ tay phải, (5) cổ tay phải, (6) Vai trái, (7) khuyủ tay trái, (8) cổ tay trái, (9) Giữa hông, (10) Hông phải, (11) Đầu gối phải, (12) Cổ chân phải, (13) Ngón chân cái phải, (14) Hông trái, (15) Đầu gối trái, (16) Cổ chân trái, (17) Ngón chân cái trái . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

Hình 2.11 Các điểm đại diện (Key points) trên cơ thể người và nhãn. . . . . 51

x

Hình 2.12 Minh họa dữ liệu đám mây điểm của một cảnh. Các điểm màu . . . . . . . xanh nước biển là dữ liệu của người trong môi trường 3-D. 52

Hình 2.13 Minh họa ma trận đánh giá độ tương tự độ dài của các khớp được . . . . . . . . . . . . . . . . . . . . . . tạo ra từ các điểm đại diện [28] 54

Hình 2.14 Minh họa thứ tự các điểm đại diện ước lượng được. Trong đó, các điểm màu xanh là các điểm quan tâm và đánh giá trong bài báo này. Hình bên phải thể hiện các khớp nối của các điểm đại diện quan tâm. . 55

Hình 2.15 Minh họa các phương thức cho việc đánh giá ước lượng khung . . . . . . . . . . . . . . . . xương, tư thế người trong không gian ảnh. 56

Hình 2.16 Minh họa mô hình xoay và dịch dữ liệu trong không gian 3-D. . . 57

Hình 2.17 Minh họa kết quả ước lượng khung xương, tư thế người trong không gian 3-D. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Hình 2.18 Minh họa các kết quả ước lượng các điểm đại diện và các khớp nối trên các video võ thuật cổ truyền. Các khớp nối của cơ thể người là có màu đỏ; Các khớp nối của tay phải có màu xanh lá cây; Các khớp nối của tay trái có màu giảm dần từ đỏ đến vàng; Các khớp nối của chân phải có màu xanh nước biển; Các khớp nối của chân trái có màu xanh . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . lục. 65

Hình 2.19 Đồ thị thể hiện xác suất ước lượng các điểm đại diện trên 3 video . . . . . . . . . . . . . . võ thuật cổ truyền có thứ tự là: 2th, 9th, 12th. 66

Hình 2.20 Minh họa kết quả ước lượng các khớp nối trong không gian 2-D và 3-D. Tư thế của người trong không gian 3-D được thể hiện bằng Matplotlib của Python. . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Hình 2.21 Minh họa việc đánh giá ước lượng khung xương trong không gian 2-D và chiếu sang không gian 3-D. . . . . . . . . . . . . . . . . . . . . . 67

Hình 2.22 Phân bố khoảng cách lỗi giữa các điểm đại diện trên dữ liệu gốc . . . . . . . . . . . . . . . . . . . . . . . . . và dữ liệu ước lượng được. 67

Hình 2.23 Minh họa ảnh độ sâu thu thập được từ cảm biến MS Kinect v1 trong bộ cơ sở dữ liệu VNMA. Vùng màu đen bị xa so với giới hạn đo của cảm biến MS Kinect v1 nên giá trị độ sâu bằng không, còn vùng . người, và vùng sàn nhà có màu nâu nên giá trị độ sâu lớn hơn không. 70

xi

Hình 2.24 Trái: Minh họa kết quả ước lượng khung xương trên ảnh màu (14 điểm xương) bằng cách sử dụng CPM trong nghiên cứu của Tome et al. [85]. Phải: Minh họa ảnh độ sâu thu thập được từ cảm biến MS Kinect . . . . . . . v1 trong bộ cơ sở dữ liệu VNMA bị mất dữ liệu vùng tóc. 70

Hình 2.25 Minh họa ảnh thu thập được từ cảm biến MS Kinect v1 quá xa. 71

Hình 2.26 Phân bố lỗi khoảng cách lỗi MPJPE của các cặp điểm đại diện . giữa dữ liệu gốc và dữ liệu ước lượng được trên cơ sở dữ liệu MADS. 72

Hình 2.27 Minh họa kết quả ước lượng khung xương trên không gian 2-D . (trên ảnh màu) sử dụng CPM trong nghiên cứu của Tome et al. [85]. 73

Hình 2.28 Minh họa việc ước lượng khung xương, tư thế người trong không gian 3-D với dữ liệu bị che khuất. Bên trái thể hiện kết quả ước lượng khung xương, tư thế của người trên 2-D với bộ ước lượng [24]. Bên phải là kết quả ước lượng tư thế, khung xương của người trong không gian . . . . . . . . . . . . . . . . . . . . 3-D sử dụng bộ ước lượng của [85]. 75

Hình 2.29 Minh họa chuẩn hóa các mô hình trong bộ dữ liệu huấn luyện mô hình khung xương người trong 3-D và việc so sánh khung xương ánh xạ . . . . . . . . . . được từ 2-D sang 3-D với bộ dữ liệu huấn luyện [85]. 76

Hình 2.30 Minh họa mô hình hoạt động của mạng [118]. . . . . . . . . . . . 77

Hình 2.31 Minh họa ước lượng khung xương, tư thế 3-D của người từ một . . . . . . . . . . . . . . . . . . . . . . . . . . . . chuỗi hình ảnh [124]. 78

Hình 2.32 Thống kê số lượng nghiên cứu về ước lượng khung xương của người trong không gian 3-D theo từng năm. . . . . . . . . . . . . . . . . . . . 79

Hình 2.33 Minh họa mô hình nghiên cứu so sánh ước lượng khung xương, tư . . . . . . . . . . . . . . . . . . . . . . . . . thế trong không gian 3-D. 80

Hình 2.34 Minh họa các tham số của mô hình CNN trong Tome CS. [85]. . . 81

Hình 2.35 Minh họa kiến trúc mạng VNect [128]. . . . . . . . . . . . . . . . 82

Hình 2.36 Minh họa các tham số của mô hình CNN VNect. . . . . . . . . . 82

Hình 2.37 Minh họa sắp xếp thứ tự các khớp trong không gian 3-D của mạng VNect. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

xii

Hình 2.38 Minh họa kết quả ước lượng trong không gian 2-D và 3-D sử dụng mạng VNect [128]. Bên trái là kết quả ước lượng khung xương trong không gian 3-D; Giữa là kết quả ước lượng khung xương trên ảnh; Bên phải là kết quả ước lượng các điểm đại diện của khung xương trong không gian 2-D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

Hình 2.39 Minh họa mô hình khung xương, tư thế trong không gian 3-D cho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . việc đánh giá. 85

Hình 2.40 Phân bố khoảng cách lỗi giữa các điểm đại diện trên dữ liệu gốc và dữ liệu ước lượng được trong không gian 3-D trên cơ sở dữ liệu VNMA. Trong đó: "CMP training by COCO" là "3-D_COCO_Method" , "CMP training by Human 3.6m" là "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII, LSP" là "3-D_VNECT_Method". . . . . . . . 86

Hình 2.41 Kết quả ước lượng khung xương, tư thế trong không gian 3-D. Mỗi khối là một cặp tương ứng giữa khung xương của dữ liệu gốc (ground truth - original) và khung xương ước lượng được (estimating). Mỗi cặp khung xương trong một khối đã được đồng nhất về hệ trục tọa độ. . . . 87

Hình 2.42 Phân bố khoảng cách lỗi giữa các điểm đại diện trên dữ liệu gốc và dữ liệu ước lượng được trong không gian 3-D trên cơ sở dữ liệu MADS. Trong đó: "CMP training by COCO" là "3-D_COCO_Method" , "CMP training by Human 3.6m" là "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII, LSP" là "3-D_VNECT_Method". . . . . . . . 89

Hình 2.43 Minh họa kết quả ước lượng khung xương của phương thức "3- D_VNECT_Method" trên ảnh của cơ sở dữ liệu MADS với 21 điểm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . đại diện. 90

Hình 2.44 Minh họa kết quả ước lượng đầy đủ các khớp xương người trong không gian 3-D trên video 1th, 24th của cơ sở dữ liệu võ thuật cổ truyền . . . . . . . . . . . . . . . . . . . . . . . . . . . . Việt Nam (VNMA). 91

Hình 3.1 Minh họa cây quyết định có đi chơi không. . . . . . . . . . . . . . 94

Hình 3.2 Minh họa mô hình của thuật toán rừng ngẫu nhiên cho việc phân loại. Trong đó thuật toán này được áp dụng cho một rừng bao gồm nhiều . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . cây quyết định. 95

Hình 3.3 Thu thập dữ liệu. . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

Hình 3.4 Thể hiện tọa độ trên khung xương. . . . . . . . . . . . . . . . . . 99

xiii

Hình 3.5 Minh họa đặc trưng góc khuỷu tay. Đường màu đen thể hiện đặc

trưng về góc khuỷu tay. . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Hình 3.6 Vị trí các khớp xương mà camera Kinect cung cấp. . . . . . . . . 103

Hình 3.7 Dữ liệu khung xương Kinect và véc tơ chân tay. . . . . . . . . . . 104

Hình 3.8 Chương trình thu nhận dữ liệu chuẩn từ võ sư. . . . . . . . . . . 105

Hình 3.9 Thể hiện chiều cao của cây và số đặc trưng. . . . . . . . . . . . . 108

Hình 3.10 Sự lặp lại kiến trúc module trong mạng RNN chứa một tầng ẩn . 109

Hình 3.11 Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn (3

sigmoid và 1 tanh) tương tác . . . . . . . . . . . . . . . . . . . . . . . . 110

Hình 3.12 Diễn giải các kí hiệu trong đồ thị mạng nơ ron . . . . . . . . . . 110

Hình 3.13 Kết quả nhận dạng trên tập Test thế võ công. . . . . . . . . . . . 111

Hình 3.14 Kết quả nhận dạng trên tập Test thế thủ. . . . . . . . . . . . . . 111

Hình 3.15 Lấy mẫu chuẩn. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Hình 3.16 Các vị trí dừng để chấm điểm. . . . . . . . . . . . . . . . . . . . . 113

Hình 3.17 Thống kê trung bình điểm chấm 36 động tác võ cổ truyền Việt Nam.113

Hình 3.18 Giao diện chương trình chấm điểm. . . . . . . . . . . . . . . . . . 114

Hình 3.19 Giao diện chương trình chấm điểm. . . . . . . . . . . . . . . . . . 114

xiv

MỞ ĐẦU

1. Tính cấp thiết của nghiên cứu

Võ cổ truyền là một môn thể thao, nghệ thuật thể hiện bản sắc dân tộc. Võ thuật giúp rèn luyện sức khỏe, tự vệ cho con người của mỗi dân tộc, mỗi đất nước. Võ cổ truyền đã có từ lâu đời với mỗi quốc gia, đồng thời gắn liền với lịch sử dựng nước và giữ nước [12]; Như võ cổ truyền Bình Định của Việt Nam [8]; Võ Judo, Karate, Kendo, Kyudo của người Nhật Bản [9]; Võ Kung Fu, TaiChi của người Trung Quốc [10]. Để bảo tồn và duy trì các bài võ cổ truyền đặc sắc và có giá trị văn hóa là một vấn đề quan trọng đối với các nhà quản lý, quốc gia [6], [8], [11]. Trước kia việc lưu trữ là truyền miệng, qua các hình vẽ các thế võ liên tục và đời trước dạy cho đời sau, nên các thế võ có thể bị biến tướng và không chuẩn xác. Ngày nay, việc ghi lại thành các video để lưu trữ là một hướng tiếp cận tốt. Ở Việt Nam từ năm 2016, các bài võ cổ truyền được đưa vào giảng dạy trong các trường phô thông để rèn luyện sức khỏe và tự vệ cho các em học sinh. Nên việc xây dựng một mô hình chấm điểm các bài võ được truyền dạy trên lớp là điều cần thiết. Các mô hình này giúp học sinh phổ thông tự đánh giá các tư thế võ trong bài võ mà không cần phải nhờ đến các võ sư tại các võ đường.

Tuy nhiên, các thế võ là các hành động nhanh, khó, quay bốn hướng mà các thiết bị ghi hình thường chỉ nằm ở một vị trí nên có nhiều tư thế bị che khuất. Nên thường để lưu giữ các bài võ thì phải quay từ nhiều góc khác nhau hoặc quay bằng nhiều camera đặt từ nhiều hướng. Để bảo tồn, truyền, dạy các thế võ một cách trực quan thì việc phát hiện, ước lượng các thế võ ở các cảnh bị che khuất là việc làm cần thiết. Đồng thời xây dựng môi trường 3-D để trực quan hóa việc đào tạo và dạy võ cổ truyền là một vấn đề cần thiết để giảm thời gian, chi phí, công sức của các võ sư. Đặc biệt là tăng tính tự giác chủ động trong tập luyện và đánh giá luyện tập của các học sinh phổ thông.

Để thu thập được các video phục vụ cho việc bảo tồn và duy trì các thế võ người ta thường sử dụng các cảm biến hình ảnh như các loại camera gắn trên các điện thoại thông minh, hay các loại camera chuyên dụng. Đặc biệt, để xây dựng được khung cảnh (môi trường) 3-D về các tư thế võ người ta thường sử dụng các cảm biến có ảnh độ sâu như Kinect phiên bản 1 (Version 1 - V1), Kinect phiên bản 2 (Version 2 - V2), Real scene D435, vv. Trong đó, cảm biến Kinect V1 là một loại cảm biến rẻ tiền (giá ngoài thị trường chỉ khoảng 1 triệu Việt Nam đồng - 40 USD) như Hình 1 và chất lượng ảnh màu, ảnh độ sâu của cảm biến này là chấp nhận được. Với giá thành rẻ như vậy phù hợp với túi tiền của người Việt Nam và khả năng phổ dụng của loại cảm biến này là cao hơn so với các cảm biến khác. Cảm biến MS Kinect cũng có thể thu thập được dữ

1

Hình 1 Cảm biến MS Kinect phiên bản 1.

Hình 2 Minh họa dữ liệu khung xương thu được từ cảm biến MS Kinect phiên bản 1 [36].

liệu khung xương các tư thế của con người như Hình 2.

Tuy nhiên, dữ liệu khung xương thu được từ cảm biến MS Kinect v1 là bị mất rất nhiều. Như trong nghiên cứu của Wang và các cộng sự [37] đã cho thấy sự sai khác và thiếu dữ liệu rất lớn giữa cảm biến MS Kinect v1 và MS Kinect v2. Do đó trước khi thực hiện xây dựng các mô hình đánh giá và chấm điểm các động tác võ được truyền dạy trên lớp thì cần thực hiện các nghiên cứu về ước lượng, khôi phục khung xương của người trong các video võ thuật cổ truyền.

Trong nhiều năm trở lại đây có rất nhiều nghiên cứu về ước lượng các khớp xương, hành động trên cơ thể người trên một ảnh màu, ảnh độ sâu hoặc trên một chuỗi ảnh. Hầu hết các nghiên cứu đều sử dụng việc học các đặc trưng trên ảnh màu, độ sâu để học mô hình người, các hành động của người và sử dụng các bộ phân lớp cho việc dự đoán. Trước đây thì thường sử dụng các bộ phân lớp như SVM (Support Vector Machine) [39], Random decision forests (RDF) [40] cho việc học và dự đoán các khớp

2

trên cơ thể người. Ngày nay với sự phát triển mạnh mẽ của học sâu (Deep Learning) thì có rất nhiều mạng được thiết kế cho việc ước lượng các khớp xương trên cơ thể người [41], [48].

Dữ liệu thu được từ cảm biến Kinect v1 bao gồm ảnh màu và ảnh độ sâu, nếu thực hiện ước lượng các điểm đại diện và các khớp xương trên ảnh màu thì có rất nhiều trường hợp các khớp xương bị che khuất không thể ước lượng được. Khi thực hiện ước lượng trên ảnh độ sâu thì có một số trường hợp dữ liệu ảnh độ sâu bị thiếu hoặc mất dữ liệu nên cũng có nhiều điểm đại diện và khớp nối không ước lượng được. Tuy nhiên trên ảnh độ sâu chứa thông tin trong không gian thực (giá trị độ sâu) của người nên có thể ước lượng được các khớp xương trong trường hợp bị che khuất. Nên luận án thực hiện kết hợp kết quả ước lượng trên ảnh màu và chiếu kết quả ước lượng vào không gian 3-D để có được kết quả ước lượng các điểm đại diện và các khớp xương cao hơn. Đặc biệt, khi ước lượng khung xương, tư thế người trong không gian 3-D có thể ước lượng được các khớp xương bị che khuất do dữ liệu thu được một phía nhìn thấy của người. Từ khớp xương đầy đủ có thể thể hiện được đầy đủ các động tác võ trong các video võ cổ truyền. Đây là một bước quan trọng trong việc tái tạo và ghi lại các tư thế võ cổ truyền của các võ sư và thực hành các động tác được truyền dạy của các em học sinh phổ thông. Trong đó hệ thống chấm điểm các động tác võ cũng là một ứng dụng quan trọng trong việc đánh giá việc biểu diễn các tư thế, động tác võ đúng và chuẩn hay không. Trong võ thuật thì việc thể hiện đúng và chuẩn làm cho võ thuật phát huy được hết sức mạnh: tấn công mạnh, phòng thủ chắc chắn (như Hình 3 thể hiện việc dạy võ cổ truyền tại võ đường Nguyễn Thanh Vũ, thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam).

Các phương thức ước lượng khung xương, tư thế người trên ảnh màu và không gian 3-D gần đây thường sử dụng các mạng Nơ ron tích chập mới hiện nay cho việc huấn luyện mô hình ước lượng. Các kết quả được đánh giá trên cơ sở dữ liệu về các tư thế võ cổ truyền của Nhật Bản (Karate) và Trung Quốc (Tai Chi). Đặc biệt, luận án cũng công bố bộ cơ sở dữ liệu về các thế võ cổ truyền Việt Nam do các em học sinh phổ thông biểu diễn và đánh giá các kết quả ước lượng các điểm đại diện và khớp xương trên cơ sở dữ liệu này trong không gian 2-D và 3-D để xây dựng hệ thống bảo tồn, giảng dạy, đánh giá các bài võ cổ truyền Việt Nam trực quan.

Tóm lại, luận án tập trung cải tiến kết quả ước lượng các điểm đại diện và các khớp xương trong các trường hợp bị che khuất khi chỉ sử dụng một cảm biến MS Kinect v1 để thu thập dữ liệu từ môi trường. Kết quả này là sự kết hợp của mô hình ước lượng tốt trên không gian ảnh 2-D và ánh xạ trong môi trường 3-D để nâng cao kết quả ước lượng. Đây chính là ý tưởng trong luận án này, trong mô hình xây dựng ứng dụng của luận án bao gồm một số bước: (1) Từ dữ liệu đầu vào thu được từ cảm biến MS Kinect (ảnh màu, ảnh độ sâu); (2) Sử dụng các mạng nơ ron tích chập đã được thiết kế để

3

Hình 3 Một lớp dạy võ cổ truyền tại thành phố Quy Nhơn, tỉnh Bình Định, Việt Nam.

2. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu

huấn luyện mô hình ước lượng trên ảnh màu và ảnh độ sâu; (3) Kết hợp kết quả ước lượng trong không gian 2-D và 3-D, biểu diễn kết quả trong không gian 3-D, trong đó các khớp xương của người trong video được ước lượng và khôi phục đầu đủ; (4) từ đó xây dựng mô hình chấm điểm các động tác võ cổ truyền áp dụng cho các em học sinh phổ thông có thể tự đánh giá bài võ của mình. Trong đó bước (2) là bước quan trọng nhất trong mô hình này.

Mục tiêu của luận án:

- Đề xuất hướng tiếp cận để ước lượng và phục hồi khung xương trong không gian 3-D và để xây dựng một hệ thống tái tạo môi trường 3-D của các video biểu diễn võ thuật và ước lượng khung xương, tư thế của người trong video. Phương thức này được kết hợp giữa ước lượng các điểm đại diện và các khớp nối trên ảnh màu (không gian 2-D) và ước lượng trong không gian 3-D để có được kết quả ước lượng các khớp xương tốt, đặc biệt là khôi phục được các khớp xương trong trường hợp các bộ phận của người bị che khuất. Khi có ước lượng khung xương trong không gian 3-D tốt có nghĩa là giá trị khoảng cách lỗi giữa các điểm đại diện trên khung xương ước lượng được và khung xương gốc nhỏ. Từ đó thể hiện chính xác tư thế của người trong các động tác võ. Mô hình ước lượng các điểm đại diện trên không gian 2-D được chọn từ nghiên cứu so sánh cho bài toán ước lượng các điểm đại diện trong không gian 2-D, sử dụng các mạng nơ ron tích chập và huấn luyện trên các bộ cơ sở dữ liệu chuẩn (benchmark). Đồng thời

4

Hình 4 Khung xương, tư thế của người được ước lượng (các điểm màu xanh là các điểm xương và các khớp nối màu vàng) và môi trường được xây dựng lại trong không gian 3-D (thế giới thực).

việc ước lượng khung xương, tư thế người trong không gian 2-D, 3-D được đánh giá trên bộ cơ sở dữ liệu đã công bố về võ cổ truyền của nước ngoài và võ cổ truyền Việt Nam thu thập được. Hình 4 thể hiện mô hình khung xương, tư thế của người trong video biểu diễn võ thuật được ước lượng và dựng lại môi trường trong không gian 3-D (trong thế giới thực).

- Từ khung xương của người được ước lượng và khôi phục đầy đủ các khớp, xây dựng một mô hình chấm điểm các động tác võ trên các video thu được từ lớp võ hoặc các bài biểu diễn võ thuật của các em học sinh phổ thông, giúp các em tự đánh giá được các bài võ thuật đã được truyền dạy. Hơn nữa là nhận dạng được động tác tấn công để phục vụ cho việc phân tích điểm mạnh điểm yếu của các tư thế võ thuật cổ truyền.

Trong luận án, các nghiên cứu thành phần không đi giải quyết vấn đề một cách đơn lẻ, tự phát mà vấn đề xuất phát từ thực tế khi biểu diễn võ thuật thì các thế võ có thể đánh tứ diện hoặc xoay 360 độ, nên dữ liệu thu thập từ một cảm biến hình ảnh sẽ bị che khuất rất nhiều. Đặc biệt, quá trình xây dựng hệ thống tái tạo môi trường 3-D và đánh giá các bài biểu diễn võ thuật cần tái tạo được môi trường 3-D, ước lượng được khung xương của người trong điều kiện dữ liệu thu thập từ cảm biến MS Kinect có chứa rất nhiều nhiễu.

5

3. Ngữ cảnh, các ràng buộc, và các thách thức

Một phần mở rộng của nghiên cứu này là có thể cho khán giả, các học viên của các võ đường thấy được việc lưu giữ lại các thế võ cổ truyền là rất quan trọng, từ trước đến nay được truyền từ đời này qua đời khác thông qua truyền miệng và dạy động tác trực tiếp thông qua các võ sư. Từ nghiên cứu này có thể số hóa các tư thế võ cổ truyền và truyền lại cho đời sau. Cũng như các video võ thuật được biểu diễn và có thể đánh giá chấm điểm bằng máy tính. Trong nghiên cứu này thông tin về môi trường và của người biểu diễn võ thuật trong môi trường được thu thập, trích xuất thông qua cảm biến hình ảnh.

Hình 3 thể hiện ngữ cảnh khi dạy võ cổ truyền trong các võ đường. Thông tin mà cảm biến hình ảnh thu được là ảnh từ một phía của môi trường của lớp võ thuật. Đầu ra là môi trường được tái tạo trong không gian 3-D, trong đó thể hiện đầy đủ tư thế võ dựa trên khung xương của người trong không gian đó (các điểm xương, khớp nối trong không gian 3-D). Trong nghiên cứu này, luận án sử dụng một cảm biến MS Kinect phiên bản 1 [25]. Cảm biến MS Kinect được gắn trên một giá cố định đặt ở một phía của không gian lớp dạy võ và được kết nối với máy tính Laptop thông qua cổng USB như minh họa trong Hình 5. Trong quá trình xây dựng hệ thống thật về tái tạo khung cảnh 3-D và ước lượng tư thế, khung xương của người trong khung cảnh trên các video võ cổ truyền thì nghiên cứu này yêu cầu một số ràng buộc như sau:

(cid:136) Cảm biến MS Kinect phiên bản 1:

– Một cảm biến MS Kinect phiên bản 1 được gắn trên giá cố định và được

đặt ở một phía của lớp dạy võ thuật.

– Một cảm biến MS Kinect phiên bản 1 thu thập được ảnh màu, ảnh độ sâu với tốc độ thông thường từ (từ 10 đến 30 khung hình/giây) [127] với độ phân giải 640×480 điểm ảnh cho cả hai loại ảnh. Do cảm biến MS Kinect được gắn trên giá cố định và có hướng thẳng vào giữa vùng biểu diễn của lớp võ thuật nên dữ liệu thu được thường có trục z (màu xanh dương) hướng thẳng vào người và cũng chính là khoảng cách từ cảm biến MS Kinect đến người, còn trục x (màu đỏ) hướng sang ngang và trục y (màu xanh là cây) hướng lên trên, được thể hiện ở hình trái trong Hình 4. Trong các tình huống thực tế, không có yêu cầu cụ thể để thu thập dữ liệu hình ảnh.

– Người (võ sư, học viên) biểu diễn võ thuật nằm trong vùng đã được giới hạn có kích thước là 3×3m như minh họa trong hình 5. Do giới hạn thu được dữ liệu của cảm biến MS Kinect phiên bản 1 là 0.8 - 4m và góc nghiêng tối đa là 30o quanh tâm trục của cảm biến MS Kinect.

6

Hình 5 Minh họa thiết lập các thiết bị.

(cid:136) Người biểu diễn võ thuật là các võ sư hoặc học viên của lớp học võ thuật. Có độ tuổi thường từ 12 tuổi trở lên, giới tính có thể là nam hoặc nữ. Người mặc trang phục không bóng, tức không bao quanh bởi nilon (do cảm biến MS Kinect phiên bản 1 sử dụng ánh sáng hồng ngoại để thu thập dữ liệu nên bề mặt bị bóng thì thường sẽ hấp thu ánh sáng hồng ngoại nên sẽ bị mất dữ liệu độ sâu).

(cid:136) Ảnh màu và ảnh độ sâu thu được từ cảm biến MS Kinect phiên bản 1 được kết hợp với nhau và chiếu sang không gian 3-D (thế giới thực) sử dụng bộ tham số trong của cảm biến này. Đồng thời khung xương, tư thế của người biểu diễn võ thuật trong môi trường cũng được ước lượng đầy đủ các khớp xương trong môi trường 3-D. Việc xây dựng một hệ thống hoàn chỉnh về tái tạo môi trường 3-D, ước lượng khung xương của người phục vụ trực tiếp cho việc đánh giá biểu diễn võ thuật hoặc đánh giá các bài thi của các thí sinh tham gia các môn thể thao võ thuật là nằm ngoài phạm vi nghiên cứu của luận án này.

(cid:136) Hiện nay, trong nghiên cứu này mới tập trung vào các video thu được từ các bài biểu diễn võ thuật của võ sư hoặc các học viên trong lớp võ nên trong mỗi video thường chỉ có một người.

Các ngữ cảnh đặt ra, các ràng buộc trong nghiên cứu của luận án để hạn chế

những vấn đề sau:

(cid:136) Khi người biểu diễn võ thuật nằm trong phạm vi thu của cảm biến MS Kinect phiên bản 1 thì tránh được tình trạng mất dữ liệu do khoảng cách giữa người và cảm biến MS Kinect là quá gần hoặc quá xa. Người mặc đồ võ thuật không bóng để không làm mất dữ liệu do bóng hấp thụ tín hiệu hồng ngoại giúp cảm biến MS Kinect thu thập dữ liệu. Ở một hướng nhìn cố định nên dữ liệu 3-D của người là bị thiếu các bộ phận, do bị che khuất khi quay đi các hướng khác. Một tình huống khác là dữ liệu được thu thập bao gồm nhiều nhiễu vì hình ảnh độ sâu được thu thập bởi MS Kinect thường bị ảnh hưởng bởi các điều kiện chiếu sáng. Những vấn đề này đặt ra những thách thức cho việc ước lượng khung xương, tư thế người trong cả không gian 2-D và 3-D.

7

(cid:136) Do sự phát triển mạnh mẽ về phần cứng máy tính (sự ra đời của các loại card đồ họa cho việc tính toán song song) và sự ra đời của các mạng nơ ron tích chập dựa trên nền tảng học sâu. Nên áp dụng bài toán ước lượng khung xương, tư thế người trong không gian 2-D, 3-D trên nền tảng của học sâu.

4. Ý nghĩa khoa học và các đóng góp của luận án

(cid:136) Thời gian tính toán: Một đám mây điểm được tạo ra từ một cặp ảnh (ảnh màu, ảnh độ sâu) có kích thước là 640 × 480 điểm ảnh tồn tại khoảng vài trăm nghìn điểm. Đặc biệt là quá trình ước lượng khung xương, tư thế người phải qua bước ước lượng trên không gian 2-D sau đó ánh xạ sang không gian 3-D. Do đó quá trình cần một lượng thời gian lớn để hoàn thành việc tái tạo lại môi trường 3-D và ước lượng đầy đủ khớp xương của người trong một cảnh. Trong quá trình huấn luyện mô hình học sâu để ước lượng khung xương trong không gian 2-D thì ảnh màu được thay đổi kích thước về kích thước phù hợp với mạng CNN nên kích thước của ảnh thu được từ cảm biến MS Kinect là 640 × 480 điểm ảnh, không ảnh hưởng đến các mạng CNN.

Trong suốt luận án, các mục tiêu chính được giải quyết bằng một giải pháp thống

nhất. Luận án đạt được những đóng góp sau:

(cid:136) Đóng góp 1: Đề xuất được một mô hình kết hợp giữa ước lượng khung xương, tư thế trong 2-D tốt để có được một ước lượng tốt hơn trong không gian 3-D. Đặc biệt là trong trường hợp dữ liệu bị che khuất thì bộ ước lượng 3-D vẫn ước lượng đầy đủ các khớp xương. Trong đó, bộ ước lượng 2-D được huấn luyện trên bộ cơ sở dữ liệu tốt hơn với mô hình mạng nơ ron tích chập dự đoán hiệu quả hơn. Kết quả thể hiện trên một nghiên cứu so sánh việc ước lượng khung xương, tư thế người trong không gian 2-D và không gian 3-D.

5. Mô hình nghiên cứu và cấu trúc nội dung của luận án

(cid:136) Đóng góp 2: Xây dựng được mô hình cơ bản cho việc đánh giá và chấm điểm các động tác võ cổ truyền dựa trên một số khớp xương cơ bản trên cơ thể người trong các video biểu diễn võ thuật cổ truyển của học sinh phổ thông của các lớp võ. Đồng thời nhận dạng động tác tấn công trên dữ liệu khung xương của người. Từ đó làm tiền đề cho việc xây dựng hệ thống hoàn chỉnh cho việc tái tạo lại môi trường 3-D và khung xương, tư thế người trong các video võ thuật cổ truyền phục vụ cho việc lưu trữ, tự đánh giá và dạy võ thuật trong trường phổ thông.

Từ đầu đến cuối, luận án không giải quyết vấn đề theo cách đơn lẻ mà giải quyết các vấn đề thực tế đặt ra theo một mô hình thống nhất, được thể hiện trong Hình 6.

8

Hình 6 Mô hình giải quyết vấn đề ước lượng khung xương, tư thế người trong không gian 3-D và tái tạo lại môi trường thực tế.

Từ mô hình này cũng có thể áp dụng để xây dựng một hệ thống thật trong thời gian tới trong việc hỗ trợ bảo tồn lưu trữ, đánh giá, dạy võ thuật cổ truyền trong trường phổ thông. Trong mô hình nghiên cứu (Hình 6) của luận án, luận án sử dụng ảnh màu và ảnh độ sâu thu được từ cảm biến MS Kinect v1, đó là hai loại dữ liệu thông dụng. Đồng thời dữ liệu khung xương là thường xuyên bị mất. Tiếp theo, khung xương được ước lượng trên ảnh màu với các mạng CNN là rất thông dụng và có kết quả rất tốt hiện nay. Các kết quả ước lượng 2-D được chiếu sang không gian 3-D và sử dụng bộ thư viện khung xương được xây dựng sẵn có rất nhiều lợi thế so với việc phải đi huấn luyện và ước lượng khung xương trong không gian 3-D. Bộ thư viện khung xương 3-D được xây dựng từ các bộ cơ sở dữ liệu kinh điển với vài triệu tư thế có thể có của người trong không gian.

Trong luận án này đề xuất một mô hình giải quyết các vấn đề thực tế đặt ra yêu cầu theo một trật tự thống nhất. Từ đó có cái nhìn ban đầu và định hướng trong tương lai gần cho việc xây dựng hệ thống bảo tồn, đánh giá các tư thế võ trong môi trường thế giới thực. Mô hình đề xuất bao gồm ba pha cơ bản được thể hiện như trong Hình 6.

Pha thứ nhất được gọi là pha chuẩn bị dữ liệu. Nó bao gồm các công việc như thu thập dữ liệu, hiệu chỉnh dữ liệu, biểu diễn dữ liệu trong môi trường 3-D. Pha thứ hai là ước lượng dữ liệu khung xương trong không gian 2-D và 3-D từ dữ liệu ảnh màu, ảnh độ sâu sau khi được hiệu chỉnh. Pha thứ ba là xây dựng mô hình phát triển ứng dụng như đánh giá, chấm điểm các động tác võ và nhận dạng động tác tấn công. Theo mô hình đã đề ra, luận án thực hiện giải quyết vấn đề như trên. Các nghiên cứu và

9

ứng dụng được đánh giá trên bộ dữ liệu công bố của luận án và các bộ cơ sở dữ liệu võ thuật khác được công bố trên thế giới.

Đặc biệt các nghiên cứu trong luận án được thể hiện và chia làm ba chương như

sau:

(cid:136) Mở đầu: Thể hiện vấn đề thúc đẩy thực hiện nghiên cứu này, các mục tiêu chính của luận án. Luận án cũng trình bày các điều kiện về ngữ cảnh, các ràng buộc và các thách thức trong thực hiện nghiên cứu này.

(cid:136) Chương 1: Tổng quan: Chương này chủ yếu giới thiệu tổng quan học máy, học sâu và ứng dụng, khảo sát các hệ thống về ứng dụng của ước lượng khung xương, tư thế của người trong môi trường 2-D và 3-D. Đặc biệt, các kỹ thuật liên quan đến ước lượng khung xương, tư thế của người trong cả không gian 2-D và 3-D đều được thảo luận. Luận án cũng đã trình bày các thách thức cũng như vai trò của ước lượng khung xương người trong không gian 3-D. Đồng thời miêu tả và giới thiệu về cảm biến MS Kinect và các bộ dữ liệu thu thập được từ cảm biến này, các bộ cơ sở dữ liệu lớn về ước lượng khung xương, tư thế của người trong không gian 3-D cũng được giới thiệu.

(cid:136) Chương 2: Chương này miêu tả và đánh giá việc ước lượng khung xương, tư thế người trong không gian 2-D (không gian ảnh) và 3-D.Các kết quả ước lượng khung xương, tư thế trong không gian 2-D được đánh giá trên 2-D và chiếu sang sang không gian 3-D để đánh giá. Đặc biệt trình bày chi tiết phương pháp đồng bộ hệ trục tọa độ của dữ liệu cho việc đánh giá khung xương, tư thế ước lượng được trong không gian 3-D. Đánh giá ước lượng trong không gian 3-D với bộ dữ liệu công bố của luận án về các video võ thuật cổ truyền Việt Nam. Đặc biệt là đánh giá khả năng ước lượng các khớp xương trong trường hợp dữ liệu bị che khuất. Đánh giá ước lượng khung xương, tư thế người trên các bộ dữ liệu võ cổ truyền khác đã được công bố trên thế giới. Đóng góp của chương này được công bố trong các bài báo sau:

J1. Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation by Convolutional Neural Network in The Video Traditional Martial Arts Presentation, Journal of Science and Technology, ISSN: No.139/2019, ISSN 2354-1083;pp43-49 .

J2. Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), An Evaluation of Pose Estimation in The Video Traditional Martial Arts Pre- sentation, Research and development on information and communication technology,No2/2019, ISSN: 1859-3534, (Đã chấp nhận đăng).

C1. Van-Hung Le, Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), Open-

10

Pose’s evaluation in The Video Traditional Martial Arts Presentation. 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-1-7281-5008-6, pp76-81.

J3. Tuong-Thanh Nguyen, Van-Hung Le, Long Duong, Dung Le, Thanh- Cong Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional Martial Arts Presentation. Journal of Advanced Engineering and Computation (JAEC),Vol 3, Iss 3, 2019, pp471-491.

(cid:136) Chương 3: Chương này giới thiệu về ứng dụng đánh giá, chấm điểm các động tác võ cổ truyền và nhận dạng động tác tấn công trong dữ liệu khung xương người. Đóng góp của chương này được công bố trong các bài báo sau:

J4. Nguyễn Tường Thành, Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect trong xây dựng mô hình chấm điểm động tác võ cổ truyền Việt Nam, Khoa học và Công nghệ. Đại học Đà Nẵng 2016, số 11 tr.221-224, 2016.

C2. Tuong-Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham (2017), Implementation of Technical Data Analysis of Skeleton Extracted from Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017 International Conference on Advanced Technologies for Com- munications (ATC),pp241-244, doi 10.1109/ATC.2017.8167625

C3. Nguyễn Tường Thành, Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019) Nhận dạng động tác tấn công trong võ cổ truyền bằng phương pháp cây phân loại, Hội thảo khoa học Quốc gia "Ứng dụng công nghệ mới trong Công trình xanh" lần thứ 5, AtiGB2019, pp88-97.

(cid:136) Kết luận: Đưa ra các kết luận về các nghiên cứu thành phần trong luận án và các hạn chế của luận án. Đồng thời cũng định hướng các nghiên cứu tiếp theo trong tương lai gần và trong tương lai xa hơn.

11

CHƯƠNG 1

TỔNG QUAN

1.1 Học máy, học sâu và ứng dụng

Trong chương này, luận án trước tiên trình bày lại một số lý thuyết về học máy, học sâu, các mạng nơ ron tích chập được sử dụng nhiều trong luận án. Tiếp theo luận án hệ thống hóa (survey) lại các phương thức về ước lượng khung xương (skeleton) trên cơ thể người. Các nghiên cứu thường xuất phát từ một ảnh màu, một ảnh độ sâu, một chuỗi hình ảnh hay các ảnh từ nhiều hướng nhìn khác nhau để ước lượng khung xương trên cơ thể người. Đặc biệt các phân tích về các nghiên cứu liên quan cho việc ước lượng khung xương trên cơ thể người trong không gian 2-D được trình bày trong Phần 1.3, các nghiên cứu liên quan về ước lượng khung xương trong không gian 3-D được trình bày trong Phần 1.4. Cuối cùng, các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung xương trong không gian 3-D được trình bày và phân tích trong Phần 1.5.

Luận án thực hiện các nghiên cứu dựa trên mô hình của học máy và học sâu do đó phần đầu luận án giới thiệu qua một số khái niệm, ứng dụng của học máy và học sâu.

1.1.1 Học máy

Trong luận án này điểm qua một số khái niệm cơ bản về học máy, học sâu và các ứng dụng của chúng. Trong khoảng gần 30 năm qua, khái niệm, cụm từ "Học máy (máy học) machine learning" đã được nhắc đi nhắc lại rất nhiều trong ngành công nghệ thông tin. Chi tiết hơn là khoa học máy tính, trí tuệ nhân tạo. Học máy là một lĩnh vực trong trí tuệ nhân tạo [56]. Chi tiết hơn "học máy" đã bắt đầu xuất hiện năm 1950 khi nhà bác học Turing đã tạo ra "phép thử Turing" để xác định xem liệu một máy tính có trí thông minh thực sự hay không. Để vượt qua bài kiểm tra đó, một máy tính phải có khả năng đánh lừa một con người tin rằng nó cũng là con người.

Hay Arthur Samuel năm 1952, đã viết ra chương trình học máy (computer learn- ing) đầu tiên. Chương trình này là trò chơi cờ, và hãng máy tính IBM đã cải tiến trò chơi này để nó có thể tự học và tổ chức những nước đi trong chiến lược để giành chiến thắng. Năm 1957, Frank Rosenblatt đã thiết kế mạng nơron (neural network) đầu tiên cho máy tính, trong đó mô phỏng quá trình suy nghĩ của bộ não con người. Toàn bộ quá trình phát triển của học máy được thể hiện trong [57].

12

Hình 1.1 Minh họa mô hình của học máy [58].

Trong đó định nghĩa "Học máy" được thể hiện như sau:

(cid:136) Theo Arthur Samuel (1959): "Máy học là ngành học cung cấp cho máy tính khả

năng học hỏi mà không cần được lập trình một cách rõ ràng".

(cid:136) Theo Giáo sư Tom Mitchell – Carnegie Mellon University: "Học máy là 1 chương trình máy tính được nói là học hỏi từ kinh nghiệm E từ các tác vụ T và với độ đo hiệu suất P. Nếu hiệu suất của nó áp dụng trên tác vụ T và được đo lường bởi độ đo P tăng từ kinh nghiệm E".

Hiện nay có rất nhiều thuật toán và các mô hình sử dụng học máy, cụ thể được

thể hiện trong Hình 1.1.

Học máy được chia làm hai loại là học có giám sát và học không có giám sát, như

thể hiện ở Hình 1.2, chi tiết có thể tham khảo trong [59].

Đặc biệt học máy được áp dụng trong nhiều lĩnh vực [59]: xử lý ảnh (gắn thẻ hình ảnh trên facebook, nhận dạng ký tự, ô tô tự lái, vv); phân tích văn bản (lọc spam, phân tích ngữ nghĩa, khai thác thông tin, vv); khai phá dữ liệu (Phát hiện bất thường, phát hiện các quy luật, gom nhóm, dự đoán, vv); trò chơi điện tử và Robot (chơi game, tương tác với robot, các hệ thống trợ giúp, vv). Ngày nay với sự phát triển của phần cứng máy tính và hệ điều hành, cũng như các yêu cầu từ thực tế ngày càng cao về độ chính xác và tốc độ tính toán nên trong phần tiếp theo, luận án sẽ giới thiệu khái quát về học sâu.

13

Hình 1.2 Mô hình phân loại học máy [59].

1.1.2 Học sâu

Trong những năm gần đây đã xuất hiện khái niệm học sâu. "Học sâu (deep learn- ing) là một chi của ngành máy học dựa trên một tập hợp các thuật toán để cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, hoặc bằng cách khác bao gồm nhiều biến đổi phi tuyến" [60]. Học sâu cũng nằm trong mô hình của học máy. Mô hình của học sâu được thể hiện trong Hình 1.3.

Hiện nay có nhiều kiến trúc học sâu khác nhau như mạng nơ ron sâu, mạng nơ ron tích chập sâu, mạng niềm tin sâu và mạng nơ ron tái phát đã được áp dụng cho các lĩnh vực như thị giác máy tính, tự động nhận dạng giọng nói, xử lý ngôn ngữ tự nhiên, nhận dạng âm thanh ngôn ngữ và tin sinh học, chúng đã được chứng minh là tạo ra các kết quả rất tốt đối với nhiều nhiệm vụ khác nhau.

14

Hình 1.3 Mô hình của học sâu [59].

15

1.2 Hệ thống khôi phục hoạt động của người trong không gian

3-D và chấm điểm võ thuật

1.2.1 Hệ thống khôi phục hoạt động của người trong không gian 3-D

Mingsong và các cộng sự [2] đã để xuất một mô hình theo vết và xây dựng lại khung cảnh và người trong không gian 3-D thời gian thực. Hệ thống xây dựng lại môi trường và người trong không gian 3-D dữ trên dữ liệu thu thập từ 8 cảm biến hình ảnh. Các dữ liệu thu thập được từ các cảm biến hình ảnh được hiệu chỉnh và phân đoạn để tách riêng dữ liệu của người và các dữ liệu khác. Để dự đoán và theo vết được các hành động của người, nghiên cứu sử dụng mô hình biến dạng (deformation model) dựa trên các đặc trưng biến dạng trên ảnh độ sâu. Khi có nhiều các đặc trưng có sự biến đổi mạnh hơn vượt qua ngưỡng của mô hình biến dạng thì nghiên cứu đề xuất hàm năng lượng bổ sung cho các ràng buộc của mô hình biến dạng. Đặc biệt các kỹ thuật về sử dụng hình bóng và khôi phục dữ liệu được sử dụng để khôi phục lại hình trạng của người dựa trên tập dữ liệu thu được từ các cảm biến hình ảnh. Hệ thống này phải sử dụng CPU để thu thập dữ liệu và khôi phục dữ liệu 3-D. Hay Meier và các cộng sự [7] đã xây dựng một ứng dụng khôi phục, theo vết hành động của người trong không gian 3-D. Mô hình của người được thể hiện bằng dạng lưới.

1.2.2 Hệ thống chấm điểm võ thuật

1.3 Ước lượng khung xương trên cơ thể người trong không gian

2-D

Hiện nay dựa trên các tìm hiểu của nghiên cứu sinh thì trên thế giới chưa có một hệ thống chấm điểm nào được công bố để chấm điểm các môn võ thuật như: Karate, Judo, Taekwondo,vv. Năm 2018, liên đoàn Karate thế giới mới chỉ đưa ra được một bộ quy tắc về chấm điểm các động tác trong môn Karate [20]. Bộ quy tắc này dựa trên vị trí ra đòn vào đối phương như: Đầu, mặt, cổ, ngực, bụng, đằng trước đằng sau.

Ước lượng khung xương (skeleton) và các tư thế (pose) của người là bài toán được áp dụng trong nhiều lĩnh vực [49] như: An toàn xã hội, bảo tồn các giá trị bản sắc văn hóa (bảo tồn và duy trì các bài võ, các bài múa cổ truyền dân tộc); Sản xuất các loại đồ chơi, các trò chơi; Tương tác với robot thông minh; Phân tích thể thao (phân tích chiến thuật trong các môn thể thao như bóng đá, tenis, cầu lông, vv); Bảo vệ sức khỏe (phát hiện các sự kiện ngã trong bệnh viện hoặc cho người già);...vv. Để giải quyết những bài toán này có thể dựa trên một tập hợp các phương thức như: phân tích người trong ảnh, xác định vị trí người trong ảnh, xác định vị trí các điểm đại diện trên cơ thể người(key points), xác định các khớp nối (joints) trên các điểm đại diện trên cơ thể người (skeleton). Từ đó, vấn đề ước lượng khung xương và các tư thế của người đã

16

trở thành một vấn đề được quan tâm nghiên cứu nhiều trong thị giác máy tính.

Bài toán ước lượng khung xương của người trên ảnh thường dựa trên ảnh màu, ảnh độ sâu, dựa trên đối tượng và ngữ cảnh hoạt động [49]. Chi tiết của các hướng tiếp cận này được trình bày trong phần tiếp theo.

1.3.1 Ước lượng khung xương trên ảnh màu

Thông tin ảnh màu là thông tin thông dụng nhất thu được từ các camera/cảm biến. Sự thay đổi hình dạng, tư thế của cấu trúc cơ thể người trong ảnh tạo ra đặc trưng biến đổi rất mạnh (deformation). Điều đó làm cho việc ước lượng hình trạng, khung xương trên cơ thể người gặp rất nhiều khó khăn. Sự biến đổi của cơ thể người phức tạp được tạo thành bởi sự biến đổi của các bộ phận trên cơ thể người, đó có thể chỉ là các phép biến đổi thông thường như: Phép dịch, phép xoay, hay tăng giảm kích thước.

Felzenszwalb và các cộng sự [52] đã đề xuất hướng tiếp cận cho việc huấn luyện sự thay đổi kích thước (multiscale) và mô hình biến dạng thành phần (Deformable Part Model - DPM) cho việc phát hiện đối tượng trên ảnh. Trong mô hình biến dạng một phần, cơ thể người được biểu diễn thành cấu trúc hình sao, bao gồm một bộ lọc gốc, một bộ các bộ phát hiện bộ phận và một mô hình biến dạng một phần. Trong mô hình DPM, biến dạng được coi là vị trí tương đối của các bộ phận cơ thể. Các đặc trưng được trích xuất được huấn luyện trên bộ phân lớp SVM (Support Vector Machine) để dự đoán vị trí của các bộ phận trên cơ thể người.

Sun và các cộng sự [53] đã đề xuất mô hình dựa trên phần khớp nối (Articulated Part-based Model (APM)) để phát hiện các bộ phận của cơ thể người và ước lượng tư thế của người. Mô hình APM thể hiện một đối tượng như là một bộ sưu tập của nhiều phần ở mức độ chi tiết khác nhau, từ thô đến mịn, trong đó các bộ phận ở mọi mức độ được kết nối với mức độ thô hơn thông qua mối quan hệ cha con. Các mô hình và quan hệ ở các mức độ được học để phát hiện ra đối tượng. Pishchulin và các cộng sự [54] cũng như Andriluka [55], đều sử dụng phương thức chia cơ thể người thành các bộ phận và huấn luyện mô hình trên các bộ phận cho việc dự đoán tư thể của người. Như Andriluka [55] thì sử dụng AdaBoost cho việc dự đoán tư thế của người.

Berti và các cộng sự [50] đã đề xuất một hướng tiếp cận để cải thiện độ chính xác của ước lượng các hình trạng người sử dụng mô hình biến đổi phần (deformation part model) để vượt qua sự phức tạp tính toán. Mô hình biến dạng bộ phận như trước đây chỉ được trích xuất qua kênh RGB, trong nghiên cứu này, sử dụng thêm kênh độ sâu (depth channel) để có được mô hình biến dạng bốn chiều (4-D). Do số chiều tăng lên nên để giảm độ phức tạp tính toán thì cần giảm số lượng các khớp trong không gian biến dạng 4 chiều. Cuối cùng, giải pháp hoàn chỉnh có được bằng cách giải quyết các

17

khớp bị bỏ qua bằng cách sử dụng các mô hình động học nghịch đảo. Mục tiêu chính của nghiên cứu này là phân tích ảnh hưởng đến độ chính xác của ước lượng các khớp xương khi sử dụng bộ lọc Kalman được thêm vào mô hình biến dạng một phần 4 chiều.

1.3.2 Ước lượng khung xương trên ảnh độ sâu

Cùng với sự phát triển của phần cứng máy tính và công nghệ cảm biến. Thông tin thu được từ các loại cảm biến ngoài ảnh màu còn có thể thu được thông tin về độ sâu. Thông tin 2-D là thông tin trên ảnh màu. Khi thu được ảnh độ sâu nữa thì thông tin thu được từ môi trường là thông tin 3-D (thông tin về thế giới thực). Thông tin độ sâu là rất hữu ích để giải quyết sự thay đổi ngoại hình, biến dạng và các vấn che khuất, cải thiện độ tin cậy và độ chính xác của ước lượng từ người trong các cảnh phức tạp.

Plagemann và các cộng sự [62] đã đề xuất một thuật toán lọc hiệu quả cho việc theo dõi các tư thế của người với tốc độ xử lý thời gian thực (4 đến 10 khung hình/giây) sử dụng một đoạn video dữ liệu độ sâu thu được từ một cảm biến độ sâu. Trong mỗi lần lặp bộ lọc, các tác giả áp dụng một hình thức tìm kiếm dựa trên mô hình cục bộ khai thác đặc tính của chuỗi khung hình liên tiếp. Vì các chuyển động của người là nhanh và có thể bị che khuất nên có thể phá vỡ tìm kiếm cục bộ, bài báo sử dụng một bộ phân loại được huấn luyện trên các bộ phận của cơ thể để phát hiện các bộ phận cơ thể.

Shotton và các cộng sự [63] đã đề xuất một phương thức mới để dự đoán nhanh và chính xác các vị trí 3-D của khớp cơ thể từ một hình ảnh có độ sâu duy nhất, không sử dụng thông tin tạm thời. Bài báo thực hiện một cách tiếp cận nhận dạng đối tượng, thiết kế một biểu diễn các bộ phận cơ thể trung gian để ánh xạ việc ước tính trong các trường hợp khó thành vấn đề phân loại trên điểm ảnh đơn giản hơn. Tập dữ liệu huấn luyện lớn và rất đa dạng cho phép bộ phân loại ước lượng các bộ phận cơ thể bất biến, hình dạng cơ thể, quần áo, v.v ... Cuối cùng, bài báo tạo ra các mô hình 3-D để đánh giá các khớp cơ thể ước lượng được. Hệ thống có thể chạy với tốc độ 200 khung hình/giây. Đánh giá của bài báo cũng cho thấy độ chính xác cao trên cả hai bộ cơ sử dữ liệu sinh và thực tế, và đánh giá sự ảnh hưởng của một số tham số huấn luyện mô hình. Bài báo đạt được độ chính xác cao khi so sánh với các công việc liên quan và được chứng minh cải thiện được độ chính xác của việc ước lượng khung xương trên toàn bộ cơ thể người. Đặc trưng sử dụng cho việc huấn luyện mô hình là đặc trưng bất biến với các phép biến đổi tư thế và hình dáng của cơ thể người.

Plagemann và các cộng sự [64] đã thực hiện việc phát hiện và xác định các bộ phận cơ thể trong ảnh độ sâu. Bài báo thực hiện phát hiện các điểm quan tâm trên dữ liệu lưới của người. Các điểm quan tâm được xác định dựa trên việc xác định cực trị trên bề mặt lưới, trùng khớp với các điểm nổi bật của cơ thể, các điểm có thể được phân loại tay, chân hoặc đầu sử dụng đặc trưng mô tả hình dạng cục bộ (local shape

18

descriptors). Cách tiếp cận của bài báo cũng cung cấp một cách tự nhiên để ước lượng một vectơ định hướng 3-D cho một điểm quan tâm nhất định. Điều này có thể được sử dụng để chuẩn hóa các đặc trưng để đơn giản hóa việc phân loại cũng như trực tiếp ước lượng định hướng của các bộ phận cơ thể trong không gian. Các đặc trưng mô tả hình dạng cục bộ được huấn luyện trên các mảnh (patchs) để phân biệt các bộ phận trên cơ thể.

Jain và các cộng sự [65] đã trình bày một cách tiếp cận dựa trên mô hình để phát hiện và ước lượng tư thế của người bằng cách kết hợp dữ liệu ảnh màu và độ sâu từ một cảm biến. Hệ thống được đề xuất sử dụng mô hình phát hiện dựa trên tầng (Haar cascade) và khớp mẫu để thực hiện theo dõi các bộ phận cơ thể như đầu và thân. Một mô hình hình que được sử dụng để thể hiện các bộ phận cơ thể được phát hiện. Việc khớp sau đó được thực hiện độc lập cho từng bộ phận, sử dụng bản đồ biến đổi khoảng cách có trọng số. Đầu ra là một mô hình phù hợp với tư thế của người trong khi đầu vào đã cho là hình ảnh. Thuật toán hoạt động trong thời gian thực, hoàn toàn tự động và có thể phát hiện nhiều người không giao nhau. Tuy nhiên hệ thống này mới chỉ thực hiện ước lượng các chi của người. Trong đó kết quả ước lượng các bộ phận như đầu có độ chính xác là 98%, tay là 86.4%.

Như trình bày [69] trong một đánh giá gần đây của tiếp cận dựa trên video RGB và [70] cho tiếp cận dựa trên lược đồ ảnh chiều sâu. Hiện phương pháp nhận dạng hành động của người dựa trên khung xương có thể được phân thành hai loại chính: tiếp cận dựa trên khớp nối và dựa trên phần cơ thể. Tiếp cận dựa trên khớp nối xem khung xương người như một tập hợp các điểm đại diện được nối với nhau thông qua các khớp, hướng tiếp cận dựa trên phần cơ thể xem khung xương người như sự kết nối các phần cơ thể.

Tiếp cận dựa trên khớp nối: Khung xương người được biểu diễn trong [71] sử dụng các điểm đại diện được kết nối 3-D với nhau và các quỹ đạo được biểu diễn theo mô hình phân cấp theo thời gian của hiệp phương sai.

Fengjun và các cộng sự [72] đã biểu diễn khung xương người sử dụng mô hình Markov ẩn (Hidden Markov Models - HMMs). Một tập 13 quỹ đạo chung trong một không gian 4-D XYZT đã được sử dụng trong [73] để biểu diễn cho một hành động của con người và phép chiếu hình học (affin) của chúng được so sánh dùng một không gian con các phép đo tương tự bất biến dựa trên các góc.

Trong Wang và các cộng sự [74] đã biểu diễn khung xương người sử dụng vị trí tương đối giữa cặp các khớp xương và các biến đổi theo thời gian của biểu diễn này được mô hình dùng hệ thống thứ bậc các hệ số của phép biến đổi theo thời gian và không gian (Fourier). Hơn nữa, cách tiếp cận dựa theo nhóm hành động đã được sử dụng với sự kết nối các điểm phân biệt được lựa chọn dùng cách tiếp cận học trên đặc

19

trưng nhiều nhân (multiple kernel).

Trong nghiên cứu [75] khung xương người được biểu diễn bằng các vị trí kết nối tương quan thông qua dịch chuyển tạm thời của khớp và bù của khớp liên quan đến khung hình khởi điểm ban đầu. Phân loại hành động được thực hiện bằng cách dùng quy tắc Naive Bayes láng giềng gần nhất trong một không gian kích thước nhỏ hơn được xây dựng bằng các phân tích thành phần đặc trưng (Principal Component Analysis - PCA). Một biểu diễn khung xương tương tự đã được sử dụng với phương pháp cây ngẫu nhiên trong nghiên cứu [76]. Một biểu diễn khung cảnh bất biến của khung xương người đã đạt được trong [26] bằng cách lượng tử hóa các điểm 3-D vào lược đồ dựa trên hướng của chúng đối với một hệ tọa độ cố định ở vị trí hông làm trung tâm. Những biến đổi theo thời gian của biểu diễn khung cảnh bất biến này được mô phỏng dùng các HMMs.

Tiếp cận dựa trên các bộ phận: Cơ thể con người được chia thành năm phần khác nhau trong [77] và hoạt động của con người được thể hiện bằng cách sử dụng các thông số chuyển động của các phần cơ thể riêng dịch chuyển ngang và dọc hoặc quay trong mặt phẳng, v.v. PCA được sử dụng để biểu diễn cho một hành động của người như một tổ hợp tuyến tính của tập các hành động cơ bản và phân loại chúng được thực hiện bằng cách so sánh các hệ số PCA.

Chaudhry và các cộng sự [78] đã chia một khung xương người thành các phần nhỏ hơn và mỗi một phần được biểu diễn dùng một số đặc trưng lấy cảm hứng từ hình dạng sinh học. Những biến đổi thời gian của các đặc trưng lấy cảm hứng từ hình dạng sinh học được mô phỏng bằng các hệ tuyến tính động. Trong [79] một vài thông tin điểm kết nối xương được lựa chọn tự động tại mỗi trường hợp theo thời gian dựa trên các phép đo trung bình hoặc biến đổi các góc chung, biến đổi vận tốc góc tối đa của các khớp xương, v.v. Sau đó hành động của con người được thể hiện theo trình tự thông tin của các khớp, chúng được so sánh bằng cách dùng khoảng cách Levenshtein (thể hiện khoảng cách khác biệt giữa hai chuỗi ký tự). Trình tự của khung xương được trình bày trong [80] sử dụng các cặp giống nhau về cấu trúc giữa phép chiếu góc kết nối và sau đó phân loại sử dụng SVM tuyến tính.

Ngoài các hướng tiếp cận dựa trên việc học là chính cho ước lượng khung xương của người thì còn hướng tiếp cận dựa trên đại số. Vemulapalli và các cộng sự [81] đề xuất một biểu diễn khung xương mới được mô hình một cách rõ ràng mối tương quan hình học 3-D giữa các phần cơ thể khác nhau sử dụng phép quay và tịnh tiến trong không gian 3D. Vì các vận động cơ thể 3D một cách thô là các thành phần của một nhóm Euclide đặc biệt SE(3), các biểu diễn khung xương được đề xuất sẽ được mô tả dựa trên nhóm Lie SE(3) ×. . . × SE(3) là một đa tạp cong. Với cách biểu diễn này thì các vận động của cơ thể người có thể được mô hình hóa như đường cong trong một

20

nhóm Lie. Do việc phân lớp các đường cong trong nhóm Lie không đơn giản nên cần phải ánh xạ các đường cong mô tả hoạt động này từ nhóm Lie vào đại số Lie tức là trên một không gian vector. Sau đó chúng ta thực hiện phân lớp dựa trên tổ hợp kỹ thuật so khớp chuỗi thời gian động (Dynamic Time Warping- DTW) (dùng để so khớp độ tương tự giữa hai chuỗi trạng thái theo thời gian) biến động sai lệch thời gian, biểu diễn tháp (người ta hay dùng pyramid) thời gian Fourier và kỹ thuật huấn luyện SVM tuyến tính. Kết quả thí nghiệm trên ba bộ dữ liệu hành động cho thấy rằng biểu diễn đề xuất thực hiện tốt hơn so với nhiều biểu diễn khung xương hiện có. Các phương pháp đề xuất cũng nhanh hơn so với nhiều hướng tiếp cận nhận diện hành động con người dựa trên khung xương mới nhất.

1.3.3 Ước lượng tư thế dựa trên đối tượng và ngữ cảnh hoạt động

Hầu hết các hành động trên cơ thể người sẽ quyết định tư thế của người. Do đó việc phát hiện và nhận dạng hành động cơ thể người thường có vai trò bước đầu cho việc ước lượng tư thế của người. Cụ thể hơn là việc phát hiện và nhận dạng các bộ phận trên cơ thể người. Thường thì việc ước lượng các tư thế của người thường đi kèm với bài toán phát hiện và nhận dạng hành động và mối liên hệ giữa đối tượng và hành động của người.

Desai và các cộng sự [66] đã trình bày một cách tiếp cận mới để mô hình hóa tư thế của con người, cùng với các đối tượng tương tác, dựa trên các mô hình thành phần của các tương tác và các mối quan hệ của họ. Các mô hình khung xương của người, mới chỉ phát hiện và ước lượng được các khớp nối lớn, còn không thể mô hình/ước lượng chính xác khi bị che khuất và tương tác. Để giải quyết bài toán ước lượng tư thế, phát hiện, nhận dạng hành động trong trường hợp này đòi hỏi một bộ mẫu huấn luyện lớn. Bài báo này kết hợp cả ba cách tiếp cận với một mô hình thành phần linh hoạt đủ để ước lượng mô hình khớp nối chi tiết nhưng vẫn đảm bảo được các phần và tương tác đối tượng. Mô hình huấn luyện cho việc phát hiện nhận dạng hành động được huấn luyện từ các mảnh nhỏ của các hành động. Các phát hiện hành động và phân loại hành động được thực hiện và đánh giá so sánh với các phương thức cơ sở trên bộ cơ sở dữ liệu có nhiều thách thức PASCAL. Ví dụ như Hình 1 trong bài báo này là phát hiện hành động cưỡi ngựa, từ đó ước lượng ra tư thế của người.

Singh và các cộng sự [67] đã giải quyết vấn đề ước lượng tư thế của người trong một hình ảnh tĩnh khi người thực hiện một hành động có thể liên quan đến tương tác với các đối tượng cảnh. Trong kịch bản như vậy, có thể ước lượng chính xác hơn bằng cách sử dụng kiến thức về đối tượng trong cảnh. Bài báo đề xuất cây ngữ cảnh cho việc nối giữa mô hình tư thế và đối tượng của con người trong tương tác. Để ước lượng tư thế trong một hình ảnh, bài báo trình bày một mô hình Bayes để tối ưu ghép nối bằng cách tối đa hóa khả năng trên nhiều cây ngữ cảnh cho tất cả các tương tác. Bài

21

báo đánh giá cách tiếp cận của luận án trên bộ dữ liệu gồm 65 hình ảnh và cho thấy suy luận chung của tư thế và bối cảnh cho độ chính xác cao hơn.

Yao và các cộng sự [68] đã đề xuất một mô hình kết nối tương tác giữa các đối tượng và tư thế của người. Theo cách tiếp cận của bài báo, phát hiện đối tượng cung cấp một ưu tiên mạnh để ước lượng tư thế con người tốt hơn, trong khi tư thế con người ước lượng được sử dụng để cải thiện độ chính xác của việc phát hiện các đối tượng. Mô hình kết hợp này được đánh giá trên tập dữ liệu các hành động trong thể thao như đánh tenis, hay trong biểu diễn nhạc cụ.

Ở Việt Nam hiện nay cũng có một số nghiên cứu về phát hiện nhận dạng hành động liên quan đến tư thế và khung xương của người. Như Ha và các cộng sự [82] đã đề xuất giải pháp nhận dạng hành vi té ngã thông qua ảnh chiều sâu thu nhận được từ thiết bị Kinect do Microsoft sản xuất. Quá trình xử lý bao gồm các bước: (1) Thu nhận các đặc trưng về khung xương và đường biên cơ thể thông qua việc sử dụng Kinect; (2) Tính toán các thông số đặc trưng gồm vị trí khớp và tốc độ khớp; (3) So sánh các giá trị thông số đặc trưng đó với các giá trị ngưỡng, nếu các đặc trưng đó vượt quá ngưỡng và không tiếp tục có sự biến động lớn, hành vi té ngã được giả định rằng đã xảy ra. Kết quả thực nghiệm trong môi trường thực tế và bộ cơ sở dữ liệu MOCAP(MOtion CAPture) về khung xương cho thấy giải pháp đề xuất mang lại hiệu quả hứa hẹn Việc phát hiện hành động ngã là dựa trên vị trí của các khớp xương so với mặt sàn. Mặt phẳng sàn là mặt phẳng đánh dấu cho việc phát hiện nhận dạng các hành động khác. Nó là một mặt phẳng cố định mà hệ thống bắt buộc phải phát hiện.

Hay nghiên cứu của Phạm và các cộng sự [83] đã trình bày về khả năng nhận dạng 20 tư thế người với dữ liệu thu được từ camera Kinect, dữ liệu thu được từ nhiều người với chiều cao khác nhau và góc thu dữ liệu khác nhau. Lợi thế của việc sử dụng dữ liệu khung xương thu từ camera Kinect là không bị ảnh hưởng bởi sự thay đổi của ánh sáng hay độ nhiễu của hình ảnh. Nghiên cứu cũng sẽ đưa ra 4 phương pháp trích đặc trưng từ dữ liệu khung xương thu thập được từ camera Kinect. Sau đó, bộ dữ liệu sẽ được đem đi huấn luyện bằng mô hình máy học véc-tơ hỗ sợ (SVM). Qua thực nghiệm cho thấy độ chính xác khi nhận dạng tư thế người đạt hơn 98%.

1.3.4 Nhận xét

Như vậy, chúng ta có thể thấy hầu hết các hướng tiếp cận cho việc ước lượng tư thế của người trong không gian 2-D từ ảnh đều được thực hiện dựa trên việc học các đặc trưng trên ảnh màu hoặc ảnh độ sâu. Các đặc trưng có thể là đặc trưng trên toàn bộ cơ thể, từ các bộ phận của cơ thể, hay sự biến dạng của các bộ phận trên cơ thể. Tuy nhiên, việc huấn luyện và ước lượng tư thế người trên ảnh thường không giải quyết được bài toán khi một số bộ phận của người bị che khuất.

22

1.4 Ước lượng khung xương và tư thế người trong môi trường

3-D

Ước lượng tư thế người và chuyển động là công việc sử dụng phần lớn các kỹ thuật về thị giác máy tính. Bài toán này có thể thực hiện dựa trên 1 hình ảnh hoặc một chuỗi hình ảnh thu được từ môi trường. Bài toán ước lượng tư thế người và hành động được áp dụng trong nhiều lĩnh vực như: Trong tương tác người máy (như nhận dạng ngôn ngữ cử chỉ hay nhận dạng cử chỉ), tương tác người với robot, giám sát video (sử dụng để truyền đạt hành động của con người) [84]. Việc ước lượng tư thế người cũng được thực hiện theo hai hướng tiếp cận cơ bản: Ước lượng tư thế người từ một ảnh; Ước lượng tư thế người từ chuỗi ảnh. Thường thì việc ước lượng tư thế người trong không gian 3-D được xuất phát từ ước lượng tư thế người trong không gian 2-D. Mô hình thường áp dụng cho việc ước lượng tư thế người trong không gian 3-D được thể hiện trong hình 3 của [84]. Đặc biệt ước lượng 3-D khung xương và tư thế của người là một kỹ thuật rất cần thiết trong việc xây dựng lại môi trường thực tế và ước lượng các khớp xương trong trường hợp các bộ phận các chi của người bị che khuất.

1.4.1 Phục hồi tư thế 3-D của người từ một ảnh

Vấn đề ước lượng 3-D khung xương và tư thế của người là vấn đề có rất nhiều thách thức trong thị giác máy tính như: Các hoạt động phi tuyến của người, bị che khuất bởi nền, lộn xộn các khớp trong không gian 2-D, sự nhập nhập nhằng giữa 2-D và 3-D. Hầu hết các nghiên cứu dựa theo hướng tiếp cận này đều sử dụng học sâu (deep learning) cho việc huấn luyện mô hình ước lượng.

Tome và các cộng sự [85] đã đề xuất một mô hình mạng nơ ron tích chập cho việc huấn luyện mô hình ước lượng khung xương trong không gian 2-D. Và mô hình chiếu việc ước lượng trong không gian 2-D sang không gian 3-D bằng việc huấn luyện mô hình ước lượng 3-D từ 3.6 triệu hành động của người trong không gian 3-D từ bộ cơ sở dữ liệu Human 3.6M [86], [89]. Trong đó dữ liệu đầu vào của hệ thống là ảnh màu, sau đó hệ thống thực hiện ước lượng khung xương trên ảnh màu với đầu ra là 14 điểm đại diện, sau đó 14 điểm ước lượng được sẽ được chiếu vào không gian 3-D và ước lượng đầu ra là 17 điểm đại diện trong không gian 3-D.

Fang và các cộng sự đã [90] đề xuất một ngữ pháp tư thế để giải quyết vấn đề ước lượng 3-D tư thế con người. Mô hình của trong bài báo này trực tiếp lấy tư thế 2-D làm đầu vào và tìm cách ánh xạ các điểm đại diện trong 2-D sang không gian 3-D. Mô hình đề xuất bao gồm một mạng để phát huy các đặc trưng liên kết theo tư thế và hệ thống phân cấp về một bộ kiến thức cấu trúc cơ thể người (ví dụ: động học, đối xứng, điều phối động cơ). Mô hình đề xuất được thực hiện trên các ràng buộc cấp cao với các tư thế của người.

23

Timm và các cộng sự [91] đã chọn ra được một mô hình để ước lượng 3-D tư thế người trong trường hợp dữ liệu bị che khuất trên bộ cơ sở dữ liệu Human 3.6M [86], [89]. Trong đó quá trình ước lượng khung xương và các khớp nối trên 2-D các tác giả sử dụng mạng ResNet-50 [92]. Sau đó toạ độ của mỗi điểm đại diện ước lượng được được chiếu sang không gian 3-D. Dữ liệu che khuất được tạo ra dựa trên các cấu trúc hình tròn, hình chữ nhật với kích thước khác nhau trên ảnh màu. Dữ liệu học là các cảnh (S1, S5, S6, S7, S8) dữ liệu kiểm tra là các cảnh (S9, S11) của bộ dữ liệu Human 3.6M [86], [89].

Ngoài ra cũng có rất nhiều nghiên cứu về ước lượng 3-D khung xương, tư thế người từ một ảnh (khung hình) được thực hiện sớm hơn. Các nghiên cứu này được liệt kê và tóm tắt trong bảng 1 của bài báo [84].

1.4.2 Phục hồi tư thế 3-D của người

Mặc dù gần đây dựa trên những thành công của học sâu (deep learning), điển hình là các mạng nơ ron tích chập đã được đề xuất cho bài toán ước lượng 3-D khung xương và tư thế người. Quá trình này sử dụng các mạng nơ ron tích chập để huấn luyện và ước lượng trong không gian 2-D sau đó ánh xạ vào không gian 3-D. Tuy nhiên, ước lượng tư thế 3-D từ các khung hình riêng lẻ dẫn đến ước lượng không thống nhất theo thời gian do lỗi độc lập trong mỗi khung hình gây ra. Do đó, Hossain và các cộng sự [93] đã sử dụng thông tin tạm thời trên một chuỗi các vị trí khớp 2-D để ước lượng một chuỗi các tư thế 3-D. Bài báo đã thiết kế một mạng chuỗi theo trình tự bao gồm các đơn vị LSTM (Long Short-Term Memory) được chuẩn hóa lớp với các kết nối đầu vào với đầu ra ở phía bộ giải mã và sử dụng ràng buộc độ mịn theo thời gian trong quá trình huấn luyện. Với kiến trúc mạng như vậy làm cho bộ ước lượng chính xác hơn đến hơn 12% trên bộ cơ sở dữ liệu Human 3.6M [86], [89].

Cũng có nhiều nghiên cứu cũ hơn trong việc ước lượng 3-D khung xương, tư thế người sử dụng một chuỗi ảnh từ một cảm biến. Các nghiên cứu này được liệt kê và tóm tắt trong bảng 3 của bài báo [84] và các nghiên cứu về ước lượng 3-D khung xương, tư thế người sử dụng 1 khung hình tương ứng ở nhiều hướng nhìn khác nhau được liệt kê và tóm tắt trong bảng 2 của bài báo [84].

Hầu hết các nghiên cứu về ước lượng khung xương, tư thế trong không gian 3-D đều sử dụng các mô hình mạng CNN để huấn luyện và ước lượng khung xương trên 2-D (thường áp dụng cho đầu vào là ảnh màu)(các nghiên cứu của Pavllo CS. [135], Wang CS. [138], wang CS. [144], vv) hoặc sử dụng dữ liệu gốc trên 2-D ( thường áp dụng cho ảnh đầu vào ảnh độ sâu) (các nghiên cứu của Karim CS. [147], Hossain CS. [93], vv), sau đó chiếu sang không gian 3-D sử dụng bộ cơ sở dữ liệu gốc về khung xương trong không gian 3-D hoặc sử dụng bộ tham số trong của chính các camera đã thu thập dữ liệu để chiếu dữ liệu sang không gian 3-D. Đặc biệt hầu hết các nghiên

24

cứu về ước lượng khung xương trong không gian 3-D đều được đánh giá trên bộ cơ sở dữ liệu Human3.6M [86] với các độ đo thông dụng như sau: MPJPE (Mean Per Joint Position Error) [135], PCK (Percentage of Correct Keypoints), và AUC (Area Under Curve) [136], PMPJPE (Procrustes Aligned Mean Per Joint Position Error) [159], vv. Các nghiên cứu này thường đánh giá trên các bộ cơ sở dữ liệu như: Human3.6M [86], LSP [150], 3DHP[146], MPII [154],HumanEva-I[33], Football II [149], Invariant-Top View [62, 27], MPI-INF3DHP [146], MuPoTS-3D [141], AIChallenger [144].

Trong đó kết quả ước lượng khung xương trong không gian 3-D dựa trên độ đo

M P JP E được thể hiện trong Bảng 1.1.

1.4.2.1 Phục hồi khung xương, tư thế người trong không gian 3-D từ một ảnh

Theo báo cáo trong khảo sát của Sarafianos và các cộng sự [84], để giải quyết ước lượng tư thế người trong không gian 3-D từ một hình ảnh, thường thực hiện ước lượng tư thế người trong không gian 2-D và sau đó ước lượng độ sâu của nó bằng cách so khớp với thư viện của các tư thế 3-D như Hình 1.4. Bảng 1.2 thể hiện tóm tắt về các thông tin của các nghiên cứu dựa trên hướng tiếp cận ước lượng, khôi phục khung xương người trong không gian 3-D từ một ảnh. Trong bảng này, luận án thể hiện năm (year), thông tin tác giả (Main Author/ reference), có sử dụng bộ thư viện khung xương cho việc khôi phục khung xương không (3-D pose library), ý tưởng cơ bản của nghiên cứu (Method Highlights), cơ sở dữ liệu sử dụng để đánh giá (Evaluation dataset), các độ đo đánh giá (Evaluation matrix).

1.4.2.2 Phục hồi khung xương, tư thế người trong không gian 3-D từ một chuỗi ảnh

Hướng tiếp cận ước lượng khung xương trong không gian 3-D từ một chuỗi ảnh có thể là một chuỗi ảnh thu được từ nhiều camera (multi-view) hoặc một chuỗi khung hình liên tiếp thu được một camera. Trong phần này, luận án khảo sát các nghiên cứu theo hướng tiếp cận này, như được trình bày trong Bảng 1.3. Bảng này cũng được trình theo giống cấu trúc của Bảng 1.2.

1.4.3 Nhận xét

Như đã trình bày ở trên, việc phục hồi tư thế 3-D của người với một ảnh đầu vào hoặc một chuỗi ảnh đầu vào thì thường thực hiện ước lượng tư thế trên ảnh. Với phương thức ước lượng có đầu vào là một ảnh thì thực hiện ước lượng tư thế trên ảnh sau đó thực hiện ánh xạ sang không gian 3-D nhờ một bộ cơ sở dữ liệu về tư thế của người trong 3-D. Quá trình huấn luyện ước lượng tư thế trong không gian 3-D là quá trình tìm kiếm (matching) bộ tư thế tốt nhất trong bộ cơ sở dữ liệu tư thế mà có độ sâu tương ứng. Trong khi hướng tiếp cận với đầu vào là một chuỗi ảnh từ một camera hoặc từ nhiều hướng nhìn khác nhau (trên nhiều camera) thì cũng thực hiện ước lượng

25

tư thế trên ảnh, sau đó sử dụng bộ tham số trong của các camera và bộ tham số hiệu chỉnh các ảnh để ánh xạ các điểm đại diện, khớp nối ước lượng được trong không gian 3-D. Đặc biệt hướng tiếp cận dựa trên một chuỗi hình ảnh thì có kết quả tốt hơn cho việc phát hiện và theo vết người (tracking), hướng tiếp cận này có tính đến tham số về không gian và thời gian trong quá trình ước lượng. Còn hướng tiếp cận có một ảnh đầu vào có lỗi tích lũy về thời gian trên các khung hình liên tiếp nhau. Hầu hết các nghiên cứu đều được đánh giá trên các bộ cơ sở dữ liệu chuẩn (benchmark)(các bộ cơ sở dữ liệu cung cấp các tập huấn luyện, tập xác nhận, tập kiểm tra) như Human3.6M [86], HumanEVA [103], MPII [104]. Trong phần tiếp theo nghiên cứu sinh sẽ miêu tả chi tiết hơn về các bộ cơ sở dữ liệu này.

26

Bảng 1.1 Thống kê các nghiên cứu ước lượng khung xương của người trong không gian 3-D mà có đánh giá trên cơ cở dữ liệu Human3.6M [86] và kết quả ước lượng.

Phương thức

Kết quả ước lượng trung bình (với độ đo MPJPE) (mm)

Pavllo CS. [135]

Protocol 1: 51.8 Protocol 2: 40.0 57.0 Protocol #1: 61.1 Protocol #1: 63.67

Nibali CS. [136] Veges CS. [137] Wang CS. [138] Martinez CS. [139] protocol #1: 45.5 Pavlakos CS. [143] Wang CS. [144] Hossain CS. [93]

Li CS. [145]

Karim CS. [147]

Fang CS. [90]

Tekin CS. [148] Omran CS. [156] Pavllo CS. [157] Bastian CS. [158] Kocabas CS. [159] Rhodin CS. [124]

Mehta CS. [128]

Tome CS. [85]

51.9 Protocol#1: 40.8 Protocol #1: 39.2 Protocol #1: 52.7 Protocol #2: 42.6 Protocol 1: 49.9 Protocol #1: 60.4 Protocol #2: 45.7 Protocol #3: 72.8 50.12 59.9 36 Protocol #1: 50.9 51.83 131.7 ResNet 100: 82.5 ResNet 50: 80.5 Protocol #1: 88.39 Protocol #2: 70.4 Protocol #3: 79.6

27

Hình 1.4 Minh họa phương thức ước lượng tư thế, khung xương trong không gian 3-D [155]: Đầu vào là một ảnh màu (RGB), đầu tiên là ước lượng khung xương trong không gian ảnh (2-D) sau đó ước lượng giá trị độ sâu của khung xương bằng việc tìm kiếm một mô hình khung xương, tư thế phù hợp. Khung xương ước lượng được có màu đỏ, khung xương gốc có màu xám.

28

Năm

Tham khảo

3-D Thư viện pose

Dữ liệu đánh giá

Độ đo đánh giá

Ý tưởng chính của phương thức

Ước lượng tư thế người 2D sử dụng Mask R-CNN với ResNet-101-FPN, sử dụng nó để thực hiện trong

Pavllo

2019

Có

MPJPE

Human3.6M HumanEva-I

CS. [135]

Detectron, cũng như mạng kim tự tháp xếp tầng (CPN) (mô hình huấn luyện trên COCO); Ước lượng tư thế 3D: Tối ưu sử dụng Amsgrad và huấn luyện cho 80 epochs

trong cơ sở dữ liệu Human3.6M

PCK

Ước lượng tư thế 2D, tọa độ dự đoán bằng mô hình giống với tọa độ xy như đầu vào, điều đó là đơn giản để xây dựng một

Nibali

MPJPE

Không

2019

MPII Human3.6M

convolutional network mà bản đồ đầu vào RGB đến bản đồ nhiệt xy. Dự đoán tọa độ 3D và tránh các vùng không mong muốn

CS. [136]

AUC

bằng cách dự đoán đường biên trong 2D bản đồ nhiệt theo sơ đồ soft-argmax.

Wang

Tư thế 2D được ước lượng bằng cách sử dụng mạng convolutional pose machines. Từ mạng con cho ước lượng 2D,

Human3.6M

MPJPE

2019

Có

HumanEva-I

CS. [138]

ước lượng 3D được điều chỉnh từ kết quả ước lượng 2D trong không gian vector phù hợp với kết quả tư thế 3D dự đoán.

Bộ phát hiện tư thế 2D trên các phương thức cơ sở của nhiều người

Veges

Không

MuPoTS-3D

MPJPE

2019

dựa trên OpenPose trên ảnh độ sâu; chiếu từ thành phần 2D sang 3D component được gọi là 3D PoseNet.

CS. [140]

Những tiến bộ đáng kể trong ước lượng tư thế 2D của người bằng cách dử dụng mô hình ước lượng deep Convolutional

MPII

2019

MPJPE

Có

Neural Networks (CNNs) và có khả năng với các kích thước khác nhau của cơ sở dữ liệu 2D được đánh dấu bằng tay Các tác giả đã đề xuất một phương thức đơn mới

Wang CS. [144]

LSP AIChallenger Human3.6M

để tạo ra một ước lượng tư thế 3D tốt từ các nhãn được đánh dấu trên ảnh.

Li

Human3.6M

Các tác giả đã sử dụng phương thức hiện đại hour glass network để ước lượng các khớp xương trong 2D;Đề xuất một cách

2019

Không

MPJPE

CS. [145]

MPII MPI-INF 3DHP

tiếp cận mới để tạo ra nhiều giả thuyết khả thi về ước lượng các khớp 3D từ khớp 2D

Tư thế 2D được xác định với một thành phần có sẵn và sau đó vị trí 3D của khớp được dự đoán

2018

Có

Human3.6M

MPJPE

Veges CS. [137]

ước lượng khung xương 3D: sử dụng tối ưu Adam với một tỷ lệ học 0.001 và phân rã theo cấp số nhân với tỷ lệ 0.96. Kích thước patch là 256, huấn luyện cho 100

epochs.

COCO

2018

Có

MPJPE

Sun CS.

Đầu tiên, một thành phần phát hiện hộp người trong ảnh đầu vào RGB. Thứ hai, một camera chiếu các thành phần sử dụng để chiếu sang 3D ground truth to

MPII

[142]

tọa độ hệ thống, được thống nhất là pixel/ voxel theo phương thức phân loại học.

Fang

Ước lượng tư thế 2D, tồn tại nhiều kích thức ước lượng các cơ sở dữ liệu (Andriluka CS. 2014; Charles CS. 2016);

Human3.6M

MPJPE

2018

Có

CS. [90]

HumanEva-I MPII

các tác giả đã phát triển một mạng ngữ nghĩa kết hợp cả khả năng mã hóa mạnh mẽ của deep neural networks

và phụ thuộc cấp cao và quan hệ của cơ thể con người

Các tác giả đã đề xuất phương thức mới (Neural Body Fitting

2018

Không

MPJPE

(NBF)). Nó tích hợp một mô hình cơ thể thống kê trong một CNN, tận dụng phần cơ thể ngữ nghĩa từ dưới lên đáng tin cậy

Omran CS. [156]

UP-3D HumanEva-I Human3.6M

phân đoạn và các ràng buộc mô hình cơ thể từ trên xuống mạnh mẽ.

QuaterNet, đại diện cho luân chuyển với tứ phương và của chúng tôi

2018

Không

Human3.6m

MPJPE

hàm phạt thực hiện chuyển động về phía trước trên một bộ xương để xử phạt lỗi vị trí tuyệt đối thay vì lỗi góc;

Pavllo CS. [157]

Nó giảm prelling để tích lũy lỗi dọc theo chuỗi động học

Phát hiện tư thế 2D bằng cách xếp chồng hiện đại hourglass

2017

Có

MPJPE

network mà được huấn luyện trên cơ sở dữ liệu MPII; chúng có thể được huấn luyện từ thuật toán tham lam cho 2D sang 3D với lượng lớn

Martinez CS. [139]

Human3.6M HumanEva MPII

dữ liệu của hệ thống MOCAP trong môi trường được điều khiển

Ước lượng tư thế 3D, các tác giả đã rời không gian

Human3.6M

2017

Có

MPJPE

các đối tượng và sử dụng ConvNet để dự đoán trên từ voxel với khả năng lớn nhất cho muỗi khớp trên ảnh màu

HumanEva-I KTH Football II

Pavlakos CS. [143]

; a một chuỗi tối ưu con để khôi phục khung xương 3D.

MPII

Ước lượng tư thế 2D: Các tác giả đã sử dụng

Human3.6m HumanEva-I

stacked hourglass network design, thực hiện lặp đi lặp lại từ dưới lên, từ trên xuống xử lý trên quan hệ

MPJPE

Không

2017

Tekin CS.

[148]

KTH Football II LSP

các thành phần trên ảnh; một khung phân biệt khai thác đồng thời vị trí của bản đồ tin tưởng và tín hiệu hình ảnh 3D để ước tính tư thế con người 3D.

Các tác giả đề xuất một mô hình bất biến quan điểm cho

Haque

PCKh

2016

Không

Stanford EVAL Invariant-Top View

CS. [160]

ước lượng tư thế con người 3D từ một hình ảnh độ sâu duy nhất. Để đạt được điều này, mô hình phân biệt đối xử nhúng theo vùng vào một không gian tính năng quan điểm bất biến.

Bảng 1.2 Khảo sát về ước lượng tư thế người trong không gian 3-D sử dụng 1 ảnh.

29

Year

Method tư thế

Dữ liệu đánh giá

Độ đo đánh giá

Tác giả chính/ tham khảo

Thư viện 3D

2019

Không

MPJPE

Human3.6M CMU Panoptic

Karim CS. [147]

2019

Có

MPJPE

Bastian CS. [158]

Human3.6M MPI-INF-3DHP LSP

Các tác giả trình bày hai giải pháp mới cho ước tính tư thế con người 3D đa góc nhìn dựa trên phương pháp tam giác mới có thể học được kết hợp thông tin 3D từ nhiều hướng nhìn 2D. Một phần của mạng huấn luyện được đề xuất (RepNet) học một bản đồ từ một bản phân phối 2D đặt ra để phân phối các tư thế 3D bằng cách sử dụng một nghịch cảnh phương thức huấn luyện.

2019

Có

Human3.6M MPI-INF-3DHP

Kocabas CS. [159]

ước lượng EpipolarPose ước lượng từ nhiều hướng nhìn của các ảnh và sau đó khai thác hình học epipolar để ước lượng một tư thế 3D và hình học máy ảnh mà sau đó được sử dụng để đào tạo một công cụ ước tính tư thế 3D.

2018

Có

Human3.6M

Rhodin CS. [124]

MPJPE PMPJPE PCK PSS @50 PSS@100 MPJPE N-MPJPE P-MPJPE

Human3.6M MPJPE

2018

Có

Hossain CS. [93]

Các tác giả đề xuất khắc phục vấn đề này bằng cách học một đại diện cơ thể nhận thức hình học từ nhiều hướng nhìn của ảnh nằm ngoài các vùng đánh dấu. Các tác giả thực hiện một chuỗi các tư thế và mã hóa 2 chiều chúng trong một vectơ kích thước cao cố định trong ẩn trạng thái cuối cùng của độ đo LSTM; sử dụng thời gian thông tin trên một chuỗi các vị trí khớp 2 chiều để ước lượng một chuỗi các tư thế 3 chiều

Bảng 1.3 Khảo sát về ước lượng khung xương người trong không gian 3-D từ một chuỗi ảnh.

30

1.5 Các bộ cơ sở dữ liệu cho việc đánh giá ước lượng khung

xương trong không gian 3-D

Trước khi trình bày đến các bộ cơ sở dữ liệu sử dụng cho việc đánh giá ước lượng khung xương trong không gian 3-D, luận án giới thiệu về cảm biến MS Kinect được sử dụng trong việc thu thập các cơ sở dữ liệu về võ thuật cổ truyền Việt Nam mà được sử dụng nhiều trong luận án.

1.5.1 Giới thiệu Kinect

Trong quá trình thu thập dữ liệu của người biểu diễn võ thuật (võ sư, học viên của các võ đường), chúng tôi sử dụng cảm biến Microsoft (MS) Kinect phiên bản 1 (version 1 - v1) [126], được minh họa như trong Hình 1.6.

Đây là một loại cảm biến rẻ tiền (giá thành ngoài thị trường khoảng 40 USD - 1 triệu VNĐ). Loại cảm biến này có thể thu thập được nhiều loại dữ liệu từ môi trường như: ảnh màu, ảnh độ sâu, khung xương, vec tơ gia tốc trọng trường, âm thanh, ...vv. Cảm biến Kinect cũng có thể mở rộng sử dụng trong chơi các trò chơi, trong giáo dục, hay trong tái tạo môi trường 3-D (môi trường thực). Tuy nhiên, cảm biến Kinect là loại cảm biến rẻ tiền nên giới hạn đo của nó từ 0.5 đến 4m, dữ liệu độ sâu có thể bị mất nếu khoảng cách đo nằm ngoài giới hạn trên và bề mặt đối tượng sẽ bị mất dữ liệu khi bề mặt là màu đen hoặc bị bóng (như mặt kính, hoặc làm bằng thủy tinh). Tốc độ thu thập dữ liệu từ môi trường của cảm biến Kinect là từ 10 đến 30 khung hình/ giây (tùy thuộc vào cấu hình máy tính). Kích thước của ảnh màu và ảnh độ thu thập được là 640 × 480 điểm ảnh.

Trong luận án của nghiên cứu sinh quan tâm đến dữ liệu ảnh màu và ảnh độ sâu được thu thập từ cảm biến Kinect v1. Hình 1.5 thể hiện dữ liệu ảnh màu và ảnh độ sâu thu thập được từ cảm biến Kinect. Để thực hiện được việc thu dữ liệu, cảm biến Kinect phiên bản 1 sử dụng Microsoft SDK 1.8 [61] cho việc kết nối với máy tính. Để hiệu chỉnh và lưu dữ liệu vào máy tính, nghiên cứu sinh sử dụng bộ công cụ được phát triển trên Visual Studio với ngôn ngữ lập trình C++ với sự hỗ trợ của bộ thư viên OpenCV 3.4.0 [18].

1.5.2 Hiệu chỉnh dữ liệu thu từ cảm biến Kinect

Dữ liệu ảnh màu và ảnh độ sâu thu được từ cảm biến Kinect v1 bao gồm một cặp ảnh tương ứng với nhau. Mặc dù hai loại ảnh này là cùng kích thước, tuy nhiên tâm của chúng là bị lệch nhau vì hai loại dữ liệu này được thu bởi hai cảm biến hình ảnh khác nhau (cảm biến ảnh màu và cảm biến IR (InfraRed camera)), như Hình 1.6 giữa hai cảm biến có một khoảng cách.

Do đó, để hiệu chỉnh hai ảnh này về cùng một tâm thì cần thực hiện quá trình

31

Hình 1.5 Minh họa ảnh màu, ảnh độ sâu thu được từ cảm biến Kinect phiên bản 1.

Hình 1.6 Minh họa cảm biến Kinect phiên bản 1.

hiệu chỉnh (calibration) Hiện nay có rất nghiên cứu về hiệu chỉnh ảnh màu và ảnh độ sâu về cùng một tâm, nghiên cứu sinh không trình bày chi tiết quá trình này. Trong luận án này chỉ sử dụng bộ ma trận tham số trong trong bộ công cụ của Zhou [87] và [88] cho việc hiệu chính. Kết quả bộ tham số trong của cảm biến Kinect là ma trận Hm. Đây cũng là ma trân sử dụng để chiếu dữ liệu ảnh sang dữ liệu trong không gian 3-D.

  0 fx cx

(1.1) Hm = 0 fy cy       0 0 1

ở đây (cx, cy) là điểm giữa của ảnh, fx và fy là khoảng cách từ ống kính đến thấu kính. Ma trận Hm (trong Nicolas và các cộng sự [31]) được tính toán và công bố như:

  594.214 339.307 0

(1.2) Hm = 591.040 242.739 0       1 0 0

32

Để chuyển dữ liệu ảnh sang dữ liệu đám mây điểm trong không gian 3-D, tọa độ thực của mỗi điểm ảnh là (Xp, Yp, Zp) và giá trị màu của mỗi điểm ảnh khi chiếu từ 2-D sang không gian 3-D được tính toán theo công thức sau:

Xp

Yp (1.3) Zp = (xa−cx)∗depthvalue(xa,ya) fx = (ya−cy)∗depthvalue(xa,ya) fy = depthvalue(xa, ya)

C(r, g, b) = colorvalue(xa, ya)

ở đây depthvalue(xa, ya) là giá trị độ sâu của điểm ảnh (xa, ya) trên ảnh độ sâu,

colorvalue(r, g, b) là giá trị màu của điểm ảnh (xa, ya) trên ảnh màu.

Trong phần này, luận án cũng giới thiệu sơ lược về dữ liệu đám mây điểm được tạo ra từ sự kết hợp của ảnh màu và ảnh độ sâu. Dựa trên việc hiệu chỉnh dữ liệu về cùng một tâm như đã trình bày ở trên. Dữ liệu đám mây điểm có thể biểu diễn theo hai loại là dữ liệu đám mây điểm có cấu trúc và dữ liệu đám mây điểm không có cấu trúc [35]. Dữ liệu đám mây điểm có cấu trúc là dữ liệu mà kích thước của đám mây giống với kích thước của ảnh. Điều đó có nghĩa là ảnh có kích thước là m × n (m là số hàng, n là số cột), thì kích thước dữ liệu đám mây điểm có cấu trúc cũng là m × n. Ngược lại dữ liệu đám mây điểm không có cấu trúc thì có số hàng là 1 và số cột là m × n.

Đặc biệt dữ liệu thu được từ cảm biến Kinect là có tỷ lệ nhiễu lớn và dữ liệu khung xương thường bị mất. Như trong [37], Wang và các cộng sự đã trình bày một nghiên cứu về đánh giá chất lượng dữ liệu thu thập được từ MS Kinect v1 và MS Kinect v2. Trong đó báo cáo cho thấy, chất lượng dữ liệu thu được từ cảm biến MS Kinect v2 là tốt hơn 30% - 40% so với cảm biến MS Kinect V1. Sau đây thì luận án trình bày về ước lượng khung xương trên không gian 2-D.

Như đã trình bày ở trên, đã có rất nhiều nghiên cứu trong những năm gần đây tập trung vào vấn đề ước lượng tư thế, khung xương của người trong môi trường 3-D. Trong các nghiên cứu này không thể thiếu được những nghiên cứu về công bố các bộ cơ sở dữ liệu cho việc đánh giá các nghiên cứu về ước lượng khung xương, tư thế người trong không gian 3-D. Sau đây nghiên cứu sinh sẽ giới thiệu một số bộ cơ sở dữ liệu điển hình cho việc đánh giá ước lượng khung xương, tư thế người trong không gian 3-D:

Catalin và các cộng sự [86], [89] đã giới thiệu một bộ cơ sở dữ liệu cho việc đánh giá các ước lượng khung xương, tư thế người trong không gian 2-D và 3-D. Bộ cơ sở dữ liệu này có tên là Human3.6M. Bộ dữ liệu này được thu thập từ 3.6 triệu tư thế 3-D chính xác của người. Dữ liệu được thu thập từ 5 người nữ và 6 người nam theo 4

33

Hình 1.7 Minh họa ảnh các trạng thái hoạt động của người trong thực tế [86], [89] và hệ thống MOCAP [102] để xác định vị trí các chi, các bộ phận của người trong không gian 3-D.

hướng nhìn khác nhau. Và các trạng thái hoạt động được thu thập là trạng thái hoạt động bình thường của người như: Chụp ảnh, nói chuyện trên điện thoại , tạo dáng, chào hỏi, ăn uống, v.v. Dữ liệu được thu thập và đồng bộ từ các cảm biến theo thời gian, dữ liệu thu được bao gồm ảnh màu, ảnh độ sâu và vị trí tọa độ của từng chi trong không gian 3-D. Tọa độ vị trí này được thể hiện bằng tọa độ của các cảm biến gắn trên người như minh họa trong Hình 1.7.

Đặc biệt các vị trí che khuất trên cơ thể người vẫn được ghi lại dựa trên tọa độ của các cảm biến gắn trên người. Chi tiết về các thiết bị như sau: Dữ liệu được thu thập dữ liệu từ 15 cảm biến (4 máy quay video kỹ thuật số, 1 cảm biến thời gian bay, 10 camera chuyển động), sử dụng đồng bộ hóa phần cứng và phần mềm. Khu vực phòng thí nghiệm có kích thước là khoảng 6m × 5m, và trong đó khu vực có được một vùng xấp xỉ 4m × 3m không gian chụp hiệu quả, nơi các đối tượng có thể nhìn thấy đầy đủ trong tất cả các máy quay video. Máy quay video kỹ thuật số (Digital Video- DV) (4 chiếc) được đặt trong các góc của không gian chụp hiệu quả. Một cảm biến thời gian (Time-Of-Flight sensor - TOF) cũng được đặt lên trên một trong những các máy ảnh kỹ thuật số. Một bộ gồm 10 chuyển động chụp (MOCAP) [102] máy ảnh được lắp trên tường để tối đa hóa hiệu quả khối lượng thử nghiệm, 4 trên mỗi cạnh trái và phải và 2 khoảng giữa chừng trên các cạnh ngang. Máy quét 3-D cơ thể bằng laser từ Human Solutions (Vitus LC3). Các thử nghiệm trên bộ cơ sở dữ liệu này cho thấy rằng mô hình quy mô lớn tốt nhất của các tác giả có thể tận dụng tập huấn luyện đầy đủ để

34

cải thiện hiệu suất 20% so với tập huấn về thang đo của bộ dữ liệu công khai lớn nhất hiện có cho vấn đề này. Tuy nhiên, tiềm năng cải tiến bằng cách tận dụng công suất cao hơn, các mô hình phức tạp hơn với bộ dữ liệu lớn, là rất lớn và sẽ kích thích nghiên cứu trong tương lai. Bộ dữ liệu cùng với mã nguồn cho các mô hình huấn luyện quy mô lớn có liên quan, các đặc trưng, công cụ trực quan, cũng như máy chủ đánh giá, có sẵn trực tuyến đã được công bố.

Sigal và các cộng sự [103] đã đề xuất bộ cơ sở dữ liệu có tên là "HUMANEVA". Bộ cơ sở dữ liệu này có thể thu được các hình ảnh màu sắc, độ sâu và đặc biệt cung cấp dữ liệu gốc 3-D (3-D pose Ground-truth). Bộ dữ liệu bao gồm 40.000 khung hình được thu thập ở nhiều hướng nhìn khác nhau, tốc độ thu thập dữ liệu là 60 Hz với 37.000 thời điểm khác nhau. Đây là bộ dữ liệu chuẩn cho việc đánh giá ước lượng khung xương, tư thế người trong không gian 2-D và 3-D. Trong bộ cơ sở dữ liệu này bao gồm hai phiên bản: HUMANEVA I, HUMANEVA II. HUMANEVA-I chứa dữ liệu từ 4 người thực hiện tập hợp 6 hành động được xác định trước trong ba lần lặp lại (hai lần với quay video và chuyển động, và một lần với ghi lại chuyển động một mình). Một mô tả ngắn về các hành động được cung cấp trong Hình 1 của bài báo [103]. Hình ảnh ví dụ về một người đi bộ được hiển thị trong Hình 2 của bài báo [103] trong đó dữ liệu từ 7 máy quay video được đồng bộ hóa được minh họa bằng một lớp phủ của tư thế cơ thể thực. HUManeVA-II chỉ chứa 2 người (cả hai cũng xuất hiện trong bộ dữ liệu HUManeVA-I) thực hiện chuỗi hành động mở rộng. Trong chuỗi này một chủ đề bắt đầu bằng cách đi dọc theo một đường elip, sau đó tiếp tục chạy bộ theo cùng một hướng và kết thúc với chủ đề thay thế cân bằng trên mỗi hai chân. Không giống HUManeVA-I, bộ dữ liệu sau này chứa một tương đối nhỏ bộ dữ liệu kiểm tra các khung hình được đồng bộ hóa (2500 khung hình). Dữ liệu xác nhận (validation) và huấn luyện HUManeVA I được dự định chia sẻ trên hai bộ dữ liệu với kết quả kiểm tra chủ yếu được báo cáo trên HUManeVA-II.

Andriluka và các cộng sự [104] đã giới thiệu bộ cơ sở dữ liệu có tên là "MPII". Bộ dữ liệu này là một tiêu chuẩn hiện đại để đánh giá ước lượng tư thế khớp nối của người. Bộ dữ liệu bao gồm khoảng 25 000 hình ảnh chứa hơn 40 nghìn người có khớp cơ thể được đánh dấu. Các hình ảnh được thu thập có hệ thống bằng cách sử dụng một nguyên tắc phân loại được thiết lập cho các hoạt động hàng ngày của con người. Nhìn chung, bộ dữ liệu bao gồm 410 hoạt động của người và mỗi hình ảnh được cung cấp một nhãn về một hoạt động. Mỗi hình ảnh được trích xuất từ một video được công bố trên YouTube và được cung cấp trước và sau các khung hình không chú thích. Ngoài ra, đối với bộ thử nghiệm, các tác giả đã thu được các dữ liệu gốc (annotation) phong phú hơn bao gồm cả phần cơ thể và phần thân 3-D và đầu của người.

Zhang và các cộng sự [32] đã giới thiệu bộ cơ sở dữ liệu được gọi là "MADS- the Martial Arts, Dancing and Sports". Đây là bộ dữ liệu mới về Võ thuật, Khiêu vũ

35

Hình 1.8 Minh họa ảnh về các loại hoạt động trong cơ sở dữ liệu [32] và hệ thống MOCAP [102] để xác định vị trí các chi, các bộ phận của người trong không gian 3-D.

và Thể thao, bao gồm các hành động võ thuật đầy thách thức (Tai-chi và Karate), các hành động nhảy múa (hip-hop và jazz) và các hoạt động thể thao (bóng rổ, bóng chuyền, bóng đá, bóng bầu dục, quần vợt và cầu lông). Hai võ sư, hai vũ công và một vận động viên đã thực hiện những hành động này trong khi được ghi lại bằng nhiều camera hoặc camera độ sâu stereo. Trong cài đặt có nhiều chế độ hiển thị là nhiều hướng nhìn hoặc một hướng nhìn, bài báo cung cấp ba chế độ hiển thị màu cho các thuật toán ước lượng tư thế con người dựa trên hình ảnh 2-D. Để ước lương tư thế, khung xương của người dựa trên độ sâu, bài báo cung cấp hình ảnh độ sâu dựa trên dữ liệu một hướng nhìn. Tất cả các video đều được hiệu chỉnh và được đồng bộ hóa với dữ liệu gốc của các tư thế tương ứng. Dữ liệu được ghi lại trong môi trường studio với một số lộn xộn nền. Dữ liệu video được ghi lại bằng máy ảnh Point Grey Bumblebee-II. Dữ liệu nhiều hướng nhìn được thu thập với 3 camera được đặt xung quanh không gian chụp, trong khi các hình ảnh độ sâu được thu thập từ một hướng nhìn. Dữ liệu nhiều hướng nhìn được thu thập với tốc độ 15 khung hình/giây và các camera được tự động đồng bộ hóa khi được kết nối với cùng một máy tính. Dữ liệu độ sâu được thu thập với tốc độ 10 khung hình/giây hoặc 20 khung hình/giây. Độ phân giải của hình ảnh là 1024 × 768. Dữ liệu tư thế/ tọa độ các khớp gốc (ground truth) được thu thập bằng hệ thống MOCAP hoạt động ở tốc độ 60 khung hình/giây. Tất cả các video và dữ liệu thu thập chuyển động được hiệu chỉnh theo cùng tọa độ và được đồng bộ hóa. Bộ dữ liệu MADS chứa 5 loại hành động (Tai-chi, Karate, nhảy Jazz, nhảy Hip-hop và Thể thao), tổng cộng khoảng 53.000 khung hình. Mỗi thể loại hành động bao gồm 6 chuỗi. Một số hình ảnh về bộ dữ liệu MADS được minh họa trong Hình 1.8.

36

1.6 Tổng kết chương

Ước lượng tư thế, khung xương của người trong không gian 3D đã được tập trung nghiên cứu nhiều trong những năm gần đây. Các nghiên cứu được công bố trên các tạp chí, hội nghị có uy tín trong ngành thị giác máy tính. Thông thường việc ước lượng tư thế, khung xương của người trong không gian 3-D được thực hiện theo hai bước cơ bản. Thứ nhất là ước lượng khung xương, tư thế trong không gian 2-D (trên ảnh màu, ảnh độ sâu). Bước này được thực hiện dựa trên một ảnh, một chuỗi ảnh từ một khung nhìn hoặc từ nhiều hướng nhìn khác nhau. Bước thứ hai là ánh xạ kết quả ước lượng trong không gian 2-D vào không gian 3-D. Như đã trình bày, ước lượng khung xương, tư thế của người trong không gian 3-D giúp giải quyết được vấn đề nhìn được các hành động của người ngay cả trong trường hợp bị che khuất. Tuy nhiên mới chỉ có nghiên cứu [34] nghiên cứu trên dữ liệu che khuất của người mà việc sinh ra nhiễu do con người thực hiện trên bộ cơ sở dữ liệu Human 3.6M [86, 89]. Còn các dữ liệu che khuất trong hoạt động thực tế của người là chưa có.

37

CHƯƠNG 2

ƯỚC LƯỢNG KHUNG XƯƠNG CỦA NGƯỜI TỪ DỮ

LIỆU VÕ CỔ TRUYỀN TRONG KHÔNG GIAN 3-D

Khung xương của người giúp định hướng và dự đoán được các hành động của cơ thể người trong môi trường. Trong võ cổ truyền tư thế của người được tạo ra từ tư thế của khung xương có vai trò lớn trong xác định các tư thế trong võ thuật. Như tư thế công, thủ trong võ thuật truyền thống. Tư thế của người bao gồm vị trí thân người, tư thế của các chi (chân, tay) trong các tư thế võ quyết định rất lớn đến sức mạnh của võ thuật. Như công (tấn công mạnh), thủ vững (phòng thủ vững chắc). Việc ước lượng tư thế người đã được nghiên cứu nhiều và vẫn còn rất nhiều thách thức cả trong không gian 2-D và 3-D, vì các hành động trong võ thuật thường là nhanh và phức tạp. Đặc biệt có nhiều trường hợp các tư thế của các chi còn bị che khuất, do các tư thế ở các hướng khác nhau mà cảm biến thu thập dữ liệu chỉ nhìn từ một hướng và dữ liệu khung xương bị mất rất nhiều khi sử dụng cảm biến MS Kinect v1 để thu thập dữ liệu. Như mô hình cho việc xây dựng hệ thống đánh giá và chấm điểm trong biểu diễn võ thuật (các môn thể thao như thể dục dụng cụ) hay đào tạo và dạy võ thuật cổ truyền trong các võ đường thì các tư thế võ phải chuẩn xác. Do đó việc ước lượng được chính xác khung xương của cơ thể người là vấn đề rất quan trọng và cần thiết để làm tiền đề để khôi phục đầy đủ các khớp xương của người trong không gian 3-D.

Trong nghiên cứu khảo sát của Sarafianos CS. [84] thì có hai hướng tiếp cận để ước lượng, khôi phục khung xương trong không gian 3-D của người. Trong đó, hướng tiếp cận xuất phát từ kết quả ước lượng khung xương 2-D sau đó chiếu sang không gian 3-D được quan tâm nghiên cứu nhiều hơn. Để thấy được hiệu quả khi kết quả ước lượng 2-D là tốt (sai số về khoảng cách của các điểm đại diện ước lượng được (MPJPE) là nhỏ) thì kết quả ước lượng, khôi phục khung xương trong không gian 3-D như thế nào? Nên luận án thực hiện các nghiên cứu về ước lượng khôi phục khung xương trong không 3-D ở chương này để khôi phục, ước lượng khung xương 3-D đầy đủ của người trong các video võ cổ truyền phục vụ để xây dựng mô hình đánh giá, chấm điểm các động tác võ thuật cổ truyền cho các em học sinh phổ thông từ kết quả ước lượng trên không gian 2-D.

Trong phần chương này, trước tiên luận án trình bày việc ước lượng khung xương của người trong không gian 2-D như sau: Giới thiệu (Phần 2.1.1), các nghiên cứu liên quan (Phần 2.1.2), hướng tiếp cận về ước lượng khung xương trong không gian 2-D (2.1.3), một số kết luận về nghiên cứu ước lượng khung xương trong không gian 2-D

38

(Phần 2.1.4).

2.1 Ước lượng khung xương trong không gian 2-D

Tiếp theo luận án trình bày việc ước lượng khung xương của người trong không gian 3-D gồm: Giới thiệu (Phần 2.2.1), các nghiên cứu liên quan (Phần 2.2.2), hướng tiếp cận về ước lượng khung xương trong không gian 3-D (2.2.3), một số kết luận về nghiên cứu ước lượng khung xương trong không gian 3-D (Phần 2.2.3.3). Cuối cùng, luận án trình bày về một số minh họa ước lượng khung xương người khi bị che khuất (Phần 2.2.4).

2.1.1 Giới thiệu

Ước lượng và dự đoán hành động của cơ thể người là một vấn đề được nghiên cứu nhiều trong cộng đồng thị giác máy tính và công nghệ robot. Ước lượng tư thế, khung xương của người trong không gian 2-D là việc ước lượng vị trí các khớp nối trên cơ thể người trên ảnh hoặc video [105]. Mỗi khớp nối được tạo thành từ các điểm đại diện. Trong đó tọa độ của các điểm đại diện có giá trị (x, y) trên ảnh như minh họa trong Hình 2.1.

Hình 2.1 Minh họa kết quả ước lượng khung xương, tư thế người trong không gian 2-D [106].

39

Các nghiên cứu này được áp dụng trong nhiều lĩnh vực như nhận dạng hành động, Hoạt hình, Chơi game, v.v., và ứng dụng cuộc sống hàng ngày của con người như phát hiện bệnh nhân ngã trong các bệnh viện [1], hay hệ thống phát hiện sự kiện ngã cho người cao tuổi [3], [4]. Tuy nhiên các nghiên cứu về vấn đề cũng gặp nhiều khó khăn như: sự kết nối giữa các khớp, quần áo và thay đổi ánh sáng.

Các nghiên cứu trên có thể sử dụng thông tin ảnh màu, ảnh độ sâu [1], hay khung xương [5] thu được từ các loại cảm biến. Trong đó, cảm biến MS Kinect là một loại cảm biến thông dụng và rẻ tiền có thể thu thập được các thông tin như ảnh màu, ảnh độ sâu, khung xương [126]. Tuy nhiên, việc phát hiện các hành động như ngã vẫn còn rất nhiều thách thức [5], [28].

Để ước lượng được tư thế, khung xương của người trên ảnh hoặc video có thể thực hiện theo hai hướng tiếp cận: hướng tiếp cổ điển và hướng tiếp cận dựa trên học sâu (deep learning).

Cách tiếp cận cổ điển để ước lượng tư thế, khớp xương nối giữa các bộ phận sử dụng cấu trúc khung của người trên ảnh. Ý tưởng cơ bản là biểu diễn một người bằng một tập hợp các "bộ phận" được sắp xếp theo cấu trúc biến dạng (không cứng nhắc). Mỗi "Phần" là một mẫu xuất hiện một khớp trong ảnh. Khi các bộ phận được tham số hóa theo vị trí và hướng điểm ảnh, cấu trúc kết quả có thể mô hình hóa các khớp nối rất phù hợp trong ước lượng tư thế, khung xương của người. Điều đó có nghĩa là mỗi khớp trên cơ thể người được đánh số và sắp xếp theo một thứ tự nhất định. Ví dụ: khớp cổ phải được nối với đầu và hai vai. Do những hạn chế của hướng tiếp cận cổ điển cho việc ước lượng tư thế, khung xương của người, ngày nay với sự phát triển mạnh mẽ của học sâu về phát hiện, nhận dạng và dự đoán hành động là một hướng tiếp cận tốt. Hướng tiếp cận này đã thay thế phần lớn các mô hình học thủ công và đồ họa.

Do đó, trong nội dung của phần công việc này, chúng tôi sử dụng học sâu để ước lượng và dự đoán các hành động của người trên dữ liệu video biểu diễn võ của các võ sư và học viên. Hướng tiếp cận này dựa trên việc học và dự đoán các điểm đại diện trên mô hình khung xương của người trên bộ dữ liệu COCO [14] và Human 3.6M [86, 89].

2.1.2 Các nghiên cứu liên quan

Hiện nay có rất nhiều nghiên cứu về phát hiện, nhận dạng và dự đoán các hành động của con người. Các nghiên cứu này được áp dụng trong nhiều ứng dụng thực tế cho con người như: Rantz và các đồng nghiệp [1] đã đề xuất hệ thống tự động phát hiện sự kiện ngã trong phòng của bệnh viện. Hệ thống sử dụng các gia tốc kế không giây được gắn trên người bệnh nhân và được so sánh với gia tốc của dữ liệu thu được từ cảm biến Kinect gắn trên tường. Đồng thời hệ thống cũng tính khoảng cách giữa

40

người và giường bệnh để phát hiện sự kiện ngã của bệnh nhân. Đặc biệt ở Việt Nam [6], [8] cũng như nhiều nước trên thế giới như Trung Quốc [12], Nhật bản, Thái Lan có rất nhiều tư thế võ hay các bài võ vần được bảo tồn và truyền lại cho hậu thế. Việc bảo tồn và lưu trữ trong thời đại công nghệ phát triển có thể được thực hiện bằng cách lưu lại các hành động của Võ sư dưới dạng các khớp xương. Dữ liệu thu được từ cảm biến Kinect phiên bản 1 thường có chứa rất nhiều nhiễu và bị mất khi bị che khuất. Đặc biệt là dữ liệu khung xương (skeleton) của người. Nên việc ước lượng được khung xương trong đó các điểm xương là các điểm đại diện (keypoint) trên cơ thể người là rất quan trọng.

Để ước lượng tư thế, khung xương của người trên ảnh hoặc video thường sử dụng hai hướng tiếp cận chính: hướng tiếp cận cổ điển và hướng tiếp cận sử dụng học sâu. Trong hướng tiếp cận thứ nhất, Umer và các cộng sự [26] sử dụng quy hồi rừng (Regression Forests) để ước lượng hướng của người sử dụng ảnh độ sâu (depth image) thu được từ Kinect phiên bản 2. Việc học được thực hiện trên các bộ phận của người đã được gán nhãn, với 1000 mẫu vị trí điểm ảnh trên ảnh độ sâu. Tuy nhiên kết quả trung bình cao nhất chỉ đạt được độ chính xác (accuracy) là 35.77%.

Yang và các cộng sự [107] sử dụng mô hình hỗn hợp gồm các bộ phận thể hiện mối quan hệ chung phức tạp giữa các bộ phận trên cơ thể người. Các mô hình phần biến dạng là một tập hợp các mẫu được sắp xếp theo cấu hình có thể biến dạng và mỗi mô hình có một mẫu toàn cục + một mẫu các thành phần. Các mẫu này được khớp với nhau trong một hình ảnh để nhận dạng/phát hiện một người trong ảnh. Mô hình dựa trên một phần có thể mô hình khớp nối tốt. Tuy nhiên, điều này đạt được với chi phí thời gian lớn và chưa tính đến bối cảnh rộng. Kết quả phát hiện các bộ phận của cơ thể người là 99.6%. Đây là kết quả gần như tuyệt đối

Dựa trên các kết quả phát hiện các bộ phận trên cơ thể người rất cao như trong nghiên cứu của [107] thì Dantone và các cộng sự [108] đã đề xuất một hướng tiếp cận để có được các các mẫu bộ phận của cơ thể tốt cho việc huấn luyện mô hình bằng cách đề xuất các hồi quy chung phi tuyến tính mới. Đặc biệt, các tác giả đã sử dụng hai lớp rừng ngẫu nhiên để quy hồi khớp. Lớp thứ nhất hoạt động như một bộ phận cơ thể độc lập, không phụ thuộc vào bộ phân lớp bộ phận người. Lớp thứ hai đưa các phân phối lớp ước lượng của lớp thứ nhất vào bộ đếm và do đó có thể dự đoán các vị trí bằng cách mô hình hóa sự phụ thuộc lẫn nhau và sự xuất hiện của các bộ phận trên cơ thể người.

Hiện với sự phát triển mạnh mẽ của học sâu (deep learning) nên việc ước lượng các điểm đại diện, khung xương trên cơ thể người cũng được thực hiện nhiều. Daniil [117] đã giới thiệu một mạng nơ ron tích chập mới cho việc học các đặc trưng trên tập dữ liệu điểm đại diện như: vị trí của các điểm đại diện, quan hệ giữa các cặp điểm trên

41

Hình 2.2 Minh họa bản đồ các điểm nổi bật được tạo ra từ ảnh cơ thể người. Trong đó mỗi vùng điểm nổi bật là một ứng cử viên vị trí của các điểm đại diện [110].

cơ thể người. Mạng mới này dựa trên bộ công cụ OpenPose [30] và có thể thực hiện học trên CPU. Đặc biệt, mạng nơ ron tích chập được học và đánh giá trên bộ cơ sở dữ liệu có nhiều người COCO 2016 [23]. Đây là bộ cơ sở dữ liệu rất lớn được đánh nhãn với hơn 150 nghìn người với 1.7 triệu nhãn các điểm đại diện. Kyle và các cộng sự [116] đã sử dụng mạng nơ ron tích chập (convolutional neural network) để học từ dữ liệu các điểm đại diện của cơ thể người đã được đánh dấu và trích xuất từ dữ liệu nối lên khi chiếu hai camera vào người. Sau đó kết quả được chiếu sang không gian 3-D và sử dụng thuật toán bình phương khoảng cách tối thiểu để đánh giá kết quả ước lượng. Cao và các cộng sự [24] sử dụng mạng nơ ron tích chập để học vị trí của các điểm đại diện trên cơ thể người và các phép biến đổi hình học của các đường nối các cặp điểm đại hiện có quan hệ kết nối trên cơ thể người.

Toshev và các cộng sự [109] đã ước lượng tư thế, khung xương người dựa trên việc coi khung xương người là một vấn đề hồi quy dựa trên CNN đối với các khớp của cơ thể. Các tác giả cũng sử dụng một loạt các biến hồi quy như vậy để hiệu chỉnh các ước lượng tư thế, khung xương và có được ước lượng tốt hơn. Một điều quan trọng mà phương pháp này thực hiện là dựa trên tư thế, khung xương toàn diện, tức là khi các khớp xương bị che khuất, chúng có thể được ước lượng nếu tư thế, khung xương đó được suy luận từ cấu trúc tổng thể. Mô hình trong nghiên cứu này được thực hiện trên mạng AlexNet backend (7 lớp), trong đó lớp cuối cùng sử dụng để bổ trợ cho mô hình đưa ra 2000 tọa độ khớp nối.

Tompson và các cộng sự [110] đã tạo ra các bản đồ điểm nổi bật (heatmaps) bằng cách chạy một hình ảnh thông qua nhiều độ phân giải khác nhau song song để thu thập đồng thời các đặc trưng ở nhiều tỷ lệ khác nhau. Đầu ra là một bản đồ các điểm nổi bật rời rạc thay vì là hồi quy liên tục. Một bản đồ các điểm nổi bật dự đoán xác suất của khớp xảy ra ở mỗi điểm ảnh. Trong đó mỗi vùng nổi bật trên bản đồ là một ứng cử viên của vị trí các điểm đại diện trên cơ thể người. Ví dụ bản đồ các vùng nổi bật được tạo ra như ở hình 2.2.

Cùng với hướng tiếp cận học trên và phát hiện ra các bản đồ các điểm nổi bật (heatmap), Wei và các cộng sự [111] đã đề xuất một mạng mà huấn luyện làm nhiều

42

giai đoạn trên tập đặc trưng của ảnh. Chúng cung cấp một khung dự đoán tuần tự để tập trung vào học các mô hình các khả năng dự đoán cao (xác xuất cao). Các bản đồ các điểm nổi bật là đầu ra của giai đoạn trước là đầu vào của các giai đoạn sau. Trong đó kết quả ước lượng cao nhất của mô hình này trên bộ dữ liệu MPII [104] là 87.95%.

Ngoài ra, còn các mạng nơ ron tích chập khác được đề xuất cho việc ước lượng tư

thế, khung xương người trên ảnh [112], [113], [114], [115].

Đặc biệt, cơ sở dữ liệu về điểm đại diện của người COCO [23], [14], [13] đã được phát triển trong nhiều năm. Các cơ sở dữ liệu này được thu thập từ rất nhiều người và cũng có rất nhiều thách thức cho việc ước lượng các hoạt động của người.

2.1.3 Sử dụng học sâu cho việc ước lượng các hành động trong bài võ cổ

truyền trong không gian 2-D

2.1.3.1 Phương thức

Hành động của cơ thể người được phát hiện và nhận dạng cũng như dự đoán, ước lượng dựa trên các bộ phận của cơ thể người (body part). Các bộ phận được cấu thành dựa trên sự liên kết giữa các điểm đại diện (Key points). Trong đó mỗi một bộ phận được thể hiện bằng một vector Lc trong không gian 2-D (không gian ảnh) trong một tập hợp các vector trên cơ thể người S, trong đó tập hợp các vector L = L1, L2, ..., LC, có C vector trên cơ thể người S. Trong đó cơ thể người S được thể hiện bằng J điểm đại diện (Key points), S = S1, S2, ..., SJ. Với một ảnh đầu vào có kích thước là w × h thì vị trí của các điểm đại diện có thể là Sj ∈ Rw×h, j ∈ 1, 2, ..., J như trong hình 2.3. Tiếp theo là sự so sánh (matching) giữa các bộ phận tương ứng trên cơ thể của các người khác nhau được tính toán dựa trên phép biến đổi ánh xạ (affine). Trong nghiên cứu này sử dụng hoàn toàn mạng nơ ron tích chập đã được thiết kế và tính toán trong [24] để thực hiện việc học bộ ước lượng các vector trong L.

Như Hình 2.4, CNN này bao gồm hai nhánh thực hiện hai công việc khác nhau. Từ dữ liệu đầu vào, một tập hợp các bản đồ đặc trưng F được tạo từ phân tích hình ảnh, sau đó các bản đồ độ tin cậy và phép biến đổi hình học này được phát hiện ở giai đoạn đầu tiên. Các điểm đại diện trên dữ liệu huấn luyện được hiển thị trên bản đồ độ tin cậy như được hiển thị. Những điểm này được huấn luyện để ước lượng các điểm đại diện trên hình ảnh màu. Nhánh đầu tiên (nhánh trên cùng) được sử dụng để ước lượng các điểm đại diện, nhánh thứ hai (nhánh dưới cùng) được sử dụng để dự đoán các khớp tương ứng với nhiều người.

Trong đó chi tiết của mô hình học và dự đoán (Hình 2.5) được thể hiện như sau: Với ảnh đầu vào ở giai đoạn 1 (stage 1) là ảnh với 3 kênh màu và có kích thước là h × w và các đặc trưng được trích chọn từ việc nhân chập với các mặt nạ có kích thước 9 × 9, 2 × 2, 5 × 5 cho bộ huấn luyện X như trong hình 2.6. Với mỗi một mặt nạ sẽ có

43

Hình 2.3 Minh họa đánh nhãn các điểm đại diện trên dữ liệu ảnh của người. Các điểm màu đỏ là các điểm đại diện trên cơ thể người. Các đoạn màu xanh thể hiện sự kết nối giữa các bộ phận trên cơ thể người.

được một vùng cửa sổ (patch) và mô hình học g1, g2 ở mỗi giai đoạn sẽ dự đoán bản đồ các vùng nổi bật (heatmaps) như b1, b2 ở mỗi giai đoạn trong Hình 2.5. Như Hình 2.5, 2.6, Convolutional Pose Machines (CPM) bao gồm ít nhất 2 giai đoạn, số lượng giai đoạn là một siêu tham số (thông thường là 3 giai đoạn). Giai đoạn thứ hai lấy kết quả bản đồ dự đoán vùng nổi bật (heatmaps) của giai đoạn một và ảnh đầu vào ban đầu làm đầu vào. Mô hình mạng CPM bao gồm 5 lớp tích chập như thể hiện trong nhánh 1 trong Hình 2.4.

Mô hình được huấn luyện và kiểm tra kết quả thử nghiệm được dựa trên bộ công cụ [22]. Bộ công cụ này được cài đặt trên hệ điều hành Ubuntu 16.2 và được hỗ trợ bởi một số thư biện như sau: Thư viện C++ OpenPose (chỉ dành riêng cho chạy kiểm tra) [134]; Tensorflow (phiên bản 1.8); Pytorch (phiên bản 1); Caffe2 (phiên bản 1) ; Chainer (phiên bản 1) ; MXnet (phiên bản 1); MatConvnet (phiên bản 1); CNTK (phiên bản 1). Chi tiết được trình bày trong bài báo [23], [24]. Công cụ huấn luyện và kiểm tra được viết trên ngôn ngữ Python/Matlab/c++ và chạy trên máy chủ với cấu hình được liệt kê như sau: Intel (R) Xeon (R) CPU E5-2420 v2 @ 2.20GHz 16GB RAM, GPU GTX 1080 TI-12GB Memory.

Kết quả ước lượng khung xương là 25 điểm đại diện, được sắp xếp như sau: "mũi", "cổ", "vai phải", "khuỷu tay phải", "cổ tay phải", "vai trái", "khuỷu tay trái", "trái" cổ tay "," giữa hông "," hông phải "," đầu gối phải "," mắt cá chân phải "," hông trái "," đầu gối trái "," mắt cá chân trái "," mắt phải "," mắt trái "," phải tai "," tai trái "," ngón chân trái, "ngón chân trái", "gót chân trái", "ngón chân phải", "ngón chân

44

Hình 2.4 Kiến trúc mạng nơ ron tích chập cho việc ước lượng các điểm đại diện St, và các bộ phận phù hợp trên cơ thể người khác nhau [24].

Hình 2.5 Minh họa chi tiết mô hình dự đoán vùng các điểm nổi bật (heatmaps) [111].

phải", "gót chân phải". Kết quả ước lượng được minh họa trong Hình 2.7.

Các tham số huấn luyện của mạng nơ ron tích chập được thể hiện như sau: Kích thước ảnh đầu vào là (rộng: 368× cao: 368× số kênh màu: 3(R,G,B)); batchSize = 16; stacks = 4; Số giai đoạn là 6 cho việc gộp; Số lớp nơ ron tích chập là 5; vv. Chi tiết các tham số khác được thể hiện trong đường dẫn sau: https://github.com/ZheC/ Realtime_Multi-Person_Pose_Estimation/blob/master/training/example_proto/ pose_train_test.prototxt

Trong nghiên cứu này, luận án cũng tìm hiểu mạng nơ ron tích chập có hiệu năng được đánh giá là cao nhất cho việc ước lượng khung xương, tư thế người [115]. Trong bài báo này, các tác giả đã đề xuất một mạng nơ ron tích chập mới có tên là HRNet (High-Resolution Network). Mạng này được đánh giá là chính xác hơn toàn bộ các mạng hiện có có cho việc ước lượng khung xương, tư thế người, phát hiện các điểm đại diện của khung xương người trên bộ cơ sở dữ liệu kinh điển COCO [23]. HRNet thực hiện theo một ý tưởng đơn giản. Bình thường hầu hết các mạng khác đi từ việc

45

Hình 2.6 Minh họa chi tiết mô hình trích chọn đặc trưng cho việc huấn luyện mô hình dự đoán các vùng nổi bật (heatmaps) ở từng giai đoạn [111].

biểu diễn ảnh các cửa sổ nhân chập theo hướng: từ độ phân giải cao → đến độ phân giải thấp → đến độ phân giải cao. Nhưng HRNet duy trì các cửa sổ có độ phân giải cao theo các giai đoạn của mô hình. Kiến trúc bắt đầu từ một mạng con độ phân giải cao như giai đoạn đầu tiên và dần dần thêm các mạng con độ phân giải cao với các kích thước khác nhau lần lượt tạo thành nhiều giai đoạn hơn và kết nối song song các mạng con đa độ phân giải như thể hiện trong Hình 2.8.

Sự hợp nhất nhiều quy mô được lặp đi lặp lại được thực hiện bằng cách trao đổi thông tin qua các mạng con đa độ phân giải song song qua toàn bộ quá trình. Một vấn đề khác của HRNet là kiến trúc này không sử dụng giám sát bản đồ các vùng nổi bật trung gian, không giống như mô hình đồng hồ cát xếp chồng (Stacked Hourglass). Bản đồ các vùng nổi bật được hồi quy bằng cách sử dụng hàm sai số toàn phương trung bình MSE (Mean squared error).

Toàn bộ quá trình cài đặc và thực hiện mạng HRnet được thể hiện trong đường dẫn sau: https://github.com/leoxiaobin/deep-high-resolution-net.pytorch. Tuy nhiên một vấn đề đặc biệt của mạng này là chạy song song tối thiểu trên 4 GPU nên yêu cầu về phần cứng của mạng này là rất lớn. Nên trong nghiên cứu này chúng tôi không chạy thực tế được hiệu năng của mạng này cho việc ước lượng khung xương, tư thế của người trên ảnh.

Để trực quan hóa các kết quả ước lượng khung xương ở từng bước trong quá trình ước tính tư thế con người 3-D, chúng tôi đề xuất một nghiên cứu so sánh về ước lượng tư thế, khung xương người trong không gian 2-D (Nghiên cứu so sánh 2-D), nó được hiển thị trong Hình. 2.9.

Trong Hình 2.9, luận án đánh giá theo hai phương thức: Phương thức đầu tiên (Phương thức 1 - Method 1) sử dụng mạng CNN CPM được huấn luyện trên trên cơ sở dữ liệu COCO [23]; Phương thức thứ hai (Phương thức 2 - Method 2) sử dụng mạng CNN CPM được huấn luyện trên trên cơ sở dữ liệu Human 3.6M [86]. Kết quả ước lượng khung xương, tư thế người trong không gian 2-D với tọa độ của từng

46

Hình 2.7 Minh họa kết quả ước lượng khung xương trên ảnh của mô hình đã được huấn luyện trên bộ cơ sở dữ liệu 2016 MSCOCO Keypoints Challenge [23].

điểm đại diện ước lượng được (xi, yi) trên hình ảnh màu, sau đó chúng được kết hợp với điểm ảnh có tọa độ (xi, yi) trên hình độ sâu theo phương trình (1.3) để tạo ra điểm đại diện (Xp, Yp, Zp) trong không gian 3-D.

2.1.3.2 Cơ sở dữ liệu các bài võ cổ truyền

Võ cổ truyền là một môn thể thao rất quan trọng giúp con người rèn luyện sức khỏe và tự vệ. Ở rất nhiều quốc gia trên thế giới, đặc biệt là Châu Á có rất nhiều môn võ cổ truyền được lưu truyền từ đời này sang đời khác. Với sự phát triển của công nghệ thì việc lưu trữ và bảo tồn, cũng như dạy các thế võ này là rất quan trọng [15], [16]. Hiện nay cũng có rất nhiều loại cảm biến hình ảnh khác nhau có thể thu thập được thông tin về việc dạy và học võ của các võ đường. Trong đó cảm biến Kinect phiên bản 1 là lại cảm biến rẻ tiền nhất hiện nay. Đây là loại cảm biến có thể thu thập được nhiều thông tin như ảnh màu, ảnh độ sâu, khung xương, gia tốc trọng trường, âm thanh, vv. Để thu thập và đồng bộ dữ liệu từ cảm biến MS Kinect phiên bản 1, chúng tôi sử dụng công cụ thu thập dữ liệu đã được phát triển tại viện nghiên cứu quốc tế MICA, Đại học Bách khoa Hà Nội [19]. Bộ công cụ được phát triển dựa trên môi trường lập trình MS Visual Studio bản từ 2010 trở lại đây với sự hỗ trợ của bộ thư viện OpenCV và bộ

47

Hình 2.8 Minh họa kiến trúc mạng HRnet [115]. Trong đó chiều ngang và chiều dọc lần lượt thể hiện độ sâu và biến đổi kích thước cửa sổ của bản đồ đặc trưng.

thư viện Nui của MS Kinect SDK 1.8 với ngôn ngữ lập trình C++. Bộ công cụ này sử dụng bộ tham số đã được công bố của Nicolas [31] để hiệu chỉnh ảnh màu và ảnh độ sâu về cùng một tâm. Đồng thời bộ tham số này cũng được sử dụng để chiếu các điểm ảnh của ảnh màu và ảnh độ sâu vào không gian 3-D. Từ các dữ liệu thu thập này có thể tái hiện lại môi trường trong không gian 3-D về việc dạy học võ tại các võ đường.

Do trên cảm biến Kinect phiên bản 1 có gắn một số cảm biến như cảm biến ảnh màu, ảnh độ sâu, vv. Để thu được dữ liệu từ môi trường cảm biến sử dụng bộ công cụ MS Kinect SDK 1.8 để kết nối máy tính và cảm biến [17]. Công cụ thu thập dữ liệu, môi trường, thiết bị, hiệu chỉnh dữ liệu sử dụng trong nghiên cứu này như đã được trình bày trong phần ngữ cảnh. Môi trường, thiết bị được thể hiện trong Hình 5. Môi trường mà võ sư và các học viên biểu diễn võ thuật có kích thước là 3×3m. Thiết bị thu dữ liệu chỉ có một cảm biến MS Kinect được gắn trên giá và được đặt cố định. Bộ dữ liệu thu được bao gồm 24 cảnh và được gọi tên là "VNMA - VietNam Martial Arts" với 24 video tương ứng được dẫn link trong Phụ lục. Trong đó, được thu thập từ 24 người (12 người có giới tính là Nam, 12 người có giới tính là Nữ). 24 người này có độ tuổi từ 13 đến 20 tuổi (là học viên lớp võ cổ truyền). Luận án thu thập dữ liệu trên 24 người vì trong lớp võ mà nghiên cứu sinh kết nối xin hợp tác có 24 học viên. Trong đó, các học viên của lớp võ đã được truyền dạy các bài võ trong thời gian 1 tháng (tức là các học viên của lớp đã có kinh nghiệm cơ bản trong võ thuật). Trong lớp võ thì các học viên thường mặc quần áo màu xẫm, không bị bóng, chiều cao của các học viên là từ 1.4-1.7m. Cơ sở dữ liệu này được thu thập tại lớp dạy võ thuật cổ truyền tại Tỉnh Bình Định, Việt Nam. Bình Định là một một tỉnh mà được coi là miền đất võ nổi tiếng nhất của Việt Nam. Trong mỗi video, mỗi học viên biểu diễn một bài

48

Hình 2.9 Nghiên cứu so sánh cho đánh giá ước lượng khung xương, tư thế trong không gian 2-D.

võ, do đó mỗi khung hình trong video sẽ có một tư thế khác nhau. Cơ sở dữ liệu này chỉ bao gồm các ảnh có người trong ảnh.

Trong bộ cơ sở dữ liệu này luận án cũng cung cấp dữ liệu gốc về khung xương, tư thế người trong không gian 3-D cho việc đánh giá ước lượng khung xương, tư thế người trong không gian 3-D. Dữ liệu gốc của các khớp xương được đánh dấu trên dữ liệu trong không gian 3-D. Để làm được việc này nghiên cứu hiển thị dữ liệu 3-D (dữ liệu đám mây điểm) của cảnh trên cửa sổ của một chương trình do nghiên cứu phát triển dựa trên môi trường lập trình Visual Studio và sự hỗ trợ của bộ thư viện PCL [35] với ngôn ngữ lập trình C++. Hình 2.10 minh họa việc làm dữ liệu gốc cho việc đánh giá ước lượng khung xương, tư thế người trong không gian 3-D. Trong đó nghiên cứu đánh dấu 17 đại diện (điểm xương) trên cơ thể người. Các điểm xương được đánh theo thứ tư như trong Hình 2.10. Trong đó, luận án không chọn điểm trên xương sống mà chỉ chọn điểm ở "Cổ" và "Giữa Hông" vì các điểm trên giữa xương sống gần như không thay đổi vị trí (xoay và dịch) ra khỏi hai điểm đầu của xương sống là "Cổ" và "Giữa Hông". Trong một số trường hợp khi dữ liệu bị che khuất nghiên cứu giả sử tay hoặc chân của người thường nằm sát với cơ thể người và được chọn như trong trường hợp dữ liệu của tay hoặc chân là nhìn thấy. Hiện tại việc đánh dấu các điểm trong không gian 3-D là được thực hiện bằng tay và chỉ trên dữ liệu của một phía của cảm biến MS Kinect. Còn lại khi dữ liệu bị che khuất mà hành động của người là phức tạp thì trong nghiên cứu này nghiên cứu chưa thực hiện được. Để đánh dấu được dữ liệu trong không gian 3-D khi bị che khuất người ta thường dùng hệ thống MOCAP [102]

49

cho việc tính toán tọa độ thực tế của tay và chân người trong các trường hợp này.

Hình 2.10 Minh họa việc đánh dấu dữ liệu gốc về khung xương, tư thế người trong không gian 3-D. Trong đó thứ tự đánh dấu của các điểm như sau: (1) Đầu, (2) Cổ, (3) Vai phải, (4) khuyủ tay phải, (5) cổ tay phải, (6) Vai trái, (7) khuyủ tay trái, (8) cổ tay trái, (9) Giữa hông, (10) Hông phải, (11) Đầu gối phải, (12) Cổ chân phải, (13) Ngón chân cái phải, (14) Hông trái, (15) Đầu gối trái, (16) Cổ chân trái, (17) Ngón chân cái trái

Trong bộ cơ sở dữ liệu này nghiên cứu cũng cấp cấp dữ liệu đám mây điểm của từng cảnh tương ứng với từng khung hình thu được. Số khung hình ở mỗi video trong bộ cơ sở dữ liệu này được thể hiện trong Bảng 2.1. Toàn bộ cơ sở dữ liệu có thể tải về theo đường dẫn trong Phụ lục.

Bảng 2.1 Số khung hình trong các tư thế võ của cơ sở dữ liệu VNMA.

1 2 3 4 5 6 7 8 9 10 11 12

50 89 71 77 98 109 87 79 89 76 79 95

13 14 15 16 17 18 19 20 21 22 23 24

131 71 95 101 108 117 109 112 80 110 96 105 Video Số khung hình Video Số khung hình

Ngoài ra, nghiên cứu cũng thu thập một tập dữ liệu nhỏ dựa trên cấu hình và thiết lập môi trường như trong bộ cơ sở dữ liệu VNMA. Tuy nhiên, trong tập dữ liệu này nghiên cứu thu thập chỉ trên một người có giới tính là Nam, 26 tuổi, quần màu nâu xẫm, áo màu xanh nước biển. Người này biểu diễn 14 thế võ khác nhau tương ứng với 14 đoạn video ngắn mà có số khung hình được thể hiện như trong Bảng 2.2. Tập cơ sở dữ liệu này được gọi là "SVNMA - Small VietNam Martial Arts". Trong đó, nghiên cứu thực hiện việc đánh nhãn (ground truth) các điểm đại diện của cơ thể người bằng

50

tay trong trên ảnh (không gian 2-D) như minh họa trong Hình 2.3 và Hình 2.11, với 18 điểm xương trên ảnh. Cơ sử dữ liệu này chỉ bao gồm các ảnh có người trong ảnh. Số khung hình trong bộ cơ sở dữ liệu này được thể hiện như trong Bảng 2.2.

Hình 2.11 Các điểm đại diện (Key points) trên cơ thể người và nhãn.

Bảng 2.2 Số khung hình trong các tư thế võ của cơ sở dữ liệu SVNMA.

1 2 3 4 5 6 7 8 9 10 11 12 13 14

120 74 100 87 80 88 87 74 71 90 100 97 65 68 Video #Khung hình

Cơ sở dữ liệu thứ hai mà luận án dùng đánh giá việc ước lượng khung xương, tư thế người là MADS- the Martial Arts, Dancing and Sports. [32]. Cơ sở dữ liệu này bao gồm các video thu thập ở nhiều hướng nhìn (multi-view RGB videos) và một hướng nhìn (depth videos). Nó bao gồm 5 kiểu hành động thách thức: Tai-chi, Karate, nhảy Hip-hop (Hip-hop dance), Khiêu vũ và thể thao (Jazz dance and sports). Tốc độ thu thập dữ liệu là trên các video là (10 khung hình/giây cho võ Tai-chi và Karate; 20 khung hình/giây cho khiêu vũ, nhảy hip-hop và các hành động trong thể thao). Độ phân giải của ảnh màu và ảnh độ sâu thu được là 1024 × 768 điểm ảnh. Tuy nhiên, trong cơ sở dữ liệu lưu trữ ảnh có độ phân giải là 512 × 384 điểm ảnh. Dữ liệu gốc của bộ cơ sở dữ liệu này được chuẩn bị (đánh dấu) trong không gian 3-D thông qua việc sử dụng hệ thống MOCAP (MOtion CAPture) [33]. Hệ thống MOCAP sử dụng bảy cảm biến hình ảnh được đặt trên tường xung quanh không gian thu thập dữ liệu của không gian thu thập dữ liệu và các cảm biến xác định vị trí trên các khớp trên người biểu diễn võ thuật, khiêu vũ, hành động thể thao.

Hệ thống MOCAP làm việc với tốc độ 60 khung hình/giây. Dữ liệu gốc (đánh dấu) về vị trí các điểm đại diện với 19 điểm theo thứ tự như sau: "cổ", "xương chậu", "hông trái", "đầu gối trái", "mắt cá chân trái", "ngón cái chân trái", "hông phải", "đầu gối phải", "mắt cá chân phải", "ngón chân cái phải", "vai trái", "khuỷu tay trái", "cổ tay trái", "tay trái", "vai phải", "khuỷu tay phải", "cổ tay phải", "tay phải", "đầu".

51

Trong nghiên cứu này, luận án chỉ đánh giá các video võ thuật cổ truyền theo một hướng nhìn trong bộ cơ sở dữ liệu này, chúng bao gồm các video võ Tai-chi và Karate. Các video này bao gồm 11200 khung hình. Trong đó, bộ tham số trong của cảm biến hình ảnh để hiệu chỉnh ảnh màu và ảnh độ sâu được thể hiện như sau:

  331 254.097 0

(2.1) Hm = 331 180.032 0       0 0 1

Hình 2.12 minh họa dữ liệu đám mây điểm của cảnh khi một người biểu diễn võ

thuật Karate.

Hình 2.12 Minh họa dữ liệu đám mây điểm của một cảnh. Các điểm màu xanh nước biển là dữ liệu của người trong môi trường 3-D.

Cơ sở dữ liệu huấn luyện:

Như đã trình bày ở trên, phương thức 1 là sử dụng mô hình ước lượng đã được huấn luyên trên cơ sở dữ liệu COCO [23]. Cơ sở dữ liệu này bao gồm hơn 200k ảnh và 250k người trên ảnh, trong đó dữ liệu đánh dấu của tập huấn luyện và xác nhận là từ 150k người với 1.7 triệu nhãn của các điểm đại diện. Mỗi người được đánh dấu bởi 17 điểm đại diện, được sắp xếp theo theo thứ tự như sau: Mũi, mắt trái, mắt phải, tai trái, tai phải vai trái, vai phải, khuỷu tay trái, khuỷu tay phải, cổ tay trái, cổ tay phải, hông trái, hông phải, đầu gối trái, đầu gối phải, mắt cá chân trái, mắt cá chân phải. Phương thức 2 là sử dụng mô hình ước lượng đã được huấn luyện trên cơ sở dữ liệu Human 3.6M [86]. Cơ sở dữ liệu này bao gồm 3.6 triệu ảnh, được thu thập từ 11 người (6 nam, 5 nữ) trong 17 ngữ cảnh khác nhau (thảo luận, hút thuốc, chụp ảnh, nói chuyện điện thoại, vv). Human 3.6M được thu thập và tính toán trên 15 cảm biến (4 máy quay video kỹ thuật số, 1 cảm biến thời gian, 10 camera theo vết). Cơ sở dữ liệu này cung cấp dữ liệu gốc khung xương cả 2-D và 3-D. Số khung hình của dữ liệu huấn luyện

52

và xác thực theo thứ tự là 35832/19312. Dữ liệu khung xương được đánh dấu với 17 điểm đại diện theo thứ tự như sau: "Xương chậu", "Hông phải", "Đầu gối phải", "Mắt cá chân phải", "Hông trái", "Đầu gối trái", "Mắt cá chân trái", "Cổ", "Đầu", "Giữa hông", "Vai trái", "Khuỷu tay trái", "Cổ tay trái", "Vai phải", "Khuỷu tay phải", "Cổ tay phải".

2.1.3.3 Phương thức đánh giá

+ Đánh giá trong không gian 2-D:

Để thực hiện và đánh giá kết quả ước lượng bản đồ các điểm đại diện và các vector tương ứng của các bộ phận trên cơ thể người trong không gian 2-D (trên ảnh). Nghiên cứu thay đổi kích thước của ảnh đầu vào từ 640 × 480 điểm ảnh sang 654 × 368 điểm ảnh, để phù hợp với bộ nhớ trên GPU, như theo yêu cầu của mạng nơ ron tích chập. Quá trình đánh giá được thực hiện trên máy chủ có cấu hình đã trình bày ở trên. Quá trình chạy bao gồm hai phần chính: Thứ nhất là thời gian chạy của mạng nơ ron tích chập để ước lượng các bản đồ các điểm nổi bật và dự đoán vị trí các điểm, thứ hai là thời gian chạy dự đoán các khớp tương ứng trên nhiều người [24]. Hai phần này được đánh giá về độ phức tạp lần lượt là O(1) và O(N 2), trong đó N là số người trong ảnh.

Cũng giống như trong [24], nghiên cứu đánh giá độ tương tự của các điểm đại diện (object key point similarity (OKS)) và sử dụng độ chính xác trung bình (average precision (AP)) với ngưỡng OKS = 0.5. OKS được tính từ sự thay đổi kích thước của cơ thể người so với khoảng cách giữa các điểm đại diện ước lượng được và các điểm được đánh nhãn (ground truth). Việc tính toán tỷ lệ OKS được thực hiện trên từng khớp được tạo ra từ các điểm đại diện ước lượng được và được tính toán theo công thức trong [23], minh họa trong hình 2.13. Công thức trong hình 2.13 được chi tiết hóa như trong công thức (2.2).

(2.2) OKS = abs(| Gground − Rresult |) Gground

trong đó Gground là độ dài của véc tơ khớp xương gốc, Rresult là độ dài véc tơ khớp xương ước lượng được tương ứng theo chỉ số đã định nghĩa trước.

Nếu OKS > 0.5, tức là sai khác lớn hơn 50% độ dài thì là một ước lượng sai ngược lại là một ước lượng đúng. Đồng thời luận án cũng thực hiện đánh giá góc lệch giữa khớp xương được gán nhãn (VG) và khớp xương ước lượng được (VE) từ các điểm đại diện được ước lượng (AD(%)). Trong đó, góc giữa 2 vec tơ (A= argcos(VG, VE)). Nếu (A ≤ 10o) là một ước lượng đúng, ngược lại là một ước lượng sai. Tỷ lệ (AD) được tính bằng số ước lượng đúng chia cho tổng số khớp.

Ngoài ra nghiên cứu cũng tính khoảng cách trung bình của các điểm đại diện ước

53

Hình 2.13 Minh họa ma trận đánh giá độ tương tự độ dài của các khớp được tạo ra từ các điểm đại diện [28]

lượng được với các điểm đại diện gốc đã được đánh dấu theo chỉ số đã được định nghĩa sẵn như trong công thức (2.3).

(cid:113) (2.3) (xg − xe)2 + (yg − ye)2 D(pg, pe) =

trong đó D là khoảng cách giữa hai điểm (pg, pe), pe là điểm đại diện ước lượng được mà có tọa độ là (xe, ye), pg là điểm đại diện được đánh dấu mà có tọa độ (xg, yg) trong không gian ảnh. Trong nghiên cứu này, luận án đánh giá độ đo (AD) vì trong thực tế có nhiều trường hợp khớp xương ước lượng có độ dài tương đồng với khớp xương gốc, nhưng nó bị lệch lên hoặc lệch xuống. Ví dụ: khớp xương khuỷa tay của dữ liệu gốc là thẳng sang ngang, nhưng khớp xương khuỷa tay ước lượng được là bị gấp lên trên. Hay khi khớp xương khuỷa tay gốc và khớp xương khuỷa tay ước lượng được là song song với nhau nên luận án cần đánh giá thêm độ đo (D) về khoảng cách giữa các điểm đại diện ước lượng được và dữ liệu gốc.

Với dữ liệu đầu vào của hệ thống là ảnh màu, video. Dữ liệu đầu ra là kết quả ước lượng các điểm đại diện trên ảnh, đồng thời các khớp nối giữa các điểm đại diện cũng được thể hiện. Dữ liệu về nhãn và vị trí của các điểm đại diện ước lượng cũng được nghiên cứu lưu trữ ra file theo cấu trúc đã được định nghĩa trước như Hình 2.14. Trong nghiên cứu này, nghiên cứu đánh giá việc ước lượng khung xương, tư thế người theo các phương thức như trong Hình 2.15.

54

Hình 2.14 Minh họa thứ tự các điểm đại diện ước lượng được. Trong đó, các điểm màu xanh là các điểm quan tâm và đánh giá trong bài báo này. Hình bên phải thể hiện các khớp nối của các điểm đại diện quan tâm.

Như vậy các độ đánh giá trên là sử dụng để đánh giá kết quả ước lượng trong không gian 2-D. Do đó, các độ đo này sử dụng để đánh giá kết quả ước lượng trên tập cơ sở dữ liệu SVNMA. Các kết quả được thể hiện trong Phần 2.1.3.5.

+ Đánh giá trong không gian 3-D:

Việc đánh giá kết quả ước lượng trong không gian 3-D là rất quan trọng, vì trong môi trường này gần với môi trường thực. Để đánh giá kết quả ước lượng khung xương trong không gian 3-D, nghiên cứu sử dụng một độ do như sau:

(cid:136) Cũng giống như trong nghiên cứu của Tome và các cộng sự [85], nghiên cứu sử dụng độ đo MPJPE (Mean Per Joint Position Error), độ đo này có nghĩa là trung bình lỗi về vị trí của các khớp, được tính như công thức (2.4).

(cid:112)(xgi − xei)2 + (ygi − yei)2 + (zgi − zei)2 (cid:80)N P i=1 (2.4) M P JP Ek = N P

trong đó, (xgi, ygi, zgi) là tọa độ của điểm xương của dữ liệu gốc (ground truth) trong không gian 3-D; (xei, yei, zei) là tọa độ của điểm xương thứ ith của dữ liệu ước lượng được (estimation) trong không gian 3-D; N P là số điểm xương thứ ith trên mỗi khung xương; k là chỉ số khớp xương người của khung hình thứ kth trong mỗi video.

55

Hình 2.15 Minh họa các phương thức cho việc đánh giá ước lượng khung xương, tư thế người trong không gian ảnh.

Với độ đo này có thể sử dụng để đánh giá kết quả ước lượng khung xương trong không gian 3-D với hai cơ sở dữ liệu: VNMA, MADS.

2.1.3.4 Xoay và dịch dữ liệu trong không gian 3-D

Trên thực tế thì kết quả ước lượng, khôi phục khung xương trong không gian 3-D được chiếu từ không gian 2-D sang hay được huấn luyện và lựa chọn mô hình khung xương tốt nhất phù hợp với dữ liệu 2-D thì kết quả ước lượng, khôi phục khung xương trong không gian 3-D có hệ trục tọa độ khác với dữ liệu gốc. Điều này xảy ra do khi ước lượng khung xương trên ảnh 2-D thì các mạng nơ ron tích chập thay đổi kích thước của ảnh đầu vào để phù hợp với dữ liệu đầu vào của mạng CNN đã được định nghĩa sẵn nên làm cho kết quả ước lượng thay đổi hệ trục tọa độ so với dữ liệu gốc. Hay do dữ liệu bộ thư viện khung xương gốc để huấn luyện ước lượng, khôi phục khung xương trong không gian 3-D với dữ liệu gốc của cơ sở dữ liệu kiểm tra là thuộc hai hệ trục tọa độ khác nhau. Nên để đánh giá được các kết quả ước lượng, khôi phục khung xương trong không gian 3-D thì kết quả ước lượng, khôi phục khung xương trong không gian 3-D và dữ liệu gốc cần được đồng bộ hóa về cùng một hệ trục tọa độ. Để thực hiện được việc này thì luận án tiến hành xoay và dịch dữ liệu ước lượng, khôi phục được về cùng hệ trục tọa độ với dữ liệu gốc. Để tìm được ma trận xoay và dịch giữa hai tập dữ liệu trong không gian 3-D thì tối thiểu cần chọn 4 điểm cho việc tìm ma trận [125]. Kết quả ước lượng khung xương, tư thế 3-D của người là 17 điểm được thể hiện theo thứ tự như Hình 2.17.

Như hình 2.17, chúng ta có thể thấy điểm xương "giữa hông - Hip center" là điểm giữa của cơ thể và các điểm khác thường thay đổi theo điểm này. Nên nghiên cứu chọn

56

Hình 2.16 Minh họa mô hình xoay và dịch dữ liệu trong không gian 3-D.

điểm này trên hai tập dữ liệu (dữ liệu gốc, dữ liệu kết quả ước lượng) để tìm ma trận dịch chuyển. Trong đó khoảng cách Dt dịch chuyển giữa hai hệ trục tọa độ này theo công thức (2.5).

(2.5) Dt = (cid:112)(xghc − xehc)2 + (yghc − yehc)2 + (zghc − zehc)2

trong đó, (xghc, yghc, zghc) là tọa độ của điểm "hông giữa" trên dữ liệu gốc,

(xehc, yehc, zehc) là tọa độ của điểm "hông giữa" trên dữ liệu kết quả ước lượng.

Và véc tơ T (tz, ty, tz) của ma trận dịch chuyển được tính như công thức (2.6).

(2.6) tx = xehc − xghc; ty = yehc − yghc; tz = zehc − zghc

Công thức (2.7) là để dịch chuyển tọa độ của một điểm.

P (cid:48) = T.P (2.7)

      1 0 0 tx xehc

0 1 0 ty yehc = . 0 0 1 tz zehc                                     xe(cid:48) hc ye(cid:48) hc ze(cid:48) hc 1 0 0 0 1 1

hc, ye(cid:48)

hc, ze(cid:48)

hc) là

Trong đó điểm P (xehc, yehc, zehc) là điểm kết quả ước lượng; P (cid:48)(xe(cid:48)

điểm kết quả ước lượng sau khi dịch chuyển về cùng hệ trục tọa độ của dữ liệu gốc.

Để tìm mà trận xoay R, người ta thường xuất phát từ việc xoay theo từng trục

57

với các ma trận xoay lần lượt là Rx, Ry, Rz như sau:

0 0 1

(2.8) Rx(α) = cos α sin α 0

0 − sin α cos α (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12)

cos β 0 − sin β

(2.9) Ry(β) = 0 1 0

sin β 0 cos β (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12)

cos γ sin γ 0

(2.10) Rz(γ) = − sin γ cos γ 0

0 0 1 (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12) (cid:12)

ở đây α, β, γ là các phép xoay theo trục x, y, z.

Từ công thức (2.8), (2.9) và (2.10), chúng ta có ma trận xoay như trong công thức

(2.11)

(2.11) R = Rz(γ)Ry(β)Rx(α)

Việc xoay một điểm P thành điểm P (cid:48) trong cùng hệ trục tọa độ với dữ liệu gốc theo công thức (2.12).

(2.12) P (cid:48) = R × P → R = P × P (cid:48)−1

Dựa trên hướng tiếp cận của Horn và các cộng sự [125] là chọn ít nhất 4 điểm để tìm ra ma trận xoay và dịch chuyển kết quả ước lượng về cùng hệ trục tọa độ với dữ liệu gốc cho việc đánh giá.

Tuy nhiên, trong nghiên cứu này luận án kết hợp việc tìm ma trận xoay và dịch vào một quá trình. Trong đó ma trận xoay và dịch được biểu diện trong không gian 3-D như sau [151]:

      x(cid:48) x R11 R12 R13 T1

y(cid:48) y R21 R22 R23 T2 = . z(cid:48) z R31 R32 R33 T3                                     0 0 0 1 1 1

Trong đó điểm P (x, y, z) là điểm kết quả ước lượng; P (cid:48)(x(cid:48), y(cid:48), z(cid:48)) là điểm kết quả ước lượng sau khi dịch chuyển về cùng hệ trục tọa độ của dữ liệu gốc. Vì vậy, chúng

58

ta có hệ phương trình như công thức (2.13).

(2.13)

      x(cid:48) = R11x + R12y + R13z + T1 y(cid:48) = R21x + R22y + R23z + T2 z(cid:48) = R31x + R32y + R33z + T3

Từ tọa độ của các điểm xương trong một khung xương trong cơ sở dữ liệu ước lượng được trong không gian 3-D, luận án định nghĩa tọa độ của một khung xương bao gồm n điểm như công thức (2.14).

  1 z1 y1 x1

1 z2 y2 x2

. . . . (2.14) . . . .

. . . .                       1 zn yn xn

Trong đó, ma trận xoay và dịch theo từng trục x, y, z được thể hiện theo thứ tự θ1, θ2, θ3 như trong công thức (2.15).

      T3 T2 T1

R33 R23 R13 (2.15) θ3 = θ2 = θ1 = R32 R22 R12                                     R31 R21 R11

Giá trị kết quả của việc xoay và dịch được thể hiện trong các vector X (cid:48), Y (cid:48), Z (cid:48) như trong công thức (2.16).

     

x(cid:48) 1 x(cid:48) 2 . y(cid:48) 1 y(cid:48) 2 . z(cid:48) 1 z(cid:48) 2 . X (cid:48) = Y (cid:48) = Z (cid:48) = (2.16) . . .

. . .                                                                  

x(cid:48) n y(cid:48) n z(cid:48) n

i, z(cid:48)

i, y(cid:48)

i là giá trị tọa độ trên khung xương của dữ liệu gốc (có hệ trục tọa độ mà khung xương ước lượng được muốn xoay và dịch đến); xj, yj, zj là tọa độ các điểm xương trên khung xương của dữ liệu ước lượng được, mà muốn xoay và dịch

Trong đó, x(cid:48)

59

về cùng hệ trục tọa độ với dữ liệu gốc.

Từ đó, chúng ta có hệ phương trình tuyến tính thể hiện trong công thức (2.17).

(2.17)

X (cid:48) = M θ1 Y (cid:48) = M θ2 Z (cid:48) = M θ3

Trong đó việc ước lượng θi bằng cách sử dụng phương pháp bình phương tối thiểu (LS- Least Squares method) [152], [153] như trong phương trình của công thức (2.18).

(2.18)

θ1 = (M T M )−1M T X (cid:48) θ2 = (M T M )−1M T Y (cid:48) θ3 = (M T M )−1M T Z (cid:48)

Toàn bộ mã nguồn của việc xoay và dịch chuyển dữ liệu được lưu trữ trong đường dẫn tại Phụ lục. Cuối cùng chúng tôi có ma trận xoay và dịch có dạng (θ1; θ2; θ3). Thuật toán để xoay và dịch tọa độ của kết quả ước lượng khung xương, tư thế người trong không gian 3-D cho một video được thể hiện trong thuật toán (1).

Algorithm 2.1: Thuật toán xoay, dịch hệ trục tọa độ của khung xương trong không gian 3-D cho việc đánh giá kết quả ước lượng và đánh giá kết quả ước lượng khung xương trên video.

(cid:46) Số khung xương trong tập dữ liệu Input: Tập các điểm kết quả ước lượng, dữ liệu gốc P e, P g Output: Giá trị lỗi trung bình Eav, tập điểm kết quả dịch chuyển Prt N um_skeleton = size(P e); For i= 1 : Num_skeleton P e_i = load_point(Estimated_path, i) (cid:46) Lấy dữ liệu kết quả ước lượng khung xương P g_i = load_point(Groundtruth_path,i) (cid:46) Lấy dữ liệu gốc của khung xương

(θ1_i, θ2_i, θ3_i) = (P ei, P gi) công thức (2.18); P e(cid:48)_i = (θ1_i, θ2_i, θ3_i)P e_i; Prt ← P e(cid:48)_i; Dis_i = Distance(P e(cid:48)_i, P g_i); Ave_i = Average(Dis_i); de = de + Ave_i;

End For Eav = de/N um_skeleton; Return Eav, Prt;

60

2.1.3.5 Kết quả ước lượng và nhận xét

+ Kết quả đánh giá ước lượng khung xương 2-D trên tập dữ liệu SVNMA

Tất cả các kết quả ước lượng trung bình trên tập dữ liệu SVNMA được đánh giá và thể hiện trong Bảng 2.3. Theo Bảng 2.3, kết quả trung bình của độ đo (AP) là 95.6% (dòng đầu tiên). Kết quả này là cao bởi vì trên dữ liệu kiểm tra, mỗi ảnh chỉ có một người trong ảnh. Trong dữ liệu kiểm tra của cơ sở dữ liệu COCO[23], [29] có nhiều người trong một ảnh. Trong video #4, kết quả là 89.6% (dòng đầu tiên của Bảng2.3) là thấp nhất trong các video. Vì trong video #4, các khung hình là chứa rất nhiều nhiễu; chúng là kết quả của quá trình hiệu chỉnh giữa ảnh màu và ảnh độ sâu khi đưa về cùng một tâm.

Bảng 2.3 Kết quả trung bình của ước lượng các khớp nối (AP), góc lệch giữa các khớp của dữ liệu gốc và các khớp nối ước lượng được (AD) và khoảng cách giữa các trung bình giữa các điểm đại diện ước lượng được và các điểm đại diện của dữ liệu gốc, tương ứng với nhau.

4 8

95.4 2 93.7 3 96.2 89.6 5 96.1 6 92.8 7 97.4 98.8 9 96.9 10 94.5 11 96.9 12 96.2 13 95.7 14 98.2

Video 1 AP (%) AD(%) 93.7 94.6 92.8 90.9 95.3 94.6 95.8 97.6 97.8 95.1 97.0 95.8 96.3 96.9

21.2 18.6 9.7 25.9 | 13.8 15.7 9.4 15.4 12.4 10.1 14.0 12.8 11.3 16.9 Dp (pixels)

Các kết quả ước lượng tư thế người được thể hiện trong Bảng 2.3 và Hình 2.20, trong đó kết quả ước lượng được là 25 điểm đại diện trên cơ thể người Tuy nhiên, trong dữ liệu các điểm đại diện của dữ liệu gốc, luận án chỉ chuẩn bị 20 điểm (có 2 điểm trên 2 bàn tay). Do đó, việc đánh giá kết quả cũng chỉ được thực hiện trên 18 điểm (vì dữ liệu ước lượng được không có 2 điểm trên 2 bàn tay). Kết quả ước lượng này là có độ chính xác cao, mặc dù mô hình đã được huấn luyện sẵn trên bộ cơ sở dữ liệu MSCOCO Key points Challeng [23] và dữ liệu kiểm tra của luận án có nhiều nhiễu (dữ liệu bị mờ). Các kết quả trên dòng thứ 2 của Bảng 2.3 thể hiện độ chính xác của kết quả ước lượng dựa trên góc lệch của các khớp nối tương ứng (AD). Độ chính xác trung bình của các kết quả ước lượng (AD) là 95.3%. Kết quả trung bình của góc lệch giữa điểm đại diện trên dữ liệu gốc và điểm đại diện trên dữ liệu ước lượng được (DP) được thể hiện trong Bảng 2.3 (dòng thứ 3). Độ lệch trung bình của các điểm đại diện là 14.73 điểm ảnh. Chi tiết của các các kết quả ước lượng được thể hiện trong phụ lục. Hình 2.20 thể hiện các kết quả ước lượng khung xương người trong không gian 2-D và 3-D, trong đó số lượng điểm đại diện được thể hiện trong không gian 3-D là 17 điểm.

Đồng thời, luận án cũng thể hiện xác suất dự đoán (IOU) của mỗi điểm đại diện

61

trên 3 video, được minh họa trong Hình 2.19. Trong Hình 2.19, luận án thể hiện đồ thị phân bố xác suất (IOU) để ước lượng các điểm đại diện của mô hình CNN được huấn luyện trước trên tập dữ liệu MSCOCO Key points Challeng [23]. Khi dự đoán các vùng nổi bật với mô hình CNN, thì chỉ số tin tưởng (confidence score) dự đoán được tính toán bằng xác suất, trong đó mỗi vùng nổi bật là một ứng cử viên vị trí của các điểm đại diện có tọa độ (x, y), được thể hiện trong Hình 2.5 và Hình 2.6. Luận án nhận thấy xác xuất suất dự đoán tập trung từ 0.7 đến 0.9. Điều đó có nghĩa là mô hình đã được huấn luyện trong [21] có xác suất dự đoán cao (khả năng dự đoán là mạnh).

+ Kết quả đánh giá ước lượng khung xương 3-D trên tập dữ liệu VNMA

Để đánh giá kết quả ước lượng khung xương trong không gian 3-D trên tập dữ liệu VNMA, luận án thực hiện chuyển các điểm đại diện ước lượng trên ảnh sang không gian 3-D. Việc này được thưc hiện bằng cách kết hợp điểm đại diện ước lượng được có tọa độ (x, y) trên ảnh màu với điểm ảnh có tọa độ (x, y) trên ảnh độ sâu, sử dụng giá trị độ sâu depthvalue(x, y) và dựa trên công thức (1.3). Do đầu ra khi sử dụng CPM theo phương thức của [85] là 14 điểm, được minh họa và liệt kê trong Hình 2.21. Nên dữ liệu gốc trên tập dữ liệu này cũng được đồng bộ về 14 điểm theo thứ tự như trong Hình 2.21. Để thực hiện luận án phát triển một công cụ nhỏ có tên là "Edit_result_17p_14p_our_groundtruth.m" trong đường dẫn https://github. com/PandaThanh/3d_code

Do khi kiểm tra qua mạng CNN của [85] nên hệ trục tọa độ thay đổi, nên để thực hiện việc đánh giá luận án thực hiện xoay và dịch hệ trục tọa độ của 14 điểm trên khung xương ước lượng được về cùng hệ trục tọa độ với khung xương dữ liệu gốc. Quá trình này được thực hiện theo Phần 2.1.3.4.

Kết quả trên tập dữ liệu VNMA theo độ đo MPJPE(Mean Per Joint Position

Error)(mm -milimet) được thể hiện trong Bảng 2.4.

Trong đó, Bảng 2.4 đánh giá kết quả ước lượng khung xương trên số khung hình

được thể hiện trong Bảng 2.5.

Như Bảng 2.4, khoảng cách lỗi càng nhỏ là càng tốt. Trong khi số khung hình sử dụng để đánh giá càng nhiều là càng tốt, thể hiện trong Bảng 2.5. Điều này xảy ra vì từ kết quả ước lượng khung xương trong không gian 2-D (trên ảnh), khi lấy điểm ảnh (pixel) của điểm xương ước lượng được trên không gian 2-D kết hợp với điểm ảnh trên ảnh độ sâu tương ứng để tạo thành một điểm xương trong không gian 3-D. Tuy nhiên, có rất nhiều trường hợp do dữ liệu độ sâu bị mất do bị hấp thụ hoặc bị thủng dữ liệu nên không tạo được điểm xương trong không gian 3-D. Đặc biệt có nhiều trường hợp kết quả ước lượng điểm xương nằm rời xa với cơ thể người, mà trên ảnh độ sâu thường

62

thì dữ liệu độ sâu thường chỉ có trên người như minh họa trong Hình. 2.23. Như trong Hình 2.12, dữ liệu đám mây điểm được tạo ra từ sự kết hợp của ảnh màu và ảnh độ sâu, chỉ có vùng người là có dữ liệu.

Bảng 2.4 cho thấy bộ ước lượng của CPM khi được huấn luyện trên cơ cở dữ liệu MSCOCO Key points Challeng [23] (lỗi khoảng cách giữa các điểm đại diện của dữ liệu gốc và dữ liệu ước lượng trung bình là 79.7906 mm) là tốt hơn CMP khi được huấn luyện trên cơ sở dữ liệu Human 3.6M [86] (lỗi trung bình là 80.37858 mm ). Các giá trị lỗi MPJPE của từng cặp điểm đại diện được thể hiện trong Hình 2.22.

Hình 2.22 cũng một lần nữa khẳng định CPM được huấn luyện cơ sở dữ liệu COCO là tốt hơn khi huấn luyện trên cơ sở dữ liệu Human 3.6M. Số các khoảng cách lỗi của các cặp điểm đại diện tập trung ở mức 100cm là nhiều hơn và số các khoảng cách lỗi tập trung từ trên 100 đến 700mm là ít hơn.

Như trong Hình 2.24, thể hiện kết quả ước lượng khung xương có điểm xương nằm ngoài vùng người trên ảnh nên không có dữ liệu độ sâu và tạo được điểm xương trong không gian 3-D.

Trong video thứ 15, số khung hình sử dụng cho việc đánh giá ước lượng là rất ít (5,6 khung hình), vì trong video người biểu diễn võ thuật ở rất xa so với cảm viến MS Kinect v1 nên giá trị độ sâu gần như bằng không. Nên không thể tạo được các điểm xương trong không gian 3-D, như minh họa trong Hình 2.25.

+ Kết quả đánh giá ước lượng khung xương 3-D trên tập dữ liệu MADS

Đồng thời luận án cũng đánh giá kết quả ước lượng khung xương trong không gian 2-D sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS. Cơ sở dữ liệu này đã công bố dữ liệu gốc trong không gian 3-D [32] với 19 điểm xương được sắp xếp theo thứ từ như sau: cổ, xương chậu, hông trái, đầu gối trái, mắt cá chân trái, hông phải, đầu gối phải, mắt cá chân phải, shouler trái, khuỷu tay trái, cổ tay trái, tay trái, vai phải, khuỷu tay phải, cổ tay phải, tay phải, đầu. Luận án đã xây dưng một công cụ nhỏ có tên "Edit_result_19p_14p_MADS_groundtruth.m" trong đường dẫn https://github.com/PandaThanh/3d_code để trích 14 điểm dữ liệu gốc từ dữ liệu gốc 3-D theo thứ tự đã được sắp xếp theo như đánh trên cơ sở dữ liệu VNMA. Các kết quả được thể hiện trong Bảng 2.6 và số khung hình sử dụng để đánh giá được thể hiện trong Bảng 2.7.

Bảng 2.6 và Hình 2.26, CPM huấn luyện trên bộ cơ sở dữ liệu COCO (giá trị lỗi trung bình là 130.5935083 mm) là tốt hơn CPM khi huấn luyện trên bộ cơ sở dữ liệu Human 3.6m (giá trị lỗi trung bình là 153.7619 mm).

63

2.1.4 Kết luận

Việc bảo tồn, lưu trữ và giảng dạy võ cổ truyền là rất quan trọng trong việc giữ gìn bản sắc văn hóa quốc gia cũng như rèn luyện trạng sức khỏe của mỗi cá nhân và tự vệ. Tuy nhiên, hành động của cơ thể (cơ thể, cánh tay, chân) của một võ sư dạy võ thuật không phải lúc nào cũng rõ ràng vì có nhiều khớp bị che khuất. Trong chương này, trước tiên luận án đã xem xét một số phương pháp ước lượng tư thế người trong không gian 2-D trên các hình ảnh RGB. Sau đó, đã đề xuất một bộ dữ liệu về võ thuật cổ truyền Việt Nam do các em học sinh phổ thông biểu diễn. Đồng thời đề xuất một nghiên cứu so sánh về ước lượng khung xương trên ảnh (không gian 2-D) trong đó nghiên cứu so sánh sử dụng mô hình các mạng CNN để ước lượng các điểm đại điện. Cuối cùng, luận án đã trình bày các phương pháp để đánh giá các điểm đại diện và khớp xương ước lượng được. Đặc biệt, luận án đã trình bày và đánh kết quả ước lượng khung xương, tư thế người trên ảnh trong không gian 3-D bằng việc chiếu các kết quả ước lượng trong không gian 2-D sang không gian 3-D trên bộ cơ sở dữ liệu võ cổ truyền Việt Nam đã đề xuất và cơ sở dữ liệu võ cổ truyền Nhật Bản, Trung Quốc (MADS). Kết quả ước lượng cho thấy phương thức với mô hình được huấn luyện trên mạng CPM trên bộ cơ sở dữ liệu COCO là tốt nhất (sai số trung bình về khoảng cách là 79.79mm trên cơ sở dữ liệu VNMA và 130.59 trên cơ sở dữ liệu MADS).

64

Hình 2.17 Minh họa kết quả ước lượng khung xương, tư thế người trong không gian 3-D.

Hình 2.18 Minh họa các kết quả ước lượng các điểm đại diện và các khớp nối trên các video võ thuật cổ truyền. Các khớp nối của cơ thể người là có màu đỏ; Các khớp nối của tay phải có màu xanh lá cây; Các khớp nối của tay trái có màu giảm dần từ đỏ đến vàng; Các khớp nối của chân phải có màu xanh nước biển; Các khớp nối của chân trái có màu xanh lục.

65

Hình 2.19 Đồ thị thể hiện xác suất ước lượng các điểm đại diện trên 3 video võ thuật cổ truyền có thứ tự là: 2th, 9th, 12th.

Hình 2.20 Minh họa kết quả ước lượng các khớp nối trong không gian 2-D và 3-D. Tư thế của người trong không gian 3-D được thể hiện bằng Matplotlib của Python.

66

Hình 2.21 Minh họa việc đánh giá ước lượng khung xương trong không gian 2-D và chiếu sang không gian 3-D.

Hình 2.22 Phân bố khoảng cách lỗi giữa các điểm đại diện trên dữ liệu gốc và dữ liệu ước lượng được.

67

Bảng 2.4 Kết quả ước lượng khung xương trên ảnh và chiếu sang không gian 3-D với 14 điểm xương trên dữ liệu VNMA. Kết quả được đánh giá trên độ đo MPJPE theo đơn vị milimet (mm).

#Video MPJPE (mm) Method 1 Method 2

88.9625 107.6108 112.7826 65.564 59.7409 68.2497 69.8307 70.9096 72.5311 72.3694 74.717 63.5139 71.0044 72.2256 72.2256 74.8709 77.9019 80.2478 84.4412 82.6295 88.3687 96.3149 102.5956 99.4776 80.37858 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Average 83.4494 102.095 101.4525 55.9622 60.4121 63.1662 63.2878 64.4781 66.6734 67.7575 69.1387 58.6456 74.3258 78.956 78.956 80.0844 84.5111 85.1324 92.4574 86.1522 99.0398 101.9936 101.8342 95.013 79.7906

68

Bảng 2.5 Số khung hình đánh giá trong dữ liệu VNMA.

#Video Số khung hình trên dữ liệu gốc Số khung hình đánh giá Method 1 Method 2

50 89 71 77 98 109 87 79 89 76 79 95 131 71 95 101 108 117 109 112 80 10 96 105 2134 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 Tổng 36 59 58 40 70 98 50 38 66 67 80 51 75 67 5 65 99 111 88 65 77 84 67 98 1614 36 66 56 36 65 93 45 39 56 65 82 48 80 69 6 51 98 99 92 59 76 72 55 84 1528

69

Hình 2.23 Minh họa ảnh độ sâu thu thập được từ cảm biến MS Kinect v1 trong bộ cơ sở dữ liệu VNMA. Vùng màu đen bị xa so với giới hạn đo của cảm biến MS Kinect v1 nên giá trị độ sâu bằng không, còn vùng người, và vùng sàn nhà có màu nâu nên giá trị độ sâu lớn hơn không.

Hình 2.24 Trái: Minh họa kết quả ước lượng khung xương trên ảnh màu (14 điểm xương) bằng cách sử dụng CPM trong nghiên cứu của Tome et al. [85]. Phải: Minh họa ảnh độ sâu thu thập được từ cảm biến MS Kinect v1 trong bộ cơ sở dữ liệu VNMA bị mất dữ liệu vùng tóc.

70

Hình 2.25 Minh họa ảnh thu thập được từ cảm biến MS Kinect v1 quá xa.

Bảng 2.6 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS với 14 điểm xương.

#Video MPJPE (mm) Method 1 Method 2

Kata_F2 Kata_F3 Kata_F4 Kata_N2 Kata_N3 Kata_P3 Tai_chi_S1 Tai_chi_S2 Tai_chi_S3 Tai_chi_S4 Tai_chi_S5 Tai_chi_S6 Average 167.0256 92.8588 169.6934 90.6843 131.483 136.4613 121.4755 107.303 140.8937 137.6644 147.1612 124.4179 130.5935083 170.9718 122.0557 169.5459 118.5762 166.6152 151.514 145.6657 141.7948 177.942 163.3607 160.3719 156.7291 153.7619

71

Hình 2.26 Phân bố lỗi khoảng cách lỗi MPJPE của các cặp điểm đại diện giữa dữ liệu gốc và dữ liệu ước lượng được trên cơ sở dữ liệu MADS.

Bảng 2.7 Số khung hình cho việc đánh giá ước lượng khung xương trên ảnh sai đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS.

#Video Số khung hình trên dữ liệu gốc Số khung hình sử dụng để đánh giá Method 1 Method 2

Kata_F2 Kata_F3 Kata_F4 Kata_N2 Kata_N3 Kata_P3 Taichi_S1 Taichi_S2 Taichi_S3 Taichi_S4 Taichi_S5 Taichi_S6 Tổng 1186 874 1106 875 1299 961 494 462 369 484 424 488 9022 1207 812 1106 872 1148 822 493 461 321 485 425 478 8630 1300 1400 1400 1400 1400 1400 500 500 400 500 500 500 11200

72

Hình 2.27 Minh họa kết quả ước lượng khung xương trên không gian 2-D (trên ảnh màu) sử dụng CPM trong nghiên cứu của Tome et al. [85].

73

2.2 Phục hồi khung xương, tư thế người trong không gian 3-D

và bị che khuất

2.2.1 Giới thiệu

Ước lượng đầy đủ khung xương, tư thế người trong không gian 3-D từ một ảnh màu là vấn đề vẫn còn chưa rất nhiều thách thức. Vì ước lượng trong không gian 3-D việc trích chọn các đặc trưng cũng như huấn luyện gặp rất nhiều khó khăn do dữ liệu 3-D phức tạp hơn rất nhiều so với dữ liệu trong không gian 2-D (không gian ảnh). Việc ước lượng khung xương, tư thế người trong không gian 3-D được ứng dụng rất nhiều trong thực tế khi tương tác với robot, các nghiên cứu này sẽ tạo ra môi trường tương tác trực quan hơn. Ngoài ra ước lượng khung xương, tư thế của người trong môi trường 3-D còn được áp dụng trong nhiều ứng dụng khác như phân tích thể thao, phân tích đánh giá và chơi các trò chơi có đồ họa 3-D, hay trong việc chăm sóc và bảo vệ sức khỏe.

Ví dụ: việc phát hiện khung xương, tư thế người trong không gian 3-D giúp phát hiện các sự kiện ngã của người già trong bệnh viện, hay kết quả ước lượng có thể thấy được đầy đủ hành động của con người trong thế giới thực, giải quyết các trường hợp khi các bộ phận của người bị che khuất. Trong nghiên cứu này, luận án hướng đến việc xây dựng, tái tạo lại môi trường 3-D trực quan trong các video biểu diễn võ thuật cổ truyền. Từ đó có thể hướng đến xây dựng các ứng dụng lưu trữ, dạy võ thuật bằng video, đánh giá các bài biểu diễn võ thuật được truyền dạy của học sinh phổ thông. Để giải quyết vấn đề này thì thường sử dụng thông tin đầu vào là ảnh màu hoặc ảnh độ sâu và kết quả đầu ra là dữ liệu về khung xương, tư thế người trong không gian 3-D.

Trong nghiên cứu này, luận án thực hiện một nghiên cứu so sánh, từ dữ liệu kết quả ước lượng 2-D tốt sẽ có được kết quả ước lượng 3-D tốt hơn. Các kết quả ước lượng khung xương của người trong không gian 3-D được đánh giá trên bộ cơ sở dữ liệu võ thuật cổ truyền Việt Nam và bộ cơ sở dữ liệu võ cổ truyền khác trên thế giới như Tai-Chi, Karate. Chúng được đánh giá trên các độ đo về góc, khoảng cách, độ dài của các khớp xương ước lượng được. Đặc biệt trong nghiên cứu này luận án đề xuất một phương thức đồng bộ hệ trục tọa độ trong không gian 3-D giữa các bộ cơ sở dữ liệu, để phục vụ cho việc đánh giá. Các kết quả được thể hiện trong các phần tiếp theo của nghiên cứu này. Cuối cùng luận án thể hiện kết quả ước lượng khung xương khi bị che khuất trong không gian 3-D, trường hợp này không ước lượng được đầy đủ các khớp xương trong không gian 2-D, như minh họa trong Hình 2.28.

2.2.2 Các nghiên cứu liên quan

Ước lượng khung xương, tư thế người trong không gian 3-D được áp dụng trong nhiều lĩnh vực như: văn hóa, thể thao, sức khỏe, công nghệ robot. Đặc biệt các nghiên

74

Hình 2.28 Minh họa việc ước lượng khung xương, tư thế người trong không gian 3-D với dữ liệu bị che khuất. Bên trái thể hiện kết quả ước lượng khung xương, tư thế của người trên 2-D với bộ ước lượng [24]. Bên phải là kết quả ước lượng tư thế, khung xương của người trong không gian 3-D sử dụng bộ ước lượng của [85].

cứu về phát hiện, nhận dạng, ước lượng đối tượng trong không gian 3-D hay tái tạo lại khung cảnh 3-D vẫn còn rất nhiều các thách thức. Để ước lượng khung xương trong không gian 3-D thường được thực hiện theo hai hướng tiếp cận là: ước lượng khung xương 3-D trên một ảnh; ước lượng khung xương trên một chuỗi ảnh [84]. Trong đó việc ước lượng khung xương 3-D sử dụng một hình ảnh thì thường thực hiện việc ước lượng khung xương trong không gian 2-D sau đó ánh xạ sang không gian 3-D, nếu sử dụng ảnh màu cho việc ước lượng. Khi sử dụng ảnh độ sâu thì thực hiện chiếu vào không gian 3-D dựa trên giá trị độ sâu trong ảnh và thực hiện ước lượng. Thường thì quá trình ước lượng khung xương 3-D được thực hiện dựa trên một tập các mẫu khung xương tư thế trong không gian 3-D đã được xây dựng sẵn dựa vào dữ liệu đánh dấu các điểm đại diện và các khớp xương trong không gian 3-D. Quá trình ước lượng là quá trình ánh xạ và tìm một mô hình khung xương đã định nghĩa tốt nhất.

Như trong nghiên cứu của Tome và các cộng sự [85] đã đề xuất một hướng tiếp cận cho việc ước lượng khung xương 3-D dựa trên kết ước lượng khung xương trong không gian 2-D (không gian ảnh), sau đó ánh xạ sang không gian 3-D. Trong đó bộ dữ liệu khung xương chuẩn bị trước lấy từ dữ liệu gốc của bộ cơ sở dữ liệu Human 3.6M. Quá trình so sánh và chọn mô hình khung xương tốt nhất sử dụng PCA (Principal Component Analysis) 2-D được thể hiện như trong Hình 2.29. Trong đó hàm lỗi có giá trị từ 71.36 đến 185.72mm trên bộ cơ sở dữ liệu Human 3.6M.

Mar và các cộng sự [118] đã đề xuất một mạng nơ ron có tên là "Deep Depth Pose (DDP)". Dữ liệu đầu vào của mạng này là bản đồ độ sâu của một người, mạng này thông qua một mạng nơ ron tích chập và dựa trên một tập các tư thế khung xương của người trong không gian 3-D đã chuẩn bị sẵn để đưa ra kết quả là vị trí của các khớp xương trong không gian 3-D như minh họa trong Hình 2.30.

75

Hình 2.29 Minh họa chuẩn hóa các mô hình trong bộ dữ liệu huấn luyện mô hình khung xương người trong 3-D và việc so sánh khung xương ánh xạ được từ 2-D sang 3-D với bộ dữ liệu huấn luyện [85].

Mô hình trong bài báo này được đánh giá trên hai bộ cơ sở dữ liệu là: "ITOP" [119] và "UBC3V" [120]. Trong đó sai số về độ chính xác trên cơ sở dữ liệu "ITOP" là 10cm (tính theo khoảng cách Euclidean trong không gian 3-D) theo các hướng nhìn và sai số về độ chính xác trên cơ sở dữ liệu "UBC3V" là 98.8% có sai số là 10cm.

Atrevi và các cộng sự [121] đã đề xuất một mô hình mới cho việc ước lượng khung xương, tư thế 3-D của người dựa trên việc phân tích hình dạng bóng 2-D. Phương thức này bao gồm 4 phần: thứ nhất là mô phỏng cơ sở dữ liệu hình bóng và bộ xương, thứ hai là phát hiện người và trích xuất hình bóng 2-D, thứ ba là phù hợp hình dạng người và bóng, cuối cùng là nhân rộng ra các bộ phận của toàn bộ khung xương và xác nhận. Mô hình của phương thức này được thể hiện trong hình 1 của bài báo [121]. Trong đó bước đầu tiên, cơ sở dữ liệu về hình bóng người và khung xương trong không gian 3-D của người tương ứng được ra tạo ra bởi các phần mềm được trích dẫn chỉ số 1,2 trong bài báo [121], bằng cách thay đổi các hoạt động khác nhau, quần áo của các hình ảnh đại diện (avatar). Bước thứ hai, bóng được phát hiện trên 2-D dựa vào việc học đặc

76

Hình 2.30 Minh họa mô hình hoạt động của mạng [118].

trưng HOG (Histogram of Oriented Gradients)[122] với các kích thước tăng giảm khác nhau. Bước thứ ba là thực hiện việc miêu tả hình dáng của bóng sử dụng các miêu tả hình học của Krawtchouk [123]. Bước cuối cùng là so khớp khung xương với mỗi hình bóng trong cở sở dữ liệu đã được xây dựng.

Trong hướng tiếp cận về ước lượng khung xương, tư thế 3-D của người sử dụng một chuỗi ảnh có nghiên cứu của Rhodin và các cộng sự [124]. Trong nghiên cứu này các tác giả đã đề xuất một mô hình ước lượng khung xương, tư thế 3-D của người dựa trên các hình ảnh chụp từ một người ở các góc nhìn khác nhau. Trong đó mô hình là một bộ mã hóa và giải mã được huấn luyện trên các hình ảnh để dự đoán khung xương, tư thế của người từ một ảnh đầu vào. Sau đó kết quả ước lượng được ánh xạ sang không gian 3-D một cách đơn giản vì tư thế của người trong không gian 3-D đã được xây dựng từ các khung hình của người đó từ các hướng nhìn khác nhau. Mô hình ước lượng của bái báo này được thể hiện trong Hình 2.31.

2.2.3 Phục hồi khung xương, tư thế người trong không gian 3-D

Để giải quyết vấn đề ước lượng tư thế và chuyển động của con người trong không gian 3-D, quá trình này thường sử dụng các kỹ thuật thị giác máy tính. Những nghiên cứu này có thể dựa trên một hình ảnh duy nhất hoặc một chuỗi hình ảnh/ các ảnh từ nhiều hướng nhìn khác nhau. Vấn đề ước tính hành động và tư thế của con người được áp dụng trong nhiều ứng dụng như: tương tác giữa người với người (như ngôn ngữ cơ thể hoặc nhận dạng cử chỉ), tương tác của con người với robot, giám sát video (sử dụng để truyền đạt hành động của con người) [84]. Để giải quyết ước lượng tư thế người trong không gian 3-D từ một hình ảnh duy nhất, các nghiên cứu này thường được thực hiện từ ước lượng tư thế 2-D (trên ảnh) và sau đó ánh xạ vào không gian 3-D. Mô hình thường được áp dụng để ước tính tư thế con người 3 chiều được hiển thị trong Hình 3 của [84]. Trong phần này, luận án xem xét chi tiết các nghiên cứu ước

77

Hình 2.31 Minh họa ước lượng khung xương, tư thế 3-D của người từ một chuỗi hình ảnh [124].

lượng tư thế người trong không gian 3-D theo hai hướng tiếp cận trên. Đặc biệt trong vài năm gần đây, số lượng nghiên cứu về ước lượng tư thế người trong không gian 3-D đã được công bố trên nhiều hội nghị và tạp chí uy tín về khoa học máy tính và thị giác máy tính. Nó được hiển thị như trong Hình 2.32.

2.2.3.1 Nghiên cứu so sánh về khôi phục khung xương người trong không gian 3-D

Vấn đề ước lượng khung xương, tư thế 3-D của người là một vấn đề có nhiều thách thức như hệ tọa độ của dữ liệu huấn luyện với dữ liệu kiểm tra. Hay số lượng và độ phức tạp để tạo nên một mô hình ước lượng các điểm xương trong không 3-D là rất lớn. Như đã trình bày thì vấn đề ước lượng khung xương, tư thế 3-D của người thường được giải quyết theo hai hướng là ánh xạ từ kết quả ước lượng trong không gian 2-D và ước lượng dựa trên một chuỗi hình ảnh. Trong nghiên cứu này luận án áp dụng hướng tiếp cận của Tome và các cộng sự (CS) [85] và đề xuất một nghiên cứu so sánh để thấy được hiệu năng của của các mạng nơ ron tích chập cho việc ước lượng khung xương, tư thế của người trong không gian 3-D. Mô hình được thể hiện trong Hình 2.33.

(cid:136) Phương thức thứ nhất "3-D_COCO_Method": Ước lượng 2-D sử dụng CPM được huấn luyện trên cơ sở dữ liệu COCO [23] + ước lượng 3-D trên nghiên cứu của Tome CS. [85]. Thực chất trong hướng tiếp cận này là sử đầu ra của phương thức 1 (Method 1), Hình 2.9 trong nghiên cứu so sánh về đánh giá ước lượng khung xương trong không gian 2-D là đầu vào cho ước lượng, khôi phục khung xương trong không gian 3-D.

(cid:136) Phương thức thứ hai "3-D_HUMAN3.6_Method": Ước lượng 2-D sử dụng CPM

78

Hình 2.32 Thống kê số lượng nghiên cứu về ước lượng khung xương của người trong không gian 3-D theo từng năm.

được huấn luyện trên Human 3.6m [86] + ước lượng 3-D trên nghiên cứu của Tome CS. [85]. Phương thức này sử dụng đầu ra của phương thức 2 (Method 2), Hình 2.9 trong nghiên cứu so sánh về đánh giá ước lượng khung xương trong không gian 2-D là đầu vào cho ước lượng, khôi phục khung xương trong không gian 3-D.

(cid:136) Phương thức thứ ba "3-D_VNECT_Method": Ước lượng khung xương 2-D và 3-D

sử dụng mạng VNect trong nghiên cứu của Mehta CS. [128].

Quá trình ước lượng khung xương, tư thế 3-D của người được thực hiện dựa trên việc ánh xạ kết quả ước lượng trong không gian 2-D vào không gian 3-D. Thực chất quá trình này là việc so sánh kết quả ước lượng trong không gian 2-D để tìm mô hình tốt nhất trong tập dữ liệu huấn luyện. Quá trình này là quá trình đi tìm mô hình khung xương, tư thế, với một góc quay tối ưu, mô hình gần đúng tìm được dựa trên một phân phối Gaussian (hàm lỗi nhỏ nhất). Việc tối ưu ở đây là tối ưu một tập các biến, từ một tập N khung xương 3-D, mỗi biểu diễn là một ma trận Pi (3 × L) các khớp nối 3-D, ở đây i ∈ 1, 2, ..., N và L là số khớp của người trong 3-D.

Hướng tiếp cận này tìm một ước lượng toàn cục về mức trung bình tư thế 3-D, một bộ ma trận e cơ sở trực giao J và phương sai nhiễu σ, cùng với mỗi lần xoay mẫu

79

Hình 2.33 Minh họa mô hình nghiên cứu so sánh ước lượng khung xương, tư thế trong không gian 3-D.

J (cid:88)

N (cid:88)

J (cid:88)

Ri và các hệ số cơ bản ai để tối thiểu hóa theo công thức sau:

2 +

j=1

i=1

j=1

(2.19) (|| Pi − Ri(µ + aie) ||2 (ai,jσj )2 + ln σ2 j ) arg min R,µ,a,e,σ

Trong đó, aie = (cid:80) j ai,jej là tương tự tenxơ của phép nhân giữa vectơ và ma trận, || . ||2 2 là chỉ tiêu Frobenius bình phương của ma trận, trục y được giả sử để chỉ lên và ma trận xoay mà Ri được xem là phép xoay so với mặt phẳng đất. Một số tham số cơ bản của mô hình CNN trong hướng tiếp cận của Tome CS. [85] được thể hiện trong Hình 2.34.

Trong mô hình nghiên cứu so sánh phương thức thứ ba dựa trên nghiên cứu của Mehta và các cộng sự [128], được thể hiện trong Hình 2.33. Trong mô hình nghiên cứu thứ hai, luận án sử dụng một mô hình theo hướng sử dụng mạng nơ ron tích chập kết hợp với chuyện động của khớp xương trong động học cho việc ước lượng khung xương, tư thế người trên ảnh sau đó ánh xạ sang không gian 3-D [128], được gọi là "VNect". Mô hình mạng này được thể hiện trong hình 2.35. Đầu vào của mô hình này là từng

80

Hình 2.34 Minh họa các tham số của mô hình CNN trong Tome CS. [85].

khung hình màu (ảnh RGB), sau đó người được cắt bằng một khung bao được phát hiện từ khung hình trước. Bản đồ các điểm nổi bật (heatmap) được dự đoán bằng việc sử dụng mạng quy hồi CNN và sau đó được lọc nhờ sử dụng các mẫu khung xương trong cơ sở dữ liệu huấn luyện. Cuối cùng các điểm đại diện được ánh xạ sang không gian 3-D. Mô hình này được đánh giá là có tốc xử lý thời gian thực, có thể hoạt động ở môi trường ngoài trời. Rất thích hợp cho việc xây dựng các ứng dụng tương tác người máy và ở ngoài trời. Đặc biệt việc huấn luyện các đặc trưng cho việc học và dự đoán bản đồ các điểm nổi bật là dựa trên mạng ResNet (Deep Residual Networks) [129], mạng này cung cấp một ý tưởng đột phá cho việc xây dựng bản đồ đặc trưng và huấn luyện. Mạng ResNet trong bài báo này được xây dựng trên nền tảng bộ thư viện Tensorflow [130]. Mô hình trong mạng này sử dụng cở sở dữ liệu MPII [104], LSP [131], [132] cho việc huấn luyện ước lượng các điểm đại diện, khung xương trên ảnh. Và sử dụng cơ sở dữ liệu Human 3.6M [86] và MPI-INF-3DHP [133] cho việc chiếu khung xương trong không gian ảnh sang không gian 3-D.

Một số tham số của mô hình CNN trong [128] được thể hiện ở Hình 2.36.

81

Hình 2.35 Minh họa kiến trúc mạng VNect [128].

Hình 2.36 Minh họa các tham số của mô hình CNN VNect.

Dữ liệu đầu ra ước lượng khung xương trong không gian 2-D và 3-D dựa trên mô hình trong bài báo này là 21 điểm đại diện theo thứ tự như Hình 2.37. Hình 2.38 minh họa một kết quả ước lượng các điểm đại diện trên ảnh và khung xương trong không gian 3-D.

2.2.3.2 Thí nghiệm và kết quả ước lượng khung xương 3-D

Trong nghiên cứu này, luận án thưc hiện đánh giá trên 24/24 video của bộ cơ sở dữ liệu "VNMA" đã được miêu tả trong phần 2.1.3.2. Và cũng đánh giá giá trên cơ sở dữ liệu MADS [32]. Qua tìm hiểu và thực hiện trên hai nghiên cứu về ước lượng khung xương, tư thế trong không gian 3-D: Thứ nhất mô hình của Tome CS. [85] thì có đầu ra là 17 điểm trên khung xương, đã được minh họa và sắp xếp trên Hình 2.17. Hướng tiếp cận của Mehta CS. [128] thì có đầu ra là 21 điểm đại diện trên khung xương được thể hiện như Hình 2.37. Nên giao của hai tập dữ liệu đầu ra, luận án thực hiện đánh giá kết quả ước lượng khung xương, tư thế trong không gian 3-D với 15 điểm đại điện, được thể hiện như trong Hình 2.39.

Và một vấn đề đồng bộ hệ trục tọa độ giữa dữ liệu ước lượng được và dữ liệu gốc

được thực hiện như đã trình bày trong Phần 2.1.3.4.

+ Kết quả ước lượng khung xương trong không gian 3-D trên cơ sở dữ liệu VNMA

82

Hình 2.37 Minh họa sắp xếp thứ tự các khớp trong không gian 3-D của mạng VNect.

Kết quả ước lượng khung xương, tư thế người trong không gian 3-D trên cơ sở dữ liệu VNMA được thể hiện như trong Bảng 2.8.

Hình 2.40 thể hiện phân bố khoảng cách lỗi khi ước lượng khung xương, tư thế người trong không gian 3-D trên cơ sở dữ liệu VNMA với 15 điểm đại diện cho việc đánh giá ở mỗi khung hình.

Như thể hiện ở Bảng 2.8 và Hình 2.40, có thể thấy kết quả ước lượng của phương thức thứ nhất "3-D_COCO_Method" là tốt nhất (sai số về khoảng cách là 170.866 mm).

Hình 2.41 thể hiện một số kết quả ước lượng khung xương trong không gian 3-D

trên dữ liệu VNMA với 17 điểm đại diện.

+ Kết quả ước lượng khung xương trong không gian 3-D trên cơ sở dữ liệu MADS

Kết quả ước lượng khung xương, tư thế người trong không gian 3-D trên cơ sở dữ

liệu MADS được thể hiện như trong Bảng 2.9.

83

Hình 2.38 Minh họa kết quả ước lượng trong không gian 2-D và 3-D sử dụng mạng VNect [128]. Bên trái là kết quả ước lượng khung xương trong không gian 3-D; Giữa là kết quả ước lượng khung xương trên ảnh; Bên phải là kết quả ước lượng các điểm đại diện của khung xương trong không gian 2-D

Hình 2.42 thể hiện phân bố khoảng cách lỗi khi ước lượng khung xương, tư thế người trong không gian 3-D trên cơ sở dữ liệu MADS với 15 điểm đại diện cho việc đánh giá ở mỗi khung hình.

Bảng 2.9 và Hình 2.42 cho thấy kết quả ước lượng dựa trên phương thức thứ nhất "3-D_COCO_Method" là tốt hơn hẳn hai phương thức gốc là "3-D_HUMAN3.6_Method" [85] và "3-D_VNECT_Method" [128] trong ước lượng khung xương, tư thế người trong không gian 3-D. Giá trị lỗi trung bình (MPJPE) của phương thức luận án đề xuất "3- D_COCO_Method" là 87.94375 mm. Phương thức "3-D_VNECT_Method" có kết quả thấp nhất, giá trị lỗi trung bình (MPJPE) là 139.4058 mm. Thông qua quá trình kiểm tra và đánh dấu từng bước thực hiện của phương thức "3-D_VNECT_Method", luận án nhận thấy kết quả ước lượng khung xương, tư thế trên ảnh (không gian 2-D) đã thấp, minh họa trong Hình 2.43. Ta thấy kết quả ước lượng có các điểm xương nằm ngoài dữ liệu của người.

Như vậy dựa trên kết quả ở các Bảng 2.8, 2.9 và các Hình 2.40, 2.42, có thể thấy rằng phương thức "3-D_COCO_Method" có kết quả ước lượng tốt nhất. Như vậy có thể khẳng định rằng, khi có kết quả ước lượng 2-D tốt thì sẽ có kết quả ước lượng 3-D tốt (giá trị trung bình của khoảng cách lỗi là thấp.)

2.2.3.3 Kết luận

Trong chương này, nghiên cứu đã hệ thống hóa, khảo sát và thống kê được các hướng tiếp cận và các nghiên cứu giải quyết bài toán ước lượng khung xương, tư thế trong không gian 3-D. Đặc biệt đề xuất đươc nghiên cứu so sánh để chọn ra môt hình tốt nhất cho việc ước lượng khung xương, tư thế người trong không gian 3-D. Các kết

84

Hình 2.39 Minh họa mô hình khung xương, tư thế trong không gian 3-D cho việc đánh giá.

quả cho thấy khi có kết quả ước lượng 2-D tốt làm đầu vào cho việc ước lượng, khôi phục khung xương trong không gian 3-D sẽ tốt (Phương thức "3-D_COCO_Method" có kết quả ước lượng tốt nhất là 87.94375 mm), phương thức này sử dụng kết quả của phương thức 1 được miêu tả ở Chương 2 làm đầu vào cho ước lượng 3-D. Các kết quả đánh giá với nghiên cứu so sánh trên cơ sở dữ liệu võ thuật cổ truyền: Võ thuật cổ truyền Việt Nam (VNMA); Võ thuật cổ truyền của Nhật Bản (Karate); Võ thuật cổ truyền Trung Quốc (Tai Chi). Đồng thời luận án cũng thể hiện ưu điểm của ước lượng khung xương, tư thế người trong không gian 3-D so với ước lượng trong không gian 2-D (không gian ảnh).

2.2.4 Ước lượng khung xương, tư thế người khi bị che khuất

Vấn đề ước lượng khung xương, tư thế người khi một số bộ phận của người bị che khuất đã được nghiên cứu trong nghiên cứu của Sarandi CS. [34]. Các tác giả đã đánh giá trên bộ cơ sở dữ liệu Human 3.6M với sai số MPJPE là khoảng từ 56 đến 65mm. Trong nghiên cứu này, luận án sử dụng hướng tiếp cận Tome CS. [85] cho việc ước lượng khung xương, tư thế người trong không gian 3-D với đầu vào cho việc ước lượng khung xương 3-D là kết quả ước lượng CPM được huấn luyện trên cơ sở dữ liệu MSCOCO Key points Challeng [23]. Thực chất hướng tiếp cận ở đây là phương thức

85

Hình 2.40 Phân bố khoảng cách lỗi giữa các điểm đại diện trên dữ liệu gốc và dữ liệu ước lượng được trong không gian 3-D trên cơ sở dữ liệu VNMA. Trong đó: "CMP training by COCO" là "3-D_COCO_Method" , "CMP training by Human 3.6m" là "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII, LSP" là "3- D_VNECT_Method".

thứ nhất "3-D_COCO_Method" trong nghiên cứu so sánh được trình bày ở Phần 2.2.3.1. Trong đó quá trình ước lượng khung xương, tư thế trong không gian 3-D từ khung xương trong 2-D là quá trình so khớp và chọn mô hình khung xương phù hợp trong bộ thư viện khung xương 3-D đã được chuẩn bị trước (bộ khung xương 3-D trong cơ sở dữ liệu Human 3.6M [86]). Nên mặc dù có nhiều khớp bị che khuất thì hướng tiếp cận này vẫn có thể ước lượng đầy đủ được các khớp xương trong không gian 3-D.

Về các đánh giá về tỷ lệ che khuất trong nghiên cứu này luận án chưa đánh giá cụ thể về số khớp xương che khuất đã ước lượng được. Tuy nhiên, dựa trên các quan sát của luận án thì hầu hết các trường hợp các khớp xương bị che khuất trong cơ sở dữ liệu về võ thuật cổ truyền Việt Nam (VNMA) đều ước lượng được. Hình 2.44 minh họa một số trường hợp ước lượng đầy đủ các khớp xương của khung xương người trong không gian 3-D.

Trong đó, video "video_24" trong đường dẫn https://github.com/PandaThanh/ 3d_code thể hiện thời gian thực hiện với hình ảnh đầu vào là ảnh màu và đầu ra là kết quả ước lượng đầy đủ các khớp xương trong không gian 3-D, trong cả trường hợp nhìn thấy các khớp xương và một số khớp xương bị che khuất.

86

Hình 2.41 Kết quả ước lượng khung xương, tư thế trong không gian 3-D. Mỗi khối là một cặp tương ứng giữa khung xương của dữ liệu gốc (ground truth - original) và khung xương ước lượng được (estimating). Mỗi cặp khung xương trong một khối đã được đồng nhất về hệ trục tọa độ.

87

Bảng 2.8 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu VNMA với 15 điểm xương.

#Video

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 23 24 Average 3-D_COCO_ Method 114.0716 107.5917 88.5689 78.6414 99.0704 111.0964 114.7642 285.0776 90.6766 280.8594 91.2715 219.4037 89.3462 264.4068 85.9806 318.4422 99.5296 308.1409 110.9321 239.3639 81.9572 103.5087 267.6513 170.866 MPJPE (mm) 3-D_HUMAN3.6_ Method 114.0716 111.025 91.536 79.9366 101.6908 112.0768 118.3664 292.9947 92.9212 284.8666 91.2715 219.4037 89.3462 262.0707 87.3728 318.4422 101.7892 310.7236 110.9321 241.5342 81.9572 105.8891 292.217 173.7285 3-D_VNECT_ Method 228.8319 332.8037 245.1891 239.818 282.843 292.2822 309.3528 318.6 253.3029 294.9349 249.4076 242.6467 267.3336 271.0392 254.4252 343.7987 271.0186 331.4765 320.2984 271.7371 206.8996 280.5987 282.1385 279.4472

88

Bảng 2.9 Kết quả ước lượng khung xương trên ảnh sau đó chiếu sang không gian 3-D trên cơ sở dữ liệu MADS với 15 điểm xương.

#Video

Kata_F2 Kata_F3 Kata_F4 Kata_N2 Kata_N3 Kata_P3 Tai_chi_S1 Tai_chi_S2 Tai_chi_S3 Tai_chi_S4 Tai_chi_S5 Tai_chi_S6 Average 3-D_COCO_ Method 102.0685 78.0681 105.8182 79.0682 34.7923 101.3404 80.0703 79.3635 99.99 95.3349 99.2752 100.1354 87.94375 MPJPE (mm) 3-D_HUMAN3.6_ Method 147.1236 102.4019 133.6986 113.4793 135.7989 113.9912 106.2125 118.2341 127.516 124.6166 120.4779 123.6235 122.2645 3-D_VNECT_ Method 168.0953 122.2993 152.3534 165.0814 168.1528 129.7044 107.9224 114.8655 161.056 136.334 122.3163 124.6892 139.4058

Hình 2.42 Phân bố khoảng cách lỗi giữa các điểm đại diện trên dữ liệu gốc và dữ liệu ước lượng được trong không gian 3-D trên cơ sở dữ liệu MADS. Trong đó: "CMP training by COCO" là "3-D_COCO_Method" , "CMP training by Human 3.6m" là "3-D_HUMAN3.6_Method", "VNECT CNN training by MPII, LSP" là "3- D_VNECT_Method".

89

Hình 2.43 Minh họa kết quả ước lượng khung xương của phương thức "3- D_VNECT_Method" trên ảnh của cơ sở dữ liệu MADS với 21 điểm đại diện.

90

Hình 2.44 Minh họa kết quả ước lượng đầy đủ các khớp xương người trong không gian 3-D trên video 1th, 24th của cơ sở dữ liệu võ thuật cổ truyền Việt Nam (VNMA).

91

2.3 Tổng kết chương

Ước lượng khung xương, tư thế người trong không gian 3-D là hướng nghiên cứu trong những năm gần đây. Đã có rất nhiều nghiên cứu thực hiện công việc này. Bài toán này cũng được áp dụng trong nhiều ứng dụng như: tương tác giữa người với người, tương tác người máy; phân tích thể thao; đánh giá các bài biểu diễn thể thao, thể dụng cụ, vv. Trong chương này luận án đã khảo sát và thống kê được các nghiên cứu về ước lượng khung xương, tư thế trong không gian 3-D theo hai hướng tiếp cận là: Dữ liệu đầu vào là một ảnh; Dữ liệu đầu vào là một chuỗi ảnh. Đồng thời, luận án cũng đề xuất một nghiên cứu so sánh theo ba phương thức: Phương thức thứ nhất "3-D_COCO_Method" là sự kết hợp kết quả ước lượng khung xương trong không gian 2-D sử dụng CPM được huấn luyện trên cơ sở dữ liệu COCO và ước lượng khung xương 3-D sử dụng hướng tiếp cận của Tome CS. [85]; Phương thức thứ hai "3-D_HUMAN3.6_Method" là sự kết hợp kết quả ước lượng sử dụng CPM được huấn luyện trên cơ sở dữ liệu Human 3.6M toàn bộ phương thức này được thực hiện trong nghiên cứu của Tome CS. [85]; Phương thức thứ hai "3-D_VNECT_Method " là thực hiện theo nghiên cứu của Mehta CS. [128]. Nghiên cứu so sánh này được đánh giá trên cơ sở dữ liệu võ thuật cổ truyền Việt Nam "VNMA" và cơ sở dữ liệu đã được công bố MADS. Các kết quả cho thấy phương thức thứ nhất với kết quả ước lượng khung xương, tư thế người trong không gian 2-D (trên ảnh) tốt hơn thì kết quả ước lượng khung xương, tư thế trong không gian 3-D cũng tốt.

Trong chương này luận án cũng thể hiện được hiệu năng của ước lượng khung xương, tư thế trong không gian 3-D cho việc ước lượng khung xương, tư thế khi các khớp, các bộ phận của người bị che khuất. Từ nghiên cứu cho thấy hiệu năng của các mạng Nơ ron tích chập cho việc ước lượng khung xương, tư thế người. Từ đó có thể áp dụng nghiên cứu này vào xây dựng các ứng dụng về khôi phục, lưu trữ, đánh giá, phân tích và dạy võ thuật cổ truyền.

92

CHƯƠNG 3

NHẬN DẠNG VÀ CHẤM ĐIỂM ĐỘNG TÁC VÕ CỔ

TRUYỀN VIỆT NAM

Trong võ thuật cổ truyền của Việt Nam cũng như nhiều nước trên thế giới, có rất nhiều môn phái và mỗi môn phái mạnh về một khía cạnh riêng. Có môn phái võ mạnh về tần công, ngược lại có môn phái võ mạnh về phòng thủ. Trong giao đấu thực tế thì các vận động viên hay các võ sư phải sử dụng nhiều thế võ cũng như có thể dùng nhiều môn võ khác nhau. Sự kết hợp nhiều thế võ, môn võ tạo nên sức mạnh trong tấn công và vững chắc trong phòng thủ. Việc theo dõi các thế võ là tấn công hay phòng thủ và đánh giá các tư thế võ đúng chuẩn tạo nên sức mạnh trong tấn công và phòng thủ. Do đó, nghiên cứu này trình bày hai vấn đề: Thứ nhất là nhận dạng động tác tấn công trong các video biểu diễn võ thuật cổ truyền Việt Nam; Thứ hai là một ứng dụng xây dựng mô hình chấm điểm các động tác võ cơ bản trong võ cổ truyền Việt Nam.

3.1 Giới thiệu

Nội dung của chương này được tiếp nối phần kết quả của chương 2 khi các tọa độ che khuất đã được ước lượng của các bài võ được đưa vào dán nhãn thực hiện nhận dạng động tác tấn công.Cụ thể chương này bao gồm: Thứ nhất phần 3.1 trình bày giới thiệu sau đó phần 3.2 là một số nghiên cứu liên quan đến nhận dạng động tác và chấm điểm trong võ cổ truyền Việt Nam. Sau đó, phần 3.3 là một số cơ sở lý thuyết để nhận dạng động tác tấn công và xây dựng mô hình chấm điểm các tư thế võ cổ truyền Việt Nam. Trong phần 3.4 sẽ là quá trình thực nghiệm các phương pháp nhận dạng động tác tấn công và ứng dụng chấm điểm các tư thế võ cổ truyền Việt Nam, cuối cùng là kết luận.

Nhận dạng tư thế người là một đề tài được nhiều người quan tâm và nghiên cứu

do có thể ứng dụng vào nhiều lĩnh vực như:

(cid:136) An ninh: có thể giúp nhận biết có tấn công hay bạo lực trong đám đông giúp lực

lượng chức năng can thiệp kịp thời, có phương án xử lý.

(cid:136) Giải trí: các trò chơi mang tính tương tác.Hướng dẫn tập thể dục hay tập võ: giúp cho người tập có thể biết được khi nào mình tập sai tư thế, chấm điểm cho mỗi tư thế khi thực hiện đúng một tư thế.

Trong lĩnh vực máy học (machine learning) cũng như thị giác máy tính (computer

93

Hình 3.1 Minh họa cây quyết định có đi chơi không.

vision), cây quyết định (decision tree) là một kiểu mô hình dự báo (predictive model), nghĩa là một ánh xạ từ các quan sát về một sự vật/hiện tượng tới các kết luận về giá trị mục tiêu của sự vật/hiện tượng. Mỗi một nút trong (internal node) tương ứng với một biến; đường nối giữa nó với nút con của nó thể hiện một giá trị cụ thể cho biến đó. Mỗi nút lá đại diện cho giá trị dự đoán của biến mục tiêu, cho trước các giá trị của các biến được biểu diễn bởi đường đi từ nút gốc tới nút lá đó. Kỹ thuật học máy dùng trong cây quyết định được gọi là học bằng cây quyết định, hay chỉ gọi với cái tên ngắn gọn là cây quyết định. Mô hình cây quyết định được thể hiện như trong Hình 3.1.

Học bằng cây quyết định cũng là một phương pháp thông dụng trong khai phá dữ liệu. Khi đó, cây quyết định mô tả một cấu trúc cây, trong đó, các lá đại diện cho các phân loại còn cành đại diện cho các kết hợp của các thuộc tính dẫn tới phân loại đó [100]. Một cây quyết định có thể được học bằng cách chia tập hợp nguồn thành các tập con dựa theo một kiểm tra giá trị thuộc tính [100]. Quá trình này được lặp lại một cách đệ quy cho mỗi tập con dẫn xuất. Quá trình đệ quy hoàn thành khi không thể tiếp tục thực hiện việc chia tách được nữa, hay khi một phân loại đơn có thể áp dụng cho từng phần tử của tập con dẫn xuất. Một bộ phân loại rừng ngẫu nhiên (random forest) [101] sử dụng một số cây quyết định để có thể cải thiện tỉ lệ phân loại. Mô hình của bộ phân loại rừng ngẫu nhiên được thể hiện như trong Hình 3.2.

Cây quyết định cũng là một phương tiện có tính mô tả dành cho việc tính toán các xác suất có điều kiện. Cây quyết định có thể được mô tả như là sự kết hợp của các kỹ thuật toán học và tính toán nhằm hỗ trợ việc mô tả, phân loại và tổng quát hóa

94

Hình 3.2 Minh họa mô hình của thuật toán rừng ngẫu nhiên cho việc phân loại. Trong đó thuật toán này được áp dụng cho một rừng bao gồm nhiều cây quyết định.

một tập dữ liệu cho trước. Dữ liệu được cho dưới dạng các bản ghi có dạng:

(x, y) = (x1, x2, x3, ..., xk, y) (3.1)

Biến phụ thuộc (dependant variable) y là biến mà chúng ta cần tìm hiểu, phân loại hay tổng quát hóa. (x1, x2, x3, ...) là các biến sẽ giúp ta thực hiện công việc đó. Các kiểu cây quyết, Cây hồi quy (Regression tree) ước lượng các hàm giá có giá trị là số thực thay vì được sử dụng cho các nhiệm vụ phân loại. (ví dụ: ước tính giá một ngôi nhà hoặc khoảng thời gian một bệnh nhân nằm viện)

Nhận dạng tư thế người là phân lớp một tư thế thu được từ camera vào một trong các tư thế đã được định nghĩa trước đó ví dụ như: đứng, ngồi, nằm. Người mô tả tư thế sẽ biểu diễn trước camera và hệ thống sẽ nhận dạng tư thế đó là tư thế gì. Trong nghiên cứu này trình bày về khả năng nhận dạng tư thế tấn công trong bài võ 36 tư thế với dữ liệu thu được từ camera Kinect đã qua ước lượng khung xương 3D, cùng với bộ dữ liệu công bố có sẵn trên mạng. Lợi thế của việc sử dụng dữ liệu khung xương thu từ camera Kinect là không bị ảnh hưởng bởi sự thay đổi của ánh sáng hay độ nhiễu của hình ảnh. Nghiên cứu cũng sẽ đưa ra phương pháp trích đặc trưng từ dữ liệu khung xương thu thập được từ camera Kinect. Sau đó, bộ dữ liệu sẽ được đem đi huấn luyện bằng mô hình cây phân loại. Qua thực nghiệm cho thấy độ chính xác khi nhận dạng tư thế người đạt hơn 91%. Nhận dạng động tác người tự động là một

95

3.2 Các nghiên cứu liên quan

trong những phần quan trọng trong các ứng dụng tương tác giữa Người- Máy. Trong đó xác định thành công hình dáng người chắc chắn có thể giúp một máy tính có thể kiểm soát các động tác khác nhau trên cơ sở của sự tương tác với cùng một mẫu thu nhận trước đó. Trong vài thập kỷ qua, đã có nhiều nghiên cứu sâu rộng đã được thực hiện trên cơ sở nhận dạng sinh trắc học, sử dụng các mẫu hành vi khác nhau như dáng đi, gõ bàn phím, biểu diễn múa ba lê hay nhận dạng biểu hiện tâm lý người thông qua các biểu hiện môi, cơ mặt, giọng nói. . . là một trong những cách thức phổ biến của nhận dạng người [95], [96]. Nhận dạng dáng đi của con người có lợi thế rất lớn trong sự nhận dạng từ các hình ảnh độ phân giải thấp, nơi các kỹ thuật sinh trắc học khác là không phù hợp vì không đủ thông tin điểm ảnh [97]. Võ cổ truyền Việt Nam là một đặc trưng của dân tộc Việt Nam hình thành qua quá trình đấu tranh giải phóng dân tộc. Có một đặc điểm cho đến nay là chưa có tính thống nhất cao giữa các môn phái nên vẫn chưa có hệ thống bài mẫu chuẩn hóa toàn thế giới giống các môn võ khác như karatedo hay taewondo...vv.

Đã có rất nhiều nghiên cứu về đề tài nhận dạng tư thế người tuy nhiên hầu hết sử dụng các thông tin có được từ ảnh màu được chụp bởi camera thường [100], [38], [42]. Trở ngại chính của các phương pháp giải quyết truyền thống là việc trích xuất đặc trưng từ hình ảnh thu được bởi camera thông thường còn nhiều khó khăn do nhiễu, góc chụp, ánh sáng, ảnh hưởng của môi trường. Trong khi đó, Microsoft đã phát triển thiết bị Kinect, thiết bị này ngoài khả năng thu được ảnh màu còn có thể cung cấp dữ liệu về độ sâu và theo dõi khung xương của người đứng trước camera. Hiện nay, có một số đề tài nhận dạng tư thế người dựa trên dữ liệu cung cấp từ camera Kinect như: TS. Lê Thị Lan thực hiện 7 thực nghiệm với 4 cách trích xuất dữ liệu từ khung xương được cung cấp bởi thiết bị Kinect [43], kết quả của đề tài cho thấy độ chính xác cao khi nhận dạng 4 tư thế đứng, ngồi, nằm và cúi người. Đề tài “Human gesture recognition using Kinect camera” [44] của Orasa Patsadu, Chakarida Nukoolkit và Bunthit Watanapa, đề tài này đưa ra sự so sánh giữa 4 phương pháp phân loại là mạng nơron lan truyền ngược, SVM, cây quyết định và Bayes thơ ngây hay "Gesture recognition from Indian classical dance using Kinect" [45] của Sripara Saha, Shreya Ghosh, Amit Konar, Atulya K. Nagar sử dụng tọa độ của 11 khớp xương ở phần thân trên để nhận dạng 5 cử chỉ khác nhau. Những đề tài trên đều đạt được độ chính xác cao khi sử dụng dữ liệu khung xương từ camera Kinect, tuy nhiên số lượng tư thế của các đề tài này khá ít (3-5 tư thế). Trong bài nghiên cứu này sẽ trình bày khả năng nhận dạng 36 tư thế khác nhau với dữ liệu thu được từ camera Kinect. Phần còn lại của nghiên cứu sẽ được trình bày như sau: phần hai trình bày cụ thể về cách thu thập dữ liệu, phương pháp trích xuất đặc trưng và mô hình cây phân loại. Kết quả và thảo luận sẽ được trình bày ở phần 3

96

và tiếp theo là kết luận và hướng phát triển. Trong biểu diễn võ thuật của các môn thể thao cũng như đào tạo võ thuật cổ truyền, vấn đề biểu diễn hoặc thực hiện đúng và chính xác các hành động trong võ thuật là điều rất quan trọng. Biểu diễn đúng giúp có điểm cao trong các cuộc thi. Thực hiện đúng các động tác giúp các thế võ có một hiệu năng về lực lớn (nhiều sức mạnh). Võ thuật có vai trò rất lớn trong cuộc sống hàng ngày của con người, võ thuật không chỉ giúp con người rèn luyện sức khỏe và tự vệ mà nó còn giúp con người nâng cao nhận thức. Như trong nghiên cứu [99], đã phân tích và đánh giá việc đào tạo võ thuật truyền thống ảnh hưởng đến nhận thức của người lớn. Để làm như vậy, bài báo đã sử dụng bài kiểm tra mạng chú ý (ANT) để kiểm tra hai nhóm người tham gia khác nhau: có ít nhất 2 năm kinh nghiệm về Võ thuật và không có kinh nghiệm với môn thể thao này. Kết quả được thể hiện cho thấy rằng số năm kinh nghiệm võ thuật một người tham gia môn thể thao này càng lâu thì càng tốt.

3.3 Cơ sở lý thuyết để nhận diện động tác tấn công và chấm

điểm động tác võ

Hiện nay hầu như trên thế giới việc đánh giá và chấm điểm các động tác võ thuật cổ truyền hay các các môn thể thao võ thuật thường do con người (ban giám khảo) nhìn nhận và đánh giá bằng cảm nhận. Chứ chưa có một hệ thống máy móc nào thực hiện việc đánh giá các động tác trong các bài biểu diễn võ thuật cổ truyền hay trong đào tạo võ thuật.

3.3.1 Nhận diện động tác tấn công

3.3.1.1 Xử lý dữ liệu

Chuẩn bị tập mẫu như đã giới thiệu trong chương 1, camera Kinect cho phép theo dõi khung xương của người đứng trước camera, cụ thể là với mỗi khung hình camera Kinect thu được 20 khớp xương tương ứng với 20 tọa độ (x, y, z). Mỗi khớp có mỗi ID khác nhau và có gốc với ID là giữa hông. Dữ liệu thu được sau khi lấy tọa độ của 20 điểm trên cơ thể sẽ được xử lý ở chương 2 sau mỗi đó động tác được ghi vào file text, sau đó gán nhãn cho từng động tác: động tác công gán nhãn là 1, thủ được gán nhãn là 0. Tập dữ liệu được chia thành tập training bao gồm 289 động tác và tập test bao gồm 66 động tác. Mỗi tư thế được thu ở khoảng cách 2.5 m ± 0.2 m và 3.3 m ± 0.2 m, được thể hiện trong Hình 3.3.

3.3.1.2 Trích xuất đặc trưng cơ thể người với camera Kinect

Trong nghiên cứu này đề xuất phương pháp dựa trên tọa độ của 20 khớp xương để trích đặc trưng tư thế người từ dữ liệu thu được từ camera Kinect sử dụng vị trí tương đối (Relative Position). Phương pháp sử dụng tọa độ với 3 giá trị (x, y, z) của 20 khớp xương tuy nhiên tọa độ của 20 khớp xương được dời lại với gốc tọa độ là phần

97

Hình 3.3 Thu thập dữ liệu.

bụng.

Kinect SDK (Software Development Kit) xử lý và cung cấp cho chúng ta dữ liệu với tốc độ 30 khung hình mỗi giây. Mỗi khung hình sẽ được xử lý bởi giải pháp đề xuất và xác định trong hình đó có xuất hiện việc tấn công hay không. Đối với các khớp được theo dõi trên khung xương, sẽ có 4 mẫu dữ liệu tương ứng được thu thập từ Kinect: các tọa độ (x, y, z) của khớp và thông tin theo dõi của khớp đó. Các tọa độ (x, y, z) là tọa độ Descartes và thiết bị Kinect được đặt ở gốc tọa độ.

Trong quá trình thực thi, hệ thống liên tục theo dõi tư thế của người trong tầm nhìn camera, đồng thời tính toán vận tốc trung bình các khớp trong một số khung hình liên tiếp gần nhất. Hệ thống theo dõi và đưa ra cảnh báo khi vận tốc đó đạt giá trị vượt trên một ngưỡng định trước với giả định rằng đòn tấn công đã xảy ra.

Khung xương dữ liệu đầu vào bản chất là một tập có thứ tự các đỉnh tương ứng với các vị trí khớp trên cơ thể con người. Ngoài ra có thể xét thêm các cạnh với tiêu chí thể hiện sự nối tiếp giữa các vị trí khớp. Khi con người thực hiện một hành vi cụ thể nào đó, xét về ngữ nghĩa toán học, các tọa độ trong không gian của các vị trí khớp này sẽ thay đổi theo một số quy tắc nhất định. Chính những sự thay đổi này sẽ có ý nghĩa phân biệt giữa hành vi này với hành vi khác, như thể hiện trong Hình 3.4.

Dựa trên những phân tích như vậy, ta có thể dựa trên những sự khác biệt trong tương quan giữa các tọa độ trong không gian của tập các đỉnh để tạo ra những đặc trưng không gian có khả năng phân biệt giữa các hành vi [46],[47]. Trong trường hợp này, ta sử dụng những sự khác biệt đơn giản và dễ hình dung đến theo tư duy thông thường của con người, đó là khoảng cách giữa hai điểm, diện tích một tam giác, độ lớn góc giữa hai cạnh. Ví dụ như khi một người co chân lại, rõ ràng là khoảng cách giữa gót chân và mông sẽ nhỏ hơn so với khi đứng; khi thực hiện đấm, góc giữa cẳng tay so với thân người sẽ lớn hơn so với khi đứng duỗi tay. . .

Trong bài toán này, các đặc trưng được lựa chọn sử dụng:

98

Hình 3.4 Thể hiện tọa độ trên khung xương.

a. Đặc trưng góc Đặc trưng được tính dựa trên góc giữa hai vector. Cụ thể, với đầu vào là 4 đỉnh A, B, C, D trên khung xương như trong công thức (3.2) và minh họa như Hình 3.5.

1 if cos( (cid:126)AB, (cid:126)CD)>0   (3.2) AN GLE_F EAT U RE(A, B, C, D) = 0 otherwise 

Như vậy, nếu 2 vector (cid:126)AB, (cid:126)CD tạo thành một góc nhọn, giá trị đặc trưng sẽ là 1,

ngược lại là 0.

b. Đặc trưng cạnh

Đặc trưng được tính dựa trên độ dài đoạn thẳng nối giữa 2 đỉnh. Cụ thể, với đầu vào

99

Hình 3.5 Minh họa đặc trưng góc khuỷu tay. Đường màu đen thể hiện đặc trưng về góc khuỷu tay.

là 4 đỉnh A, B, C, D trên khung xương:

1 if (AB-CD)>0   EDGE_F EAT U RE(A, B, C, D) = (3.3) 0 otherwise 

Như vậy, nếu đoạn thẳng AB dài hơn đoạn thẳng CD, giá trị đặc trưng sẽ là 1,

ngược lại là 0.

c. Đặc trưng tam giác

Đặc trưng được tính dựa trên diện tích của tam giác được tạo thành bởi 3 đỉnh. Cụ thể, với đầu vào là 6 đỉnh A, B, C, D, E, F trên khung xương:

  1 if S(cid:52)ABC − S(cid:52)DEF > 0 (3.4) T RIAN _F EAT U RE(A, B, C, D, E, F ) = 0 otherwise 

Như vậy, nếu tam giác ABC có diện tích lớn hơn tam giác DEF, giá trị đặc trưng

sẽ là 1, ngược lại là 0.

Dễ dàng nhận thấy do khung xương bao gồm nhiều điểm nên những đặc trưng được sử dụng sẽ có rất nhiều và thường khả năng phân biệt cũng không phải là mạnh, cũng tức là nếu ta sử dụng đơn lẻ các đặc trưng đó thì sẽ không đạt hiệu quả nhận

100

dạng các hành vi. Để sử dụng các đặc trưng này, ta cần 1 cách để kết hợp 1 nhóm các đặc trưng như vậy lại để tạo 1 bộ phân lớp hiệu quả hơn, trong này các đặc trưng được đưa vào các nút của cây quyết định.

Sau khi đã trích đặc trưng, giai đoạn kế tiếp là huấn luyện một mô hình phân lớp có khả năng nhận dạng đúng tư thế dựa trên các đặc trưng. Phần này sẽ trình bày mô hình.

Việc học cây được thực hiện với việc học từng nút và với mỗi hành động cụ thể ta sẽ học một bộ phân lớp riêng để phân biệt nó với các hành động còn lại. Mỗi nút được học với một tập huấn luyện có dạng như sau: M = (S, a, w)i, i = ¯1, N . Trong đó, (S, a, w)i là mẫu thứ của i của tập huấn luyện. Trong mẫu này, S là mẫu khung xương đầu vào – chính là một tập có thứ tự các đỉnh trong không gian 3 chiều, a là giá trị nhãn của hành động, w sẽ là trọng số đánh giá mức độ ảnh hưởng của mẫu i trong quá trình học. Như vậy, nhãn của hành động sẽ nhận giá trị là 1 hoặc 0 tùy vào mẫu khung xương có thuộc vào loại hành động đang xét hay không.

Vì số lượng đặc trưng rất nhiều, nên khi học cây cần thực hiện lựa chọn tự động đặc trưng phù hợp nhất cho từng nút theo từng bước xây dựng cây. Sự phù hợp nhất này sẽ mang ý nghĩa là cực tiểu giá trị sai số phân chia khi sử dụng một đặc trưng để phân chia tập huấn luyện. Sau khi sử dụng một đặc trưng, tập huấn luyện M sẽ được phân chia thành 2 tập con M0 và M1 tương ứng với kết quả phân chia ra nhãn 0 và 1. Sai số phân chia sẽ được tính bằng tổng sai số trên hai tập con M0 và M1. Cụ thể hơn sai số trên tập con Mi được tính theo công thức (3.5).

((S,a,w)∈Mi)

(cid:88) (3.5) E(Mi) = w ∗ (a − ¨ai)

Trong đó, ¨ailà kỳ vọng của các giá trị nhãn trong tập con Mi. Bằng cách như vậy, tại mỗi nút, ta có thể chọn được một đặc trưng không gian phù hợp nhất để cực tiểu sai số phân chia. Sau khi phân chia, 2 tập con M0 và M1 sẽ tiếp tục là đầu vào cho việc học hai nút cho của nút vừa học. Quá trình học kết thúc khi cây đã đủ độ cao hoặc tập huấn luyện không còn phân chia được nữa. Thuật toán học tại mỗi nút được mô tả như trong 2.

Trong hàm trên, mean_labels(M ) là hàm tính kỳ vọng các nhãn trong tập M , split_error(M, f ) là hàm tính sai số phân chia của tập M với đặc trưng f , split_data(M, f ) là hàm phân chia tập dữ liệu huấn luyện M với đặc trưng f .

101

in F EAT U RE_SET : each f

err = split_error(M, f ) err < best_err : if best_err = err F = f

Algorithm 3.2: Thuật toán học tại mỗi nút của cây quyết định. Input: Tập M , độ cao d của cây hiện tại Output: Đặc trưng F hoặc giá trị trả về v nếu là nút lá Các bước: |M | ≤ 1 OR d ≥ M AX_DEP T H : 1. if v = mean_labels(M ) 2. return 3. 4. F = N one 5. best_err = M AX_V ALU E 6. f or 7. 8. 9. 10. 11. 12. 13. M0, M1 = split_data(M, F ) learn_node(M 0, d + 1) learn_node(M 1, d + 1)

3.3.2 Mô hình chấm điểm động tác võ cổ truyền

3.3.2.1 Mô tả động tác người

Việc xác định động tác người không phải là vấn đề đơn giản trong nhận dạng đối tượng. Chúng ta phải chọn một bộ cơ sở dữ liệu thích hợp để cho một hành động đại diện chính xác duy nhất. Khi đó cử chỉ mô tả cần chứa đầy đủ các đặc trưng của hành động để có thể phân biệt sự khác nhau của chúng và các mô tả phải bất biến khi vị trí đứng của người hay tầm vóc của người thay đổi khác.

a.Vị trí các khớp Camera Kinect cho kết quả tọa độ của 20 khớp xương xác định trong thời gian thực tạo thành một bản đồ khung xương của người biểu diễn [98] (Hình. 3.6). Các tọa độ của 20 khớp là duy nhất và hoàn toàn có thể đại diện cho một động tác, và các thiết lập dữ liệu là tương đối nhỏ cho máy tính. Nhưng việc mô tả thay đổi dựa trên thay đổi hình học các điểm ảnh là rất khó để xác định các số liệu khoảng cách.

b.Véc tơ chi

Camera Kinect thu nhận và cho chúng ta tọa độ các khớp xương nên chúng ta sử dụng các vector chi để biểu diễn hình ảnh khung xương của người biểu diễn. Một vector chi được định nghĩa là các đoạn đường nối giữa 2 khớp xương với nhau (Hình 3.7). Như các vector hình học, vector mô tả đại diện cho duy nhất một cử chỉ mà không dịch chuyển hay thay đổi tỷ lệ. Chuyển động cơ thể cũng có thể được mô phỏng hoàn hảo bằng chuyển động quay của mỗi vector xung quanh khớp ban đầu của nó. Xem xét các đặc điểm của chuyển động của con người và cấu trúc cơ thể, chúng ta có thể

102

Hình 3.6 Vị trí các khớp xương mà camera Kinect cung cấp.

giảm dữ liệu dư thừa bằng cách phân tích các vectơ chi trong các nhóm khác nhau.

1) Véc tơ đầu mình: Véc tơ đầu mình bao gồm các đoạn bên trong đầu, vai và hông (Hình 3.7, với điểm đầu cuối màu đỏ)...vv, véc tơ này ít khi thể hiện chuyển động riêng lẻ và mạnh. Xoay và uốn cong của phần thân thể này gắn chung với tứ chi. Do đó, nghiên cứu loại bỏ các véc tơ này khỏi nhóm đại diện.

2) Véc tơ cấp độ 1: Véc tơ cấp độ 1 bao gồm khuỷu tay và đùi (Hình 3.7, với điểm đầu cuối màu cam)...vv, véc tơ cấp độ 1 chứa rất nhiều thông tin của những chuyển động và cử chỉ. Do đó, nghiên cứu sắp xếp chúng trong nhóm đại diện.

3) Véc tơ cấp độ 2: Véc tơ cấp độ 2 bao gồm cánh tay và cẳng chân(Hình 3.7, với điểm đầu cuối màu xanh)...vv, véc tơ cấp độ hai được kéo dài ra hơn so với vector cấp độ 1, và chúng tạo ấn tượng thị giác đáng kể. Do đó, nghiên cứu xếp chúng trong nhóm đại diện.

4) Bàn tay và bàn chân: Kinect có thể theo dõi bàn tay và bàn chân nút (hình 3.7, các nút màu đen), nhưng trong quá trình thu nhận thường không ổn định...vv. Chuyển động của bàn tay và bàn chân liên quan đến cổ tay và mắt cá chân

103

Hình 3.7 Dữ liệu khung xương Kinect và véc tơ chân tay.

Bảng 3.1 Thể hiện tám véc tơ chi

1 Khủy tay trái 2 Khủy tay phải 3 Đùi trái 4 Đùi phải 5 Cánh tay trái 6 Cánh tay phải 7 Bắp chân trái 8 Bắp chân phải

thường không đáng kể. Do đó trong giai đoạn ban đầu này, nghiên cứu loại bỏ bàn tay và bàn chân ra khỏi nhóm đại diện để đảm bảo sự vững mạnh của mô tả.

Tóm lại, nhóm đại diện bao gồm tám vectơ chi (Bảng 3.1). Như chúng ta có thể thấy, kích thước dữ liệu được giảm đáng kể trong khi các thông tin cần thiết của động tác vẫn được giữ lại tốt.

c.Đánh giá động tác:

Sau khi chọn động tác biểu diễn thích hợp, chúng ta có thể tính toán góc nằm giữa vectơ chi tương ứng thu được thực tế và các động tác chuẩn sử dụng công thức cosin, định nghĩa là: được yêu cầu nhập vào các thông số trong hộp chỉnh sửa và chọn

104

tập dữ liệu động tác chuẩn từ thư viện trước khi bắt đầu. Các động tác chuẩn sẽ lần lượt được hiển thị trên màn hình dưới dạng hình ảnh của khung xương (Hình 3.8, bên tay phải)...vv.

Hình 3.8 Chương trình thu nhận dữ liệu chuẩn từ võ sư.

3.3.2.2 Công thức chấm điểm

Xem xét thực tế, nghiên cứu quan sát được từ các thí nghiệm, nghiên cứu gán trọng số khác nhau cho từng thành viên trong mảng khoảng cách và sử dụng tổng trọng số để bù đắp cho sự sai lệch thị giác. Nghiên cứu đề xuất một công thức chấm điểm như công thức (3.10).

Trước tiên là tham số khoảng cách D:

(3.6) D = [f1(α1 + α2) + f2(α3 + α4) + f3(α5 + α6) + f4(α7 + α8)]

Trong đó αi là biểu thị góc một thành viên của AngleDif f, D biểu thị các tham số khoảng cách duy nhất tính từ mảng, f1, f2, f3, f4, biểu thị các giá trị trọng số của khuỷu tay, đùi, cánh tay, và cẳng chân. Trong đó, để tính góc cho việc chấm điểm của

105

các chi ước lượng được sử dụng công thức (3.7).

st + z2 st

st + y2

re + z2 re

cosα = (3.7) (cid:112)x2 (cid:112)x2 xstxre + ystyre + zstzre re + y2

Trong đó (xst, yst, zst) biểu thị tọa độ của một vectơ chi của các cử chỉ chuẩn, (xre, yre, zre) biểu thị tọa độ của một vectơ chân tay của động tác trong thời gian thực. Nghiên cứu xác định tập hợp bao gồm tám góc như là mảng khoảng cách AngleDif f = α1, α2, α3, α4, α5, α6, α7, α8 ( xem Bảng 3.1), nó chứa hầu hết các thông tin về khoảng cách giữa động tác trong thời gian thực và động tác chuẩn.

Để tính toán các giá trị trọng số, hệ thống sẽ tự động thu thập 10 cặp cử chỉ gần đây nhất được xếp loại từ cơ sở dữ liệu mà có số điểm trong khoảng ± 15% và tham khảo trung bình cộng của mỗi αi. Giá trị trọng số được tính như công thức (3.8)

1 Avgi

(3.8) fi = Avgi 1 (cid:80)i=1 4

Trong đó Avg1, Avg2, Avg3, Avg4 biểu thị trung bình cộng của khuỷu tay (α1 + α2), đùi (α3 + α4), cánh tay (α5 + α6) và cẳng chân (α7 + α8). Thao tác này sẽ gán trọng số lớn hơn tới các chi mà được đánh giá chặt chẽ hơn theo người chấm.

Sau khi nghiên cứu đã nhận giá trị D, mục tiêu của nghiên cứu là để D vào chia phần trăm điểm. Nhiệm vụ là tương đối đơn giản bằng cách sử dụng biến đổi tuyến tính. Nghiên cứu cho phép người dùng nhập vào một giá trị chuẩn Dst và số điểm tham chiếu của nó Sst.

Trong trường hợp phán đoán cử chỉ một người biểu diễn thường không được phép đi chệch khỏi những cử chỉ chuẩn quá nhiều. Nghiên cứu xác định một hàm giới hạn độ lệch cho phép người dùng nhập vào một giá trị ngưỡng M (độ) để hạn chế độ lệch không thể chấp nhận những cử chỉ như trong công thức (3.9).

max

(3.9) f (αmax) = 1 − 0.4 M 2 α2

Trong đó αmax biểu thị tối đa trong AngleDiff. Hàm có một số tính năng:

(cid:136) f (0) = 1. Khi cử chỉ thời gian thực giống hệt với những cử chỉ tiêu chuẩn, giá trị

hàm là 1.

(cid:136) f (cid:48)(αmax) < 0, f ”(αmax) < 0, khi bao gồm góc tăng tối đa, giá trị hàm giảm mạnh.

(cid:136) f (M ) = 0, khi tối đa bao gồm cách tiếp cận góc hoặc vượt quá giá trị ngưỡng,

giá trị hàm tiếp cận bằng không hoặc trở nên tiêu cực.

106

Khi đó ta có công thức chấm điểm sẽ là:

(3.10) Score = f (αmax).[(Dst − D) × + Sst 100 − Sst Dst

Trong đó f (αmax) biểu thị hàm giới hạn độ lệch. Dst có thể tự thiết lập bởi người sử dụng theo nhu cầu của họ, Dst nhỏ hơn chỉ ra tiêu chuẩn cao hơn về phân loại Sst cung cấp cho người dùng một tùy chọn để kiểm soát các điểm trong phạm vi mong muốn.

3.4 Thực nghiệm

Với các tính năng trên, điểm số sẽ được hạn chế một cách hợp lý khi độ lệch giữa thời gian thực cử chỉ và điệu bộ tiêu chuẩn, tức là số điểm cao đòi hỏi phải thực hiện trơn tru của tất cả chân tay.

3.4.1 Nhận diện động tác tấn công

3.4.1.1 Nhận diện động tác tấn công bằng cây phân loại

1. Thử nghiệm với bộ dữ liệu K3HI [51] được công bố trên mạng: Thuật toán được thử nghiệm với bộ dữ liệu K3HI [51] được công bố trên mạng chứa các dữ liệu tọa độ 3D của bộ xương người. Trong đó, các khớp nối cho mỗi người đã được trích xuất bằng phần mềm OpenNI (Open Natural Interaction) với NITE do PrimeSense cung cấp. Một bộ xương được thể hiện bằng các vị trí 3D của 15 khớp, bao gồm đầu, cổ, vai trái, vai phải, khuỷu tay trái, khuỷu tay phải, tay trái, tay phải, thân, hông trái, hông phải, đầu gối trái, đầu gối phải, trái chân và bàn chân phải. Bộ K3HI đã được xây dựng với một số hành vi cụ thể. Từ tập các khung xương, nghiên cứu tiến hành gán nhãn trạng thái cho từng khung xương để làm dữ liệu thử nghiệm. Cụ thể, với hành vi kicking của bộ K3HI, sau khi gán nhãn ta thu được bộ dữ liệu 3752 mẫu khung xương.

Thử nghiệm được tiến hành theo cách kiểm chứng chéo 10-fold, tức là chia bộ dữ liệu làm 10 phần, tiến hành 10 lần thử, lần lượt mỗi lần lấy 9 phần để học và thử nghiệm 1 phần còn lại, tổng kết lại kết quả chính xác 3423/3752 ∼ 91.231343% Với một số lựa chọn khác nhau về chiều cao của cây quyết định được xây dựng, biểu đồ cho thấy khi chiều cao của cây tăng, tức là nhiều đặc trưng được kết hợp hơn, độ chính xác cũng tăng theo như Hình 3.9. Từ đó cũng chứng minh tính hiệu quả của những đặc trưng không gian được sử dụng và cách kết hợp.

2. Thử nghiệm với bộ dữ liệu 36 thế võ thu bằng Kinect trong đó :

Bộ cơ sở dữ liệu sau khi ước lượng ở chương 2 với khung xương 20 điểm, 15083 mẫu khung xương được gán với các nhãn tấn công và phòng thủ ta tiến hành thử

107

Hình 3.9 Thể hiện chiều cao của cây và số đặc trưng.

nghiệm tương tự với bộ dữ liệu K3HI

Cách thức kiểm chứng chéo (cross validation) 5 lượt (folds).Lựa chọn khác nhau về chiều cao của cây.Biểu đồ cho thấy khi chiều cao của cây tăng, tức là nhiều đặc trưng được kết hợp hơn, độ chính xác cũng tăng theo, từ đó cũng chứng minh tính hiệu quả của những đặc trưng không gian được sử dụng và cách kết hợp như trong Hình 3.9.

3.4.1.2 Nhận diện động tác tấn công bằng mạng nơ ron

Đồng thời với việc nhận dạng động tác tấn công bằng phương pháp cây phân loại thì nghiên cứu cũng thực hiện trên phương pháp mới hơn là sử dụng mạng trí nhớ ngắn định hướng dài hạn (Long Short term memory) còn được viết tắt là LSTM. LSTM là một kiến trúc đặc biệt của RNN có khả năng học được sự phụ thuộc trong dài hạn (long-term dependencies) được giới thiệu bởi Hochreiter và Schmidhuber (1997). Kiến trúc này đã được phổ biến và sử dụng rộng rãi cho tới ngày nay. LSTM đã tỏ ra khắc phục được rất nhiều những hạn chế của RNN trước đây về triệt tiêu đạo hàm. Tuy nhiên cấu trúc của chúng có phần phức tạp hơn mặc dù vẫn giữ được tư tưởng chính của RNN là sự sao chép các kiến trúc theo dạng chuỗi. Một mạng RNN tiêu chuẩn sẽ có kiến trúc rất đơn giản chẳng hạn như đối với kiến trúc gồm một tầng ẩn là hàm tanh như hình 3.10 bên dưới . LSTM cũng có một chuỗi dạng như thế nhưng phần kiến trúc lặp lại có cấu trúc khác biệt hơn. Thay vì chỉ có một tầng đơn, chúng có tới 4 tầng ẩn (3 sigmoid và 1 tanh) tương tác với nhau theo một cấu trúc đặc biệt. Các kí hiệu có thể diễn giải như sau:

Trong sở đồ tính toán trên, mỗi một phép tính sẽ triển khai trên một véc tơ. Trong đó hình tròn màu hồng biểu diễn một toán tử đối với véc tơ như phép cộng véc tơ, phép nhân vô hướng các véc tơ. Màu vàng thể hiện hàm activation mà mạng nơ ron sử dụng để học trong tầng ẩn, thông thường là các hàm phi tuyến sigmoid và tanh. Kí hiệu 2 đường thẳng nhập vào thể hiện phép chập kết quả trong khi kí hiệu 2 đường

108

Hình 3.10 Sự lặp lại kiến trúc module trong mạng RNN chứa một tầng ẩn

thẳng rẽ nhánh thể hiện cho nội dung véc tơ trước đó được sao chép để đi tới một phần khác của mạng nơ ron.

Cũng sử dụng bộ cơ sở dữ liệu của camera Kinect ở chương trước, sau khi được ước lượng trong không gian 3D để có các tọa độ chuẩn hơn thì lựa chọn ra 14 điểm key có khả năng mô tả đăc trưng của thế võ nhằm làm giảm kích thước đầu vào của mạng nơ-ron. Tại frame đầu tiên của mỗi video, chọn đường thẳng đi qua đầu và bụng làm trục tham chiêu cho sự thay đổi vị trí của các điểm trên cơ thể, từ đó ta tính đươc vị trí của mỗi điểm cơ thể tại các frame khác nhau. Như vây mỗi frame được quy đổi thành một vector 14 chiều ;tương ứng với 14 vị trí của các điểm trên cơ thể. Mỗi video sẽ được chuẩn hóa thành một ma trận có kích thước 50x14 (Mỗi video có 50 frame).

Ta tiến hành xây dựng mô hình LSTM sử dụng thư viện: Tensorflow.

(cid:136) Số lượng hidenlayer : 32

(cid:136) window size (số lượng frame đưa vào mỗi lần để dự đoán đầu ra): 50.

(cid:136) learning rate : 0,005.

(cid:136) Thuật toán tối ưu: Adam.

(cid:136) batch size: 100.

Kết quả: khi test trên tập test thế võ công như hình 3.13

Kết quả: khi test trên tập test thế võ thủ như hình 3.14

109

Hình 3.11 Sự lặp lại kiến trúc module trong mạng LSTM chứa 4 tầng ẩn (3 sigmoid và 1 tanh) tương tác

Hình 3.12 Diễn giải các kí hiệu trong đồ thị mạng nơ ron

Kết quả cho thấy hiệu quả nhận dạng động tác tấn công khi chạy trên mạng nơ ron LSTM có hiệu quả cao, nhất là khi số liệu tọa độ của các điểm đã được ước lượng thì có hiệu quả cao hơn về độ chính xác phát hiện động tác.

3.4.2 Chấm điểm động tác võ cổ truyền Việt Nam

Trong công việc này, nghiên cứu áp dụng hệ thống chấm điểm động tác tĩnh của con người dựa trên khung xương của camera Kinect của tác giả Linwan Liu [94] để thực hiện xây dựng chương trình chấm điểm động tác một bài Võ cổ truyền Việt Nam bằng cảm biến Kinect của MS để lấy được các dữ liệu khung xương để tiến hành đối chiếu với dữ liệu mẫu và tiến hành chấm điểm. Đóng góp chính của công việc này được đưa ra dưới đây:

(cid:136) Thực hiện nhận dạng chấm điểm các động tác võ của một bài võ theo cơ sở dữ

liệu mẫu 3-D cho trước.

(cid:136) Xây dựng được cơ sở dữ liệu mẫu 3-D để chấm điểm các bài võ cổ truyền dành

110

Hình 3.13 Kết quả nhận dạng trên tập Test thế võ công.

Hình 3.14 Kết quả nhận dạng trên tập Test thế thủ.

cho chương trình thể dục giữa giờ được đưa vào chương trình học của các trường phổ thông từ năm 2016.

(cid:136) Xây dựng chương trình phần mềm để người dùng có thể chọn độ khó của việc

chấm thông qua các thông số nhập vào.

Nghiên cứu đã thu thập 36 động tác được đưa ra bởi một võ sư đó là được cho là có cùng mức hiệu suất (Hình 3.15). Nghiên cứu thiết lập đầu vào của người dùng Dst = 50, Sst = 80, M = 35 và 36 bằng cử chỉ lớp (3.10).

Qua khảo sát thì các thế võ liên tục sẽ có thời gian dừng để chuyển qua thế khác, tại vị trí dừng này tư thế sẽ được so sánh với mẫu và chấm điểm, như minh họa trong Hình 3.16.

Hình 3.17 cho thấy một số kết quả trong đó các động tác mà người biểu diễn quay lưng lại với camera thì điểm số không cao như các động tác trực diện. Cũng như một số động tác có độ che khuất cao thì độ chính xác cũng như điểm chấm giảm đi đáng

111

Hình 3.15 Lấy mẫu chuẩn.

kể.

Các hệ thống chấm điểm được phát triển trên nền tảng Visual Studio 2013 sử dụng C# . Người dùng sẽ được yêu cầu nhập các tham số trong hộp chỉnh sửa và chọn bộ dữ liệu võ tiêu chuẩn từ thư viện trước khi bắt đầu. Người dùng sẽ thực hiện công việc hiệu chuẩn để sửa trước khi bắt đầu thực hiện các động tác tiếp theo. Các động tác tiêu chuẩn sẽ lần lượt hiển thị trên màn hình dưới dạng hình ảnh của khung xương (Hình 3.18).

Các học viên sẽ thực hiện liên tục các động tác của mình và camera sẽ chụp và so sánh các mẫu để xem nó có biểu diễn chính xác như trên màn hình hiển thị hay không. Nếu các học viên quên động tác, họ có thể nhìn vào các mẫu trên màn hình để thực hiện cho đúng. Sau khi máy tính thu được dữ liệu của người biểu diễn dữ liệu từ camera, nó sẽ so sánh và ghi điểm ngay lập tức, cứ sau mỗi điểm dừng nó sẽ đọc tới hình ảnh tư thế tiếp theo trong bộ dữ liệu sau đó đưa ra hình ảnh tiếp theo trên màn hình đến cuối video được phát. Cuối cùng của chương trình, máy tính sẽ cho tổng số

112

Hình 3.16 Các vị trí dừng để chấm điểm.

Hình 3.17 Thống kê trung bình điểm chấm 36 động tác võ cổ truyền Việt Nam.

điểm của người biểu diễn (Hình 3.19).

Trong công việc này đã thực hiện áp dụng công thức chấm điểm động tác người sử dụng camera Kinect [94] cho động tác võ cổ truyền Việt Nam, đã xây dựng cơ sở dữ liệu mẫu 3-D của 36 động tác võ giữa giờ đang được đưa vào dạy tại các trường phổ thông của Việt Nam và phần mềm chấm điểm động tác tĩnh. Đây là bước mở đầu của việc thực hiện tự rèn luyện và đánh giá võ cổ truyền Việt Nam, góp phần cho việc bảo tồn và phát triển tinh hoa dân tộc. Chương trình hứa hẹn có nhiều hướng mở rộng khi có thể tích hợp kiểm tra đánh giá qua mạng sau này. Thống kê cho thấy chương trình bước đầu đã đánh giá tương đối chính xác các động tác võ. Hệ thống làm việc hiệu quả với độ phức tạp tính toán thấp và khả năng kháng nhiễu mạnh mẽ.

113

Hình 3.18 Giao diện chương trình chấm điểm.

Hình 3.19 Giao diện chương trình chấm điểm.

114

3.5 Kết luận

Dựa vào kết quả đạt được, một mô hình nhận dạng tư thế người có rất nhiều ứng

dụng như:

(cid:136) Hướng dẫn tập tập võ, yoga, vv. Các ứng dụng dạng này có thể chấm điểm, kiểm

tra các động tác có tập đúng hay không.

(cid:136) Nhận dạng hành động bạo lực tại các nơi công cộng.

Trong đó đã thực hiện nhận dạng hành động tấn công bằng cả hai phương pháp

cây phân loại và mạng nơ ron LRTM có độ chính xác nhận dạng cao.

Việc áp dụng công thức chấm điểm động tác vào dữ liệu khung xương thu được từ camera Kinect để xây dựng phần mềm đánh giá động tác võ cổ truyền Việt Nam đã mở đầu cho việc áp dụng đánh giá tự chấm điểm người học; từ đó người học có thể tự rèn luyện các động tác võ ban đầu và tự đánh giá mình thông qua camera Kinect góp phần vào việc bảo tồn và phát triển võ cổ truyền Việt Nam.

3.6 Tổng kết chương

Từ nghiên cứu này đã xây dựng được cơ sở dữ liệu mẫu 3-D để chấm điểm các bài võ cổ truyền dành cho chương trình thể dục giữa giờ được đưa vào chương trình học của các trường phổ thông từ năm 2016, từ đó có nhiều hướng mở ra cho việc đẩy mạnh tự rèn luyện và có thể đánh giá tự động qua mạng chỉ cần có camera Kinect. Người dùng có thể tương tác với hệ thống bằng cách tự thiết lập các thông số theo nhu cầu cụ thể và làm sao giải quyết được tốc độ thu nhận các động tác nhanh hơn để đáp ứng nhu cầu của bài võ thực tế là một đòi hỏi còn nhiều hướng để phát triển.

Hiện nay việc đưa võ cổ truyền vào dạy trong các trường phổ thông để rèn luyện sức khỏe và tự vệ cho các em học sinh đã được triển khai trên cả nước. Công việc này là rất tốn kém về tài chính và công sức; đặc biệt việc truyền dạy phải do các võ sư, các thầy thể dục, những người am hiểu và có chuyên môn cao về võ thuật thuộc các môn phái truyền dạy mới phát huy được hết các những ưu việt của võ thuật cổ truyền. Do đó việc xây dựng một hệ thống trợ giúp truyền dạy võ thuật và đánh giá các bài biểu diễn võ của các em học sinh phổ thông là cần thiết. Trên cơ sở đó luận án đã đề xuất được một mô hình để hướng đến xây dựng hệ thống đánh giá các bài biểu diễn võ thuật của học sinh phổ thông, giúp các em có thể tự đánh giá các bài võ được truyền dạy tại nhà mà không cần sự đánh giá định tính của các võ sư. Sâu hơn thì bằng các phương pháp khác nhau có thể tìm hiểu, nhận dạng các tư thế tấn công trong võ cổ truyền thông qua học và các đặc trưng.

115

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Kết luận

Trong mô hình nghiên cứu, luận án này tiến hành đánh giá ước lượng khung xương, tư thế người trong không gian 3-D trong các video võ cổ truyền Việt Nam. Đã thực hiện mô hình kết hợp để ước lượng từ một tập cơ sở dữ liệu bao gồm 24 video về các tư thế võ khó và phức tạp. Đồng thời cũng cung cấp dữ liệu gốc trong không gian 3-D và dữ liệu đám mây điểm (point cloud) cho xây dựng và tái tạo lại không gian 3-D của lớp học võ. Từ đó hướng đến xây dựng ứng dụng lưu trữ, bảo tồn và dạy võ thuật trong thời đại công nghệ 4.0, một cách trực quan và thân thiện nhất. Toàn bộ miêu tả về đề xuất kết hợp giữa ước lượng khung xương, tư thế trong không gian 2-D tốt, là đầu vào cho ước lượng, khôi phục khung xương, tư thế trong không gian 3-D được trình bày ở Chương 2. Kết quả cho thấy sự kết hợp này cho một hiệu năng cao hơn cho kết quả ước lượng khung xương, tư thế trong không gian 3-D. Các kết quả này được đánh giá trên độ đo đã được công bố và trên cơ sở dữ liệu đã được công bố. Đặc biệt, ước lượng khung xương, tư thế trong không gian 3-D giải quyết được nhiều hạn chế khi ước lượng khung xương trong không gian 2-D như tình trạng các khớp xương bị che khuất. Toàn bộ các kết quả của nghiên cứu này được thể hiện ở Chương 2. Luận án đã xây dựng mô hình chấm điểm và nhận dạng động tác tấn công các tư thế võ trong các video võ thuật cổ truyền do các em học sinh phổ thông biểu diễn. Các kết quả của nghiên cứu này được trình bày trong Chương 3. Từ mô hình này có thể hướng đến xây dựng được các ứng dụng phân tích và đánh giá các bài biểu diễn võ thuật, các bài thể dục.

Tuy nhiên trong quá trình nghiên cứu thì luận án cũng còn tồn tại một số các hạn

chế như sau:

(cid:136) Cơ sở dữ liệu về võ thuật cổ truyền Việt Nam là còn nhỏ và đặc biệt chưa có sự đầu tư về trang thiết bị như hệ thống MOCAP để xây dựng được dữ liệu gốc chính xác trong không gian 3-D. Chưa xây dựng được tập dữ liệu: Huấn luyện (training), xác thực (validation) và kiểm tra (testing) theo chuẩn của bộ cơ sở dữ liệu (benchmark).

(cid:136) Việc xây dựng dữ liệu gốc trong không gian 3-D được thực hiện bằng tay bằng cách chọn các điểm trên dữ liệu đám mây điểm. Nên nó mang tính chủ quan của người và các khớp khi bị che khuất chỉ đánh dấu được khoảng.Chưa đánh giá định lượng được khả năng ước lượng khung xương 3-D khi bị che khuất.

(cid:136) Nghiên cứu so sánh thì mới thực hiện được trên hai nghiên cứu được công bố

116

năm 2017 do hệ thống thực hiện của các mạng CNN năm 2019 thường sử dụng nhiều GPU hơn, như nghiên cứu của Sun et al. [115] phải sử dụng đến ít nhất 4 GPU để huấn luyện mô hình.

(cid:136) Mô hình chấm điểm các động tác võ mới thực hiện trên một số khớp xương và

Hướng phát triển

tốc độ chạy chậm.

Như đã trình bày về các giới hạn của nghiên cứu trong luận án ở phần trên, để giải quyết những hạn chế luận án đề xuất một số nghiên cứu trong thời gian tới như sau:

+ Hướng phát triển trong tương lai gần:

(cid:136) Đầu tư cơ sở vật chất (camera, hệ thống MOCAP) để thu tập và xây dựng bộ cơ sở dữ liệu về võ thuật cổ truyền Việt Nam theo cơ sở dữ liệu chuẩn (benchmark) (cung cấp tập dữ liệu huấn luyện, tập dữ liệu xác thực, tập dữ liệu kiểm tra). Từ đó có thể công bố bộ cơ sở dữ liệu về võ thuật cổ truyền Việt Nam ra thế giới cho công đồng nghiên cứu đánh giá, thực nghiệm các nghiên cứu.

(cid:136) Nâng cấp và cải thiện tốc độ của mô hình chấm điểm các động tác võ, chấm điểm

trên nhiều khớp hơn trên cơ thể người.

(cid:136) Đánh giá định lượng việc ước lượng khung xương trong không gian 3-D khi các

bộ phận trên cơ thể người bị che khuất.

+ Hướng phát triển trong tương lai xa:

(cid:136) Đầu tư cơ sở vật chất về cấu hình máy tính như GPU, RAM cho việc chạy các

mạng CNN mới.

(cid:136) Xây dựng hệ thống tại tạo môi trường 3-D và khôi phục khung xương tư, tư thế của người trong các tư thế võ thuật cổ truyền Việt Nam cho việc bảo tồn và dạy võ thuật bằng video.

(cid:136) Xây dựng hệ thống phân tích, đánh giá, chấm điểm các tư thế, khung xương của người trong các bài biểu diễn võ thuật, thể dục dụng cụ theo thời gian thực.

117

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ

CỦA LUẬN ÁN

Conference:

[C1 ] Tuong Thanh Nguyen, Dang-Tuyen Nguyen, Dung Le, Thanh-Cong Pham (2017) Implementation of Technical Data Analysis of Skeleton Extracted from Camera Kinect in Grading Movements of Vietnamese Martial Arts, IEEE 2017 International Conference on Advanced Technologies for Communications (ATC),pp241- 244, doi 10.1109/ATC.2017.8167625

[C2 ] Van-Hung Le, Tuong-Thanh Nguyen, Thanh-Cong Pham (2019), OpenPose’s evaluation in The Video Traditional Martial Arts Presentation. 19th International Symposium on Communications and Information Technologies (ISCIT), ISBN 978-1-7281-5008-6, pp76-81.

[C3 ] Nguyễn Tường Thành, Lê Thị Kim Nga , Phạm Thành Công, Lê Dũng (2019) Nhận dạng động tác tấn công trong võ cổ truyền bằng phương pháp cây phân loại, Kỷ yếu Hội thảo khoa học Quốc gia "Ứng dụng công nghệ mới trong Công trình xanh" - AtiGB2019, pp88-97.

Journal:

[J1 ] Nguyễn Tường Thành, Nguyễn Đăng Tuyên, Lê Dũng, Phạm Thành Công, (2016), Ứng dụng camera Kinect trong xây dựng mô hình chấm điểm động tác võ cổ truyền Việt Nam, Tạp chí Khoa học và Công nghệ. Đại học Đà Nẵng 2016, số 11 tr.221-224.

[J2 ] Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation by Convolutional Neural Network in The Video Traditional Mar- tial Arts Presentation, Journal of Science and Technology, No.139/2019, ISSN 2354-1083;pp43-49.

[J3 ] Tuong-Thanh Nguyen, Van-Hung Le, Thanh-Cong Pham (2019), An Eval- uation of Pose Estimation in The Video Traditional Martial Arts Presentation, Research and development on information and communication technology, No2 12/2019 ISSN: 1859-3534, (Đã chấp nhận đăng).

[J4 ] Tuong-Thanh Nguyen, Van-Hung Le, Long Duong, Dung Le, Thanh-Cong Pham (2019), 3-D Human Pose Estimation in Vietnamese’s Video Traditional Martial Arts Presentation. Journal of Advanced Engineering and Computation

118

(JAEC), Vol 3, Iss 3, 2019, pp471-491.

119

TÀI LIỆU THAM KHẢO

[1] MJ Rantz, TS Banerjee, E Cattoor, SD Scott, M Skubic, and M. Popescu. Auto- mated fall detection with quality improvement "rewind" to reduce falls in hospital rooms. J Gerontol Nurs, 40(1):13–17, 2014.

[2] Yury Degtyarev Philip L. Davidson Sean Ryan Fanello Adarsh Kowdle Sergio Orts Christoph Rhemann David Kim Jonathan Taylor Pushmeet Kohli Vladimir Tankovich Shahram Izadi Mingsong Dou, Sameh Khamis. Fusion4D: real-time performance capture of challenging scenes. ACM Transactions on Graphics, 35(4), 2016.

[3] Koldo de Miguel, Alberto Brunete, Miguel Hernando, and Ernesto Gambao. Home Camera-Based Fall Detection System for the Elderly. Journal of Sensors, 17(12), 2017.

[4] Moiz Ahmed, Nadeem Mehmood, Nadeem Adnan, Amir Mehmood, and Kashif Rizwan. Fall Detection System for the Elderly Based on the Classification of Shimmer Sensor Prototype Data. Healthc Inform Res, 23(3):147–158, 2017.

[5] Raul IgualCarlos, Medrano Carlos, and Inmaculada Plaza. Challenges, Is- sues and Trends in Fall Detection Systems. BioMedical Engineering OnLine, 12(1):147–158, 2013.

[6] Tinh Binh Dinh. Bao ton va phat huy vo co truyen Binh dinh: Tiep tuc ho tro cac vo duong tieu bieu. http://www.baobinhdinh.com.vn/viewer.aspx?macm= 12&macmp=12&mabb=88043, 2017. [Accessed; April, 4 2019].

[7] Meier. Kung Fu Motion.

https://www.djaquet.info/blog/2018/5/20/ ive-been-to-kung-fu-motion-artlab-epfl-april-august-2018, 2018. [Ac- cessed; April, 4 2019].

[8] Tinh Binh Dinh. Ai ve Binh Dinh ma coi, Con gai Binh Dinh bo roi

http://www.seagullhotel.com.vn/du-lich-binh-dinh/vo-co-

di quyen. truyen-binh-dinh-5, 2019. [Accessed; April, 4 2019].

[9] Japanese. 5 Leading Japanese Martial Arts. https://jpninfo.com/10410, 2015.

[Accessed; May, 21 2019].

[10] China. Tai chi v MMA: The 20-second fight that left China reeling. https: [Accessed; May, 21

//www.bbc.com/news/world-asia-china-39853374, 2017. 2019].

120

[11] PRESERVING. PRESERVING LIFE THROUGH THE MARTIAL WAY – AT MYOFU AN BUJUTSU DOJO, NEW HAMPSHIRE. https://myo-fu-an. com/tai-chi-chuan/, 2019. [Accessed; May, 21 2019].

[12] Chinese. Chinese Kung Fu (Martial Arts). https://www.travelchinaguide.

com/intro/martial_arts/, 2019. [Accessed; April, 4 2019].

[13] ECCV2018. ECCV 2018 Joint COCO and Mapillary Recognition). http://

cocodataset.org/#home, 2018. [Accessed 18 April 2019].

https://places-

[14] MSCOCO 2017. MSCOCO Keypoints Challenge 2017). coco2017.github.io/, 2017. [Accessed 18 April 2019].

[15] Tinh Binh Dinh. Preserving traditional martial arts).

http://www. [Accessed 18

baobinhdinh.com.vn/culture-sport/2011/8/114489/, 2011. April 2019].

[16] Chinese. traditional Chinese martial arts and the transmission of intangi-

ble cultural heritage). https://www.academia.edu/18641528/Fighting_

modernity_traditional_Chinese_martial_arts_and_the_transmission_ of_intangible_cultural_heritage., 2012. [Accessed 18 April 2019].

[17] Microsoft. Kinect for Windows SDK v1.8. https://www.microsoft.com/en-

us/download/details.aspx?id=40278, 2012. [Accessed 18 April 2019].

[18] Opencv. Opencv library. https://opencv.org/, 2018. [Accessed 19 April 2019].

[19] MICA. International Research Institute MICA. http://mica.edu.vn/, 2019.

[Accessed 19 April 2019].

[20] Karate. Karate Rules - Kumite Scoring System. https://www.youtube.com/

watch?v=c6r8JwEFowY, 2018. [Accessed 19 April 2019].

[21] openpose. openpose. https://github.com/CMU-Perceptual-Computing-Lab/

openpose, 2019. [Accessed 23 April 2019].

[22] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime Multi Person Pose Estimation. https://github.com/ZheC/Realtime_Multi-Person_Pose_ Estimation. [Accessed 23 April 2019].

[23] COCO. Observations on the calculations of COCO metrics. https://github.

com/cocodataset/cocoapi/issues/56, 2019. [Accessed 24 April 2019].

[24] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. Realtime multi-person

2d pose estimation using part affinity field. 2017.

121

[25] J. Kramer, M. Parker, D. Castro, N. Burrus, and F. Echtler. Hacking the Kinect.

Apress, 2012.

[26] Xu Tao and Zhou Yun. Fall prediction based on biomechanics equilibrium using Kinect. International Journal of Distributed Sensor Networks, 13(4), 2017.

[27] Daphne Koller Sebastian Thrun Varun Ganapathi, Christian Plagemann. Real-

time human pose tracking from range data. In ECCV, 2012.

[28] Umer Rafi, Juergen Gall, and Bastian Leibe. A semantic occlusion model for human pose estimation from a single depth image. In IEEE Conference on Com- puter Vision and Pattern Recognition Workshops (CVPRW), 2015.

[29] Leonid Pishchulin, Eldar Insafutdinov, Siyu Tang, Bjoern Andres, Mykhaylo An- driluka, Peter Gehler, and Bernt Schiele. Deepcut: Joint subset partition and labeling for multi person pose estimation. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016) year = 2016,.

[30] Shih-En Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convo- lutional pose machines. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR 2016) year = 2016,.

[31] Burrus Nicolas. Calibrating the depth and color camera. http://nicolas. [Online; ac-

burrus.name/index.php/Research/KinectCalibration, 2018. cessed 10-January-2018].

[32] Weichen Zhang, Zhiguang Liu, Liuyang Zhou, Howard Leung, and Antoni B. Chan. Martial Arts, Dancing and Sports dataset: a Challenging Stereo and Multi- View Dataset for 3D Human Pose Estimation. Image and Vision Computing, Volume 61, 2017.

[33] Leonid Sigal, Alexandru O. Balan, and Michael J. Black. HUMANEVA: Synchro- nized Video and Motion Capture Dataset and Baseline Algorithm for Evaluation of Articulated Human Motion. International Journal of Computer Vision, Vol- ume 87(1), 2010.

[34] Istvan Sarandi, Timm Linder, Kai O. Arras, and Bastian Leibe. How Robust is 3D Human Pose Estimation to Occlusion. In IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS’18) - Workshop on Robotic Co-workers 4.0: Human Safety and Comfort in Human-Robot Interactive Social Environments, 2018.

[35] PCL. How to use random sample consensus model. http://pointclouds.org/

documentation/tutorials/random_sample_consensus.php, 2014.

122

[36] Jared St. Jean. Kinect hacks. Published by O’Reilly Media, Inc., 1005 Gravenstein

Highway North, Sebastopol, CA 95472., 2013.

[37] Qifei Wang, Gregorij Kurillo, Ferda Ofli, and Ruzena Bajcsy. Evaluation of pose tracking accuracy in the first and second generations of microsoft Kinect. In Proceedings - 2015 IEEE International Conference on Healthcare Informatics, ICHI 2015, pages 380–389, 2015.

[38] Cheng-Shian Lin Hao-Cheng Mo, Jin-Jang Leou. Human Behavior Analysis Using Multiple 2D Features and Multicategory Support Vector Machine. In Proceedings Conference on Machine Vision Applications MVA, 2009.

[39] C. Nakajima, M. Pontil, and T. Poggio. People recognition and pose estimation in image sequences. In Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks., number June 2014, pages 189–194 vol.4, 2002.

[40] Cem Keskin, Furkan Kirac, Yunus Emre Kara, and Lale Akarun. 3D hand pose estimation and classification using depth sensors. In 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), pages 1–4, 2012.

[41] Sijin Li, Weichen Zhang, and Antoni B. Chan. Maximum-Margin Structured International

Learning with Deep Networks for 3D Human Pose Estimation. Journal of Computer Vision, 122(1):149–168, 2017.

[42] Haiyong Zhao and Zhijing Liu. Human Action Recognition Based on Non-linear SVM Decision Tree, volume = 7, year = 2011. Journal of Computational Infor- mation Systems, (7).

[43] Le Thi-Lan, Nguyen Minh-Quoc, and Nguyen Thi-Thanh-Mai. Human posture In 2013 International recognition using human skeleton provided by Kinect. Conference on Computing, Management and Telecommunications (ComManTel), 2013.

[44] Patsadu Orasa, Nukoolkit Chakarida, and Watanapa Bunthit. Human gesture In 2012 Ninth International Conference on

recognition using Kinect camera. Computer Science and Software Engineering (JCSSE), 2012.

[45] Sriparna Saha, Shreya Ghosh, Amit Konar, and Atulya K. Nagar. Gesture Recog- nition from Indian Classical Dance Using Kinect Sensor. In 2013 Fifth Interna- tional Conference on Computational Intelligence, Communication Systems and Networks, 2013.

[46] A. Agarwal and B. Triggs. 3D human pose from silhouettes by relevance vector regression. In Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004.

123

[47] Min Sun, Pushmeet Kohli, and Jamie Shotton. Conditional regression forests for human pose estimation. In 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012.

[48] Angel Martiez-Gonzalez, Michael Villamizar, Olivier Canevet, and Jean Marc Odobez. Real-time Convolutional Networks for Depth-based Human Pose Esti- mation. In IEEE International Conference on Intelligent Robots and Systems, pages 41–47, 2018.

[49] Wenjuan Gong, Xuena Zhang, Jordi Gonzàlez, Andrews Sobral, Thierry Bouw- mans, Changhe Tu, and El Hadi Zahzah. Human Pose Estimation from Monocu- lar Images: A Comprehensive Survey. Sensors (Basel, Switzerland), 16(12):1–39, 2016.

[50] Enrique Martinez Berti, Antonio Jose Sánchez Salmerón, and Carlos Ricolfe Viala. 4-Dimensional deformation part model for pose estimation using Kalman filter constraints. International Journal of Advanced Robotic Systems, 14(3):1–13, 2017.

[51] Tao Hu, Xinyan Zhu, Wei Guo, and Kehua Su. Efficient Interactions Recogni- tion through Positive Action based Representation . Mathematical Problems in Engineering, 2013.

[52] Pedro Felzenszwalb, David Mcallester, and Deva Ramanan. A Discriminatively Trained, Multiscale, Deformable Part Model. In 2008 IEEE Conference on Com- puter Vision and Pattern Recognition, 2008.

[53] Min Sun and Silvio Savarese. Articulated part-based model for joint object detec- tion and pose estimation. In Proceedings of the IEEE International Conference on Computer Vision, pages 723–730, 2011.

[54] Leonid Pishchulin, Mykhaylo Andriluka, Peter Gehler, and Bernt Schiele. Strong Appearance and Expressive Spatial Models for Human Pose Estimation. In Pro- ceedings of the 2013 IEEE International Conference on Computer Vision, 2013.

[55] Mykhaylo Andriluka, Stefan Roth, and Bernt Schiele. Pictorial Structures Re- visited : People Detection and Articulated Pose Estimation. In 2009 IEEE Con- ference on Computer Vision and Pattern Recognition, pages 1014–1021, 2009.

[56] Alex Smola and S.V.N. Vishwanathan. Introduction to machine learning. Cam-

bridge University Press, 2010.

[57] Ho Sy Hung. Tom luoc lich su phat trien cua nganh machine learn-

https://techmaster.vn/posts/33923/lich-su-phat-trien-machine-

ing. learning, 2016. [Accessed; June, 21 2019].

124

[58] Maher. Which machine learning model to use. https://towardsdatascience. [Ac-

com/which-machine-learning-model-to-use-db5fdf37f3dd, 2019. cessed; June, 21 2019].

[59] Nguyen Van Hieu. Tong quan ve machine learning. https://nguyenvanhieu.

vn/machine-learning-la-gi/, 2019. [Accessed; June, 21 2019].

[60] wikipedia. Hoc sau. https://vi.wikipedia.org/wiki/H%E1%BB%8Dc_s%C3%

A2u, 2019. [Accessed; June, 21 2019].

[61] Microsoft. Kinect for Windows SDK v1.8. https://www.microsoft.com/en-us/ download/details.aspx?id=40278, 2018. [Online; accessed 10-January-2018].

[62] Christian Plagemann. Real Time Motion Capture Using a Single Time-Of-Flight Camera. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2010.

[63] Jamie Shotton and Toby Sharp. Real-Time Human Pose Recognition in Parts

from Single Depth Images. In CVPR 2011, 2011.

[64] Christian Plagemann and Daphne Koller. Real-time Identification and Localiza- tion of Body Parts from Depth Images. In 2010 IEEE International Conference on Robotics and Automation, 2010.

[65] Himanshu Prakash Jain and Anbumani Subramanian. Real-Time Upper-Body In Lecture Notes in Computer Science book series

Human Pose Estimation. (LNCS, volume 6930), pages 227–238, 2011.

[66] Chaitanya Desai and Deva Ramanan. Detecting actions, poses, and objects with relational phraselets. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 7575 LNCS(PART 4):158–172, 2012.

[67] Vivek Kumar Singh and Ram Nevatia. Multiple Pose Context Trees for estimat- ing Human Pose in Object Context_Context_2010_Singh, Nevatia.pdf. In 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recogni- tion - Workshops, pages 17–24, 2010.

[68] Bangpeng Yao and Li Fei-Fei. Recognizing human-object interactions in still IEEE images by modeling the mutual context of objects and human poses. Transactions on Pattern Analysis and Machine Intelligence, 34(9):1691–1703, 2012.

[69] Jk Aggarwal and Ms Ryoo. Human activity analysis: A review (Vision-based).

ACM Computing Surveys (CSUR), 43(3):16:1–16:43, 2011.

125

[70] Mao Ye, Qing Zhang, Liang Wang, Jiejie Zhu, Ruigang Yang, and Juergen Gall. A survey on human motion analysis from depth data. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 8200 LNCS:149–187, 2013.

[71] Mohamed E. Hussein, Marwan Torki, Mohammad A. Gowayyed, and Motaz El- Saban. Human action recognition using a temporal hierarchy of covariance de- scriptors on 3D joint locations. IJCAI International Joint Conference on Artifi- cial Intelligence, pages 2466–2472, 2013.

[72] Fengjun Lv and Ramakant Nevatia. Recognition and segmentation of 3-D human action using HMM and multi-class AdaBoost. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 3954 LNCS:359–372, 2006.

[73] Yaser Sheikh, Mumtaz Sheikh, and Mubarak Shah. Exploring the space of a human action. In Proceedings of the IEEE International Conference on Computer Vision, volume I, pages 144–149, 2005.

[74] Jiang Wang, Zicheng Liu, Ying Wu, and Junsong Yuan. Mining actionlet ensem- ble for action recognition with depth cameras. In Proceedings of the IEEE Com- puter Society Conference on Computer Vision and Pattern Recognition, pages 1290–1297, 2012.

[75] Xiaodong Yang and Yingli Tian. EigenJoints-based Action Recognition Using Na¨ive-Bayes-Nearest-Neighbor. In 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2012.

[76] Yu Zhu, Wenbin Chen, and Guodong Guo. Fusing spatiotemporal features and joints for 3D action recognition. In IEEE Computer Society Conference on Com- puter Vision and Pattern Recognition Workshops, pages 486–491, 2013.

[77] Michael J Black. Parameterized Modeling and Recognition of Activities Yaser Yacoob 1 Introduction. Computer Vision and Image Understanding, Volume 73(Issue 2):Pages 232–247, 1999.

[78] Rizwan Chaudhry, Ferda Ofli, Gregorij Kurillo, and Ruzena Bajcsy. Bio-inspired Dynamic 3D Discriminative Skeletal Features ChaudhryHAU3D13.pdf. In 2013 IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2013.

[79] Ferda Ofli, Rizwan Chaudhry, Gregorij Kurillo, René Vidal, and Ruzena Bajcsy. Sequence of the most informative joints (SMIJ): A new representation for hu- man skeletal action recognition. Journal of Visual Communication and Image Representation, 25(1):24–38, 2014.

126

[80] Eshed Ohn-bar and Mohan M Trivedi. Contribution Joint Angles Similarities and HOG 2 for Action Recognition Joint Angles Affinity Clustering – Previous Work. In IEEE Conference on Computer Vision and Pattern Recognition Workshops: Human Activity Understanding from 3D Data,, pages 1–6, 2013.

[81] Raviteja Vemulapalli, Felipe Arrate, and Rama Chellappa. Human action recog- nition by representing 3D skeletons as points in a lie group. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recogni- tion, pages 588–595, 2014.

[82] Ho Viet Ha, Tran Anh Vu, Ngo Van Sy, Huynh Huu Hung, and Dang Van Hung. Phan tich dang di dua tren thong tin do sau. In Ky yeu Hoi nghi khoa hoc quoc gia lan thu IX, Nghien cuu co ban va ung dung cong nghe thong tin, pages 553–558, 2017.

[83] Pham Nguyen Khang and Huynh Nhat Minh. Ung dung Camera Kinect de thiet ke bai tap ho tro phuc hoi chuc nang van dong. Tap chi khoa hoc truong Dai hoc Can Tho, pages 25–31, 2015.

[84] Nikolaos Sarafianos, Bogdan Boteanu, Bogdan Ionescu, and Ioannis A Kakadi- aris. 3D Human Pose Estimation : A Review of the Literature and Analysis of Covariates. Computer Vision and Image Understanding, Volume 152(vii):Pages 1–20, 2016.

[85] Denis Tome, Chris Russell, and Lourdes Agapito. Lifting from the deep: Con- volutional 3D pose estimation from a single image. In Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, volume 2017-Janua, pages 5689–5698, 2017.

[86] Catalin Ionescu, Dragos Papava, Vlad Olaru, and Cristian Sminchisescu. Hu- man3.6m: Large scale datasets and predictive methods for 3d human sensing in natural environments. IEEE Transactions on Pattern Analysis and Machine Intelligence, 36(7):1325–1339, jul 2014.

[87] Xing Zhou. A Study of Microsoft Kinect Calibration. Technical report Dept. of

Computer Science George Mason University, 2012.

[88] Bouguet Jean-Yves. Camera calibration toolbox for matlab.

http:// [Online; accessed 10-

www.vision.caltech.edu/bouguetj/calib_doc/, 2018. January-2018].

[89] Cristian Sminchisescu Catalin Ionescu, Fuxin Li. Latent structured models for human pose estimation. In International Conference on Computer Vision, 2011.

127

[90] Hao-shu Fang, Yuanlu Xu, Wenguan Wang, Xiaobai Liu, and Song-chun Zhu. Learning Pose Grammar to Encode Human Body Configuration for 3D Pose Estimation. In Thirty-Second AAAI Conference on Artificial Intelligence, 2018.

[91] Istvan Sarandi, Timm Linder, Kai Oliver Arras, and Bastian Leibe. How robust

is 3d human pose estimation to occlusion? CoRR, abs/1808.09316, 2018.

[92] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning

for image recognition. CoRR, abs/1512.03385, 2015.

[93] Mir Rayat Imtiaz Hossain and James J. Little. Exploiting temporal information for 3D human pose estimation. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinfor- matics), volume 11214 LNCS, pages 69–86, 2018.

[94] Linwan Liu, Xiaoyu Wu, Linglin Wu, and Tianchu Guo. Static Human Gesture grading based on Kinect. In 2012 5th International Congress on Image and Signal Processing, CISP 2012, pages 1390–1393, 2012.

[95] Zoe Marquardt, João Beira, Natalia Em, Isabel Paiva, and Sebastian Kox. Super Mirror: A Kinect Interface for Ballet Dancers. CHI ’12 Extended Abstracts on Human Factors in Computing Systems (CHI EA ’12), pages 1619–1624, 2012.

[96] Michalis Raptis, Darko Kirovski, and Hugues Hoppe. Real-Time Classifica- tion of Dance Gestures (MSR).pdf. In SCA ’11 Proceedings of the 2011 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pages 147–156, 2011.

[97] D. Kim, D. Kim, and J. Paik. Gait recognition using active shape model and

motion prediction. IET Computer Vision, 4(1):25, 2009.

[98] Kem-Laurin Kramer. Learn more about Natural User Interface. In Natural User

Interface. 2012.

[99] Ashleigh Johnstone and Paloma Marí-Beffa. The effects of martial arts training on attentional networks in typical adults. Frontiers in Psychology, 9(FEB):1–9, 2018.

[100] Mitola J. and Maguire G.Q. Cognitive Radio : Making Software Radios More

Personal. IEEE Personal Communications, Volume: 6(Issue: 4), 1999.

[101] Tin Kam Ho. Random Decision Forests. In Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, volume 47, pages 4–8, 95.

128

[102] Ilana Rapp. Motion Capture Actors: Body Movement Tells The Story.

https://www.nycastings.com/motion-capture-actors-body-movement- tells-the-story/, 2019. [Accessed; June, 21 2019].

[103] Leonid Sigal, Alexandru O Balan, and Michael J Black. HUMAN EVA : Synchro- nized Video and Motion Capture Dataset Human Motion. International Journal of Computer Vision, 87(1):4–27, 2010.

[104] Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele.

[105] Sudharshan Chandra Babu. A 2019 guide to Human Pose Estimation with Deep Learning. https://blog.nanonets.com/human-pose-estimation-2d-guide/, 2019. [Accessed; June, 21 2019].

[106] Fabien Baradel, Christian Wolf, and Julien Mille. Pose-conditioned spatio- temporal attention for human action recognition. CoRR, abs/1703.10106, 2017.

[107] Yi Yang and Deva Ramanan. Articulated pose estimation with flexible mixtures-

of-parts resenting shape. In In CVPR, pages 1385–1392, 2011.

[108] Matthias Dantone, Juergen Gall, and Christian Leistner. Human Pose Estimation

using Body Parts Dependent Joint Regressors. In In CVPR, 2013.

[109] Alexander Toshev and Christian Szegedy. DeepPose: Human Pose Estimation

via Deep Neural Networks. In CVPR, 2014.

[110] Jonathan Tompson, Ross Goroshin, Arjun Jain, Yann Lecun, and Christoph Bre- In CVPR,

gler. Efficient Object Localization Using Convolutional Networks. 2015.

[111] Shih-en Wei, Varun Ramakrishna, Takeo Kanade, and Yaser Sheikh. Convolu-

tional Pose Machines. In CVPR, 2016.

[112] U C Berkeley, U C Berkeley, U C Berkeley, C V Jun, and U C Berkeley. Human

Pose Estimation with Iterative Error Feedback. In CVPR, 2016.

[113] Alejandro Newell, Kaiyu Yang, and Jia Deng. Stacked Hourglass Networks for

Human Pose Estimation. In ECCV, 2016.

[114] Bin Xiao, Haiping Wu, and Yichen Wei. Simple Baselines for Human Pose Esti-

mation and Tracking. In ECCV, pages 1–16, 2018.

[115] Ke Sun, Bin Xiao, Dong Liu, and Jingdong Wang. Deep High-Resolution Rep-

resentation Learning for Human Pose Estimation. In CVPR, 2019.

[116] Kyle Brown. Stereo Human Keypoint Estimation. Stanford University, Stanford

Intelligent Systems Laboratory kjbrown7, 2017.

129

[117] Daniil Osokin. Real-time 2d multi-person pose estimation on CPU: lightweight

openpose. CoRR, abs/1811.12004, 2018.

[118] Manuel J Mar and Rafael Medina-carnicer. 3D human pose estimation from depth maps using a deep combination of poses. Journal of Visual Communication and Image Representation, Volume 55:627–639, 2018.

[119] Albert Haque, Boya Peng, Zelun Luo, Alexandre Alahi, Serena Yeung, and Fei-Fei Li. Viewpoint invariant 3d human pose estimation with recurrent error feedback. CoRR, abs/1603.07076, 2016.

[120] Alireza Shafaei and James J Little. Real-Time Human Motion Capture with In 13th Conference on Computer and Robot Vision

Multiple Depth Cameras. (CRV), 2016.

[121] Fabrice Atrevi, Damien Vivet, Florent Duculty, and Bruno Emile. 3D Human Poses Estimation from a single 2D silhouette. In 11th International Joint Con- ference on Computer Vision, Imaging and Computer Graphics Theory and Ap- plications. ISBN: 978-989-758-175-5, 2017.

[122] N. Dalal and B. Triggs. 3D Human Poses Estimation from a single 2D silhou- ette. In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). ISBN: 0-7695-2372-2, 2005.

[123] P.-T. Yap, R. Paramesran, and Seng-Huat Ong. Image analysis by Krawtchouk

moments. IEEE Transactions on Image Processing, 12, 2003.

[124] Helge Rhodin, Mathieu Salzmann, and Pascal Fua. Unsupervised geometry-aware representation for 3D human pose estimation. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), volume 11214 LNCS, pages 765–782, 2018.

[125] K. P. Horn Berthold. Closed-form solution of absolute orientation using unit quaternions. Journal of the Optical Society of America, 4(4):629–642, 1987.

[126] Jeff Kramer, Nicolas Burrus, Florian Echtler, Herrera C. Daniel, and Matt Parker.

Hacking the Kinect. Apress, 2012.

[127] MReza Naeemabadi, Birthe Dinesen, Ole Kæseler Andersen, Samira Najafi, and John Hansen. Evaluating accuracy and usability of microsoft kinect sensors and wearable sensor for tele knee rehabilitation after knee operation. In Proceedings of the 11th International Joint Conference on Biomedical Engineering Systems and Technologies - Volume 1: BIODEVICES,, pages 128–135. INSTICC, SciTePress, 2018.

130

[128] Dushyant Mehta, Srinath Sridhar, Oleksandr Sotnychenko, Helge Rhodin, Mo- hammad Shafiei, Hans-Peter Seidel, Weipeng Xu, Dan Casas, and Christian Theobalt. Vnect: Real-time 3d human pose estimation with a single rgb camera. volume 36, 2017.

[129] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Identity mappings In Lecture Notes in Computer Science (including in deep residual networks. subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinfor- matics), volume 9908 LNCS, pages 630–645, 2016.

[130] Junho Kim. ResNet-Tensorflow. https://github.com/taki0112/ResNet-

Tensorflow, 2019. [Accessed 18 April 2019].

[131] Sam Johnson and Mark Everingham. Clustered pose and nonlinear appearance models for human pose estimation. In Proceedings of the British Machine Vision Conference, pages 12.1–12.11. BMVA Press, 2010. doi:10.5244/C.24.12.

[132] Sam Johnson and Mark Everingham. Learning effective human pose estimation

from inaccurate annotation. In IEEE Proc. CVPR, 2011.

[133] Dushyant Mehta, Helge Rhodin, Dan Casas, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation using transfer learning and improved CNN supervision. CoRR, abs/1611.09813, 2016.

[134] Zhe Cao, Tomas Simon, Shih-En Wei, and Yaser Sheikh. OpenPose: Real-time multi-person keypoint detection library for body, face, hands, and foot estima- [Ac- tion. https://github.com/CMU-Perceptual-Computing-Lab/openpose. cessed 23 April 2019].

[135] Dario Pavllo, Christoph Feichtenhofer, David Grangier, and Michael Auli. 3d human pose estimation in video with temporal convolutions and semi-supervised training. In Conference on Computer Vision and Pattern Recognition (CVPR), 2019.

[136] Aiden Nibali, Zhen He, Stuart Morgan, and Luke Prendergast. 3D human pose In Proceedings - 2019 IEEE Winter estimation with 2D marginal heatmaps. Conference on Applications of Computer Vision, WACV 2019, number Figure 1, pages 1477–1485, 2019.

[137] Márton Véges, Viktor Varga, and András L˝orincz. 3d human pose estimation

with siamese equivariant embedding. arXiv preprint arXiv:1809.07217, 2018.

[138] Keze Wang, Liang Lin, Chenhan Jiang, Chen Qian, and Pengxu Wei. 3d hu- man pose machines with self-supervised learning. IEEE transactions on pattern analysis and machine intelligence, 2019.

131

[139] Julieta Martinez, Rayat Hossain, Javier Romero, and James J. Little. A Simple Yet Effective Baseline for 3d Human Pose Estimation. In Proceedings of the IEEE International Conference on Computer Vision, volume 2017-Octob, pages 2659–2668, 2017.

[140] Márton Véges and András L¨orincz. Absolute human pose estimation with depth

prediction network. CoRR, abs/1904.05947, 2019.

[141] Dushyant Mehta, Oleksandr Sotnychenko, Franziska Mueller, Weipeng Xu, Sri- nath Sridhar, Gerard Pons-Moll, and Christian Theobalt. Single-shot multi- person 3d pose estimation from monocular rgb. In 3D Vision (3DV), 2018 Sixth International Conference on. IEEE, sep 2018.

[142] Xiao Sun, Chuankang Li, and Stephen Lin. An Integral Pose Regression System

for the ECCV2018 PoseTrack Challenge. In ECCV, pages 1–5, 2018.

[143] Georgios Pavlakos, Xiaowei Zhou, Konstantinos G. Derpanis, and Kostas Dani- ilidis. Coarse-to-fine volumetric prediction for single-image 3D human pose. In Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recogni- tion, CVPR 2017, volume 2017-Janua, pages 1263–1272, 2017.

[144] Luyang Wang, Yan Chen, Zhenhua Guo, Keyuan Qian, Mude Lin, Hongsheng Li, and Jimmy S Ren. Generalizing monocular 3d human pose estimation in the wild. arXiv preprint arXiv:1904.05512, 2019.

[145] Chen Li and Gim Hee Lee. Generating multiple hypotheses for 3d human pose estimation with mixture density network. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.

[146] Dushyant Mehta, Helge Rhodin, Dan Casas, Pascal Fua, Oleksandr Sotnychenko, Weipeng Xu, and Christian Theobalt. Monocular 3d human pose estimation in the wild using improved cnn supervision. In 3D Vision (3DV), 2017 Fifth International Conference on, 2017.

[147] Karim Iskakov, Egor Burkov, Victor S. Lempitsky, and Yury Malkov. Learnable

triangulation of human pose. CoRR, abs/1905.05754, 2019.

[148] Bugra Tekin, Pablo Marquez-Neila, Mathieu Salzmann, and Pascal Fua. Learn- ing to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation. In Proceedings of the IEEE International Conference on Computer Vision, volume 2017-Octob, pages 3961–3970, 2017.

[149] Magnus Burenius, Josephine Sullivan, and Stefan Carlsson. 3D Pictorial Struc- tures for Multiple View Articulated Pose Estimation. In 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013.

132

[150] Sam Johnson and Mark Everingham. Clustered pose and nonlinear appear- ance models for human pose estimation. In Proc. BMVC, pages 12.1–11, 2010. doi:10.5244/C.24.12.

[151] Geometric. Geometric Transformations.

https://pages.mtu.edu/~shene/ [Accessed; April, 4

COURSES/cs3621/NOTES/geometry/geo-tran.html, 2019. 2019].

[152] geeks forgeeks. Linear Regression (Python Implementation). https:

//www.geeksforgeeks.org/linear-regression-python-implementation/, 2019. [Accessed; April, 4 2019].

[153] Linear. Linear Regression. https://machinelearningcoban.com/2016/12/28/

linearregression/, 2019. [Accessed; April, 4 2019].

[154] Mykhaylo Andriluka, Leonid Pishchulin, Peter Gehler, and Bernt Schiele.

[155] Ching Hang Chen and Deva Ramanan. 3D human pose estimation = 2D pose estimation + matching. In Proceedings - 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, volume 2017-Janua, pages 5759– 5767, 2017.

[156] Mohamed Omran, Christoph Lassner, Gerard Pons-Moll, Peter Gehler, and Bernt Schiele. Neural body fitting: Unifying deep learning and model based human pose and shape estimation. In Proceedings - 2018 International Conference on 3D Vision, 3DV 2018, pages 484–494, 2018.

[157] Dario Pavllo, David Grangier, and Michael Auli. Quaternet: A quaternion- based recurrent model for human motion. In British Machine Vision Conference (BMVC), 2018.

[158] Bastian Wandt and Bodo Rosenhahn. Repnet: Weakly supervised training of an adversarial reprojection network for 3d human pose estimation. CoRR, abs/1902.09868, 2019.

[159] Muhammed Kocabas, Salih Karagoz, and Emre Akbas. Self-Supervised Learning of 3D Human Pose using Multi-view Geometry. In IEEE Computer Vision and Pattern Recognition, 2019.

[160] Albert Haque, Boya Peng, Zelun Luo, Alexandre Alahi, Serena Yeung, and Li Fei- Fei. Towards viewpoint invariant 3D human pose estimation. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), volume 9905 LNCS, pages 160–177, 2016.

133

PHỤ LỤC

Toàn bộ dữ liệu và phần code đã được up lên trang https://github.com/

PandaThanh/3d_code Ngoài ra dữ liệu còn được up lên Googledrive:

https://drive.google.com/drive/u/3/folders/1GxPHcM_7-6eoloRDUy7vF7IzNbK7oZCF

Toàn bộ mã nguồn của việc xoay và dịch chuyển dữ liệu https://drive.google. com/file/d/1Opluv8IRMMFuxKweDgLwrvHR2qhY4BIO/view?usp=sharing. Chi tiết của các các kết quả ước lượng được thể hiện trong đường dẫn này: https:

//drive.google.com/drive/u/3/folders/1RyYjlDkCCWiKkzvXNRZ14YdwoH-rVbn2 Để thực hiện luận án phát triển một công cụ nhỏ có tên là "groundtruth.m"

https://drive.google.com/file/d/1Opluv8IRMMFuxKweDgLwrvHR2qhY4BIO/ view?usp=sharing. Video thể hiện thời gian thực hiện với hình ảnh đầu vào là ảnh màu và đầu ra là

kết quả ước lượng đầy đủ các khớp xương trong không gian 3-D, trong cả trường

hợp nhìn thấy các khớp xương và một số khớp xương bị che khuất. https://

drive.google.com/drive/u/3/folders/1Nv10vamq0ENmj1RAJUECbHdqvBKoUjc5

134