Bài viết "Một thử nghiệm học chuyển giao trong bài toán phân lớp ảnh siêu âm vú" trình bày một thử nghiệm học chuyển giao cho bài toán phân lớp ảnh y khoa là ảnh siêu âm vú. Kết quả thử nghiệm cho thấy, với học chuyển giao từ ResNet50 cho kết quả tốt nhất đạt được là 88%, đồng thời ở mô hình chuyển giao này, hàm tối ưu RMSprop là phù hợp nhất với bài toán. Mời các bạn cùng tham khảo!
AMBIENT/
Chủ đề:
Nội dung Text: Một thử nghiệm học chuyển giao trong bài toán phân lớp ảnh siêu âm vú
- MỘT THỬ NGHIỆM HỌC CHUYỂN GIAO
TRONG BÀI TOÁN PHÂN LỚP ẢNH SIÊU ÂM VÚ
1st Nguyễn Thị Hương Lý
Khoa Công nghệ Thông tin
Trường Đại học Nha Trang
TP Nha Trang, Việt Nam
lynth@ntu.edu.vn
Abstract— Bài báo cáo này tôi trình bày một thử nghiệm học B. Học chuyển giao (transfer learning)
chuyển giao cho bài toán phân lớp ảnh y khoa là ảnh siêu âm vú.
Sự phụ thuộc vào dữ liệu là một trong những vấn đề
Kết quả thử nghiệm cho thấy, với học chuyển giao từ ResNet50
nghiêm trọng nhất trong học sâu. Học sâu phụ thuộc rất nhiều
cho kết quả tốt nhất đạt được là 88%, đồng thời ở mô hình
chuyển giao này, hàm tối ưu RMSprop là phù hợp nhất với bài
vào dữ liệu huấn luyện khổng lồ so với các phương pháp học
toán. máy truyền thống, vì nó cần một lượng lớn dữ liệu để hiểu
được các mẫu dữ liệu tiềm ẩn. Dữ liệu đào tạo không đủ là
Keywords—học chuyển giao, VGG16, ResNet50 một vấn đề không thể tránh khỏi trong một số lĩnh vực ứng
dụng đặc biệt. Việc thu thập dữ liệu phức tạp và tốn kém khiến
I. DẪN NHẬP việc xây dựng một bộ dữ liệu chất lượng và quy mô lớn là vô
Ung thư vú là một trong những nguyên nhân phổ biến nhất cùng khó khăn.
gây ra tử vong cho phụ nữ trên toàn thế giới. Phát hiện sớm Học chuyển giao là một kỹ thuật học máy, theo đó một mô
giúp giảm số lượng những trường hợp tử vong sớm. hình được đào tạo và phát triển cho một nhiệm vụ và sau đó
Đã có nhiều nghiên cứu được thực hiện phân loại hình ảnh được sử dụng lại cho nhiệm vụ liên quan thứ hai, theo đó
y khoa trong đó có hình ảnh siêu âm vú. Chính vì vậy, tôi chọn những gì đã học được trong một cài đặt này được khai thác để
nghiên cứu và phân lớp cho tập dữ liệu siêu âm vú “Breast cải thiện hiệu quả trong cài đặt khác[6]. Quá trình Transfer
ultrasound images dataset - 2019” [1]. learning sẽ tận dụng lại các đặc trưng được học từ pre-trained
model.
II. HỌC CHUYỂN GIAO Kiến trúc mô hình sử dụng transfer learning bao gồm 2
A. Học sâu và mạng neuron tích chập phần:
Học sâu gần đây đã nhận được sự quan tâm ngày càng • Một mạng “Based network- BN” (Hình 2) có tác dụng
nhiều từ các nhà nghiên cứu và đã được ứng dụng thành công trích lọc đặc trưng (feature- extraction), based network
cho nhiều ứng dụng trong thực thế. Các thuật toán học sâu cố này được trích xuất từ một phần của pre-trained model
gắng “học” các đặc trưng trừu tượng mức cao từ bộ dữ liệu sau khi loại bỏ các top fully connected layers.
học lớn, điều đó giúp học sâu vượt trội so học máy truyền
thống. Học sâu tự động trích xuất các đặc trưng dữ liệu bằng • Các lớp Fully Connected Layers (FC) (Hình 2) giúp
các thuật toán học không giám sát hoặc bán giám sát, và trích giảm chiều dữ liệu và tính toán phân phối xác suất ở
chọn đặc trưng phân cấp. Ngược lại, các phương pháp học output. Bản chất của FC chính là một mạng perceptron
máy truyền thống cần xác định các đặc trưng theo cách thủ đa lớp - một kiến trúc nguyên thủy nhất của thuật toán
công, điều này làm tăng gánh nặng cho nhà phát triển một cách neural network. Tùy vào các bài toán cụ thể sẽ điều
nghiêm trọng. Có thể nói, học sâu là một thuật toán học biểu chỉnh số lượng các units ở output.
diễn dựa trên tập dữ liệu quy mô lớn trong học máy. Quá trình khởi tạo mô hình ta sẽ tận dụng các trọng số
(weights) của BN. Dữ liệu ảnh sau khi đi qua BN sẽ tạo ra
những đặc trưng tốt, những đặc trưng này chính là đầu vào cho
mạng Multi-layer Perceptron - MLP để dự báo cho bài toán
yêu cầu.
Hình 1. Ví dụ một mạng neuron tích chập trong bài toán phân lớp ảnh
Đối với bài toán phân lớp ảnh, thông tin ta cần xử lý là rời
rạc thì mô hình mạng nơ ron tích chập (Convolutional Neural
Network - CNN) là một trong những giải pháp phân loại tối
ưu. Một số cấu trúc CNN cho kết quả phân loại ảnh tốt được
sử dụng nhiều như: LeNet[2], AlexNet[3], GoogLeNet[4], Hình 2. Học chuyển giao với fine tuning
VGGNet, ResNet[5].
98
- Có 2 phương pháp tranfer learning: Fine tuning và Feature hơn. Trong cuộc thi thử thách phân lớp ảnh ImageNet năm
extractor. Bài báo cáo này tôi trình bày kỹ thuật fine-tune được 2014, VGG16 đạt độ chính xác 92.7% top-5 test.
sử dụng trong nghiên cứu.
Fine tuning: Ở phương pháp này ta chỉ giữ lại phần BN
trong CNN và bỏ đi FC. Sau đó thêm các FC layer mới của
mình vào output của BN.
Ở phương pháp này, quá trình huấn luyện chia làm 2 giai
đoạn:
Hinh 4. Mô hình VGG16(2014)
a) Giai đoạn 1: Vì các fully connected layer ta mới
thêm vào có các hệ số được khởi tạo ngẫu nhiên tuy nhiên các Ở phương pháp này ta chỉ giữ lại phần BN trong CNN và
layer trong BN của pre-trained model đã được huấn luyện nên bỏ đi FC. Sau đó thêm các FC layer mới của mình vào output
của BN
ta sẽ không huấn luyện lại (bằng cách đóng băng/freeze) trên
các layer trong BN. Sau khoảng 20-30 epoch thì các hệ số ở Thiết kế mô hình 1 VGG16 bỏ đi FC. Sau đó thêm
các layer mới đã được học từ dữ liệu thì chuyển sang giai các FC layer mới của mình vào output của BN (Hình 4) để
đoạn 2. phân loại các hình ảnh siêu âm vú với các hệ số được khởi tạo
b) Giai đoạn 2: Ta sẽ unfreeze một số hoặc tất cả các ngẫu nhiên (Hình 5).
layer trên BNN của pre-trained model và train trên các layer
của BN của pre-trained model và các layer mới.
III. ỨNG DỤNG CHO BÀI TOÁN PHÂN LỚP ẢNH SIÊU
ÂM VÚ
A. Dữ liệu
Trong nghiên cứu này, tôi sử dụng bộ dữ liệu BUIS
Dataset[1]. Tập dữ liệu này được thu thập từ các hình ảnh siêu
âm vú ở nhóm phụ nữ trong độ tuổi từ 25 đến 75, trên tổng số
600 bệnh nhân nữ. Số lượng mẫu gồm 780 hình ảnh với kích
thước hình ảnh đa dạng, trung bình khoảng 500 x 500 pixel,
các ảnh có định dạng PNG. Các ảnh này được gán một trong
3 nhãn/lớp: normal (133 ảnh), benign (473) và malignant Hình 5. Quá trình học chuyển giao từ VGG16
(210).
2) Mô hình 2
Mô hình 2 này sử dụng giải pháp học chuyển giao với kỹ
thuật fine-tune, pre-trained model là ResNet50.
ResNet [5] là kiến trúc được sử dụng phổ biến nhất ở thời
điểm hiện tại. ResNet cũng là kiến trúc sớm nhất áp dụng
batch normailization[8]. Mặc dù là mạng rất sâu khi có số
lượng layer lên tới 512 nhưng nhờ áp dụng những kỹ thuật đặc
Hình 3. Các mẫu dữ liệu của BUIS Dataset
biệt như các kết nối tắt, khối tích chập và khối xác định nên
kích thước của ResNet50 chỉ khoảng 26 triệu tham số. Kiến
B. Phương pháp
trúc với ít tham số nhưng hiệu quả của ResNet đã mạng lại
Như đã trình bày ở trên, ở các bài toán tôi thử nghiệm này chiến thắng trong cuộc thi ImageNet măm 2015 (Hình 6).
- bài toán phân lớp ảnh siêu âm vú với dataset hiện gồm có
không nhiều ảnh (785 ảnh), nên tôi chọn giải pháp học chuyển
giao với kỹ thuật fine-tune. Hơn nữa để có khảo sát tổng quan,
pre-trained model tôi sử dụng là VGG16 (Mô hình 1) và
ResNet50 (Mô hình 2) để so sánh hiệu quả. Tôi cũng thử
nghiệm một số hàm tối ưu khác nhau để đánh giá/tìm ra hàm
phù hợp cho bài toán này. Hình 6. Mô hình ResNet50(2016)
1) Mô hình 1 Thiết kế mô hình 2 ResNet50 bỏ đi FC. Sau đó thêm các
Như trình bày ở trên, mô hình này sử dụng giải pháp học FC layer mới của mình vào output của BN ResNet50 (Hình 6)
chuyển giao với kỹ thuật fine-tune, pre-trained model trong với các hệ số được khởi tạo ngẫu nhiên (Hình 7). Các FC layer
mô hình 1 là VGG16. mới gồm 2 layer Dense và một layer Dropout 0.5.
Mạng VGG16 là mạng convolutional neural network được
đề xuất bởi K. Simonyan and A. Zisserman, University of
Oxford vào năm 2014[7].
Mô hình VGG16 bao gồm 16 layer như trên Hình 4,
VGG16 sử dụng các kernel kích thước nhỏ 3x3 nhằm giảm số
lượng tham số cho mô hình và mang lại hiệu quả tính toán
99
- Kết quả accuracy và loss của quá trình training cho 2 mô
hình được thể hiện dưới Hình 8 và Hình 9.
▪ Benign
Input BN ▪ Malignant
(Base Network) ▪ Normal
224x224x3
Hình 7. Quá trình học chuyển giao từ ResNet50
IV. KẾT QUẢ THỬ NGHIỆM Hình 9. Loss training của transfer VGG16 và transfer ResNet50
V. KẾT LUẬN
A. Chuẩn bị dữ liệu
Baì báo trình bày kết quả nghiên cứu và thử nghiệm của
Với kích thước trung bình khoảng 500 x 500, để phù hợp
tôi về thử nghiệm học chuyển giao trong bài toán phân lớp ảnh
với input của mô hình VGG16 ở bước đọc dữ liệu ảnh tôi thực
siêu âm vú. Trong bài báo này tôi chọn phương pháp học
hiện resize ảnh về 224 x 224 và được chuyển đổi thành định
chuyển giao Fine tuning và thử nghiệm trên hai mô hình mạng
dạng RGB 24-bit. Tập dữ liệu được chia ngẫu nhiên thành 3
chuyển giao VGG16 và ResNet50. Kết quả thử nghiệm cho
tập: tập train là 70%, tập validation 15% và tập test là 15%
thấy quá kết quả đạt được tốt nhất là 88%. Kết quả chưa được
(TABLE I).
tốt có thể dữ liệu training còn ít dẫn đến overfitting. Do vậy
BẢNG I. SỐ LƯỢNG ẢNH TRONG TẬP TRAIN, TẬP VALIDATION tôi sẽ tập trung nghiên cứu để cải tiến thêm trong thời gian tới.
VÀ TẬP TEST
TÀI LIỆU THAM KHẢO
Nhãn Train Validation Test
Benign 306 66 66 [1] A.-D. Walid, M. Gomaa, H. Khaled, and F. Aly, “Dataset of Breast
Malignant 147 32 32 Ultrasound Images,” Data Br., vol. https://do, 2019.
Normal 93 20 20 [2] Y. Bengio, Y. LeCun, C. Nohl, and C. Burges, “LeRec: a NN/HMM
Total 546 117 117
hybrid for on-line handwriting recognition,” Neural Comput., vol. 7, no.
B. Kết quả thử nghiệm 6, pp. 1289–1303, 1995, doi: 10.1162/neco.1995.7.6.1289.
BẢNG II. BẢNG KẾT QUẢ KIỂM TRA VỚI MÔ HÌNH [3] T. F. Gonzalez, “ImageNet Classification with Deep Convolutional
Neural Networks,” Handb. Approx. Algorithms Metaheuristics, pp. 1–
Mô hình 1 Mô hình 2
Hàm Optimize 1432, 2007, doi: 10.1201/9781420010749.
Test Loss Test Acc Test Loss Test Acc
Adam 0.65 0.78 0.51 0.83 [4] C. Szegedy et al., “Going deeper with convolutions,” Proceedings of the
AdaGrad 0.68 0.819 0.51 0.81 IEEE Computer Society Conference on Computer Vision and Pattern
AdaDelta 0.72 0.828 0.49 0.82
Recognition, vol. 07-12-June. pp. 1–9, 2015. doi:
RMSprop 0.5 0.79 0.65 0.88
SGD 0.75 0.826 0.64 0.82 10.1109/CVPR.2015.7298594.
AdaMax 1.2 0.83 0.63 0.83 [5] V. Sangeetha and K. J. R. Prasad, “Deep Residual Learning for Image
Nadam 0.57 0.85 1.3 0.85 Recognitio
TABLE II cho thấy, đối với mô hình 1 thì hàm optimize=
n,” Indian J. Chem. - Sect. B Org. Med. Chem., vol. 45, no. 8, pp. 1951–
“Nadam” cung cấp độ chính xác nhất còn với mô hình 2 thì
1954, 2006, doi: 10.1002/chin.200650130.
[6] Y. Gao and K. M. Mosalam, “Deep Transfer Learning for Image-Based
Structural Damage Recognition,” Comput. Civ. Infrastruct. Eng., vol.
33, no. 9, pp. 748–768, 2018, doi: 10.1111/mice.12363.
[7] K. Simonyan and A. Zisserman, “Very deep convolutional networks for
large-scale image recognition,” 3rd Int. Conf. Learn. Represent. ICLR
2015 - Conf. Track Proc., pp. 1–14, 2015.
Hình 8. Loss training của transfer VGG16 và transfer ResNet50
[8] S. Joseph and S. Ioffe, “Batch Normalization: Accelerating Deep
Network Training by Reducing Internal Covariate Shift,” in Journalism
optimize= “ RMSprop” cung cấp độ chính xác tốt nhất trên tập
dữ liệu thử nghiệm. Practice, 2016, vol. 10, no. 6, pp. 730–743. doi: 10.1080/17
512786.2015.1058180.
100
Thêm vào BST
Báo xấu
Download
Vui lòng tải xuống để xem tài liệu đầy đủ
