intTypePromotion=1
zunia.vn Tuyển sinh 2024 dành cho Gen-Z zunia.vn zunia.vn
ADSENSE

Luận án Tiến sĩ Toán học: Nghiên cứu, phát triển một số kỹ thuật học sâu áp dụng cho phân vùng polyp trên ảnh nội soi đại tràng

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:127

26
lượt xem
7
download
 
  Download Vui lòng tải xuống để xem tài liệu đầy đủ

Luận án Tiến sĩ Toán học "Nghiên cứu, phát triển một số kỹ thuật học sâu áp dụng cho phân vùng polyp trên ảnh nội soi đại tràng" trình bày các nội dung chính sau: Tổng quan về bài toán phân vùng polyp trên ảnh nội soi đại tràng và các kỹ thuật học sâu; Mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng dựa trên mạng Unet cải tiến với hàm mất mát bất đối xứng kết hợp; Phương pháp học tự giám sát đặc trưng thị giác của ảnh nội soi đại tràng cho phân vùng polyp thông qua tác vụ tái tạo ảnh; Phương pháp sinh dữ liệu ảnh nội soi có nhãn phân vùng polyp dựa trên mạng sinh dữ liệu có điều kiện.

Chủ đề:
Lưu

Nội dung Text: Luận án Tiến sĩ Toán học: Nghiên cứu, phát triển một số kỹ thuật học sâu áp dụng cho phân vùng polyp trên ảnh nội soi đại tràng

  1. i BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC LỜIVÀ CAMCÔNG NGHỆ QUÂN SỰ ĐOAN Tôi xin cam đoan, đây là công trình nghiên cứu của riêng tôi. Những nội dung, số liệu và kết quả trình bày trong luận án là hoàn toàn trung thực và chưa từng được công bố trong bất cứ công trình nào khác. Các dữ liệu tham khảo được trích dẫn đầy đủ. LÊ THỊ THU HỒNG Hà Nội, ngày tháng năm 2022 Tác giả NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ KỸ THUẬT HỌC SÂU ÁP DỤNG CHO PHÂN VÙNG Lê Thị Thu Hồng TRÊN POLYP ẢNH NỘI SOI ĐẠI TRÀNG LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2022
  2. ii BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG LỜI CẢM ƠN VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ Luận án này được thực hiện tại Viện Khoa học và Công nghệ quân sự/Bộ Quốc phòng. Lời đầu tiên, nghiên cứu sinh xin bày tỏ lòng cảm ơn sâu sắc tới TS Nguyễn Chí Thành và TS Trần Quốc Long, các thầy đã tận tình giúp đỡ, trang bị cho NCS phương pháp nghiên cứu, kinh nghiệm, kiến thức khoa học và kiểm tra, đánh giá các kết quả LÊnghiên cứu của THỊ THU HỒNGnghiên cứu sinh. Nghiên cứu sinh xin chân thành cảm ơn Thủ trưởng Viện KH-CN quân sự, Thủ trưởng và các cán bộ Phòng Đào tạo, Viện Công nghệ thông tin/Viện KHCNQS đã tạo mọi điều kiện, hỗ trợ, giúp đỡ NCS trong quá trình học tập, nghiên cứu. NGHIÊN CỨU, PHÁT TRIỂN MỘT SỐ KỸ THUẬT NCS xin HỌC SÂUbàyÁP tỏ lời cảm ơnCHO DỤNG chân thành PHÂN tới VÙNG cô giáo của các thầy, POLYP Viện TRÊN Công nghệ thông tin, cácẢNH đồng nghiệp NỘI SOIphòngĐẠI CôngTRÀNG nghệ tri thức và phòng Phần mềm chuyên dụng thuộc Viện Công nghệ thông tin/Viện KHCNQS đã luôn động viên, chia sẻ, giúp đỡ NCS trong suốt thời gian qua. Bên cạnh đó, NCS cũng xin gửi Chuyên ơn các thầy Cơ lời cảmngành: cô,sởđồng toánnghiệp học chovà tincác họcbạn sinh viên trong Mã số: 9460110 nhóm nghiên cứu thị giác máy tính tại Phòng thí nghiệm mục tiêu Trí tuệ nhân tạo (UET-AILAB) thuộc Trường Đại học Công nghệ, Đại học Quốc gia Hà nội, đã nhiệt tình đóng góp các ý kiến quí báu trong quá trình học tập, nghiên cứu của NCS. LUẬN ÁN TIẾN SĨ TOÁN HỌC Nghiên cứu sinh luôn ghi nhớ công ơn của bố mẹ và gia đình, những người đã luôn ở bên cạnh, động viên và là chỗ dựa về mọi mặt giúp nghiên cứu sinh vượt qua khó khăn để hoàn thành luận án. giả luận TácKHOA NGƯỜI HƯỚNG DẪN án HỌC: 1. TS Nguyễn Chí Thành Lê Thị 2. TS Trần Quốc Thu Hồng Long Hà Nội – 2022
  3. iii MỤC LỤC Trang DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT, THUẬT NGỮ ... vi DANH MỤC BẢNG BIỂU ............................................................... viii DANH MỤC CÁC HÌNH VẼ ........................................................... x MỞ ĐẦU ............................................................................................ 1 CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG POLYP TRÊN ẢNH NỘI SOI ĐẠI TRÀNG .................................... 7 1.1. Bài toán tự động phân vùng polyp trên ảnh nội soi đại tràng ......... 7 1.1.1. Giới thiệu bài toán .......................................................................... 7 1.1.2. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được công bố ..... 12 1.2. Kỹ thuật học sâu cho phân vùng đối tượng trên ảnh ....................... 16 1.2.1. Kỹ thuật học sâu ............................................................................. 16 1.2.2. Kỹ thuật học chuyển giao .............................................................. 19 1.2.3. Mạng học sâu phân vùng đối tượng trên ảnh ............................... 21 1.2.4. Đánh giá phương pháp phân vùng đối tượng trên ảnh................ 23 1.2.5. Tăng cường dữ liệu cho hệ thống học sâu.................................... 26 1.2.6. Mạng sinh dữ liệu có điều kiện CGAN ........................................ 26 1.2.7. Phương pháp học tự giám sát các đặc trưng thị giác của ảnh ...... 27 1.3. Tình hình nghiên cứu bài toán phân tích ảnh nội soi đại tràng. ...... 28 1.3.1. Tình hình nghiên cứu trên thế giới ................................................ 28 1.3.2. Tình hình nghiên cứu trong nước.................................................. 35 1.3.3. Những vấn đề còn tồn tại ............................................................... 37 1.3.4. Những vấn đề luận án tập trung giải quyết. ................................. 38 1.4. Kết luận Chương 1 ........................................................................... 39 CHƯƠNG 2 MÔ HÌNH PHÂN VÙNG POLYP ĐẠI TRÀNG DỰA TRÊN MẠNG UNET CẢI TIẾN VÀ HÀM MẤT MÁT BẤT ĐỐI XỨNG KẾT HỢP ...................................................................... 41 2.1. Đặt vấn đề ........................................................................................ 41 2.2. Phương pháp đề xuất ....................................................................... 41
  4. iv 2.2.1. Kiến trúc mô hình học sâu đề xuất cho phân vùng polyp trên ảnh nội soi đại tràng .................................................................................. 42 2.2.2. Mạng UNet điều chỉnh cho phân vùng polyp trên ảnh nội soi đại tràng. .................................................................................................... 43 2.2.3. Tích hợp lớp CRF-RNN vào mạng UNet .................................... 46 2.2.4. Hàm mất mát bất đối xứng kết hợp AsymCE.............................. 48 2.2.5. Phương pháp học chuyển giao cho huấn luyện mô hình đề xuất .................................................................................... 54 2.3. Thử nghiệm và đánh giá các kết quả ............................................... 55 2.3.1. Các bộ dữ liệu thử nghiệm và các phương pháp tăng cường dữ liệu huấn luyện .......................................................................................... 55 2.3.2. Môi trường cài đặt huấn luyện mô hình và các độ đo đánh giá mô hình ...................................................................................................... 56 2.3.3. Đánh giá hiệu quả của từng kỹ thuật trong phương pháp đề xuất (Ablation study) ........................................................................................ 56 2.3.4. Đánh giá độ phức tạp của mô hình đề xuất .................................. 64 2.3.5. So sánh, đánh giá kết quả của phương pháp đề xuất với các phương pháp mới được công bố gần đây. .............................................. 65 2.4. Kết luận Chương 2 ........................................................................... 71 CHƯƠNG 3 PHƯƠNG PHÁP HỌC TỰ GIÁM SÁT ĐẶC TRƯNG THỊ GIÁC CỦA ẢNH NỘI SOI ĐẠI TRÀNG CHO PHÂN VÙNG..................................................................................... 73 3.1. Đặt vấn đề ........................................................................................ 73 3.2. Phương pháp đề xuất ....................................................................... 75 3.2.1. Mô hình hệ thống học tự giám sát các đặc trưng thị giác cho phân vùng polyp trên ảnh nội soi đại tràng............................................. 75 3.2.2. Mạng tái tạo ảnh nội soi đại tràng ................................................. 75 3.2.3. Phân vùng polyp sử dụng chuyển giao tri thức đã học từ mạng 79 tái tạo ảnh nội soi đại tràng ...................................................................... 80 3.3. Thử nghiệm và đánh giá các kết quả ............................................... 80 3.3.1. Các bộ dữ liệu thử nghiệm............................................................. 81
  5. v 3.3.2. Cài đặt các mô hình ........................................................................ 81 3.3.3. Kết quả tái tạo ảnh .......................................................................... 83 3.3.4. Kết quả phân vùng polyp. .............................................................. 86 3.3.5. So sánh độ chính xác phân vùng polyp của phương pháp đề xuất với các phương pháp mới hiện nay ......................................................... 86 3.4. Kết luận Chương 3 ........................................................................... 89 CHƯƠNG 4 PHƯƠNG PHÁP SINH DỮ LIỆU ẢNH NỘI SOI ĐẠI TRÀNG CÓ NHÃN PHÂN VÙNG POLYP ............................ 89 4.1. Đặt vấn đề ........................................................................................ 91 4.2. Phương pháp đề xuất ....................................................................... 91 4.2.1. Mạng sinh ảnh nội soi đại tràng chứa polyp PolypGenPix2Pix. 4.2.2. Kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh ................... 95 4.3. Thử nghiệm và đánh giá các kết quả ............................................... 96 4.3.1. Các bộ dữ liệu thử nghiệm............................................................. 96 4.3.2. Môi trường cài đặt huấn luyện mô hình và các độ đo đánh giá mô hình ...................................................................................................... 97 4.3.3. Kết quả sinh ảnh nội soi chứa polyp của mô hình PolypGenPix2Pix ...................................................................................... 98 4.3.4. Đánh giá hiệu quả của kỹ thuật sinh điều kiện đầu vào cho mạng sinh ảnh nội soi .......................................................................................... 99 4.3.5. So sánh độ chính xác của mô hình học sâu phân vùng polyp được tăng cường dữ liệu bởi mô hình sinh ảnh. ..................................... 100 4.4. Kết luận Chương 4 ........................................................................... 103 KẾT LUẬN ........................................................................................ 105 1. Các kết quả nghiên cứu của luận án ................................................... 105 2. Những đóng góp mới của luận án....................................................... 106 3. Hướng nghiên cứu tiếp theo ............................................................... 106 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ .. 107 TÀI LIỆU THAM KHẢO ................................................................. 108
  6. vi DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Ký hiệu, chữ viết tắt Ý nghĩa ℝ𝒏 Tập các vector số thực n chiều |𝓓| Số lượng các phần tử của tập hợp 𝒟 X∪Y Hợp của hai tập hợp X và Y X∩Y Giao của hai tập hợp X và Y 𝑓(∙) Hàm số log⁡(∙) Logarit tự nhiên exp⁡(∙) Hàm mũ (∙)𝑇 Chuyển vị của ma trận hoặc vector ‖∙‖𝑝 Dạng chuẩn p ‖∙‖ Dạng chuẩn 2 𝑃(∙) Phân phối xác suất 𝑧~𝑃 Biến ngẫu nhiên z với phân phối xác suất P 𝑃(𝑋|𝑌) Xác suất có điều kiện X|Y 𝔼𝑥 [𝑓(𝑥)] Kỳ vọng của hàm f(x) Baseline Cơ sở CE Cross-Entropy CGAN Mạng sinh dữ liệu đối nghịch có điều kiện (Conditional GAN) CNN Mạng nơ-ron tích chập Convolution Tích chập CRC Ung thư đại tràng (ColoRectal Cancer) CRF Mô hình xác suất trường ngẫu nhiên có điều kiện (Conditional Random Field) CV Thị giác máy tính (Computer Vision) Data Augumentation Tăng cường dữ liệu Decoder Bộ giải mã Deconvolution Giải tích chập Discriminative model Mô hình phân biệt Encoder Bộ mã hóa
  7. vii GAN Mạng sinh dữ liệu đối nghịch (GAN- Generative Adversarial Networks) GD Thuật toán hạ gradient (Gradient Descent) Generative model Mô hình sinh Image classification Phân loại ảnh Knowlegde Transfer Chuyển giao kiến thức Loss function Hàm mất mát MSE Trung bình bình phương lỗi (Mean Squared Error) NCS Nghiên cứu sinh PACS Hệ thống lưu trữ và truyền dữ liệu hình ảnh (Picture Archiving and Communication Systems) Polyp Đối tượng bất thường trong đại tràng có nguy cơ phát triển thành ung thư đại tràng Polyp classification Phân loại polyp Polyp detection Phát hiện polyp Polyp mask Ảnh nhị phân thể hiện hình dạng polyp Polyp segmentation Phân vùng polyp Regularization Điều chuẩn RNN Mạng nơ-ron hồi quy (Recurrent Neural Network) Self-supervised learning Học tự giám sát Self-supervised visual Học tự giám sát các đặc trưng thị giác feature learning Semi-suppervised learning Học bán giám sát SSIM Độ tương tự về mặt cấu trúc (Structure Similarity Index Measure) Supervised learning Học có giám sát Testing set Tập dữ liệu kiểm tra Training set Tập dữ liệu huấn luyện Transfer learning Học chuyển giao Unsupervised learning Học không giám sát Validing set Tập dữ liệu xác thực
  8. viii DANH MỤC CÁC BẢNG Trang Bảng 1.1. Các bộ dữ liệu ảnh nội soi đại tràng chuẩn được công bố cho các mô hình học máy ..................................................................... 14 Bảng 1.2. Các công trình nghiên cứu phân tích ảnh nội soi đại tràng ........ 31 Bảng 2.1. Các hàm mất mát sử dụng cho huấn luyện mô hình phân vùng polyp trên ảnh nội soi đại tràng ...................................................... 52 Bảng 2.2. Độ chính xác mạng UNet điều chỉnh với các bộ mã hóa khác nhau.............................................................................................. 57 Bảng 2.3. Độ chính xác của mô các mô hình UNet khi có tích hợp lớp CRF-RNN và khi không có tích hợp lớp CRF-RNN ........................ 59 Bảng 2.4 Độ chính xác phân vùng polyp của mạng UNet được huấn luyện bằng các hàm mất mát khác nhau ................................................... 60 Bảng 2.5. So sánh độ chính xác mô hình huấn luyện sử dụng phương pháp học chuyển giao .................................................................... 64 Bảng 2.6. Độ phức tạp của mạng Unet cải tiến với các bộ mã hóa khác nhau cho phân vùng polyp ............................................................. 65 Bảng 2.7. So sánh độ chính xác của các mô hình huấn luyện và đánh giá trên cùng bộ dữ liệu CVC-ClinicDB ............................................... 66 Bảng 2.8. So sánh độ chính xác của các mô hình huấn luyện và đánh giá trên cùng bộ dữ liệu Kvarsir-SEG .................................................. 67 Bảng 2.9. So sánh độ chính xác của các mô hình được huấn luyện bằng........... 68 bộ dữ liệu CVC-ClinicDB, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVC- ColonDB ....................................................................................... 68 Bảng 2.10. So sánh điểm số Dice và IoU của mô hình huấn luyện bằng bộ Kvasir-SEG, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVC- ColonDB....................................................................................... 69 Bảng 2.11. So sánh điểm số Dice và IoU của mô hình huấn luyện bằng dữ liệu trộn giữa 2 bộ Kvasir-SEG và ClinicDB, kiểm thử trên hai bộ dữ liệu ETIS-Larib và CVC-ColonDB ............................................ 70 Bảng 3.1. Độ chính xác của mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau .... 82 Bảng 3.2. Độ chính xác của mạng phân vùng polyp học chuyển giao từ mạng tái tạo ảnh với tỉ lệ nhiễu khác nhau ...................................... 83
  9. ix Bảng 3.3. Độ chính xác của mạng phân vùng polyp với phương pháp học chuyển giao khác nhau .................................................................. 84 Bảng 3.4. So sánh điểm số Dice của các phương pháp phân vùng polyp ............................................................................................ 86 Bảng 4.1. Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử CVC-ColonDB .............................................................................. 102 Bảng 4.2. Kết quả tăng cường dữ liệu huấn luyện trên bộ dữ liệu kiểm thử ETIS-Larib .................................................................................... 102 Bảng 4.3. So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng cường khác nhau trên bộ dữ liệu kiểm thử CVC-ColonDB .............. 102 Bảng 4.4. So sánh kết quả tăng cường dữ liệu với số lượng dữ liệu tăng cường khác nhau trên bộ dữ liệu kiểm thử ETIS-Larib .................... 103
  10. x DANH MỤC CÁC HÌNH VẼ Trang Hình 1.1. Minh họa thủ thuật nội soi đại tràng ........................................ 7 Hình 1.2. Hệ thống CADx hỗ trợ chuẩn đoán nội soi đại tràng ................. 8 Hình 1.3. Phân vùng polyp trên ảnh nội soi đại tràng ............................... 9 Hình 1.4. Các trường hợp khó phân vùng polyp....................................... 10 Hình 1.5. Ví dụ minh họa dữ liệu không cân bằng ................................... 11 Hình 1.6. Ví dụ minh họa bộ dữ liệu CVC-ClinicDB ............................... 12 Hình 1.7. Ví dụ minh họa bộ dữ liệu Kvasir-Seg ..................................... 13 Hình 1.8. Kiến trúc mô hình học sâu phân vùng ảnh ................................ 22 Hình 1.9. Kiến trúc mạng UNet .............................................................. 23 Hình 1.10. Minh họa điểm số Dice .......................................................... 24 Hình 1.11. Minh họa chỉ số IoU .............................................................. 24 Hình 1.12. Phương pháp học tự giám sát các đặc trưng thị giác máy tính. . 27 Hình 2.1. Tổng quan kiến trúc mô hình phân vùng polyp trên ảnh nội soi đại tràng ........................................................................................ 42 Hình 2.2. Mạng UNet cho phân vùng polyp trên ảnh nội soi đại tràng ...... 44 Hình 2.3. Kiến trúc bộ mã hóa EfficientB7 .............................................. 45 Hình 2.4. Khối Upsample2D của bộ giải mã ............................................ 45 Hình 2.5. Cấu trúc lớp CRF-RNN tích hợp trong mô hình phân vùng polyp.. 47 Hình 2.6. Các phương thức học chuyển giao ........................................... 54 Hình 2.7. Ví dụ các phép biến đổi ảnh dùng cho tăng cường dữ liệu ......... 56 Hình 2.8. Biểu đồ độ chính xác của mạng UNet điều chỉnh ...................... 58 Hình 2.9. Biểu đồ so sánh điểm số Dice của mô hình có và không có tích hợp lớp CRF-RNN ............................................................................. 59 Hình 2.10. Biểu đồ so sánh điểm số Dice của mô hình được huấn luyện bằng các hàm mất mát khác nhau ................................................... 61 Hình 2.11. Ảnh hưởng của các hàm mất mát trong quá trình học. ............. 62 Hình 2.12. Phân vùng polyp được tạo ra bởi các tùy biến của mô hình đề xuất .. 62 Hình 3.1. Tổng quan kiến trúc hệ thống học tự giám sát các đặc trưng thị giác cho phân vùng polyp trên ảnh nội soi đại tràng ........................ 76 Hình 3.2. Ví dụ các phép biến đổi ảnh tạo đầu vào cho mạng tái tạo ảnh .. 77 Hình 3.3. Mô hình mạng tái tạo ảnh nội soi đại tràng ............................... 78
  11. xi Hình 3.4. Minh họa các phương pháp học chuyển giao từ mạng tái tạo ảnh nội soi sang mạng phân vùng polyp ................................................ 79 Hình 3.5. Một số ảnh do mạng tái tạo ảnh nội soi tạo ra ........................... 82 Hình 3.6. Phân vùng polyp tạo bởi các mạng UNet huấn luyện theo phương 85 pháp học chuyển giao khác nhau từ mạng tái tạo ảnh ...................... Hình 4.1. Minh họa mô hình sinh ảnh nội soi chứa polyp. ........................ 91 Hình 4.2. Huấn luyện bộ phân biệt .......................................................... 92 Hình 4.3. Huấn luyện bộ sinh ...................................................................... 92 Hình 4.4. Kiến trúc bộ sinh của PolypGenPix2Pix ................................... 93 Hình 4.5. Kiến trúc bộ phân biệt của PolypGenPix2Pix ........................... 94 Hình 4.6. Kỹ thuật sinh tạo điều kiện đầu vào cho mô hình sinh ảnh ........ 96 Hình 4.7. Một số ảnh nội soi chứa polyp sinh ra bởi mô hình sinh ảnh nội soi đại tràng có chứa polyp ............................................................ 98 Hình 4.8. Sự khác nhau của ảnh nội soi đại tràng chứa polyp sinh ra do điều kiện đầu vào mô hình sinh ảnh khác nhau ........................................ 100 Hình 4.9. Mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng ....... 101
  12. 1 MỞ ĐẦU 1. Tính cấp thiết của đề tài luận án Thị giác máy tính (Computer Vision) là một lĩnh vực trong trí tuệ nhân tạo và khoa học máy tính nhằm giúp máy tính có khả năng “nhìn” và hiểu được hình ảnh giống con người. Hiện nay thị giác máy tính là một chuyên ngành có nhiều ứng dụng rộng rãi trong đời sống, nó đã được ứng dụng nhiều trong các máy móc thiết bị như máy ảnh, thiết bị quang học, xe hơi, rô bốt, xe tự hành. Trong ngành y tế các bác sỹ dùng các ảnh y tế như ảnh nội soi, ảnh X quang, ảnh chụp cộng hưởng từ (MRI), ảnh chụp cắt lớp (CT scan), ảnh SPECT, ảnh PET… để chẩn đoán bệnh và lên phác đồ điều trị. Các ứng dụng máy tính có thể hỗ trợ các bác sỹ trong chẩn đoán bệnh bằng cách dùng các mô hình học máy và các kỹ thuật thị giác máy tính tiên tiến để tự động phân tích các ảnh y tế với độ chính xác tương đương như con người nhưng tốc độ thực hiện nhanh hơn rất nhiều lần. Nghiên cứu phát triển các mô hình học máy, các kỹ thuật thị giác máy tính tiên tiến, áp dụng để xây dựng các ứng dụng tự động phân tích ảnh y tế hỗ trợ các bác sỹ trong chẩn đoán hình ảnh sẽ tiết kiệm được rất nhiều về thời gian và chi phí nhân công cho việc chẩn đoán hình ảnh. Ung thư đại tràng (Colorectal Cancer-CRC) là một trong những nguyên nhân phổ biến gây tử vong liên quan đến ung thư trên thế giới, với 576,858 ca tử vong (chiếm 5,8% tổng số ca tử vong do ung thư) trên toàn thế giới vào năm 2020 [73]. CRC thường phát sinh từ các đối tượng bất thường được gọi là các polyp, tăng trưởng bất thường bên trong đại tràng, các đối tượng này thường phát triển chậm và có thể mất nhiều năm để biến thành ung thư, do đó chẩn đoán phát hiện sớm ung thư đại trực tràng là rất có giá trị [42]. Hiện tại, nội soi đại tràng (Colonoscopy) [42] là công cụ phổ biến trong việc sàng lọc, phát hiện sớm CRC. Tuy nhiên nội soi đại tràng dò tìm các polyp là một thủ thuật khó ngay cả với các bác sỹ chuyên khoa được đào tạo bài bản. Tỷ lệ bỏ sót các polyp trong quá trình nội soi đại trực tràng của các bác sĩ là khoảng 25% [42]. Các polyp bị bỏ sót không phát hiện được có thể dẫn đến chẩn đoán phát hiện CRC muộn và nguy kịch cho bệnh nhân. Vì thế, nghiên cứu các mô hình học máy và các kỹ thuật thị giác máy tính tiên tiến để phân tích ảnh nội soi phát hiện polyp là nghiên cứu quan trọng và rất hữu ích. Các nghiên cứu này sẽ làm
  13. 2 nền tảng để xây dựng các ứng dụng hỗ trợ các bác sỹ trong chẩn đoán nội soi đại tràng, phát hiện sàng lọc sớm CRC, nâng cao hiệu suất làm việc của bác sĩ. Một trong những bước quan trọng nhất trong các thuật toán dựa trên máy tính để phát hiện polyp là việc phân loại các pixel trên ảnh nội soi thành vùng polyp và không polyp, chính là bài toán phân vùng polyp trên ảnh nội soi (polyp segmentation). Phân vùng polyp trên ảnh nội soi là cách hiệu quả để thu được các vùng quan tâm (ROI- Regions Of Interest) có chứa polyp. Việc phát hiện các ROI trong mỗi hình ảnh dựa trên sự phân bố pixel có thể hỗ trợ các bác sỹ nâng cao chất lượng chẩn đoán polyp với thời gian ngắn hơn. Khi xây dựng các mô hình học sâu áp dụng cho phân tích ảnh nội soi một khó khăn lớn nhất là sự thiếu hụt các tập dữ liệu huấn luyện đủ lớn. Các hệ thống lưu trữ và truyền dữ liệu hình ảnh (Picture Archiving and Communication Systems-PACS) hiện nay đã được sử dụng rộng rãi trong y tế và chúng đang lưu trữ một lượng ảnh y tế rất lớn trong đó có ảnh nội soi đại tràng, tuy nhiên khó khăn gặp phải là việc gán nhãn cho các tập dữ liệu ảnh này. Gán nhãn cho các ảnh nội soi phải được thực hiện bởi các chuyên gia chẩn đoán hình ảnh nội soi đại tràng lành nghề, việc này đòi hỏi rất nhiều thời gian và công sức. Ngoài ra, hình ảnh các polyp trên ảnh nội soi đại tràng thường có mức độ biến thể rất lớn về hình dạng, kích thước, kết cấu và màu sắc, chất lượng hình ảnh nội soi cũng rất đa dạng phụ thuộc rất nhiều thiết bị, cách cài đặt hệ thống nội soi trong các thiết bị ở các cơ sở y tế. Để vượt qua những trở ngại đó đòi hỏi có những nghiên cứu chuyên sâu để tìm ra các hướng giải quyết khác nhau. Từ những nhận định trên cho thấy việc nghiên cứu, phát triển các mô hình học máy và kỹ thuật thị giác máy tính tiên tiến để phân tích ảnh nội soi đại tràng, tự động phát hiện các polyp có độ chính xác và tính tổng quát hóa tốt là một hướng nghiên cứu rất cần thiết. Từ các nghiên cứu này có thể áp dụng để xây dựng các hệ thống phân tích ảnh nội soi đại tràng, tự động phát hiện và phân vùng các polyp có độ chính xác cao, được chấp nhận và sử dụng rộng rãi trong y tế, trở thành công cụ hỗ trợ các bác sỹ trong chẩn đoán nội soi đại tràng, sàng lọc và phát hiện ung thư đại tràng sớm.
  14. 3 2. Mục tiêu nghiên cứu Giải quyết trọn vẹn bài toán phân tích ảnh nội soi đại tràng là một vấn đề khó và đồ sộ, đòi hỏi phải nghiên cứu lâu dài. Do đó, trong khuôn khổ luận án này sẽ tập trung vào bài toán phân vùng polyp trên ảnh nội soi đại tràng, là một trong những bài toán quan trọng nhất trong phân tích ảnh nội soi đại tràng. Mục tiêu chung của luận án là xây dựng và cải tiến mô hình học sâu cho phân vùng phân vùng polyp đạt độ chính xác cao và tính tổng quát hóa tốt, dựa trên các dữ liệu huấn luyện được gán nhãn phân vùng polyp chuẩn và các dữ liệu ảnh nội soi chưa được gán nhãn được thu thập từ hệ thống PACS. Để giải quyết được mục tiêu này luận án đặt ra các mục tiêu cụ thể như sau: 1. Xây dựng mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng có độ chính xác cao và tính tổng quát hóa tốt và giải quyết được vấn đề dữ liệu không cân bằng. 2. Đề xuất phương pháp học bán giám sát khai thác dữ liệu ảnh nội soi đại tràng không gán nhãn từ hệ thống PACS để nâng cao độ chính xác của mô hình phân vùng polyp 3. Khắc phục tình trạng thiếu hụt dữ liệu ảnh nội soi đại tràng có gán nhãn phân vùng polyp đa dạng. 3. Đối tượng và phạm vi nghiên cứu Đối tượng: Đối tượng luận án nghiên cứu là dữ liệu ảnh nội soi đại tràng và các phương pháp học sâu cho phân vùng đối tượng trên ảnh. Phạm vi: Luận án tập trung vào các phương pháp học sâu phân vùng các polyp trên ảnh nội soi đại tràng: - Nghiên cứu, đề xuất mô hình học sâu phân vùng các polyp trên ảnh nội soi đại tràng. - Nghiên cứu, đề xuất một số kỹ thuật cải tiến để nâng cao độ chính xác và tính tổng quát của hệ thống phân vùng polyp trên ảnh nội soi đại tràng. 4. Nội dung nghiên cứu Để đạt được các mục tiêu đề ra, luận án tập trung nghiên cứu một số nội dung chính như sau: - Nghiên cứu, phân tích, đánh giá, áp𝛽 dụng các mô hình học sâu, các kỹ thuật thị giác tiên tiến để phân vùng đối tượng trên ảnh, đặc biệt là ảnh y tế.
  15. 4 - Khảo sát, phân tích, đánh giá các bộ dữ liệu ảnh nội soi đại tràng chuẩn đã được công bố cho hiện nay và các dữ liệu ảnh nội soi thu thập được từ hệ thống PACS của bệnh viện 103. Từ đó lựa chọn các bộ dữ liệu phù hợp cho huấn luyện và kiểm thử các mô hình phân vùng polyp trên ảnh nội soi đại tràng. - Nghiên cứu, áp dụng các kỹ thuật học chuyển giao để chuyển giao các tri thức học được của các mạng đã huấn luyện sẵn trên các bộ dữ liệu lớn vào giải quyết bài toán trên lĩnh vực ảnh nội soi đại tràng. - Nghiên cứu, đề xuất các phương pháp học bán giám sát, không giám sát để tận dụng được kho dữ liệu lớn các dữ liệu ảnh nội soi đại tràng không được gán nhãn nhằm nâng cao hiệu quả tác vụ phân vùng polyp trên ảnh nội soi đại tràng. - Nghiên cứu, đề xuất các phương pháp tăng cường dữ liệu huấn luyện cho mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng nhằm khắc phục tình trạng thiếu dữ liệu huấn luyện có gán nhãn phân vùng polyp. 5. Phương pháp nghiên cứu Phương pháp nghiên cứu của luận án là kết hợp nghiên cứu lý thuyết với nghiên cứu thực nghiệm. - Về lý thuyết: Nghiên cứu tổng quan các kỹ thuật học sâu trong thị giác máy tính để quyết bài toán phân vùng polyp trên ảnh nội soi đại tràng. Nghiên cứu, khảo sát các bộ dữ liệu ảnh nội soi đại tràng chuẩn và các công trình nghiên cứu khoa học có liên quan trong và ngoài nước. Nghiên cứu các kỹ thuật tăng cường dữ liệu, học chuyển giao, học bán giám sát, không giám sát áp dụng để giải quyết vấn đề thiếu dữ liệu ảnh nội soi có gán nhãn phân vùng poly cho huấn luyện các mô hình học sâu. -Về thực nghiệm: Khảo sát các bộ dữ liệu về ảnh nội soi đại tràng chuẩn công bố trong cộng đồng nghiên cứu. Cài đặt thử nghiệm các kỹ thuật đề xuất, lựa chọn các bộ dữ liệu huấn luyện và thử nghiệm là các bộ dữ liệu chuẩn phổ biến với các ngữ cảnh sử dụng dữ liệu đa dạng. Đồng thời tiến hành so sánh, đánh giá các phương pháp đề xuất với các công trình đã công bố mới hiện nay sử dụng các độ đo đánh giá độ chính xác mô hình phân vùng đối tượng chuẩn phổ biến hiện nay.
  16. 5 6. Ý nghĩa khoa học và thực tiễn Việc nghiên cứu các kỹ thuật học sâu cho phân vùng polyp trên ảnh nội soi đại tràng của luận án có ý nghĩa trên cả hai phương diện khoa học và thực tiễn: Về khía cạnh khoa học: Luận án đề xuất 03 đóng góp mới để giải quyết bài toán phân vùng polyp trên ảnh nội soi đại bao gồm: -Đề xuất mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng CRF- EfficientUNet. Mô hình này được mở rộng từ mạng UNet với bộ mã hóa EfficientNet tích hợp lớp CRF-RNN ở trên cùng và sử dụng hàm mất mát bất đối xứng kết hợp AsymCE do luận án đề xuất. -Đề xuất một phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng cho cho phân vùng polyp dựa trên tác vụ tái tạo ảnh nội soi. - Đề xuất một phương pháp sinh ảnh nội soi đại tràng giả lập có nhãn phân vùng polyp sử dụng mạng sinh dữ liệu đối nghịch có điều kiện, nhằm tăng cường dữ liệu huấn luyện cho các mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng. Các đề xuất được thử nghiệm và đánh giá dựa trên 04 bộ dữ liệu chuẩn đã công bố cho các mô hình học máy với các kịch bản sử dụng dữ liệu cho huấn luyện và kiểm thử đa dạng. Luận án đã sử dụng phương pháp đánh giá dựa trên các độ đo được áp dụng phổ biến. Bên cạnh đó, luận án cũng đã tiến hành so sánh hiệu quả của mô hình đề xuất với các mô hình mới được công gần đây, kết quả so sánh cho thấy mô hình đề xuất vượt trội về tính chính xác và tính tổng quát trên tất cả các bộ dữ liệu thử nghiệm. Về khía cạnh thực tiễn: Các kết quả nghiên cứu trong luận án được mô hình hóa và biểu diễn trên cơ sở toán học và được cài đặt thử nghiệm bằng các module phần mềm. Các modul này có thể được sử dụng để xây dựng các ứng dụng tự động phân vùng polyp trên ảnh nội soi đại tràng với độ chính xác cao, giúp các bác sỹ giảm thiểu sai sót trong quá trình nội soi đại tràng, tiết kiệm thời gian và công sức của các bác sỹ trong thực hiện thủ thuật nội soi đại tràng để sàng lọc và phát hiện ung thư đại tràng sớm. Hơn nữa, với điều kiện hệ thống y tế hiện tại ở Việt Nam, nguồn nhân lực chất lượng cao trong lĩnh vực chẩn đoán nội soi đại tràng rất hiếm, các ứng dụng phân tích ảnh nội soi đại tràng tự động phát hiện và phân vùng polyp, hỗ trợ các bác sỹ trong chẩn đoán nội soi khi được triển khai ở các bệnh viện, trạm y tế tuyến cơ sở sẽ đem lại lợi ích to lớn.
  17. 6 7. Bố cục của luận án Luận án gồm 04 chương nội dung cùng với các phần mở đầu, kết luận, danh mục các công trình đã công bố của NCS và tài liệu tham khảo. Chương 1. Tổng quan về bài toán phân vùng polyp trên ảnh nội soi đại tràng và các kỹ thuật học sâu Chương này trình bày tổng quan về bài toán phân tích ảnh nội soi đại tràng, các hướng nghiên cứu và các bộ dữ liệu ảnh nội soi chuẩn đã công bố cho các mô hình học máy. Phần cuối cùng của chương trình bày các kiến thức cơ sở về kỹ thuật học sâu và kỹ thuật thị giác máy tính cần dùng trong luận án. Chương 2. Mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng dựa trên mạng Unet cải tiến với hàm mất mát bất đối xứng kết hợp. Nội dung chương này trình bày đóng góp của luận án là: xây dựng một mô hình học sâu phân vùng polyp trên ảnh nội soi đại tràng mới dựa trên kiến trúc mạng Unet cải tiến và đề xuất một hàm mất mát mới dùng cho huấn luyện mô hình học sâu phân vùng các đối tượng trên ảnh với dữ liệu huấn luyện không cân bằng. Chương 3. Phương pháp học tự giám sát đặc trưng thị giác của ảnh nội soi đại tràng cho phân vùng polyp thông qua tác vụ tái tạo ảnh Chương 3 trình bày đề xuất của luận án là một phương pháp học tự giám sát các đặc trưng thị giác của ảnh nội soi đại tràng cho phân vùng polyp thông qua tác vụ tái tạo ảnh nội soi, sử dụng tập dữ liệu ảnh nội soi đại tràng không gán nhãn thu thập từ hệ thống PACS của Bệnh viện Quân y 103. Chương 4. Phương pháp sinh dữ liệu ảnh nội soi có nhãn phân vùng polyp dựa trên mạng sinh dữ liệu có điều kiện Chương 4 của luận án đề xuất một phương pháp sinh ảnh nội soi có chứa polyp nhằm tăng cường dữ liệu ảnh nội soi đại tràng có gán nhãn phân đoạn polyp cho huấn luyện các mô hình học sâu phân vùng polyp. Phương pháp đề xuất có thể tạo ra nhiều ảnh nội soi chứa polyp khác nhau từ các ảnh nội soi đại tràng bình thường không chứa polyp. Các dữ liệu giả lập được sinh ra dùng để tăng cường dữ liệu huấn luyện cho mô hình học sâu phân vùng polyp nhằm cải thiện độ chính xác của mô hình phân vùng.
  18. 7 CHƯƠNG 1 TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG POLYP TRÊN ẢNH NỘI SOI ĐẠI TRÀNG 1.1. Bài toán tự động phân vùng polyp trên ảnh nội soi đại tràng 1.1.1. Giới thiệu bài toán Nội soi đại tràng là một kiểm tra được sử dụng để phát hiện những đối tượng bất thường trong ruột già (đại tràng) và trực tràng [42] . Phương pháp này có thể dò tìm các polyp bất thường là nguyên nhân gây nên ung thư. Để tiến hành nội soi đại tràng bác sĩ sẽ dùng một ống soi mỏng được gắn camera và đèn soi. Ống nội soi sẽ được đưa vào từ hậu môn quét toàn bộ đại tràng. Hình ảnh thu được từ camera được phóng đại trên màn hình màu có độ nét cao, cho phép các bác sĩ quan sát kỹ bên trong đại tràng, phát hiện các đối tượng bất thường. Hình 1.1 minh họa thủ thuật nội soi đại tràng. Hình 1.1. Minh họa thủ thuật nội soi đại tràng [12] Nội soi là một thủ thuật hiệu quả làm giảm đáng kể về tỷ lệ mắc và tử vong do ung thư. Tuy nhiên, qui trình nội soi hiện tại các bác sỹ thực hiện quan sát bằng mắt thường để dò tìm các đối tượng bất thường nên chất lượng thủ thuật nội soi phụ thuộc hoàn toàn vào tay nghề, kinh nghiệm và sự tập trung của các bác sĩ nội soi. Các nghiên cứu gần đây đã chỉ ra tỷ lệ bỏ sót các polyp trong quá trình nội soi đại trực tràng của các bác sĩ là khoảng 25% và 1/13 số bệnh nhân ung thư đại trực tràng không phát hiện được bằng chẩn đoán bằng
  19. 8 nội soi [42]. Có nhiều nguyên nhân gây nên tỉ lệ lỗi cao trong quá trình nội soi trong đó có nguyên nhân là do kỹ năng điều hướng camera của bác sỹ chưa thành thạo dẫn tới không kiểm tra được các khu vực khó tiếp cận của đại tràng là nơi có thể chứa các polyp và sự mất tập trung không quan sát kỹ lưỡng chi tiết các hình ảnh của bác sỹ dẫn tới có thể bỏ sót polyp [42]. Ngoài ra khả năng phát hiện polyp của các bác sỹ còn phụ thuộc vào chất lượng hình ảnh thu được của hệ thống nội soi. Một số hệ thống nội soi có chế độ tăng cường ánh sáng giúp các bác sỹ có thể quan sát rõ hơn và dễ dàng dò tìm polyp hơn. Hệ thống hỗ trợ chẩn đoán bằng máy tính gọi tắt là CADx (Computer- Aided Diagnosis), có thể tự động phân tích ảnh, phát hiện, phân vùng các polyp trên hình ảnh thu được từ camera nội soi và cảnh báo cho các bác sỹ trong quá trình nội soi sẽ là một công cụ hiệu quả, hỗ trợ các bác sỹ giảm thiểu tỷ lệ sai sót trong quá trình nội soi đại tràng chuẩn đoán ung thư trực tràng giúp, thực hiện thủ thuật nội soi đại tràng tầm soát ung thư đại tràng nhanh hơn với độ chính xác cao hơn, nâng cao hiệu suất làm việc của các bác sỹ. Hình 1.2 dưới đây là minh họa cho hệ thống CADx hỗ trợ chuẩn đoán nội soi đại tràng Hình 1.2. Hệ thống CADx hỗ trợ chuẩn đoán nội soi đại tràng [16] Hệ thống CADx phân tích ảnh nội soi đại tràng sẽ nhận đầu vào là các ảnh nội soi đại tràng thu được từ camera nội soi và phân tích các ảnh này sử dụng các kỹ thuật thị giác máy để tự động phát hiện các polyp (Real time polyp detection, polyp localization) và khoanh vùng chúng trên ảnh (polyp segmentation), phân tích đặc trưng của polyp (region content analysis) và hỗ trợ chẩn đoán bệnh trong quá trình nội soi đại tràng. Các kỹ thuật thị giác máy để phân tích ảnh nội soi đại tràng cần phải giải quyết các bài toán thị giác máy tính cơ bản sau: phân loại ảnh (classification), phát hiện đối tượng trên ảnh (object detection), phân vùng các đối tượng trên ảnh (object segmentation), phân loại đối tượng (object classification)
  20. 9 - Phân loại ảnh: đầu vào là ảnh nội soi đại tràng, đầu ra phân loại ảnh đó có chứa polyp hoặc không chứa polyp. - Phát hiện đối tượng: phát hiện các polyp, xác định vị trí và nhận biết các vùng chứa nó trên ảnh. - Phân vùng đối tượng: phân vùng các polyp, xác định hình dạng và kích thước của chúng trên ảnh. -Phân loại đối tượng: phân loại các polyp hỗ trợ chẩn đoán bệnh dựa trên đặc trưng của các vùng polyp. Để xây dựng các hệ thống CADx này, các nhà nghiên cứu đã và đang tập trung vào nghiên cứu đề xuất các mô hình học máy và các kỹ thuật thị giác máy tính tự để tự động phân tích ảnh nội soi đại tràng, phát hiện và phân vùng các polyp một cách nhanh chóng, chính xác. Giải quyết trọn vẹn bài toán phân tích ảnh nội soi đại tràng là một vấn đề khó và đồ sộ, đòi hỏi phải nghiên cứu lâu dài. Luận án này tập trung vào bài toán phân vùng các polyp trên ảnh nội soi đại tràng với các ảnh nội soi được chụp bằng ánh sáng trắng thông thường và hệ thống nội soi không sử dụng chế độ tăng cường ảnh. Đầu vào của bài toán là các ảnh nội soi đại tràng được chụp với ánh sáng trắng, đầu ra là phân vùng ngữ nghĩa của ảnh đó, trong đó các pixel trên ảnh sẽ được phân lớp nhị phân, thành các pixel thuộc lớp polyp hoặc các pixel thuộc lớp không phải là polyp. Nhãn phân vùng polyp là các ảnh nhị phân thể hiện hình dạng polyp, gọi là polyp mask, trong đó vùng polyp có giá trị 1, vùng không phải polyp có giá trị 0. Hình 1.3 là các ví dụ về phân vùng polyp trên ảnh nội soi đại tràng. Hình 1.3. Phân vùng polyp trên ảnh nội soi đại tràng: (a) Ảnh đầu vào, (b) Kết quả phân vùng polyp, (c): Hiển thị trực quan phát hiện và phân vùng poly.
ADSENSE

CÓ THỂ BẠN MUỐN DOWNLOAD

 

Đồng bộ tài khoản
2=>2