Một tiếp cận mới trong việc tổng hợp ảnh y học dựa trên giải thuật tối ưu MPA

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:8

Thêm vào BST

Báo xấu

29
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết đề xuất một thuật toán tổng hợp mới cho phép cải thiện chất lượng của hình ảnh được tổng hợp. Thuật toán này dựa trên biến đổi Wavelet và giải thuật tối ưu MPA (Marine Predators Algorithm). Đầu tiên, biến đổi Wavelet được dùng để tách các ảnh đầu vào thành các thành phần trên miền tần số cao và thấp.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Một tiếp cận mới trong việc tổng hợp ảnh y học dựa trên giải thuật tối ưu MPA

Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIV về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), TP. HCM, ngày 23-24/12/2021 DOI: 10.15625/vap.2021.0054 MỘT TIẾP CẬN MỚI TRONG VIỆC TỔNG HỢP ẢNH Y HỌC DỰA TRÊN GIẢI THUẬT TỐI ƯU MPA Ngô Xuân Trà1, Đinh Phú Hùng1, Nguyễn Huy Đức1, Nguyễn Long Giang2 Khoa Công nghệ thông tin, Trường Đại học Thủy lợi 1 Viện Công nghệ thông tin, Viện Hàn lâm Khoa học và Công nghệ Việt Nam 2 tranx222k@gmail.com, hungdp@tlu.edu.vn, ducnghuy@tlu.edu.vn, nlgiang@ioit.ac.vn TÓM TẮT: Tổng hợp hình ảnh Y học đang thu hút được sự quan tâm của các nhà nghiên cứu trong thời gian gần đây bởi vì nó hỗ trợ cho các bác sỹ nâng cao khả năng chẩn đoán lâm sàng. Cho đến nay, đã có nhiều phương pháp khác nhau được đề xuất để giải quyết bài toán này. Tuy nhiên, theo quan sát của chúng tôi, hình ảnh được tổng hợp bởi một số phương pháp hiện tại là có chất lượng thấp. Trong bài báo này, chúng tôi đề xuất một thuật toán tổng hợp mới cho phép cải thiện chất lượng của hình ảnh được tổng hợp. Thuật toán này dựa trên biến đổi Wavelet và giải thuật tối ưu MPA (Marine Predators Algorithm). Đầu tiên, biến đổi Wavelet được dùng để tách các ảnh đầu vào thành các thành phần trên miền tần số cao và thấp. Sau đó, các thành phần tần số thấp được tổng hợp bởi quy tắc trung bình, và các thành phần tần số cao được tổng hợp bằng quy tắc dựa trên cực đại hóa hàm năng lượng cục bộ (Maximum Local Energy - MLE). Tiếp đó, từ ảnh được tổng hợp này, chúng tôi tạo ra 3 ảnh tăng cường bởi sử dụng các phương pháp tăng cường ảnh cơ bản: cân bằng Histogram thích nghi, phát hiện biên Canny và lọc trung vị. Giải thuật tối ưu MPA được sử dụng để tìm ra các hệ số tối ưu cho từng ảnh được tăng cường đó. Hình ảnh đầu ra thu được từ sự kết hợp của 3 ảnh được tăng cường với các hệ số tối ưu đã tìm được. Các kết quả thử nghiệm cho thấy thuật toán đề xuất cho chất lượng ảnh tốt hơn nhiều so với một số phương pháp khác gần đây. Từ khóa: MPA, YUV, DWT. I. GIỚI THIỆU Tổng hợp hình ảnh Y học đa phương thức là quá trình kết hợp thông tin bổ sung từ các hình ảnh chụp với các phương thức khác nhau để tạo thành một hình ảnh duy nhất với mục đích cải thiện chất lượng hình ảnh và bảo tồn các đặc trưng của hình ảnh đầu vào. Công việc tổng hợp này giúp tăng khả năng chẩn đoán của các bác sĩ trong quá trình chuẩn đoán lâm sàng. Các phương pháp tổng hợp hình ảnh Y học có ứng dụng trong rất nhiều các lĩnh vực khác nhau như trong thị giác máy tính, Y học lâm sàng, học máy, nhận dạng mẫu. Hiện nay, có rất nhiều các loại hình ảnh Y học được thu nhận bởi các phương thức khác nhau. Ví dụ như: Hình ảnh cộng hưởng từ (Magnetic Resonance Imaging - MRI), chụp cắt lớp vi tính (Computed Tomography - CT), chụp cắt lớp phát xạ positron (Positron Emission Tomography - PET) và phát xạ đơn photon (Single Photon Emission Computed Tomography - SPECT). Mỗi một loại hình ảnh đều chứa những thông tin riêng mà những loại hình ảnh khác không có. Ví dụ, hình ảnh MRI có độ phân giải cao và chứa các thông tin biểu diễn các mô mềm, nhưng chúng cung cấp ít thông tin về các chuyển động. Trong khi hình ảnh PET có độ phân giải thấp và chúng cung cấp thông tin về hoạt động chức năng và trao đổi chất của tế bào. Do đó, việc tổng hợp hình ảnh Y học sẽ cho phép tạo ra một hình ảnh mang thông tin quan trọng từ những hình ảnh Y học đơn lẻ. Một số kiểu kết hợp của các hình ảnh Y học có thể được đề cập như: MRI-PET, CT-PET, CT-SPECT. Cho đến nay, các cách tiếp cận đã được đề xuất để giải quyết cho bài toán tổng hợp hình ảnh có thể được chia làm 2 nhóm chính: Các phương pháp dựa trên miền không gian và các phương pháp dựa trên miền biến đổi [1]. Trong các phương pháp dựa trên miền không gian, các điểm ảnh, khối, hoặc vùng của ảnh sẽ được thao tác trực tiếp mà không cần sử dụng một phép biến đổi hình ảnh. Ví dụ, các cách tiếp cận dựa trên điểm ảnh [2], các cách tiếp cận dựa trên khối và các cách tiếp cận dựa trên vùng ảnh [3], [4]. Các quy tắc tổng hợp thường được sử dụng như: Quy tắc Min-Max, quy tắc trung bình cộng [5], [6], [7], [8]. Ưu điểm của các phương pháp này là chúng có độ phức tạp tính toán thấp. Ngược lại, nhược điểm của nó là thông tin quan trọng như các cạnh có thể bị mất trong ảnh tổng hợp. Do đó, các phương pháp dựa trên miền biến đổi thường được sử dụng để khắc phục những hạn chế này. Các phương pháp tiếp cận dựa trên miền biến đổi thường được sử dụng rộng rãi trong các cách tiếp cận gần đây vì chúng đã cho thấy hiệu quả trong tổng hợp hình ảnh y tế. Có ba giai đoạn chính của quá trình hợp nhất, bao gồm biến đổi hình ảnh, áp dụng các quy tắc để hợp nhất các thành phần trong miền biến đổi và biến đổi nghịch đảo [9]. Trong giai đoạn đầu, một thuật toán phân rã ảnh được áp dụng để chuyển ảnh đầu vào sang miền biến đổi. Trong giai đoạn tiếp theo, một quy tắc hợp nhất cụ thể được sử dụng để hợp nhất các thành phần trong miền biến đổi. Trong giai đoạn cuối cùng, một phương pháp phân rã ảnh ngược được thực hiện để chuyển đổi các thành phần tổng hợp thành ảnh hợp nhất. Nói chung, các phương pháp tiếp cận dựa trên miền biến đổi có thể được phân loại như sau: các phương pháp tiếp cận dựa trên sự phân rã đa tỉ lệ (Multi-Scale Decomposition - MSD) và các phương pháp tiếp cận dựa trên sự biểu diễn thưa (Sparse Representation - SR). Các phương pháp tiếp cận dựa trên phân tích đa tỉ lệ (MSD) bao gồm một số phương pháp như phương pháp biến đổi Pyramid, phương pháp biến đổi Wavelet, phương pháp dựa trên phân tích hình học đa tỉ lệ (Multi-Scale Geometric Analysis - MSGA). Trên thực tế, các phương pháp dựa trên miền biến đổi vẫn còn một số hạn chế. Ví dụ: các phương pháp tiếp cận dựa trên kim tự tháp khi biến đổi kim tự tháp Laplacian (Laplacian pyramid - LP) [10], [11],
Ngô Xuân Trà, Đinh Phú Hùng, Nguyễn Huy Đức, Nguyễn Long Giang 151 [12], [13], chỉ cung cấp thông tin về phổ mà không có thông tin về hướng. Hạn chế này có thể dẫn đến mất thông tin quan trọng như đường biên ảnh. Về phương pháp dựa trên biến đổi Wavelet, chẳng hạn như biến đổi Wavelet rời rạc (Discrete Wavelet Transform - DWT) [14], [15], [16], biến đổi Wavelet phức hợp cây kép (Dual-Tree Complex Wavelet Transform - DTCWT) [17], và biến đổi Wavelet phức hợp Daubechies (Daubechies Complex Wavelet Transform - DCWT) [18], thông tin pha không được sử dụng, dẫn đến không thể bảo toàn các cạnh và vùng kết cấu. Các phương pháp dựa trên MSGA, bao gồm biến đổi Contourlet (Contourlet transform) [19], biến đổi Curvelet (Curvelet transform) [20], biến đổi không lấy mẫu con (Non-Subsampling Contour Transform - NSCT) [21], [22], [23], [24], và biến đổi cắt không lấy mẫu (Non-Subsampled Shearlet Transform - NSST) [25], [26], [27], [28], [29], [30], có thể khắc phục những hạn chế của các phương pháp dựa trên biến đổi Pyramidand Wavelet vì chúng cung cấp thông tin về cả phổ và pha. Các phương pháp tiếp cận dựa trên biểu diễn thưa (SR) cung cấp một sự cải thiện hiệu suất đáng kể so với các phương pháp dựa trên sự phân dã nhiều tỉ lệ. Ví dụ: Li et al [11] đã sử dụng phép biến đổi kim tự tháp Laplacian và biểu diễn thưa. Li et al [31] đã đề xuất kết hợp biểu diễn thưa với bộ lọc biểu đồ phân đoạn. Hu et al [32] đã giới thiệu một phương pháp tiếp cận dựa trên bộ lọc hướng dẫn và biểu diễn thưa. Gần đây, nhiều cách tiếp cận dựa trên tối ưu hóa meta-heuristic đã được áp dụng để cải thiện hiệu quả của quá trình tổng hợp hình ảnh. Ví dụ, Xu và các đồng nghiệp [33] đã đề xuất kết hợp bộ lọc wavelet đồng hình (wavelet- homomorphic filter) với thuật toán tối ưu hóa mùi cá mập sửa đổi (Modified Shark Smell Optimization - MSSO). Padmavathi và các đồng nghiệp [34] đã kết hợp phương pháp phân rã biến thể tổng thể (total variation decomposition) với phương pháp tối ưu hóa bầy đàn (Particle Swarm Optimization - PSO). Bhardwaj và các đồng nghiệp [16] đã tận dụng lợi thế của phép biến đổi wavelet rời rạc (DWT) và thuật toán bầy chim (Bird Swarm Optimization - BSO). Dinh [35] đã sử dụng thuật toán tối ưu hóa châu chấu (Grasshopper Optimization Algorithm - GOA) và kết hợp với một hàm năng lượng cục bộ sử dụng toán tử la bàn Kirsch. Dinh [36] đã giới thiệu một cách tiếp cận mới dựa trên hàm năng lượng cục bộ sử dụng toán tử la bàn Kirsch và thuật toán động vật ăn thịt biển (Marine Predators Algorithm - MPA). Dinh [37] đã đề xuất áp dụng giải thuật tối ưu cân bằng (Equilibrium Optimizer Algorithm - EOA) với các hàm năng lượng cục bộ. Dinh [38] đã đề xuất kết hợp hàm năng lượng Gabor với giải tối ưu EOA. Một số nghiên cứu khác có thể được tìm thấy, chẳng hạn như sử dụng PSO với NSST [27], PSO với toán tử phát hiện biên Kirsch [39] và thuật toán tối ưu hóa bầy sói xám (GWO) [40], [41]. Dựa trên hiểu biết hiện tại của chúng tôi, có một số hạn chế trong việc tổng hợp hình ảnh. Hạn chế thứ nhất liên quan đến chất lượng của các hình ảnh Y học đầu vào. Những hình ảnh này có thể bị mờ, nhiễu, hoặc có độ tương phản thấp. Điều này có thể ảnh hưởng đáng kế đến hiệu năng của các giải thuật tổng hợp. Hạn chế thứ hai liên quan đến chất lượng của hình ảnh đầu ra. Trong bài báo này, chúng tôi sẽ đề xuất một phương pháp mới để giải quyết hạn chế này. Các phần còn lại của bài báo được tổ chức như sau: trong phần II, chúng tôi trình bày một số kiến thức nền tảng. Phần III trình bày thuật toán tổng hợp ảnh Y học do chúng tôi đề xuất. Phần IV là một số kết quả được thực hiện trên bộ dữ liệu thực và đánh giá hiệu quả của các thuật toán đã trình bày. Cuối cùng là kết luận và hướng phát triển trong thời gian tới. II. KIẾN THỨC NỀN TẢNG A. Biến đổi DWT Biến đổi Haar được đề xuất bởi nhà toán học Alfréd Haar vào năm 1910, đây là một trong những phép biến đổi đơn giản và lâu đời nhất. Biến đổi Haar cho phép biểu diễn ảnh thành các thành phần tần số cao và tần số thấp. Hình 1. Minh họa biến đổi DWT B. Không gian màu YUV Có nhiều kiểu không gian màu khác nhau đã được sử dụng trong phương pháp tổng hợp hình ảnh như HSV, HIS, YIQ, và YUV. Trong bài báo này, chúng tôi lựa chọn không gian màu YUV. Trong đó thành phần Y xác định cường độ sáng của ảnh, thành phần U, V xác định màu. Giá trị Y nằm trong khoảng [0, 1], trong khi U và V nằm trong khoảng [−0.5, 0.5]. Công thức chuyển đổi từ mô hình RGB sang mô hình YUV: 𝑌 0.2990 0.5870 0.1140 𝑅 (1) �𝑈� = �−0.1471 −0.2888 0.4359 � �𝐺 � 𝑉 0.6148 −0.5148 −0.1000 𝐵
152 MỘT TIẾP CẬN MỚI TRONG VIỆC TỔNG HỢP ẢNH Y HỌC DỰA TRÊN GIẢI THUẬT TỐI ƯU MPA Công thức chuyển đổi từ mô hình YUV sang mô hình RGB: 𝑅 1.0000 0.0000 1.1403 𝑌 (2) �𝐺 � = �1.0000 −0.3947 −0.5808� �𝑈� 𝐵 1.0000 2.0325 0.0000 𝑉 C. Quy tắc Maximum local energy (MLE) Gọi I là ma trận, và M là một mặt nạ kích thước 3x3. Khi đó hàm năng lượng cục bộ 𝐿𝐸𝑘 được định nghĩa như sau: 1 1 (3) LE𝑘 (x, y) = � � M(x1 , y1 ) ∗ I 2 (x − x1 , y − y1 ) x1 =−1 y1 = −1 Quy tắc tổng hợp được xây dựng dựa trên việc tối đa hóa các hàm năng lượng cục bộ như sau: 𝐼 (𝑥, 𝑦) 𝑛ế𝑢 |𝐿𝐸1 (𝑥, 𝑦)| ≥ |𝐿𝐸2 (𝑥, 𝑦)| 𝐼𝐹 (𝑥, 𝑦) = � 1 (4) 𝐼2 (𝑥, 𝑦) 𝑛ế𝑢 |𝐿𝐸1 (𝑥, 𝑦)| < |𝐿𝐸2 (𝑥, 𝑦)| Trong đó: • 𝐼1 , 𝐼2 : Là các thành phần cần tổng hợp. • 𝐿𝐸𝑘 : Hàm năng lượng cục bộ của thành phần thứ k. D. Giải thuật MPA Giải thuật tối ưu MPA được đề xuất bởi [42] và các đồng nghiệp vào năm 2020. MPA là kết quả của sự mô hình hóa việc kiếm ăn của động vật ăn thịt biển cho nên nó thường được xếp vào các loại thuật toán có sử dụng trí tuệ bầy đàn. Thuật toán này đã được áp dụng thành công trong nhiều lĩnh vực. Giải thuật MPA được trình bày như sau: MPA được khởi tạo bằng một nhóm cá thể ngẫu nhiên và sau đó tìm nghiệm tối ưu bằng cách cập nhật các vị trí. Có 3 giai đoạn chính trong thuật toán MPA: Giai đoạn 1: Con mồi di chuyển nhanh hơn kẻ săn mồi. Giai đoạn này xảy ra ở 1/3 vòng lặp đầu tiên. (5) Stepsizeki = RBik ⊗ (Eik−1 − RBik ⊗ Preyik−1 ) (6) Preyik = Preyik−1 + P . R ⊗ Stepsizeki Giai đoạn 2: Kẻ săn mồi và con mồi di chuyển cùng tốc độ. Giai đoạn này xảy ra ở 1/3 vòng lặp tiếp theo. (7) Stepsizeki = RLki ⊗ �Eik−1 − RLki ⊗ Preyik−1 � i = 1, … , n/2 (8) Preyik = Preyik−1 + P . R ⊗ Stepsizeki i = 1, … , n/2 (9) Stepsizeki = RBik ⊗ �RBik ⊗ Eik−1 − Preyik−1 � i = n/2, … , n (10) Preyik = Eik−1 + P . CF ⊗ Stepsizeki i = n/2, … , n Giai đoạn 3: Kẻ săn mồi di chuyển nhanh hơn con mồi. Giai đoạn này xảy ra ở 1/3 vòng lặp cuối. (11) Stepsizeki = RLki ⊗ (RLki ⊗ Eik−1 − Preyik−1 ) (12) Preyik = Eik−1 + P . CF ⊗ Stepsizeki Trong đó: • Stepsizeki : Kích thước bước di chuyển của con mồi thứ i tại lần lặp k. • RBik : Phân phối chuẩn đại diện cho chuyển động Brownian của con mồi thứ i tại lần lặp k. • RLki : Phân phối chuẩn đại diện cho chuyển động Lévy của con mồi thứ i tại lần lặp k. • Eik−1 : Vị trí tốt nhất của kẻ săn mồi tương ứng với con mồi thứ i tại lần lặp k-1. • Preyik : Vị trí của con mồi thứ i tại lần lặp k.
Ngô Xuân Trà, Đinh Phú Hùng, Nguyễn Huy Đức, Nguyễn Long Giang 153 • Preyik−1 : Vị trí của con mồi thứ i tại lần lặp k-1. • P = 0.5 là hằng số. • R: Một số ngẫu nhiên trong khoảng [0, 1]. • n: Số lượng cá thể. iter iter 2∗ • CF = (1 − ) Max_iteration : Một tham số thích ứng. Max_iteration • ⊗ là phép nhân Hadamard. III. PHƯƠNG PHÁP ĐỀ XUẤT Trong phần này, chúng tôi trình bày chi tiết về phương pháp đề xuất để tổng hợp và tăng cường. Phương pháp đề xuất bao gồm 2 gia đoạn. Giai đoạn thứ nhất là tổng hợp hình ảnh và giai đoạn thứ hai là nâng cao chất lượng hình ảnh sau tổng hợp. Trong giai đoạn thứ nhất, hình ảnh màu PET sẽ được chuyển sang miền YUV. Kênh Y và hình ảnh xám MRI được biến đổi DWT để thu được các thành phần trên miền tần số thấp và miền tần số cao. Sau đó, các thành phần tần số thấp được tổng hợp bởi quy tắc trung bình và các thành phần tần số cao được tổng hợp bởi quy tắc maximum local energy. Các thành phần tần số thấp và cao sau khi được tổng hợp được biến đổi ngược DWT để thu được hình ảnh tổng hợp. Trong giai đoạn thứ hai, từ hình ảnh tổng hợp thu được, chúng tôi áp dụng 3 phương pháp tăng cường chất lượng ảnh cơ bản là cân bằng Histogram thích nghi, phương pháp phát hiện biên Canny và phương pháp lọc trung vị để thu được 3 hình ảnh tăng cường tương ứng là 𝐼𝐻 , 𝐼𝐶 , và 𝐼𝑀 tương ứng. Sau đó, sử dụng giải thuật tối ưu hóa bầy đàn MPA để tìm ra 3 tham số tối ưu 𝛽1 , 𝛽2 , và 𝛽3 với hàm tối ưu là hàm chỉ số tương phản. Hình ảnh tăng cường thu được bằng cách lấy tổng của các hình ảnh 𝐼𝐻 , 𝐼𝐶 , và 𝐼𝑀 nhân với các hệ số tối ưu 𝛽1 , 𝛽2 và 𝛽3 tương ứng. Cuối cùng, hình ảnh này được kết hợp với các kênh U và V để thu được hình ảnh màu được tổng hợp và tăng cường. Đầu vào: - 𝐼1 : Hình ảnh xám MRI. - 𝐼2 : Hình ảnh màu PET. Đầu ra: - 𝐼5 : Hình ảnh màu được tổng hợp và tăng cường. Sơ đồ tổng hợp hình ảnh
154 MỘT TIẾP CẬN MỚI TRONG VIỆC TỔNG HỢP ẢNH Y HỌC DỰA TRÊN GIẢI THUẬT TỐI ƯU MPA Thuật toán tổng hợp gồm các bước như sau: • Bước 1: Hình ảnh 𝐼2 được chuyển từ không gian màu RGB về không gian màu YUV, thu được 3 kênh Y, U và V. • Bước 2: Từ 2 hình ảnh xám (𝐼1 và Y), tiến hành biến đổi DWT để thu được các thành phần tần số thấp 𝐿𝐿1 , 𝐿𝐿2 và các thành phần tần số cao 𝐿𝐻1 , 𝐿𝐻2 , 𝐻𝐿1 , 𝐻𝐿2 , 𝐻𝐻1 , 𝐻𝐻2 tương ứng. • Bước 3: Các thành phần tần số thấp 𝐿𝐿1 và 𝐿𝐿2 được tổng hợp bằng quy tắc trung bình: 𝐿𝐿 = (𝐿𝐿1 + 𝐿𝐿2 )/2. • Bước 4: Các thành phần tần số cao được tổng hợp bằng quy tắc MLE: 𝐿𝐻 = MLE(𝐿𝐻1 , 𝐿𝐻2 ) 𝐻𝐿 = MLE(𝐻𝐿1 , 𝐻𝐿2 ) 𝐻𝐻 = MLE(𝐻𝐻1 , 𝐻𝐻2 ) • Bước 5: Sử dụng phép biến đổi DWT ngược để biến đổi các thành phần 𝐿𝐿, 𝐿𝐻, 𝐻𝐿 và 𝐻𝐻 thành 𝐼3 . • Bước 6: Từ ảnh 𝐼3 đã được tổng hợp, thực hiện tạo ra các ảnh được tăng cường bởi các phương pháp tăng cường chất lượng ảnh cơ bản như: 𝐼𝐻 (cân bằng Histogram thích nghi), 𝐼𝐶 (do biên Canny), 𝐼𝑀 (lọc trung vị). • Bước 7: Thực hiện tăng cường hình ảnh 𝐼3 đã được tổng hợp theo công thức sau: 𝐼4 = 𝛽1 ∗ 𝐼𝐻 + 𝛽2 ∗ 𝐼𝐶 + 𝛽3 ∗ 𝐼𝑀 Các tham số tối ưu 𝛽1 , 𝛽2 và 𝛽3 được tìm bằng cách sử dụng thuật toán MPA với hàm mục tiêu 𝐹 là hàm chỉ số tương phản như sau: 𝜎2 𝐹 = � � (𝐻2 − 𝐻1 ) 𝜇 Trong đó: - 𝜇 và 𝜎 2 lần lượt là cường độ sáng trung bình và phương sai của hình ảnh 𝐼4 . - 𝐻1 và 𝐻2 là Entropy của hình ảnh 𝐼3 và 𝐼4 . • Bước 8: Hình ảnh 𝐼4 (thu được từ các tham số tối ưu) và các kênh U và V được chuyển về không gian màu RGB thu được hình ảnh 𝐼5 . Hình ảnh 𝐼5 này đã được tổng hợp và tăng cường chất lượng. IV. THỰC NGHIỆM A. Thiết lập thực nghiệm Dữ liệu thực nghiệm được lấy từ nguồn: http://www.med.harvard.edu/AANLIB. Các cặp ảnh thực nghiệm Pet- MRI sử dụng 5 lát cắt 065, 070, 075, 080, và 085 được thu thập từ địa chỉ như sau: http://www.med.harvard.edu/AANLIB/cases/caseNA/pb9.htm. 5 cặp ảnh này được chúng tôi lấy ngẫu nhiên để minh họa cho sự hiệu quả của phương pháp mà chúng tôi đề xuất. Các phương pháp được dùng để so sánh với phương pháp đề xuất bao gồm: Convolutional Sparse Representation (CSR) [43], phương pháp tổng hợp bằng quy tắc trung bình cho thành phần tần số thấp và quy tắc Max cho thành phần tần số cao (TB-Max) và Convolutional sparsity based morphological component analysis (CSMCA) [44]. Để đánh giá chất lượng ảnh, chúng tôi sử dụng 4 độ đo: • Độ sáng của ảnh 𝑀 (cường độ sáng trung bình). • Độ tương phản của ảnh SD (độ lệch chuẩn). • Độ đo thông tin của ảnh (Entropy). • Độ sắc nét của ảnh G (đường biên trung bình). B. Kết quả thực nghiệm Từ bảng 1 bằng trực quan ta có thể thấy rằng phương pháp đề xuất cho hình ảnh tổng hợp có độ sáng và độ tương phản tốt hơn so với các phương pháp khác. Bằng định lượng, quan sát từ các bảng 2, phương pháp CSR cho hình ảnh tổng hợp có độ tương phản thấp nhất, trong khi hình ảnh được tạo ra từ phương pháp CSMCA và TB-Max có độ tương phản tốt hơn. Đặc biệt, phương pháp đề xuất cho độ tương phản tốt nhất. Ví dụ, từ tổng hợp của lát cắt 065 trong bảng 2, chỉ số độ tương phản của phương pháp CSR là 0.187344, trong khi chỉ số độ tương phản của hai phương pháp CSMCA và TB-Max là tốt hơn, đạt 0.213923 và 0.263314. Đặc biệt, chúng ta quan sát được rằng, phương pháp chúng tôi đề xuất tạo ra hình ảnh có chỉ số độ tương phản là cao nhất, đạt 0.319872. Tương tự đối với các chỉ số đánh giá khác, phương pháp đề xuất của chúng
Ngô Xuân Trà, Đinh Phú Hùng, Nguyễn Huy Đức, Nguyễn Long Giang 155 tôi cho kết quả tốt nhất. Bên cạnh những ưu điểm phương pháp đề xuất mang lại, phương pháp chúng tôi có nhược điểm là tốn thời gian chạy so với các phương pháp khác vì nó được xây dựng dựa trên giải thuật tối ưu MPA. Bảng 1. Các ảnh đầu vào PET, MRI và kết quả của các phương pháp tổng hợp Lát Các ảnh đầu vào Các phương pháp Phương cắt PET MRI CSR TB-Max CSMCA pháp đề xuất 065 070 075 080 085 Bảng 2. Thống kê chỉ số đánh giá chất lượng ảnh kết quả của các phương pháp tổng hợp Kiểu tổng Lát cắt Chỉ số đánh giá Các phương pháp Phương hợp CSR TB-Max CSMCA pháp đề xuất 065 𝑀 0.150778 0.224741 0.162125 0.284802 SD 0.187344 0.263314 0.213923 0.319872 E 4.648518 5.288218 4.567740 5.536646 G 0.051984 0.048635 0.055813 0.067946 070 𝑀 0.151867 0.239044 0.162224 0.286043 SD 0.186001 0.279751 0.210682 0.321405 E 4.673489 5.285456 4.597049 5.529600 G 0.053041 0.049063 0.056744 0.069320 075 𝑀 0.148141 0.235342 0.158292 0.281840 SD 0.184851 0.275911 0.209750 0.319183 PET_MRI E 4.631068 5.237384 4.555498 5.495158 G 0.054496 0.051785 0.058375 0.073423 080 𝑀 0.147956 0.237688 0.157832 0.277917 SD 0.181756 0.280173 0.203822 0.317872 E 4.518514 5.141550 4.510840 5.394145 G 0.051455 0.048693 0.055752 0.068426 085 𝑀 0.143638 0.229438 0.153524 0.269935 SD 0.180728 0.279235 0.202350 0.319143 E 4.341883 4.999867 4.300060 5.259103 G 0.046035 0.044469 0.049915 0.062589
156 MỘT TIẾP CẬN MỚI TRONG VIỆC TỔNG HỢP ẢNH Y HỌC DỰA TRÊN GIẢI THUẬT TỐI ƯU MPA TÀI LIỆU THAM KHẢO [1] A. P. James and B. V. Dasarathy, “Medical image fusion: A survey of the state of the art”, Inf. Fusion, 2014, doi: 10.1016/j.inffus.2013.12.002. [2] S. Li, X. Kang, L. Fang, J. Hu, and H. Yin, “Pixel-level image fusion: A survey of the state of the art”, Inf. Fusion, vol. 33, pp. 100-112, Jan. 2017, doi: 10.1016/j.inffus.2016.05.004. [3] M. Zribi, “Non-parametric and region-based image fusion with Bootstrap sampling”, Inf. Fusion, vol. 11, No. 2, pp. 85-94, Apr. 2010, doi: 10.1016/j.inffus.2008.08.004. [4] B. Meher, S. Agrawal, R. Panda, and A. Abraham, “A survey on region based image fusion methods”, Inf. Fusion, vol. 48, pp. 119-132, Aug. 2019, doi: 10.1016/j.inffus.2018.07.010. [5] Y. Liu, X. Chen, R. K. Ward, and J. Wang, “Image Fusion with Convolutional Sparse Representation”, IEEE Signal Process. Lett., vol. 23, No. 12, pp. 1882-1886, 2016, doi: 10.1109/LSP.2016.2618776. [6] Y. Liu, X. Chen, R. K. Ward, and Z. J. Wang, “Medical image fusion via convolutional sparsity based morphological component analysis”, IEEE Signal Process. Lett., vol. 26, No. 3, pp. 485-489, 2019, doi: 10.1109/LSP.2019.2895749. [7] J. Du, M. Fang, Y. Yu, and G. Lu, “An adaptive two-scale biomedical image fusion method with statistical comparisons”, Comput. Methods Programs Biomed., vol. 196, p. 105603, Nov. 2020, doi: 10.1016/j.cmpb.2020.105603. [8] C. Pei, K. Fan, and W. Wang, “Two-Scale Multimodal Medical Image Fusion Based on Guided Filtering and Sparse Representation”, IEEE Access, vol. 8, pp. 140216-140233, 2020, doi: 10.1109/ACCESS.2020.3013027. [9] Y. Liu, L. Wang, J. Cheng, C. Li, and X. Chen, “Multi-focus image fusion: A Survey of the state of the art”, Inf. Fusion, vol. 64, pp. 71-91, Dec. 2020, doi: 10.1016/j.inffus.2020.06.013. [10] J. Du, W. Li, B. Xiao, and Q. Nawaz, “Union Laplacian pyramid with multiple features for medical image fusion”, Neurocomputing, vol. 194, pp. 326-339, Jun. 2016, doi: 10.1016/j.neucom.2016.02.047. [11] X. Li, X. Zhang, and M. Ding, “A sum-modified-Laplacian and sparse representation based multimodal medical image fusion in Laplacian pyramid domain”, Med. Biol. Eng. Comput., 2019, doi: 10.1007/s11517-019-02023-9. [12] Z. Wang, Z. Cui, and Y. Zhu, “Multi-modal medical image fusion by Laplacian pyramid and adaptive sparse representation”, Comput. Biol. Med., vol. 123, p. 103823, Aug. 2020, doi: 10.1016/j.compbiomed.2020.103823. [13] J. Fu, W. Li, J. Du, and B. Xiao, “Multimodal medical image fusion via laplacian pyramid and convolutional neural network reconstruction with local gradient energy strategy”, Comput. Biol. Med., 2020, doi: 10.1016/j.compbiomed.2020.104048. [14] X. Xu, Y. Wang, and S. Chen, “Medical image fusion using discrete fractional wavelet transform”, Biomed. Signal Process. Control, 2016, doi: 10.1016/j.bspc.2016.02.008. [15] O. Prakash, C. M. Park, A. Khare, M. Jeon, and J. Gwak, “Multiscale fusion of multimodal medical images using lifting scheme based biorthogonal wavelet transform”, Optik (Stuttg)., 2019, doi: 10.1016/j.ijleo.2018.12.028. [16] J. Bhardwaj and A. Nayak, “Discrete Wavelet Transform and Bird Swarm Optimized Bayesian Multimodal Medical Image Fusion”, HELIX, 2020, doi: 10.29042/2020-10-1-07-12. [17] B. Yu et al., “Hybrid dual-tree complex wavelet transform and support vector machine for digital multi-focus image fusion”, Neurocomputing, vol. 182, pp. 1-9, Mar. 2016, doi: 10.1016/j.neucom.2015.10.084. [18] R. Singh and A. Khare, “Fusion of multimodal medical images using Daubechies complex wavelet transform - A multiresolution approach”, Inf. Fusion, 2014, doi: 10.1016/j.inffus.2012.09.005. [19] L. Yang, B. L. Guo, and W. Ni, “Multimodality medical image fusion based on multiscale geometric analysis of contourlet transform”, Neurocomputing, 2008, doi: 10.1016/j.neucom.2008.02.025. [20] R. Srivastava, O. Prakash, and A. Khare, “Local energy-based multimodal medical image fusion in curvelet domain”, IET Comput. Vis., 2016, doi: 10.1049/iet-cvi.2015.0251. [21] Z. Zhu, M. Zheng, G. Qi, D. Wang, and Y. Xiang, “A Phase Congruency and Local Laplacian Energy Based Multi-Modality Medical Image Fusion Method in NSCT Domain”, IEEE Access, vol. 7, pp. 20811-20824, 2019, doi: 10.1109/ACCESS.2019.2898111. [22] Z. Wang, X. Li, H. Duan, Y. Su, X. Zhang, and X. Guan, “Medical image fusion based on convolutional neural networks and non-subsampled contourlet transform”, Expert Syst. Appl., vol. 171, 2021, doi: 10.1016/j.eswa.2021.114574. [23] W. Li, Q. Lin, K. Wang, and K. Cai, “Improving medical image fusion method using fuzzy entropy and nonsubsampling contourlet transform”, Int. J. Imaging Syst. Technol., 2021, doi: 10.1002/ima.22476. [24] B. Li, H. Peng, and J. Wang, “A novel fusion method based on dynamic threshold neural P systems and nonsubsampled contourlet transform for multi-modality medical images”, Signal Processing, 2021, doi: 10.1016/j.sigpro.2020.107793. [25] X. Liu, W. Mei, and H. Du, “Multi-modality medical image fusion based on image decomposition framework and nonsubsampled shearlet transform”, Biomed. Signal Process. Control, vol. 40, pp. 343-350, Feb. 2018, doi: 10.1016/j.bspc.2017.10.001. [26] D. Gai, X. Shen, H. Cheng, and H. Chen, “Medical Image Fusion via PCNN Based on Edge Preservation and Improved Sparse Representation in NSST Domain”, IEEE Access, vol. 7, 2019, doi: 10.1109/ACCESS.2019.2925424. [27] A. Tannaz, S. Mousa, D. Sabalan, and P. Masoud, “Fusion of multimodal medical images using nonsubsampled shearlet transform and particle swarm optimization”, Multidimens. Syst. Signal Process., vol. 31, No. 1, pp. 269-287, 2020, doi: 10.1007/s11045-019-00662-7. [28] S. Singh and R. S. Anand, “Multimodal Medical Image Sensor Fusion Model Using Sparse K-SVD Dictionary Learning in Nonsubsampled Shearlet Domain”, IEEE Trans. Instrum. Meas., vol. 69, no. 2, 2020, doi: 10.1109/TIM.2019.2902808. [29] Z. Ding, D. Zhou, R. Nie, R. Hou, and Y. Liu, “Brain Medical Image Fusion Based on Dual-Branch CNNs in NSST Domain”, Biomed Res. Int., vol. 2020, 2020, doi: 10.1155/2020/6265708.
Ngô Xuân Trà, Đinh Phú Hùng, Nguyễn Huy Đức, Nguyễn Long Giang 157 [30] R. R. Nair and T. Singh, “An Optimal Registration on Shearlet domain with Novel Weighted Energy fusion for Multi-Modal Medical Images”, Optik (Stuttg)., 2021, doi: 10.1016/j.ijleo.2020.165742. [31] Q. Li, W. Wang, G. Chen, and D. Zhao, “Medical image fusion using segment graph filter and sparse representation”, Comput. Biol. Med., vol. 131, 2021, doi: 10.1016/j.compbiomed.2021.104239. [32] Q. Hu, S. Hu, and F. Zhang, “Multi-modality image fusion combining sparse representation with guidance filtering”, Soft Comput., 2021, doi: 10.1007/s00500-020-05448-9. [33] L. Xu, Y. Si, S. Jiang, Y. Sun, and H. Ebrahimian, “Medical image fusion using a modified shark smell optimization algorithm and hybrid wavelet-homomorphic filter”, Biomed. Signal Process. Control, vol. 59, p. 101885, May 2020, doi: 10.1016/j.bspc.2020.101885. [34] K. Padmavathi, C. S. Asha, and V. K. Maya, “A novel medical image fusion by combining TV-L1 decomposed textures based on adaptive weighting scheme”, Eng. Sci. Technol. an Int. J., vol. 23, No. 1, pp. 225-239, Feb. 2020, doi: 10.1016/j.jestch.2019.03.008. [35] P. H. Dinh, “A novel approach based on Grasshopper optimization algorithm for medical image fusion”, Expert Syst. Appl., vol. 171, Jun. 2021, doi: 10.1016/j.eswa.2021.114576. [36] P. H. Dinh, “A novel approach based on Three-scale image decomposition and Marine predators algorithm for multi-modal medical image fusion”, Biomed. Signal Process. Control, no. January, p. 102536, 2021, doi: 10.1016/j.bspc.2021.102536. [37] P. H. Dinh, “Multi-modal medical image fusion based on equilibrium optimizer algorithm and local energy functions”, Appl. Intell., 2021, doi: https://doi.org/10.1007/s10489-021-02282-w. [38] P. H. Dinh, “Combining Gabor energy with equilibrium optimizer algorithm for multi-modality medical image fusion”, Biomed. Signal Process. Control, vol. 68, p. 102696, Jul. 2021, doi: 10.1016/j.bspc.2021.102696. [39] P.-H. Dinh, T.-T. Nguyen, and H.-D. Nguyen, “Tổng hợp hình ảnh Y học dựa trên tối ưu bầy đàn PSO”, in Hội thảo Quốc gia lần thứ XXIII “Một số vấn đề chọn lọc của Công nghệ thông tin và Truyền thông”, 2020, pp. 1-8. [40] E. Daniel, J. Anitha, K. K. Kamaleshwaran, and I. Rani, “Optimum spectrum mask based medical image fusion using Gray Wolf Optimization”, Biomed. Signal Process. Control, vol. 34, pp. 36-43, Apr. 2017, doi: 10.1016/j.bspc.2017.01.003. [41] C. S. Asha, S. Lal, V. P. Gurupur, and P. U. P. Saxena, “Multi-Modal Medical Image Fusion with Adaptive Weighted Combination of NSST Bands Using Chaotic Grey Wolf Optimization”, IEEE Access, vol. 7, pp. 40782-40796, 2019, doi: 10.1109/ACCESS.2019.2908076. [42] A. Faramarzi, M. Heidarinejad, S. Mirjalili, and A. H. Gandomi, “Marine Predators Algorithm: A nature-inspired metaheuristic”, Expert Syst. Appl., vol. 152, 2020, doi: 10.1016/j.eswa.2020.113377. [43] Y. Liu, X. Chen, R. K. Ward, and J. Wang, “Image Fusion with Convolutional Sparse Representation”, IEEE Signal Process. Lett., vol. 23, no. 12, pp. 1882-1886, Dec. 2016, doi: 10.1109/LSP.2016.2618776. [44] Y. Liu, X. Chen, R. K. Ward, and Z. J. Wang, “Medical image fusion via convolutional sparsity based morphological component analysis”, IEEE Signal Process. Lett., vol. 26, No. 3, pp. 485-489, Mar. 2019, doi: 10.1109/LSP.2019.2895749. A NOVEL APPROACH BASED ON MPA ALGORITHM FOR MEDICAL IMAGE FUSION Ngo Xuan Tra, Dinh Phu Hung, Nguyen Huy Duc, Nguyen Long Giang ABSTRACT: Medical image fusion is attracting the attention of researchers recently because it helps doctors improve their clinical diagnosis. Up to now, many different approaches have been proposed to solve this problem. However, according to our observations, the images synthesized by some current methods are of low quality. In this paper, we propose a new synthesis algorithm that improves the quality of the fused images. This algorithm is based on Wavelet transform and MPA (Marine Predators Algorithm). First, the wavelet transform is used to decompose the input images into high and low-frequency components. Then, the low-frequency components are fused by the average rule, and the high-frequency components are fused by using the Maximum Local Energy (MLE). Then, from this fused image, we generate three enhanced images by using basic image enhancement methods: adaptive histogram equalization, canny edge detection, and median filtering. The MPA optimization algorithm is used to find the optimal parameters for each image. The output image obtained from the combination of three images is enhanced with the found optimal parameters. The test results show that the proposed algorithm gives much better image quality than some other recent methods.