Attention Smooth GAN: Một mô hình chuyển đổi ảnh Mô IHC từ ảnh HE

Chia sẻ: Tưởng Trì Hoài | Ngày: | Loại File: PDF | Số trang:11

Thêm vào BST

Báo xấu

7
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nghiên cứu "Attention Smooth GAN: Một mô hình chuyển đổi ảnh Mô IHC từ ảnh HE" đề xuất mô hình học sâu có tên là Attention Smooth GAN chuyển đổi ảnh mô vú HE sang IHC nhằm hỗ trợ bác sỹ phát hiện sớm sự phát triển bất thường của các protetin và cung cấp thông tin chi tiết về biểu hiện protein qua đó giúp chẩn đoán bệnh, kết quả này có thể sử dụng để lập phác đồ điều trị cho bệnh nhân. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Attention Smooth GAN: Một mô hình chuyển đổi ảnh Mô IHC từ ảnh HE

Kỷ yếu Hội thảo khoa học Khoa Công nghệ thông tin, năm 2024 ATTENTION SMOOTH GAN: MỘT MÔ HÌNH CHUYỂN ĐỔI ẢNH MÔ IHC TỪ ẢNH HE Trần Đình Toàn1,*, Hoàng Thế Anh1, Nguyễn Thị Hồng Quyên1, Trần Xuân Quỳnh Phương1, Lưu Quốc Trung1, Nguyễn Ngô Cường1, Nguyễn Đức Toàn2 Trường Đại học Công Thương Thành phố Hồ Chí Minh 1 2 Công ty Cổ Phần Y Chính Xác * Email: toantd@huit.edu.vn Ngày nhận bài: 02/04/2024; Ngày chấp nhận đăng: 20/05/2024 TÓM TẮT Nghiên cứu này đề xuất mô hình học sâu có tên là Attention Smooth GAN chuyển đổi ảnh mô vú HE sang IHC nhằm hỗ trợ bác sỹ phát hiện sớm sự phát triển bất thường của các protetin và cung cấp thông tin chi tiết về biểu hiện protein qua đó giúp chẩn đoán bệnh, kết quả này có thể sử dụng để lập phác đồ điều trị cho bệnh nhân. Dựa vào các nghiên cứu trước để tiến hành cải tiến, tạo nên mô hình trên để tăng độ chính xác cho thuật toán. Các thực nghiệm được tiến hành trên bộ dữ liệu Breast Cancer Immunohistochemical (BCI) đã công bố tại hội nghị CVPR 2022, kết quả đạt được với độ đo PSNR là 20.3616 và SSIM là 0.5468 tốt hơn các nghiên cứu trước đó và nghiên cứu của nhóm tác giả đã công bố tại hội nghị FAIR2022. Từ khóa: ATTENTION SMOOTH GAN, BCI, HE, IHC 1. MỞ ĐẦU Theo số liệu thống kê từ tổ chức Y tế Thế giới (WHO) và các nghiên cứu tại Việt Nam, bệnh ung thư vú chiếm tỉ lệ cao trong số các loại ung thư và là một trong những căn bệnh ung thư phổ biến nhất ảnh hưởng đến phụ nữ trên toàn thế giới, và Việt Nam không phải là ngoại lệ [1]. Bên cạnh đó, sự phát triển kinh tế và thay đổi trong cấu trúc dân số cũng ảnh hưởng đến môi trường, thay đổi lối sống và sự gia tăng tuổi thọ là các yếu tố làm tăng số lượng nguy cơ mắc bệnh này ở phụ nữ. Sự nhận thức về mức độ nguy hiểm của căn bệnh và tầm quan trọng của việc khám sàng lọc sớm vẫn đang trong quá trình cải thiện, nhằm giảm tỉ lệ tử vong và tăng cơ hội điều trị bệnh thành công [2]. Đã có nhiều nỗ lực được thực hiện đa dạng từ tuyên truyền, tiếp thị để nâng cao nhận thức và cải thiện khả năng tiếp cận các dịch vụ chẩn đoán và điều trị bệnh tại Việt Nam. Các chương trình sàng lọc và giáo dục cộng đồng nhằm mục đích khuyến khích phụ nữ thực hiện các xét nghiệm sàng lọc định kỳ như siêu âm, chụp nhũ ảnh (mammography) để phát hiện sớm ung thư vú để có cơ hội điều trị khỏi bệnh. Tuy nhiên, việc tiếp cận dịch vụ y tế chất lượng cao và chi phí điều trị vẫn là những thách thức đối với một số bệnh nhân, đặc biệt là những người sống ở vùng nông thôn hoặc có hoàn cảnh kinh tế khó khăn [3]. Khi phát hiện bệnh ở giai đoạn sớm và được xử lý kịp thời, việc chữa trị bệnh ung thư vú có thể đạt được kết quả tích cực, tùy thuộc vào việc lựa chọn và áp dụng một phác đồ điều trị phù hợp với từng giai đoạn cụ thể của bệnh. Trường hợp ung thư vú biểu hiện thụ thể estrogen (ER) hoặc progesterone (PR), bệnh nhân có thể nhận phản ứng tích cực từ liệu pháp điều trị 70
Trần Đình Toàn và CS bằng hormon như tamoxifen hoặc các ức chế aromatase, ngược lại những trường hợp không có biểu hiện ER hoặc PR, liệu pháp hóa trị là phương án điều trị chính. Bên cạnh đó, thụ thể HER2, một gen quan trọng trong sự phát triển của ung thư vú nó sản xuất protein HER2 (HER2/neu). Nếu bệnh nhân có HER2 dương tính có thể được điều trị bằng liệu pháp sinh học như trastuzumab. Tuy nhiên, việc kiểm tra biểu hiện của HER2 phải sử dụng phương pháp hóa mô miễn dịch IHC - Immunohistochemical để nhuộm và xác định sự hiện diện của protein HER2 hoặc hormone trong mô ung thư vú. Hiện nay, việc áp dụng kỹ thuật IHC trong chẩn đoán và điều trị cho bệnh nhân ung thư vú đòi hỏi một khoản chi phí khá lớn và thời gian chờ đợi lâu cho cả bệnh nhân và bác sĩ điều trị [4]. Điều này đã tạo ra một thách thức lớn để các nhà quản lý, các nhà khoa học tìm kiếm giải pháp nhằm giảm chi phí y tế và giảm bớt khối lượng công việc cũng như thời gian cần thiết cho cả bệnh nhân và đội ngũ y bác sĩ. 2. CÁC CÔNG TRÌNH LIÊN QUAN Trước đây, đã có rất nhiều nghiên cứu liên quan đến quá trình chuyển đổi ảnh ứng dụng GAN [5–10], tuy nhiên chưa có nhiều nghiên cứu về sinh ảnh trong lĩnh vực y khoa. Đến năm 2022 bắt đầu có các nghiên cứu về sinh ảnh trong y khoa như sinh ảnh mô ung thư vú để hỗ trợ lập phác đồ điều trị mới xuất hiện có thể kể đến như tác giả Shengjie Liu cùng cộng sự đã công bố tập dữ liệu BCI và đề xuất phương pháp sinh ảnh pix2pix giúp chuyển ảnh HE sang ảnh IHC [11]. Aydogan Ozcan cùng cộng sự đã đề xuất sử dụng phương pháp học sâu để thực hiện kỹ thuật nhuộm mô IHC ảo, phương pháp này huấn luyện mạng thần kinh đã cách mạng hóa các kỹ thuật nhuộm mô tạo ra các vết mô học kỹ thuật số, cung cấp các giải pháp thay thế nhanh chóng, tiết kiệm chi phí và độ chính xác [12]. Tác giả Fangda Li cùng cộng sự đã phát hiện do thiếu các cặp ảnh cơ bản HE-IHC hoàn hảo về pixel nên hầu hết các phương pháp hiện tại đều phải dựa vào chú thích của chuyên gia, nên đề xuất giải pháp học sâu trong đó xây dựng hàm mất mát Adaptive Supervised PatchNCE (ASP) kết hợp điều chỉnh trọng số mạng động và giảm nhiễu để xử lý trực tiếp đầu vào nhằm mục tiêu giám sát toàn bộ quá trình chuyển đổi từ ảnh HE sang IHC [13]. Nhóm tác giả [14] đã đề xuất WMD cGan (Wavelet Multi Domain conditional GAN) để chuyển đổi ảnh HE sang IHC kết quả đạt được khá tốt. Tác giả Toan Tran và nhóm nghiên cúu đã đề xuất mô hình với Denoising Diffusion Probability Model (DDPM) trong sinh ảnh IHC từ ảnh mô HE và đưa ra một chuẩn trong bài toán sinh ảnh y khoa [15]. Các mô hình vừa phân tích ở trên chưa tận dụng triệt để được thông tin của các đặc trưng nông và sâu, kiến trúc của các mô hình này còn khá lớn điều này gây khó khăn khi áp dụng các mô hình này cho thực tế vì cơ sở hạ tầng AI trong lĩnh vực y tế ở Việt Nam chưa được phát triển và khá nhiều hạn chế. Để giải quyết vấn đề đã phân tích trên, trong nghiên cứu này tập trung giải quyết 2 công việc chính như sau: - Đề xuất kiến trúc Attention Smooth GAN, kiến trúc này tập trung vào việc xử lý đặc trưng nông và sâu để có thể trích xuất đặc trưng tốt hơn nhằm sinh ra ảnh chất lượng tốt. - Đề xuất hàm mất mát Smooth GAN để giám sát tốt hơn đầu ra của mạng sinh ảnh. Các kết quả này được trình bày trong phần 3 vào phần 4 trình bày những kết quả thực nghiệm cũng như các đánh giá. Phần cuối cùng là một vài kết luận và những hướng nghiên cứu còn bỏ ngỏ khi đề cập đến bài toán sinh ảnh trong lĩnh vực y khoa. 3. PHƯƠNG PHÁP NGHIÊN CỨU 3.1 Attention Attention[16] được giới thiệu lần đầu tiên năm 2017, do Ashish Vaswani và các cộng sự đề xuất, khối kiến trúc này có đặc điểm là dựa vào quá trình huấn luyện các đặc trưng quan 71
trọng của đối tượng sẽ được nổi bật hơn so với các đặc trưng kém quan trọng, điều này giúp mô hình có thể xử lý tốt hơn thông tin mà đặc trưng mang lại. 𝑄𝐾 𝑇 𝑌 = 𝐴𝑡𝑡𝑒𝑛𝑡𝑜𝑛 (𝑄, 𝐾, 𝑉) = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 ( ) 𝑉 √𝐷 Trong đó: Q là ma trận (tập hợp) các truy vấn (queries), K là ma trận khóa (key) và V là giá trị (value) là 3 biểu diễn của kiến trúc attention, 𝐷 là số chiều của khối attention. Nghiên cứu này sẽ tổng quát hóa lại quá trình hoạt động của Attention như sau: - Đầu vào (Input) : 𝑥 ( 𝑁𝑥𝐷), 𝑄 (𝑀𝑥𝐷) - Toán tử: • Key vectors: 𝐾 = 𝑥𝑊 𝑘 • Value vector: 𝑉 = 𝑥𝑊𝑣 • Alignment: 𝑒 𝑖,𝑗 = 𝑄 𝑗 𝐾 𝑖 /√𝐷 • Attention: 𝑎 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑒) - Đầu ra (Output): 𝑌𝑗 = ∑ 𝑖 𝑎 𝑖,𝑗 𝑉𝑖 Hình 1. Kiến trúc của Attention 3.2 Attention GAN Khối kiến trúc Attention GAN được chia làm hai phần: khối Generator và Discriminator. Generator được lấy ý tưởng từ kiến trúc Unet [17] gồm có hai nhánh là Encoder, Decoder và kết nối giữa hai nhánh này là các kết nối dựa trên kiến trúc ResNet với các skip connection: - Khối Encoder được tạo bởi 6 khối Attention downsampling module nhằm rút trích được các đặc trưng nông tốt hơn, giúp mô hình tập trung vào các khu vực quan trọng của ảnh đầu vào, từ đó mã hóa thông tin chính xác và hiệu quả hơn. Điều này đặc biệt quan 72
Trần Đình Toàn và CS trọng đối với việc nắm bắt các đặc điểm phức tạp và khó, giúp cải thiện chất lượng của các đặc trưng được trích xuất. - Phần thứ hai là nhánh Decoder được tạo tương ứng với 6 khối Attention upsampling module, các khối attention giúp mô hình “nhớ” và tái sử dụng các đặc trưng quan trọng từ nhánh encoder một cách hiệu quả. Điểm này giúp cải thiện khả năng suy luận cấu trúc của đối tượng mục tiêu từ các đặc trưng được mã hóa, dẫn đến việc tạo ra kết quả chính xác hơn. - Ngoài ra khối attention giúp tối ưu hóa quá trình truyền thông tin giữa nhánh encoder và decoder bằng cách “lọc” và tập trung vào thông tin hữu ích nhất. Qua đó, giảm thiểu sự mất mát thông tin quan trọng trong quá trình truyền đạt và cải thiện khả năng suy luận đặc trưng của mô hình. Thêm vào đó khối Attention đánh trọng số mạnh vào các đặc trưng quan trọng giúp giảm nhiễu và tăng cường độ chính xác. - Nghiên cứu này kết nối hai nhánh Encoder và Decoder bằng các khối skip connection để quá trình huấn luyện các đặc trưng được kế thừa nhau có thể mượt (smooth) hơn làm tăng độ chính xác của mô hình. Khối kiến trúc này được thể hiện như hình sau: Hình 2. Kiến trúc mạng được đề xuất 3.3 Attention Smooth GAN Với kiến trúc GAN [18] thông thường, z đại diện cho một vector ngẫu nhiên được tạo ra từ một phân phối bất kì Gaussian. Vấn đề này yêu cầu tối ưu hóa theo dạng đối kháng, trong đó mạng sinh (Generator Network) được huấn luyện để tạo ra ảnh mà mạng phân biệt (Discriminator Network) không thể phân biệt được là giả. Ngược lại, mạng phân biệt được huấn luyện để phân biệt giữa các ảnh giả được tạo ra bởi mạng sinh và các ảnh thật. Quá trình này được thực hiện thông qua việc tối ưu hóa hàm mục tiêu theo công thức dưới đây: 𝑚𝑖𝑛 𝑚𝑎𝑥𝑉(𝐷, 𝐺) = 𝐸 𝑦~𝑝 𝑑𝑎𝑡𝑎 (𝑦)⌈𝑙𝑜𝑔𝐷(𝑦)⌉ + 𝐸 𝑥~𝑝 𝑧 (𝑧) ⌈𝑙𝑜𝑔 (1 − 𝐷(𝐺(𝑧)))⌉ 𝐺 𝐷 Với cGAN có một sự thay đổi nhỏ khi xác định hàm mất mát và được trực quan ở Hình 3: 𝑚𝑖𝑛 𝑚𝑎𝑥𝑉(𝐷, 𝐺) = 𝐸 𝑦~𝑝 𝑑𝑎𝑡𝑎, 𝑥~𝑝 𝑑𝑎𝑡𝑎 (𝑦, 𝑥) + 𝐸 𝑥~𝑝 𝑑𝑎𝑡𝑎 (𝑥)⌈𝑙𝑜𝑔(1 − 𝐷(𝐺(𝑥), 𝑥))⌉ 𝐺 𝐷 73
Hình 3. Trực quan quá trình xử lý của cGAN Điểm yếu của hàm mất mát này là chỉ chú trọng vào việc đánh lừa khối Discriminator, dẫn đến trong quá trình học khối Discriminator dễ bị hội tụ sớm làm tắt nghẽn quá trình tối ưu, để giảm thiểu vấn đề vừa phân tích nghiên cứu này kết hợp hàm loss L1 vào cGAN nhằm giám sát thêm quá trình của khối Generator, hàm mục tiêu Smooth cGAN này được biểu diễn như sau: 𝐺 ∗ = arg min [𝐿1 + max 𝐿 𝐺𝐴𝑁 (𝐺, 𝐷)] 𝑤𝑒𝑖𝑔ℎ𝑡 𝐺 𝑤𝑒𝑖𝑔ℎ𝑡 𝐷 Hàm loss L1 tính toán sự khác biệt tuyệt đối giữa giá trị dự đoán và giá trị thực tế, điều này giúp GAN có khả năng tạo ra các ảnh có chi tiết gần giống hơn với ảnh thật. Điều này là do loss L1 phạt mạnh các sai số lớn, từ đó đảm bảo rằng các đặc điểm tổng thể của ảnh được bảo toàn, giảm bớt các hiện tượng nhiễu và bóng mờ trong các bản tái tạo, do loss L1 thường xu hướng tạo ra các giá trị trung bình, từ đó làm giảm sự xuất hiện của các nét cực đoan trong ảnh tạo ra. Ngoài ra trong GANs, việc mô hình generator và discriminator cạnh tranh có thể dẫn đến không ổn định trong quá trình huấn luyện. Sử dụng loss L1 có thể giúp ổn định quá trình học, vì nó ít nhạy cảm với các điểm dữ liệu ngoại lai so với hàm loss L2. 4. THỰC NGHIỆM VÀ KẾT QUẢ 4.1 Dữ liệu Trong chẩn đoán bệnh ung thư vú, bước kiểm tra mô tế bào học giữ một vai trò trọng yếu vì là bước cơ bản được coi là tiêu chuẩn vàng để đưa ra các quyết định liên quan đến phương pháp điều trị bệnh. Đó là một phần của quá trình thực hiện nhuộm mô bằng Hematoxylin và Eosin (H&E), qua đó cung cấp khả năng nhận biết sự có mặt của bệnh ung thư. Hematoxylin là một loại màu nhuộm tự nhiên, được lấy từ cây Hematoxylon Campechianum, cùng với Eosin - muối Natri của một loại acid màu, tạo nên phương pháp nhuộm H&E [19]. Tuy nhiên, 74
Trần Đình Toàn và CS điểm hạn chế của phương pháp này là không xác định được giai đoạn căn bệnh ung thư vú. Đối mặt với vấn đề này, kỹ thuật ImmunoHistoChemistry (IHC) đã được áp dụng nhằm nhuộm mô sử dụng các chất miễn dịch, qua đó cho phép xác định mức độ hiện diện của thụ thể protein HER2 trên bề mặt tế bào ung thư. Theo cách này, kết quả cho phép xác định tế bào bệnh có phản ứng tích cực hay tiêu cực đối với HER2 [20]. Nhóm nghiên cứu của Liu và các đồng nghiệp đã giới thiệu một tập hợp dữ liệu mới mang tên BCI (Breast Cancer Immunohistochemical) trong sự kiện hội nghị CVPR 2022 [11]. Bên cạnh đó, họ cũng xây dựng một bộ chuẩn mực (benchmark) nhằm khuyến khích việc phát triển các kỹ thuật tiên tiến giải quyết vấn đề này. Bộ dữ liệu BCI chứa 4873 cặp ảnh dùng cho quá trình huấn luyện và 977 ảnh dành cho việc thử nghiệm, đồng thời cung cấp các kết quả đánh giá theo các cấp độ phản ứng của phương pháp IHC. 4.2 Độ đo và thực nghiệm 4.2.2. Độ đo PSNR [21]: Dùng để đo chất lượng dữ liệu khôi phục được của các thuật toán có mất mát dữ liệu. Thông thường PSNR càng cao thì chất lượng khôi phục càng tốt. Đơn vị đo (db). 𝑀𝐴𝑋 𝐼 𝑃𝑆𝑁𝑅 = 20𝑙𝑜𝑔10 ( ) √𝑀𝑆𝐸 Trong đó: 𝑀𝐴𝑋 𝐼 là giá trị pixel lớn nhất tương ứng với loại ảnh n bit (2 𝑛−1 ). Với ảnh 8 bit khoảng giá trị chấp nhận từ 30db – 50db. Với ảnh 16 bit khoảng giá trị chấp nhận từ 60db – 80db. SSIM [21]: Đây là phép đo mức độ giống nhau về cấu trúc của ảnh gốc cần xem xét, so với ảnh đó sau khi đã bị biến đổi cấu trúc, chịu ảnh hưởng bởi độ sáng, và có suy giảm thông tin. (2𝜇 𝑥 𝜇 𝑦 + 𝑐1 )(2𝜎 𝑥~𝑦 + 𝑐2 ) 𝑆𝑆𝐼𝑀(𝑖) = (𝜇2 + 𝜇2 + 𝑐1 )(𝜎 2 + 𝜎 2 +𝑐2 ) 𝑥 𝑦 𝑥 𝑦 Được xây dựng trên cơ sở sử dụng hai cửa sổ trượt Gaussian, với mỗi cửa sổ sẽ trượt trên từng ảnh được sinh ra và ảnh nhãn của bộ dữ liệu để tính được kì vọng, phương sai và hiệp phương sai của mỗi ma trận sau khi trượt và kết quả có được với i là tọa độ của cửa sổ trượt. Với 𝜇, 𝜎, 𝜎~ lần lượt là kì vọng, phương sai và hiệp phương sai. 4.2.2. Các thực nghiệm Đầu tiên, tiến hành thực nghiệm lại các thuật toán dựa trên nền tảng của các nghiên cứu đã công bố trước đó như cycleGAN, Pix2pix(unet generator), Pix2pix(resnet generator), HDMG Unet, DWT Encoder-decoder, WMD-CGAN nhằm mục đích đánh giá tổng thể, toàn diện về hiệu suất và khả năng của các thuật toán này. Tiếp theo, thực nghiệm với thuật toán đề xuất Attention Smooth GAN (Our): - Kích thước ảnh đầu vào được giảm xuống 256x256, thấp hơn so với kích thước ảnh 512x512 của các thuật toán trước đó, qua đó giảm đáng kể tài nguyên tính toán cho hệ thống và giảm thời gian huấn luyện mô hình, kết quả đạt được vẫn tốt. - Giữ nguyên phần chuẩn hóa ảnh với kì vọng và phương sai đều là 0.5 so với các thuật toán trước đó. 75
- Sử dụng thuật toán tối ưu với ADAM optimizer (𝛽1 = 0.5, 𝛽2 = 0.9999) với 200 epoch, khởi tạo với learning rate bằng 4e-04 giữ nguyên giá trị đến epoch thứ 100 và giảm dần về 0 khi đến epoch 200. 4.3 Kết quả Hình 4. Trực quan quá trình Huấn luyện của Attention Smooth GAN. Hình 5. Trực quan quá trình thay đổi của hàm Discriminator loss. Bảng 1. Kết quả thực nghiệm và đối sánh Result = 𝟎. 𝟒 × 𝑷𝑺𝑵𝑹 + 1. PSNR SSIM 𝟎. 𝟔 × 𝑺𝑺𝑰𝑴 × 𝟏𝟎 𝟐 76
Trần Đình Toàn và CS cycleGAN [11] 16.203 0.373 28.86 Pix2pix(unet generator) [11] 18.654 0.419 32.60 Pix2pix(resnet generator) [11] 19.328 0.440 34.13 HDMG Unet [14] 17.82 0.4517 34.23 DWT Encoder-decoder [14] 16.94 0.4273 32.14 WMD-CGAN[14] 19.38 0.4817 36.65 Attention Smooth GAN (Our) 20.3616 0.5468 40.95 5. KẾT LUẬN Trong nghiên cứu này, đã đề xuất mô hình Attention Smooth GAN chuyển đổi ảnh mô vú HE thành ảnh IHC để hỗ trợ bác sĩ chẩn đoán bệnh và lập phác đồ điều trị cho bệnh nhân ung thư vú. Thực nghiệm được tiến hành trên bộ dữ liệu BCI với thuật toán đề xuất đã giảm thiểu tài nguyên tính toán và kết quả đạt được khá tốt, thời gian huấn luyện mô hình được giảm thiểu đáng kể có thể áp dụng cho các công việc theo yêu cầu thời gian thực. Hướng tiếp theo, sẽ nghiên cứu cải tiến phương pháp sinh ảnh kết hợp mô hình Diffusion để giải quyết vào các trường hợp sinh ảnh ở mức 2+ và 3+ của bộ dữ liệu BCI. Và kết hợp các mô hình ngôn ngữ lớn để có thể tạo ra một hệ thống hỗ trợ đưa ra các khuyến nghị, đọc hiểu được dữ liệu ảnh nhằm giảm thiểu công việc của bác sĩ và thời gian chờ của bệnh nhân. 6. LỜI CẢM ƠN Nghiên cứu này được hoàn thành dưới sự hỗ trợ của đề tài nghiên cứu Khoa học và phát triển công nghệ theo hợp đồng số 14/HĐ-DCT ngày 09/01/2024 của Trường Đại học Công Thương Thành phố Hồ Chí Minh. TÀI LIỆU THAM KHẢO 1. Mỗi năm Việt Nam có 21.550 ca mắc ung thư vú, khuyến cáo của chuyên gia chị em cần biết - Tin liên quan - Cổng thông tin Bộ Y tế [Internet]. Available from: https://moh.gov.vn/tin- lien-quan/-/asset_publisher/vjYyM7O9aWnX/content/moi-nam-viet-nam-co-21-550-ca-mac- ung-thu-vu-khuyen-cao-cua-chuyen-gia-chi-em-can-biet?inheritRedirect=false 2. Thứ trưởng Bộ Y tế: Ung thư vú được chẩn đoán sớm, tỷ lệ sống thêm 5 năm có thể đến 90% - Tin nổi bật - Cổng thông tin Bộ Y tế [Internet]. Available from: https://moh.gov.vn/tin- noi-bat/-/asset_publisher/3Yst7YhbkA5j/content/thu-truong-bo-y-te-ung-thu-vu-uoc-chan- oan-som-ty-le-song-them-5-nam-co-the-en-90- 3. Vinmec Times City khám sàng lọc Ung thư vú (UTV) miễn phí cho hơn 100 phụ nữ | Vinmec [Internet]. Available from: https://www.vinmec.com/vi/hoat-dong-vi-cong-dong/suc- khoe-phu-nu/vinmec-times-city-kham-sang-loc-ung-thu-vu-mien-phi-cho-hon-100-phu-nu/ 4. Điều trị ung thư vú dương tính với HER2 | Vinmec [Internet]. Available from: https://www.vinmec.com/vi/tin-tuc/thong-tin-suc-khoe/suc-khoe-tong-quat/dieu-tri-ung-thu- vu-duong-tinh-voi-her2/ 77
5. Anoosheh A, Sattler T, Timofte R, Pollefeys M, Van Gool L. Night-to-Day Image Translation for Retrieval-based Localization. 2018; Available from: http://arxiv.org/abs/1809.09767 6. Arruda VF, Paixão TM, Berriel RF, De Souza AF, Badue C, Sebe N, et al. Cross-Domain Car Detection Using Unsupervised Image-to-Image Translation: From Day to Night. 2019; Available from: http://arxiv.org/abs/1907.08719 7. Schutera M, Hussein M, Abhau J, Mikut R, Reischl M. Night-to-Day: Online Image-to- Image Translation for Object Detection Within Autonomous Driving by Night. IEEE Transactions on Intelligent Vehicles. 2020; 8. Shiotsuka D, Lee J, Endo Y, Javanmardi E, Takahashi K, Nakao K, et al. GAN-Based Semantic-Aware Translation for Day-to-Night Images. Digest of Technical Papers - IEEE International Conference on Consumer Electronics. 2022;2022-January. 9. Karras T, Aittala M, Hellsten J, Laine S, Lehtinen J, Aila T. Training Generative Adversarial Networks with Limited Data. Adv Neural Inf Process Syst [Internet]. 2020;2020-December. Available from: https://arxiv.org/abs/2006.06676v2 10. Xu R, Wang X, Chen K, Zhou B, Loy CC. Positional Encoding as Spatial Inductive Bias in GANs. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition [Internet]. 2020;13564–73. Available from: https://arxiv.org/abs/2012.05217v1 11. Liu S, Zhu C, Xu F, Jia X, Shi Z, Jin M. BCI: Breast Cancer Immunohistochemical Image Generation through Pyramid Pix2pix [Internet]. 2022. Available from: https://bupt-ai- cz.github. 12. Bai B, Yang X, Li Y, Zhang Y, Pillar N, Ozcan A. Deep Learning-enabled Virtual Histological Staining of Biological Samples. 2022. 13. Li F, Hu Z, Chen W, Kak A. Adaptive Supervised PatchNCE Loss for Learning H&E-to- IHC Stain Translation with Inconsistent Groundtruth Image Pairs. 2023; Available from: http://arxiv.org/abs/2303.06193 14. Toàn TĐ, Toàn NĐ, Hưng LM, Lăng TV. PHƯƠNG PHÁP WMD-CGAN BIẾN ĐỔI ẢNH NHUỘM MÔ HE THÀNH ẢNH IHC NHẰM HỖ TRỢ XÁC ĐỊNH PHÁC ĐỒ ĐIỀU TRỊ UNG THƯ VÚ. In: Proceedings of the 15th National Conference on Fundamental and Applied Information Technology Research (FAIR’2022). Nhà xuất bản Khoa học tự nhiên và Công nghệ; 2022. p. 413–22. 15. Toan TD, Toan ND, Hung LM, Thuc HLU. BREASTHISTOLOGYGEN: SOME UNCONDITIONAL BREAST CANCER GENERATIVE IMAGING METHODS BASED ON EXPLICIT AND IMPLICIT DENSITY ESTIMATES. In: Proceedings of the 16th National Conference on Fundamental and Applied Information Technology Research 78
Trần Đình Toàn và CS (FAIR’2023) [Internet]. Nhà xuất bản Khoa học tự nhiên và Công nghệ; 2023. p. 27–36. Available from: http://vap.ac.vn/proceedingvap/proceeding/article/view/1178 16. Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, et al. Attention Is All You Need. 2017 Jun 12; Available from: http://arxiv.org/abs/1706.03762 17. Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. 2015; Available from: http://arxiv.org/abs/1505.04597 18. Goodfellow IJ, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, et al. Generative Adversarial Networks. 2014 Jun 10; Available from: http://arxiv.org/abs/1406.2661 19. Phương pháp nhuộm Hematoxylin & Eosin (H&E) | BvNTP [Internet]. Available from: https://bvnguyentriphuong.com.vn/giai-phau-benh/phuong-phap-nhuom-hematoxylin-eosin- he 20. IHC test trong xét nghiệm ung thư vú dương tính với HER2 | Vinmec [Internet]. Available from: https://www.vinmec.com/vi/serviceline-vu/suc-khoe-thuong-thuc/ihc-test-trong-xet- nghiem-ung-thu-vu-duong-tinh-voi-her2/ 21. Horé A, Ziou D. Image quality metrics: PSNR vs. SSIM. Proceedings - International Conference on Pattern Recognition. 2010;2366–9. ABSTRACT ATTENTION SMOOTH GAN: A MODEL FOR CONVERTING IHC TISSUE IMAGES FROM HE IMAGES Tran Dinh Toan1,*, Hoang The Anh1, Nguyen Thi Hong Quyen1, Tran Xuan Quynh Phuong1, Luu Quoc Trung1, Nguyen Ngo Cuong1, Nguyen Duc Toan2 1,* Ho Chi Minh City University of Industry and Trade 2 Company Joinstock Precision Medical Email: toantd@huit.edu.vn This study proposes a deep learning model called Attention Smooth GAN that converts HE breast tissue images to IHC to assist doctors in early detection of abnormal development of proteins and provide detailed information about protein expression through this helps diagnose the disease, and the results can be used to create a treatment plan for the patients. Based on previous research, make improvements to create the above model to increase the accuracy of the algorithm. Experiments were performed on the Breast Cancer Immunohistochemical (BCI) dataset published at the CVPR 2022 conference, the results achieved with a PSNR measure of 20.3616 and SSIM of 0.5468 are better than previous studies and the research of the authors announced at the FAIR2022 conference. 79
Keywords: ATTENTION SMOOTH GAN, BCI, HE, IHC Tôi xin cam kết bài báo này chưa được đăng và gửi đăng ở bất kỳ tạp chí nào khác. Tác giả: Họ và tên: Trần Đình Toàn Số điện thoại liên hệ: 0913681818 80