Khai thác yếu tố tần suất triệu chứng trong chẩn đoán giai đoạn ban đầu bằng các giải thuật học sâu

Chia sẻ: Liễu Yêu Yêu | Ngày: | Loại File: PDF | Số trang:6

Thêm vào BST

Báo xấu

17
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Bài viết "Khai thác yếu tố tần suất triệu chứng trong chẩn đoán giai đoạn ban đầu bằng các giải thuật học sâu" y đề xuất phương pháp chẩn đoán bệnh từ thông tin mô tả triệu chứng từ người bệnh bằng tiếng Việt, có chú ý khai thác yếu tố tần suất xuất hiện của các triệu chứng dựa trên các phương pháp học sâu. So với các công trình trước đây không chú ý đến yếu tố tần suất, độ chính xác đạt được của bài báo này cải thiện được trên 2%. Kết quả thử nghiệm đạt độ chính xác cao là rất đáng khích lệ cho hướng tiếp cận này. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Khai thác yếu tố tần suất triệu chứng trong chẩn đoán giai đoạn ban đầu bằng các giải thuật học sâu

Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) Khai thác yếu tố tần suất triệu chứng trong chẩn đoán giai đoạn ban đầu bằng các giải thuật học sâu Huỳnh Trung Trụ và Nguyễn Trung Hiếu Khoa Công Nghệ Thông Tin II, Học Viện Công Nghệ Bưu Chính Viễn Thông Email: truht@ptithcm.edu.vn, hieunt.tg@ptithcm.edu.vn Abstract— Các triệu chứng người bệnh mô tả có nhiều ý cho đến dữ liệu cảm biến. Đặc điểm chung của các loại nghĩa trong quá trình chẩn đoán và chữa bệnh. Trong dữ liệu này là phức tạp, không đồng nhất, chú thích đó, tần suất xuất hiện các triệu chứng là yếu tố quan kém và cơ bản là không có cấu trúc. Để xử lý tốt các trọng không thể bỏ qua. Xây dựng được các hệ thống dữ liệu này cần nền tảng kiến thức miền đầy đủ và thông minh hiểu được các thông tin này nhằm chẩn đoán bệnh ban đầu sẽ giúp việc phân luồng người bệnh vào chuyên sâu. khám chuyên khoa nhanh chóng và hiệu quả hơn. Bài Bài báo này đề xuất phương pháp xử lý và khai phá báo này đề xuất phương pháp chẩn đoán bệnh từ thông dữ liệu không chuyên sâu. Đó là dữ liệu mô tả triệu tin mô tả triệu chứng từ người bệnh bằng tiếng Việt, có chứng của người bệnh. Thông thường, những mô tả về chú ý khai thác yếu tố tần suất xuất hiện của các triệu triệu chứng chưa thể là cơ sở cho các bác sỹ nhận định chứng dựa trên các phương pháp học sâu. So với các bệnh. Tuy nhiên, đó cũng cũng là những thông tin có công trình trước đây không chú ý đến yếu tố tần suất, độ nhiều ý nghĩa trong quá trình chẩn đoán bệnh. Vì vậy, chính xác đạt được của bài báo này cải thiện được trên nghiên cứu khai thác nguồn dữ liệu này là động lực cho 2%. Kết quả thử nghiệm đạt độ chính xác cao là rất đáng các tác giả thực hiện bài báo này. khích lệ cho hướng tiếp cận này. Phần tiếp theo của bài báo sẽ trình bày một số công Keywords- Corpus, Deep Learning, Healthcare, trình liên quan về học sâu và về y tế ở mục 2. Mục 3 sẽ Physical exam. trình bày về phương pháp thực hiện của bài báo này từ quá trình chuyển đổi và xử lý dữ liệu đến các cấu hình I. GIỚI THIỆU của một số giải thuật học sâu dùng trong thử nghiệm để đánh giá phương pháp đề xuất. Mục 4 sẽ trình bày các Ứng dụng các kỹ thuật tuệ nhân tạo trong lĩnh vực kết quả đạt được và các ý kiến thảo luận. Phần trình y tế đã được quan tâm từ rất lâu. Mong muốn xây dựng bày những ý kiến kết luận và hướng phát triển tiếp dựa các hệ thống hỗ trợ chăm sóc sức khỏe hoặc thăm trên kết quả đạt được từ bài báo này sẽ trình được bày khám bệnh tự động là mong muốn rất lớn của mọi trong mục 5. người không chỉ của các nhà khoa học. Khoa học kỹ thuật và công nghệ phát triển, nhất là sự phát triển của II. CÁC CÔNG TRÌNH LIÊN QUAN khoa học máy tính, cùng với các phương pháp học sâu. Do được quan tâm nhiều nên các thử nghiệm dùng trí Nhiều công trình nghiên cứu về lĩnh vực này trên thế tuệ nhân tạo trong y học khá đa dạng. Các công trình giới với những kết quả rất tốt đã được công bố [1]. Ứng thường nghiên cứu chuyên sâu vào một bệnh cụ thể. dụng tiến bộ của khoa học máy tính trong các công Madison Beary và cộng sự [14] giới thiệu một mô trình nghiên cứu này khá đa dạng, từ thị giác máy tính, hình học sâu phân loại trẻ em khỏe mạnh hoặc có khả nhận dạng giọng nói cho đến xử lý ngôn ngữ tự nhiên năng mắc chứng tự kỷ. Mô hình Madison Beary sử cho tiếng Anh. Khi xử lý dữ liệu lĩnh vực y khoa, dụng là CNN kết hợp với mô hình MobileNet [15]. những công trình xử lý bài toán chuyên sâu theo Kết quả Madison Beary đạt được rất tốt, độ chính xác chuyên ngành hẹp như [6] và [7] cần chi phí và công đạt đến 94,6%. Tác giả Amjad Rehman [16] và các sức rất lớn. cộng sự phân loại bệnh bạch cầu mãn tính dòng tế bào Học hiểu tri thức y sinh là điều khó khăn nhưng rất lympho sử dụng mô CNN phân loại ảnh chụp tế. Độ quan trọng. Quá trình thu thập tri thức, học để hiểu biết chính xác mà Amjad Rehman và cộng sự đạt được lên từ dữ liệu chủ đề này phức tạp, nhiều chiều và không đến 97.78%. Tác giả A.Z. Peixinho [17] và cộng sự đồng nhất vẫn là một thách thức lớn trong việc xây thử nghiệm chẩn đoán ký sinh trùng đường ruột ở dựng kho dữ liệu để huấn luyện các hệ thống học sâu. người bằng phương pháp học mạng nơ-ron tính chập Dữ liệu của lĩnh vực y tế là rất nhiều và đa dạng. Nhiều ConvNet. Độ chính xác trong thử nghiệm của [17] loại dữ liệu khác nhau xuất hiện trong nghiên cứu y cũng đạt mức 96.49%. Trong công trình [18], Jae- sinh hiện đại, từ hồ sơ sức khỏe điện tử, hình ảnh, … ISBN 978-604-80-7468-5 409
Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) Hong Leea và các cộng sự thử nghiệm phát hiện và không thể bỏ qua các thông số cơ bản này vì chúng chẩn đoán sâu răng dựa vào thuật toán hoạc sâu mạng góp phần vào nhận định phân loại bệnh trong giai đoạn nơ-ron CNNs, kết quả đạt được cũng rất tốt, độ chính đầu của quá trình khám chữa bệnh. xác ở mức 95%. Bài báo này đề xuất phương pháp tiếp cận xử lý biến Các công trình đề cập ở phần trên đạt được độ chính đổi các thông tin mô tả bệnh thành cơ sở tri thức cho xác rất cao khi thử nghiệm giải quyết bài toán xác định các giải thuật học sâu ở dạng ngôn ngữ tự nhiên. một loại bênh cụ thể. Ở một khía cạnh khác của các A. Xây dựng kho dữ liệu mô tả bệnh vấn đề liên quan đến y tế, Adnan Muhammad Shah [2] và các cộng sự thử nghiệm phân tích tâm lý của bệnh 1. Tiền xử lý dữ liệu nhân về chất lượng cung cấp dịch vụ châm sóc sức Dữ liệu thử nghiệm của bài báo này được các tác khỏe dựa trên các ý kiến và các hình ảnh. Khả năng giả thu thập từ các bệnh án ở một số bệnh viện và hiểu dữ liệu của các giải thuật học sâu trong lĩnh vực phòng khám tư nhân. Các bệnh án thường được lưu này cũng rất tốt. Độ chính xác tốt nhất mà Adnan trong các hệ quản trị cơ sở dữ liệu quan hệ, trong các Muhammad Shah cùng với các cộng sự thu được lên trường riêng biệt. Để cùng dữ liệu này huấn luyện các giải thuật học sâu, các tác giả rút trích dữ liệu và kết đến 97.75%. Với tiếng Việt, các giải thuật học sâu hợp thành một văn bản duy nhất. Quá trình xử lý tạo trong lĩnh vực xử lý ngôn ngữ tự nhiên cũng được kho dữ liệu được thực hiện theo các bước: dùng trong nhiều công trình, nhất là cho lĩnh vực phân Bước 1: Rút trích dữ liệu của mỗi ca khám và kết loại ý kiến đánh giá sản phẩm như [19] và [20]. Độ luận của các bác sỹ thực hiện khám. chính xác đạt được trong các công trình này cũng khá Bước 2: Tạo văn bản cho mỗi ca khám bệnh. Dữ tốt, ở mức trên 80%. Ở công trình [19] Duy Nguyen liệu mỗi ca khám sẽ được tạo thành một văn bản. Ngoc và các cộng sự đã thử nghiệm phân loại ý kiến Trong đó, mỗi câu trong văn bản là một thông tin theo cho tiếng Anh và tiếng Việt để nhận thấy các giải thuật khía cạnh như tiền sử bệnh, chẩn đoán, kết luận … học sâu không phụ thuộc vào ngôn ngữ và chủ đề. Ví dụ 1: “Cao 165 cm, nặng 42 kg, huyết áp … Đã Nhóm tác giả [21] đề xuất phương pháp khai phá bị lao cách đây 8 năm. Hay chóng mặt, choáng váng, thông tin mô tả bệnh tiếng Việt để chẩn đoán một số mờ mắt, ngất, run tay, thiếu cân. Khả năng bị hạ huyết bệnh bằng phương pháp học sâu. Phương pháp bài báo áp”. này đề xuất dựa trên các kỹ thuật xử lý ngôn ngữ tự Sau khi xử lý các yếu tố về tần suất, ví dụ mô tả nhiên đối với tiếng Việt, nhưng chưa chú ý khai thác bệnh trên trở thành: yếu tố tần suất triệu chứng, trong quá trình xây dựng “Cao 165 cm, nặng 42 kg, huyết áp … Đã bị lao kho dữ liệu huấn luyện hệ thống học sâu, độ chính xác cách đây 8 năm. Hay chóng mặt, thỉnh thoảng choáng đạt 82.31%. Vì vậy, vấn đề sử dụng các giải thuật học váng, mờ mắt, đôi khi ngất, thường xuyên run tay, thiếu sâu cho lĩnh vực xử lý ngôn ngữ tự nhiên là cần xây cân. Khả năng bị hạ huyết áp”. dựng kho ngữ liệu chất lượng để chúng có thể học tốt Ví dụ 2: “Cao 153 cm, nặng 56 kg. Hay nôn, thường đi tiêu chảy, mạch lên dội, thừa cân. Khả năng tri thức của lĩnh vực cần xử lý. Từ những kết quả đạt bị viêm đường ruột”. được của các nghiên cứu trên, bài báo này đề xuất thử Sau khi xử lý các yếu tố về tần suất, ví dụ mô tả nghiệm các phương pháp học sâu đối với miền dữ liệu bệnh trên trở thành: là các mô tả triệu chứng của người bệnh, nhằm tìm “Cao 153 cm, nặng 56 kg. Hay nôn, thường đi tiêu kiếm khả năng hỗ trợ chẩn đoán bệnh. Việc xây dựng chảy, thỉnh thoảng mạch lên dội, thừa cân. Khả năng bị được một hệ thống chẩn đoán bệnh như vậy sẽ góp viêm đường ruột”. phần mang lại lợi ích cho cả người bệnh lẫn các cơ sở Sau quá trình thu thập và xử lý dữ liệu như trên, bài y tế. báo có được một kho dữ liệu với số liệu như bảng 1. Số văn bản dùng làm dữ liệu thử nghiệm được chọn III. PHƯƠNG PHÁP ĐỀ XUẤT ngẫu nhiên bằng giải thuật của hệ quản trị MS SQL Để chẩn đoán và chữa bệnh, các bác sỹ sẽ cần rất Server 2014. nhiều thông tin liên quan đến người bệnh. Vì vậy, các bệnh án thường là tập hợp của nhiều yếu tố như số đo Bảng 1. Số liệu kho dữ liệu bệnh án bằng tiếng Việt huyết áp, thân nhiệt, hoặc các chỉ số trong xét nghiệm Đặc tính Số lượng … Đây là những giá trị có ý nghĩa quan trọng thuộc về Số bệnh nhân 7.123 chuyên ngành khoa học sức khỏe. Các giá trị này Số văn bản huấn luyện 11.794 thường là các giá trị định lượng nên nếu chỉ xem các Số văn bản thử nghiệm 3001 giá trị này như một từ hoặc cụm từ trong ngôn ngữ tự nhiên có thể dẫn đến chẩn đoán hoặc nhận định sai Số loại nhãn (loại bệnh) 3 trong khám chữa bệnh. Tuy nhiên, bên cạnh những giá 2. Tạo dữ liệu cho mô hình học sâu trị định lượng của kết quả trong khám cận lâm sàng có Bài báo này sử dụng phương pháp word2vec [12] tính chuyên môn sâu về y khoa, những thông số của tính toán đặc trưng của dữ liệu để tạo ma trận dữ liệu quá trình khám tổng quát như chiều cao, cân nặng, đầu vào cho các mô hình học sâu. Word2vec chứa mô huyết áp … không đòi độ chính xác cao. Tuy nhiên, hình Continuous Bag-of-Words (CBOW) và mô hình ISBN 978-604-80-7468-5 410
Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) Skip-Gram [13]. Mô hình CBOW dự đoán từ mục tiêu của full-connected là kết quả cuối cùng của quá trình (ví dụ: từ “chẩn” có thể tìm ra khi dùng từ “đoán” nếu huấn luyện. trong kho ngữ liệu có hai từ, và hai từ này cùng xuất 2. LSTM: Mô hình LSTM [8] thuộc nhóm phương hiện trong một số ngữ cảnh) từ các từ cùng ngữ cảnh pháp học sâu hồi quy (Recurrent Neural Networks – với nó. Tương tự như CBOW, mô hình Skip-Gram RNN) được mô tả như ở hình 2. Mô hình LSTM có cũng thực hiện tính toán độ tương quan giữa các từ các kết nối giữa các neural tạo thành dạng có hướng có trong kho ngữ liệu. Tuy nhiên, Skip-Gram thực hiện ngược lại, lấy một từ làm đầu vào và dự đoán tất cả tính chu kỳ. Mô hình này có khả năng học các phụ những từ khác ở đầu ra. thuộc dài đối với dữ liệu tuần tự. Cấu trúc một module lặp RNN trong LSTM có bốn lớp tương tác theo các B. Sơ lược một số phương pháp học sâu chức năng riêng biệt. Bên cạnh đó, nó có hai trạng thái: trạng thái ẩn và trạng thái tế bào (cell state). Hình 1. CNN [3]: CNN là một mô hình học sâu tiên tiến 2 minh họa mô hình LSTM. Tại thời điểm t, trước hết, được nhiều nhà khoa học biết đến. Mô hình này giúp cho chúng ta xây dựng được những hệ thống xử lý LSTM quyết định thông tin nào sẽ được đổ vào trạng thông minh, cho kết quả có độ chính xác cao trong thái tế bào. Quyết định này được thực hiện bởi hàm nhiều lĩnh vực như thị giác máy tính cũng như xử lý sigmoid hoặc tầng , còn được gọi là cổng quên ngôn ngữ tự nhiên. Mô hình CNN được trình bày ở (forget gate). Hàm lấy ℎt-1 ở đầu ra từ lớp ẩn trước đó, hình 1 có các layer liên kết được với nhau thông qua và xt, đầu vào hiện tại, và xuất ra một số có giá trị cơ chế tích chập (convolution). Dữ liệu đầu vào của trong đoạn [0, 1]. Trong đó, giá trị 1 có nghĩa là giữ layer này là kết quả tích chập từ layer trước đó nên hoàn toàn, giá trị 0 có nghĩa là bỏ qua hoàn toàn theo chúng ta có được các kết nối cục bộ trong quá trình công thức (2). tính toán. Sự kết hợp này giúp chúng ta biểu diễn ft = (Wfxt + Ufht-1) (2) thông tin từ mức độ thấp đến mức độ cao về sự trừu Bộ LSTM quyết định những thông tin mới nào sẽ tượng thông qua tích chập (convolution) từ các bộ lọc. lưu trữ trong trạng thái tế bào thông qua hai bước. Ở Tầng Word embedding là một tập các ma trận trọng số bước thứ nhất, một hàm, hay lớp sigmoid, được gọi là đặc trưng của dữ liệu. Việc chuyển các từ trong câu cổng đầu vào như ở công thức (3), xác định giá trị nào thành ma trận trọng số trong bài toán xử lý ngôn ngữ LSTM sẽ cập nhật. Bước thứ hai, một hàm tanh tạo ra tự nhiên dùng ở tầng này có thể được tạo từ công cụ ~ word2vec hay Glove. Các ma trận ở tầng này có kích một vectơ các giá trị ứng viên mới C . Tiếp theo, hệ thước n x k. Trong đó, n là số từ trong câu, mỗi từ biểu thống cập nhật trạng thái tế bào cũ Ct-1 vào trạng thái tế diễn một vector k chiều. Ma trận trọng số của tầng này bào mới Ct như công thức (5). Cổng quên (forget gate) là cơ sở biểu diễn mỗi từ trong câu được chọn thành ft có thể kiểm soát độ dốc đi qua nó. Cổng này cũng một vector từ. Đặt l  R là chiều dài câu, |D|  R là cho phép xóa và cập nhật bộ nhớ một cách tường minh. Điều này giúp giảm bớt sự hao hụt của độ dốc hoặc kích thước từ vựng và W(l)  Rkx|D| là ma trận nhúng làm bùng nổ về độ dốc trong RNN tiêu chuẩn. các vector từ k chiều. Từ thứ i trong câu được chuyển thành một vector k chiều wi bằng công thức (1): it = (Wixt + Uiht-1) (3) wi = W(l)xi (1) ~ trong đó xi là một biểu diễn one-hot vector cho từ thứ C = tanh(W n xt +U n ht −1 ) (4) i. ~ Ct = ft *Ct −1 +it *Ct (5) ot = (W 0 xt +U 0ht −1 ) (6) ht = ot * tanh( Ct ) Word Convolutional Pooling fully- (7) embedding Layer Layer connected Layer layer Hình 1. Mô hình Convolutional Neural Network Tầng Convolutional sử dụng cửa sổ trượt (slide windows) với kích thước cố định (còn gọi là kernel) thực hiện xử lý tính toán tích chập dữ liệu trên ma trận dữ liệu đầu vào để thu được kết quả đã được tinh chỉnh. Tầng Pooling xử lý các vector kết quả của tầng Convolution, tổng hợp và trả ra những vector quan trọng nhất. Tầng full-connected là mô hình một mạng nơ-ron truyền thống. Tầng này sử dụng những vector kết quả đầu ra của tầng Pooling làm đầu vào. Đầu ra Hình 2. Mô hình Long Short Term Memory network ISBN 978-604-80-7468-5 411
Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) Bộ LSTM quyết định đầu ra dựa trên trạng thái tế Với một từ vựng xác định, biểu diễn đầu vào của nó bào qua các bước như sau: được xây dựng bằng cách tính tổng các từ vựng (token Bước thứ nhất, LSTM chạy một lớp sigmoid, quyết embedding), sentence embedding và Transformer định phần nào của trạng thái tế bào sẽ xuất ra theo công position embedding. Với bài toán phân loại, từ đầu tiên thức (6) ở ngõ ra (output gate). của chuỗi được xác định bằng mã thông báo [CLS], và Bước thứ hai, LSTM đặt trạng thái tế bào vào hàm một lớp kết nối đầy đủ được kết nối ở vị trí [CLS] của tanh và nhân nó với đầu ra của cổng sigmoid. Điều này tầng mã hóa cuối cùng. nhằm mục đích giúp cho bộ LSTM chỉ xuất ra các phần mà nó quyết định như công thức (7). 5. CNN-LSTM: Lớp Convolutional của CNN tạo 3. Bidirectional LSTM (Bi_LSTM): Mô hình Bi- ra một vectơ đặc trưng của đối tượng. Số vectơ đặc LSTM [8] được mô tả như hình 3. Đầu ra tại mỗi thời trưng bằng số bộ lọc được sử dụng trong quá trình tích điểm có thể xem là không chỉ phụ thuộc vào các yếu tố chập. Ở lớp Pooling, các giá trị đặc trưng tốt nhất từ trước đó trong chuỗi, mà chúng còn phụ thuộc vào các mỗi lớp sẽ được chọn để lấy đặc trưng quan trọng nhất yếu tố tiếp theo trong chuỗi. Ví dụ, để dự đoán một của ý kiến. Các vectơ đặc trưng qua lớp fully mục từ còn thiếu trong một câu, chúng ta có thể cần connected tạo ra một tập hợp các tham số ở đầu ra của phải xem xét cả các mục từ theo ngữ cảnh bên trái và CNN. Bộ LSTM sử dụng các tham số đầu ra của CNN bên phải của mục từ này. để thực hiện quá trình phân loại các ý kiến. 6. CNN-Bi-LSTM: Tương tự như mô hình CNN- LSTM, bộ Bi-LSTM sử dụng các tham số đầu ra của CNN để thực hiện quá trình phân loại các ý kiến. IV. THỬ NGHIỆM Bài báo thực hiện thử nghiệm phân loại bệnh dựa trên mô tả triệu chứng theo hai trường hợp: xác định một loại bệnh và phân loại bệnh. Hình 3. Mô hình Bidirectional RNN [8] Xác định một loại bệnh: trường hợp này tương Như mô tả ở hình 3, một bộ Bi-LSTM bao gồm hai đương với bài toán phân loại nhị phân. Một nhãn là bộ RNN ngược hướng liên kết với nhau. Một bộ RNN bệnh muốn xác định, nhãn còn lại dành cho các loại xử lý chuỗi dữ liệu đầu vào theo thứ tự ban đầu và một bệnh khác. bộ RNN xử lý chuỗi dữ liệu đầu vào đảo ngược. Dữ Phân loại bệnh: trường hợp này tương đương với liệu dầu ra được tính toán dựa trên trạng thái ẩn của cả bài toán phân loại đa nhãn. Trong bài báo này số nhãn hai bộ RNN. là ba, tương ứng với nhãn Hạ huyết áp, Viêm đường ruột và Chưa xác định. 4. BERT: BERT [9] là một mô hình biểu diễn Các thử nghiệm được thực hiện trên máy tính có ngôn ngữ mới do Devlin và các cộng sự tại nhóm cấu hình như sau: CPU: core i5; GPU: Tesla K80 nghiên cứu Google AI Language giới thiệu. BERT sử 24GB (2 nhân GPU); Bộ nhớ RAM: 48 GB; Hệ điều dụng mạng Bidirectional Transformer [10] để huấn hành: Ubuntu 20.04 LTS luyện trước một mô hình ngôn ngữ trên một kho ngữ A. Cấu hình các mô hình học sâu dùng cho thử liệu lớn và tinh chỉnh mô hình đã huấn luyện trước nghiệm (pre-trained) trên các tác vụ khác. Phương pháp BERT xử lý dữ liệu dựa trên phương 1. LSTM: Dựa trên thư viện Keras. Các thông pháp Wordpiece [11] tách từ bằng ký tự đặc biệt ##, sử số được chọn để thử nghiệm như liệt kê ở bảng 2 dụng các token [CLS], [SEP] để phân biệt đầu chuỗi Bảng 2. Thông số thử nghiệm mô hình LSTM hay đầu câu, token [MASK] dùng để che dấu từ. Trường hợp có một cặp câu được ghép lại thành một Đặc tính Giá trị chuỗi thì chúng được đánh dấu thành các đoạn Số neural ẩn 300 (segment) khác nhau sau mỗi token [SEP]. Hình 4 là ví dropout 0.2 dụ cho chuỗi gồm hai câu được đánh dấu thành hai Recurrent_dropout 0.2 segment A và B. Câu hoặc cặp câu được biểu diễn dưới Epoch 300 dạng một chuỗi các từ vựng. Kích thước word embedding 300 Hàm activation sigmoid 2. CNN: Dựa trên thư viện Tensorflow. Các thông số được chọn để thử nghiệm như liệt kê ở bảng Bảng 3. Thông số thử nghiệm mô hình CNN Đặc tính Giá trị Hình 4. Tiền xử lý dữ liệu của giải thuật BERT ISBN 978-604-80-7468-5 412
Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) Kích thước embedding word 300 6. BERT: Dựa trên thư viện Tensorflow. Các Số bộ lọc 300 thông số được chọn để thử nghiệm như liệt kê ở bảng 7. Dropout 0.5 Phương pháp BERT chỉ thực hiện thử nghiệm với dữ liệu hai nhãn (nhị phân) trong bài báo này. Epoch 300 L2 0.0008 Bảng 7. Thông số thử nghiệm mô hình BERT Hàm activation Sigmoid Đặc tính Giá trị Kích thước bộ lọc 3,4,5 Pre-trained model bert_uncased_L-12_H-768_A-12/1 3. Bi-LSTM: Dựa trên thư viện Keras. Các Epoch 300 thông số được chọn để thử nghiệm như liệt kê ở bảng 4 Batch size 64 Bảng 4. Thông số thử nghiệm mô hình Bi-LSTM 7. Kết quả thử nghiệm Đặc tính Giá trị Kết quả thử nghiệm trên bộ dữ liệu trình bày ở Số neural ẩn 100, 200 phần A được trình bày trong bảng 8. Xác định một loại bệnh dropout 0.2 Recurrent_dropout 0.2 Bảng 8. Độ chính xác (accuracy - %) tốt nhất của mô hình Epoch 300 trong các thử nghiệm xác định một loại bệnh Kích thước word embedding 300 Phương pháp Hạ huyết Viêm đường Chưa xác Hàm activation ReLU áp ruột định CNN 89.79 92.02 88.95 4. CNN-LSTM kết hợp LSTM 88.91 89.79 88.78 Dựa trên thư viện Keras. Các thông số được chọn Bi_LSTM 88.78 91.77 91.12 để thử nghiệm như liệt kê ở bảng 5. CNN- 90.03 90.97 92.53 Bi_LSTM Bảng 5. Thông số thử nghiệm mô hình CNN + LSTM CNN-LSTM 89.23 93.34 90.73 Đặc tính Giá trị BERT base 81.41 84.26 82.37 Từ kết thu được về độ chính xác của các phương Epoch 300 dùng trong thử nghiệm xác định một loại bệnh của bài LSTM báo này như trình bày trong bảng 8, một số nhận xét Số bộ lọc 300 được rút ra như sau: Hàm activation softmax - Không có phương pháp học nào thể hiện được CNN ưu thế rõ rật với dữ liệu thử nghiệm của bài báo này. Kích thước embedding word 300 Sự kết hợp bộ CNN và bộ LSTM, cũng như CNN và Số bộ lọc 300 Bi-LSTM, tạo được sự cải thiện được một phần hiệu Kích thước bộ lọc 3 năng, khi so với khi thực thi riêng từng giải thuật này. Pool size 2 Trong đó, giải thuật LSTM thể hiện không được tốt Hàm activation sigmoid như các giải thuật khác, trừ giải thuật BERT. - Mặc dù là sự kết hợp hai bộ LSTM theo hai 5. CNN – Bi-LSTM kết hợp chiều khác nhau nhưng bộ Bi-LSTM không có được Dựa trên thư viện Keras. Các thông số được chọn kết quả tốt hơn LSTM trong trường hợp thử nghiệm để thử nghiệm như liệt kê ở bảng 6. dữ liệu của bài báo này. Bảng 6. Thông số thử nghiệm mô hình CNN + Bi-LSTM - Giải thuật BERT thu được kết quả kém hơn các giải thuật học sâu khác khá nhiều, trong mọi loại nhãn Đặc tính Giá trị bệnh được thử nghiệm. Kết quả có thể do các nguyên Epoch 300 nhân như dữ liệu huấn luyện chư đủ lớn, cấu hình Bi-LSTM phần cứng chưa giúp cho cấu hình BERT đạt được Số bộ lọc 300 mức tốt nhất của BERT base. Hàm activation softmax - So với kết quả của Trụ và cộng sự [21], hầu hết CNN các mô hình đều có cải thiện. Mức cải thiện tốt nhất là Kích thước embedding word 300 CNN-LSTM cải thiện được khoảng 2%. Phân loại bệnh Số bộ lọc 300 Kích thước bộ lọc 3 Bảng 9. Độ chính xác (accuracy - %) tốt nhất của mô hình Pool size 2 trong các thử nghiệm phân loại bệnh Hàm activation sigmoid Phương pháp Độ chính xác CNN 81.26 ISBN 978-604-80-7468-5 413
Hội nghị Quốc gia lần thứ 25 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2022) LSTM 79.44 MRI”, In: Medical imaging 2017: computer-aided diagnosis. Bi_LSTM 82.23 International Society for Optics and Photonics, pp 1013428, 2017. CNN-Bi_LSTM 84.19 [8] Lei Zhang, Suai Wang, and Bing Liu, “Deep learning for CNN-LSTM 82.18 sentiment analysis: A survey”, Wiley Interdisciplinary Các kết thu được trình bày ở bảng 9 trong thử Reviews: Data Mining and Knowledge Discovery, Vol 8, Issue nghiệm này thấp hơn khá nhiều, xấp xỉ 10%, khi so 4, pp e1253, 2018. với số liệu ở bảng 8. Tuy nhiên, so với kết quả đạt [9] Devlin, Jacob, Ming-Wei Chang, Kenton Lee, Kristina được của Trụ và cộng sự [21] phương pháp đề xuất Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding”, arXiv preprint của bài báo này đã cải thiện được gần 2%. Cũng có arXiv:1810.04805, 2019. một trường hợp ngoại lệ, đó là trường hợp mô hình [10] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. LSTM giảm độ chính xác khoảng 1%. Tuy nhiên, hiệu N. Gomez, et al., "Attention is all you need", Proc. Adv. năng của các giải thuật trong phân loại là tương đồng Neural Inf. Process. Syst., pp 5998-6008, 2017. nhau trong hai trường hợp thử nghiệm. Sự kết hợp bộ [11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, CNN và bộ LSTM, cũng như khi kết hợp bộ CNN và Yuan Cao, Qin Gao, Klaus Macherey, et al. "Google’s neural bộ Bi-LSTM đạt độ chính xác tốt hơn khi để các bộ machine translation system: Bridging the gap between human học sâu này thực thi riêng. and machine translation”. In arXiv preprint arXiv:1609.08144, 2016. V. KẾT LUẬN [12] Xin Rong, “word2vec parameter learning explained”, In arXiv preprint arXiv:1411.2738, 2014. Kết quả thử nghiệm chẩn đoán bệnh dựa trên các [13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and khai báo từ người bệnh có khai thác yếu tố tần suất của Jeffrey Dean, “Distributed representations of words and triệu chứng trong bài báo này cho thấy phương pháp phrases and their compositionality”. In Proceedings of the tiếp cận của bài báo có nhiều triển vọng. Mô hình định Annual Conference on Advances in Neural Information bệnh này có ưu điểm là linh hoạt, tạo sự thuận lợi cao Processing Systems (NIPS 2013), 2013. cho việc xây dựng ứng dụng đối với các cơ sở y tế. Nếu [14] Madison Beary, Alex Hadsell, Ryan Messersmith, được ứng dụng trong xây dựng website hoặc ứng dụng Mohammad-Parsa Hosseini, “Diagnosis of Autism in Children using Facial Analysis and Deep Learning”. arXiv preprint di động sẽ dễ tiếp cận và dễ sử dụng với nhiều đối arXiv:2008.02890, 2020. tượng người bệnh cũng như các cơ sở y tế. Kết quả [15] Andrew G. Howard., Menglong Zhu, Bo Chen, Dmitry nghiên cứu này mới chỉ là các kết quả thử nghiệm trên Kalenichenko, Weijun Wang, Tobias Weyand, Marco dữ liệu được thu thập chưa ở quy mô lớn, số bệnh để Andreetto, Hartwig Adam. “Mobilenets: Efficient xác định chưa nhiều. Để có thể đưa mô hình vào ứng convolutional neural networks for mobile vision applications”. dụng thực tế, việc thu thập dữ liệu, nghiên cứu phân arXiv preprint arXiv:1704.04861, 2017. tích bệnh án cần được thu thập ở quy mô lớn hơn, phân [16] Amjad Rehman, Naveed Abbas, Tanzila Saba, Syed Ijaz ur Rahman, Zahid Mehmood, HoshangKolivand. “Classification loại triệu chứng cho nhiều loại bệnh hơn, và thử of acute lymphoblastic leukemia using deep learning". nghiệm với nhiều mô hình học sâu khác. Microscopy Research and Technique, cil 81, isuue 11, pp 1310-1317, 2018. TÀI LIỆU THAM KHẢO [17] A.Z. Peixinho, S.B. Martins, J.E. Vargas and A.X. Falc ã o, J.F. Gomes, C.T.N. Suzuki, “Diagnosis of Human Intestinal [1] Riccardo Miotto, Fei Wang, Shuang Wang, Xiaoqian Jiang, Parasites by Deep Learning”. In: Computational Vision and Joel T Dudley, “Deep learning for healthcare: review, Medical Image Processing V: Proceedings of the 5th Eccomas opportunities and challenges. Briefings in bioinformatics”, vol Thematic Conference on Computational Vision and Medical 19, isuue 6, pp 1236-1246, 2018. Image Processing (VipIMAGE 2015, Tenerife, Spain, pp 107, [2] Adnan Muhammad Shah, Xiangbin Yan, Syed Asad Ali Shah, 2015. and Gulnara Mamirkulova. “Mining patient opinion to [18] Jae-Hong Leea, Do-Hyung Kima, Seong-Nyum Jeonga, evaluate the service quality in healthcare: a deep-learning Seong-Ho Choib, “Detection and diagnosis of dental caries approach”, Journal of Ambient Intelligence and Humanized using a deep learning-based convolutional neural network Computing, pp 1-18, 2019. algorithm”. Journal of dentistry, vol 77, pp 106-111, 2018. [3] Yoon Kim, “Convolutional neural networks for sentence [19] Duy Nguyen Ngoc, Tuoi Phan Thi and Phuc Do, classification”, in Proceedings of the 2014 Conference on “Preprocessing Improves CNN and LSTM in Aspect-Based Empirical Methods in Natural Language Processing, EMNLP Sentiment Analysis for Vietnamese”. In Proceedings of Fifth 2014, pp 1746-1751, 2014. International Congress on Information and Communication [4] Faust, Oliver, Hagiwara, Yuki, Hong, Tan Jen, Lin, Oh Shu Technology. ICICT 2020. Springer, Singapore, pp. 175-185, and Acharya, U Rajendra, “Deep learning for healthcare 2020. applications based on physiological signals: A review”, [20] Duy Nguyen Ngoc, Tuoi Phan Thi and Phuc Do, “A Data Computer methods and programs in biomedicine, vol 161, pp Preprocessing Method to Classify and Summarize Aspect- 1-13, 2018. Based Opinions using Deep Learning”, Asian Conference on [5] Beam, Andrew L.; Kohane, Isaac S., “Big data and machine Intelligent Information and Database Systems. Springer, Cham, learning in health care”. Jama, vol 319, isuue 13, pp 1317- pp 115-127, 2019. 1318, 2018. [21] Huỳnh Trung Tru, Nguyễn Ngọc Duy,”Khai phá thông tin mô [6] Wang, Dayong, et al. Deep learning for identifying metastatic tả bệnh tiếng việt để chẩn đoán một số bệnh bằng phương pháp breast cancer. arXiv preprint arXiv:1606.05718, 2016. học sâu”, National Conference on Electronics, [7] Saifeng Liu, Huaixiu Zheng, Yesu Feng, Wei Li, “Prostate Communications and Information Technology - REV-ECIT, p cancer diagnosis using deep learning with 3D multiparametric p 261-266, 2021. ISBN 978-604-80-7468-5 414