Khai phá thông tin mô tả bệnh tiếng Việt để chẩn đoán một số bệnh bằng phương pháp học sâu
lượt xem 2
download
Bài viết này đề xuất phương pháp chẩn đoán bệnh từ thông tin mô tả triệu chứng bằng các phương pháp học sâu. Phương pháp bài báo này đề xuất dựa trên các kỹ thuật xử lý ngôn ngữ tự nhiên đối với tiếng Việt trong quá trình xây dựng kho dữ liệu huấn luyện hệ thống học sâu.
Bình luận(0) Đăng nhập để gửi bình luận!
Nội dung Text: Khai phá thông tin mô tả bệnh tiếng Việt để chẩn đoán một số bệnh bằng phương pháp học sâu
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) Khai Phá Thông Tin Mô Tả Bệnh Tiếng Việt Để Chẩn Đoán Một Số Bệnh Bằng Phương Pháp Học Sâu Huỳnh Trung Trụ và Nguyễn Ngọc Duy Khoa Công Nghệ Thông Tin II, Học Viện Công Nghệ Bưu Chính Viễn Thông Email: truht@ptithcm.edu.vn, duynn@ptithcm.edu.vn Tóm tắt — Thông tin mô tả triệu chứng của người bệnh đồng nhất vẫn là một thách thức lớn trong việc xây có nhiều ý nghĩa trong quá trình chẩn đoán và chữa dựng kho dữ liệu để huấn luyện các hệ thống học sâu. bệnh. Xây dựng được các hệ thống dựa trên trí tuệ nhân Dữ liệu của lĩnh vực y tế là rất nhiều và đa dạng. Nhiều tạo hiểu được các thông tin này sẽ giúp việc phân luồng loại dữ liệu khác nhau xuất hiện trong nghiên cứu y người bệnh vào khám chuyên khoa nhanh chóng và hiệu sinh hiện đại, từ hồ sơ sức khỏe điện tử, hình ảnh, … quả hơn. Bài báo này đề xuất phương pháp chẩn đoán cho đến dữ liệu cảm biến. Đặc điểm chung của các loại bệnh từ thông tin mô tả triệu chứng bằng các phương dữ liệu này là phức tạp, không đồng nhất, chú thích pháp học sâu. Phương pháp bài báo này đề xuất dựa trên kém và cơ bản là không có cấu trúc. Để xử lý tốt các các kỹ thuật xử lý ngôn ngữ tự nhiên đối với tiếng Việt dữ liệu này cần nền tảng kiến thức miền đầy đủ và trong quá trình xây dựng kho dữ liệu huấn luyện hệ thống học sâu. Dữ liệu huấn luyện được thu thập từ các chuyên sâu. bệnh án cũng như dựa trên sự tư vấn của bác sĩ chuyên Bài báo này đề xuất phương pháp xử lý và khai phá môn. Các giải thuật học sâu dùng trong thử nghiệm của dữ liệu không chuyên sâu. Đó là dữ liệu mô tả triệu bài báo này là Convolutional Neural Network (CNN), chứng của người bệnh. Thông thường, những mô tả về Long short-term memory (LSTM), Bidirectional LSTM triệu chứng chưa phải là cơ sở cho các bác sỹ nhận (Bi-LSTM), Bidirectional Encoder Representations from định bệnh. Tuy nhiên, đó cũng cũng là những thông tin Transformers (BERT) và sự kết hợp mô hình CNN với có nhiều ý nghĩa trong quá trình chẩn đoán bệnh. Vì LSTM và Bi-LSTM. Kết quả thử nghiệm đạt độ chính vậy, nghiên cứu khai thác nguồn dữ liệu này là động xác cao cho thấy triển vọng cao của hướng tiếp cận này. lực cho các tác giả thực nhiện bài báo này. Từ khóa - Corpus, Deep Learning, Healthcare, Phần tiếp theo của bài báo sẽ trình bày một số công Physical exam. trình liên quan về học sâu và về y tế ở mục 2. Mục 3 sẽ trình bày về phương pháp thực hiện của bài báo này từ I. GIỚI THIỆU quá trình chuyển đổi và xử lý dữ liệu đến các cấu hình Các ứng dụng khám và chữa bệnh dùng kỹ thuật trí của một số giải thuật học sâu dùng trong thử nghiệm để tuệ nhân tạo trong lĩnh vựa y tế đã được quan tâm từ rất đánh giá phương pháp đề xuất. Mục 4 trình bày các kết lâu. Mong muốn xây dựng các hệ thống hỗ trợ chăm quả đạt được và các ý kiến thảo luận. Phần trình bày sóc sức khỏe hoặc thăm khám bệnh tự động đã có từ những ý kiến kết quận và hướng phát triển dựa trên kết lâu, và là mong muốn rất lớn của mọi người. Sự phát quả đạt được từ bài báo này trình bày trong mục 5. triển của khoa học kỹ thuật, nhất là sự phát triển của khoa học máy tính, cùng với các phương pháp học sâu, II. CÁC CÔNG TRÌNH LIÊN QUAN những công trình nghiên cứu nhằm đáp ứng nhu cầu Do được quan tâm nhiều nên các thử nghiệm dùng này càng được quan tâm và cũng càng có cơ sở thành trí tuệ nhân tạo trong y học khá đa dạng. Các công trình công hơn. Nhiều công trình nghiên cứu về lĩnh vực này thường nghiên cứu chuyên sâu vào một bệnh cụ thể. trên thế giới đã được công bố [1]. Ứng dụng tiến bộ Madison Beary và cộng sự [14] giới thiệu một mô hình của khoa học máy tính trong các công trình nghiên cứu học sâu phân loại trẻ em khỏe mạnh hoặc có khả năng này khá đa dạng, từ thị giác máy tính, nhận dạng giọng mắc chứng tự kỷ. Madison Beary sử dụng CNN kết nói cho đến xử lý ngôn ngữ tự nhiên cho tiếng Anh. hợp với MobileNet [15]. Độ chính xác đạt được rất tốt, Khi xử lý dữ liệu lĩnh vực y khoa, những công trình xử đến 94,6%. Amjad Rehman [16] và các cộng sự phân lý bài toán chuyên sâu theo chuyên ngành hẹp như [6] loại bệnh bạch cầu mãn tính dòng tế bào lympho sử và [7] cần chi phí và công sức rất lớn. dụng mô CNN phân loại ảnh chụp tế. Độ chính xác mà Học hiểu tri thức y sinh là điều khó khăn nhưng rất Amjad Rehman và cộng sự đạt được lên đến 97.78%. quan trọng. Quá trình thu thập tri thức, học để hiểu biết A.Z. Peixinho [17] và cộng sự thử nghiệm chẩn đoán từ dữ liệu chủ đề này phức tạp, nhiều chiều và không ký sinh trùng đường ruột ở người bằng phương pháp ISBN 978-604-80-5958-3 261
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) học mạng nơ-ron tính chập ConvNet. Độ chính xác A. Xây dựng kho dữ liệu mô tả bệnh trong thử nghiệm của [17] cũng đạt mức 96.49%. 1. Tiền xử lý dữ liệu Trong công trình [18], Jae-Hong Leea và các cộng sự Dữ liệu thử nghiệm của bài báo này được các tác thử nghiệm phát hiện và chẩn đoán sâu răng dựa vào giả thu thập từ các bệnh án ở một số bệnh viện và mạng CNNs, độ chính xác đạt được rất tốt, ở mức 95%. phòng khám tư nhân. Các bệnh án thường được lưu Các công trên đạt được độ chính xác rất cao khi thử trong các hệ quản trị cơ sở dữ liệu quan hệ, trong các nghiệm giải quyết bài toán xác định một loại bênh cụ trường riêng biệt. Để dùng dữ liệu này huấn luyện các thể. Ở một khía cạnh khác của các vấn đề liên quan đến giải thuật học sâu, các tác giả rút trích dữ liệu và kết y tế, Adnan Muhammad Shah [2] và cộng sự thử hợp thành một văn bản duy nhất. Quá trình xử lý tạo nghiệm phân tích tâm lý của bệnh nhân về chất lượng kho dữ liệu được thực hiện theo các bước: cung cấp dịch vụ chăm sóc sức khỏe dựa trên các ý Bước 1: Rút trích dữ liệu của mỗi ca khám và kết kiến và các hình ảnh bằng các giải thuật học sâu. Độ luận của các bác sỹ thực hiện khám. chính xác tốt nhất mà Adnan Muhammad Shah và cộng sự thu được lên đến 97.75%. Bước 2: Tạo văn bản cho mỗi ca khám bệnh. Dữ liệu mỗi ca khám sẽ được tạo thành một văn bản. Với tiếng Việt, các giải thuật học sâu trong lĩnh vực Trong đó, mỗi câu trong văn bản là một thông tin theo xử lý ngôn ngữ tự nhiên cũng được dùng trong nhiều khía cạnh như tiền sử bệnh, chẩn đoán, kết luận … công trình, nhất là cho lĩnh vực phân loại ý kiến đánh giá sản phẩm như [19] và [20]. Độ chính xác đạt được Ví dụ 1: “Cao 165 cm, nặng 42 kg, huyết áp … Bị trong các công trình này cũng khá tốt, ở mức trên 80%. lao cách đây 8 năm. Hay chóng mặt, choáng váng, mờ Ở công trình [19] Duy Nguyen Ngoc và các cộng sự đã mắt, ngất, run tay, thiếu cân. Khả năng bị hạ huyết áp”. thử nghiệm phân loại ý kiến cho tiếng Anh và tiếng Ví dụ 2: “Cao 153 cm, nặng 56 kg. Hay nôn, Việt để nhận thấy các giải thuật học sâu không phụ thường đi tiêu chảy, mạch lên dội, thừa cân. Khả năng thuộc vào ngôn ngữ và chủ đề. Vì vậy, vấn đề sử dụng bị viêm đường ruột”. các giải thuật học sâu cho lĩnh vực xử lý ngôn ngữ tự nhiên là cần xây dựng kho ngữ liệu chất lượng để Sau quá trình thu thập và xử lý dữ liệu như trên, bài chúng có thể học tốt tri thức của lĩnh vực cần xử lý. báo có được một kho dữ liệu với số liệu như bảng 1. Số văn bản dùng làm dữ liệu thử nghiệm được chọn ngẫu Từ những kết quả đạt được của các nghiên cứu trên, nhiên theo hệ quản trị MS SQL Server 2014. bài báo này đề xuất thử nghiệm các phương pháp học sâu đối với miền dữ liệu là các mô tả triệu chứng của Bảng 1. Số liệu kho dữ liệu bệnh án bằng tiếng Việt người bệnh, nhằm tìm kiếm khả năng hỗ trợ chẩn đoán bệnh. Việc xây dựng được một hệ thống chẩn đoán Đặc tính Số lượng bệnh như vậy sẽ góp phần mang lại lợi ích cho cả Số bệnh nhân 7.123 người bệnh lẫn các cơ sở y tế. Số văn bản huấn luyện 11.794 Số văn bản thử nghiệm 3001 III. PHƯƠNG PHÁP ĐỀ XUẤT Số loại nhãn (loại bệnh) 3 Để chẩn đoán và chữa bệnh, các bác sỹ sẽ cần rất nhiều thông tin liên quan đến người bệnh. Vì vậy, các 2. Tạo dữ liệu cho mô hình học sâu bệnh án thường là tập hợp của nhiều yếu tố như số đo huyết áp, hoặc các chỉ số trong xét nghiệm … Đây là Bài báo này dùng phương pháp word2vec [12] tính những giá trị có ý nghĩa quan trọng thuộc về chuyên toán đặc trưng của dữ liệu để tạo ma trận dữ liệu đầu ngành khoa học sức khỏe. Các giá trị này thường là các vào cho các mô hình học sâu. Word2vec chứa mô hình giá trị định lượng nên nếu chỉ xem các giá trị này như Continuous Bag-of-Words (CBOW) và Skip-Gram một từ hoặc cụm từ trong ngôn ngữ tự nhiên có thể dẫn [13]. Mô hình CBOW dự đoán từ mục tiêu (ví dụ: từ đến chẩn đoán hoặc nhận định sai trong khám chữa “chẩn” có thể tìm ra khi dùng từ “đoán” nếu trong kho bệnh. Bên cạnh những giá trị định lượng của kết quả ngữ liệu có hai từ này và chúng cùng xuất hiện trong trong khám cận lâm sàng có tính chuyên môn sâu về y một số ngữ cảnh) từ các từ cùng ngữ cảnh với nó. khoa, những thông số của quá trình khám tổng quát Mô hình Skip-Gram cũng thực hiện tính toán độ như chiều cao, cân nặng, huyết áp … không đòi độ tương quan giữa các từ trong kho ngữ liệu. Tuy nhiên, chính xác cao. Tuy nhiên, không thể bỏ qua các thông Skip-Gram thực hiện ngược lại CBOW, lấy một từ làm số cơ bản này vì chúng góp phần vào nhận định phân đầu vào và dự đoán tất cả những từ khác ở đầu ra. loại bệnh trong giai đoạn đầu của quá trình khám chữa bệnh. Bài báo này đề xuất phương pháp tiếp cận xử lý B. Sơ lược một số phương pháp học sâu các thông tin mô tả bệnh thành cơ sở tri thức cho các giải thuật học sâu ở dạng ngôn ngữ tự nhiên. Từ đó, 1. CNN [3] khai thác khả năng của các hệ thống học sâu trong lĩnh CNN là một mô hình học sâu tiên tiến được nhiều vực này cho mục đích hỗ trợ phân loại một số bệnh ở nhà khoa học biết đến. Mô hình này giúp cho chúng ta giai đoạn đầu của quá trình khám chữa bệnh. xây dựng được những hệ thống xử lý thông minh, cho kết quả có độ chính xác cao trong nhiều lĩnh vực như ISBN 978-604-80-5958-3 262
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) thị giác máy tính cũng như xử lý ngôn ngữ tự nhiên. LSTM. Tại thời điểm t, trước hết, LSTM quyết định Mô hình CNN được trình bày ở hình 1 có các layer liên thông tin nào sẽ được đổ vào trạng thái tế bào. Quyết kết được với nhau thông qua cơ chế tích chập định này được thực hiện bởi hàm sigmoid hoặc tầng , (convolution). Dữ liệu đầu vào của layer này là kết quả còn được gọi là cổng quên (forget gate). Hàm lấy ℎt-1 ở tích chập từ layer trước đó nên chúng ta có được các đầu ra từ lớp ẩn trước đó, và xt, đầu vào hiện tại, và kết nối cục bộ trong quá trình tính toán. Sự kết hợp này xuất ra một số có giá trị trong đoạn [0, 1]. Trong đó, giúp chúng ta biểu diễn thông tin từ mức độ thấp đến giá trị 1 có nghĩa là giữ hoàn toàn, giá trị 0 có nghĩa là mức độ cao về sự trừu tượng thông qua tích chập bỏ qua hoàn toàn theo công thức (2). (convolution) từ các bộ lọc. ft = (Wfxt + Ufht-1) (2) Tầng Word embedding là một tập các ma trận trọng Bộ LSTM quyết định những thông tin mới nào sẽ số đặc trưng của dữ liệu. Việc chuyển các từ trong câu lưu trữ trong trạng thái tế bào thông qua hai bước. Ở thành ma trận trọng số trong bài toán xử lý ngôn ngữ tự bước thứ nhất, một hàm, hay lớp sigmoid, được gọi là nhiên dùng ở tầng này có thể được tạo từ công cụ cổng đầu vào như ở công thức (3), xác định giá trị nào word2vec hay Glove. Các ma trận ở tầng này có kích LSTM sẽ cập nhật. Bước thứ hai, một hàm tanh tạo ra thước n x k. Trong đó, n là số từ trong câu, mỗi từ biểu ~ diễn một vector k chiều. Ma trận trọng số của tầng này một vectơ các giá trị ứng viên mới C . Tiếp theo, hệ là cơ sở biểu diễn mỗi từ trong câu được chọn thành thống cập nhật trạng thái tế bào cũ Ct-1 vào trạng thái tế bào mới Ct như công thức (5). Cổng quên (forget gate) một vector từ. Đặt l R là chiều dài câu, |D| R là ft có thể kiểm soát độ dốc đi qua nó. Cổng này cũng kích thước từ vựng và W(l) Rkx|D| là ma trận nhúng các cho phép xóa và cập nhật bộ nhớ một cách tường minh. vector từ k chiều. Từ thứ i trong câu được chuyển Điều này giúp giảm bớt sự hao hụt của độ dốc hoặc thành một vector k chiều wi bằng công thức (1), trong làm bùng nổ về độ dốc trong RNN tiêu chuẩn. đó xi là một biểu diễn one-hot vector cho từ thứ i. it = (Wixt + Uiht-1) (3) wi = W(l)xi (1) ~ C = tanh(W n xt +U n ht −1 ) (4) ~ Ct = ft *Ct −1 +it *Ct (5) ot = (W 0 xt +U 0ht −1 ) (6) ht = ot * tanh( Ct ) Word Convolutional Pooling fully- (7) embedding Layer Layer connected Layer layer Hình 1. Mô hình Convolutional Neural Network Tầng Convolutional sử dụng cửa sổ trượt (slide windows) với kích thước cố định (còn gọi là kernel) thực hiện xử lý tính toán tích chập dữ liệu trên ma trận dữ liệu đầu vào để thu được kết quả đã được tinh chỉnh. Tầng Pooling xử lý các vector kết quả của tầng Convolution, tổng hợp và trả ra những vector quan trọng nhất. Tầng full-connected là mô hình một mạng nơ-ron truyền thống. Tầng này sử dụng những vector kết quả đầu ra của tầng Pooling làm đầu vào. Đầu ra của full-connected là kết quả của quá trình huấn luyện. Hình 2. Mô hình Long Short Term Memory network 2. LSTM Bộ LSTM quyết định đầu ra dựa trên trạng thái tế Mô hình LSTM [8] thuộc nhóm phương pháp học bào qua các bước như sau: sâu hồi quy (Recurrent Neural Networks – RNN) được Bước thứ nhất, LSTM chạy một lớp sigmoid, quyết mô tả như ở hình 2. Mô hình LSTM có các kết nối giữa định phần nào của trạng thái tế bào sẽ xuất ra theo công các neural tạo thành dạng có hướng có tính chu kỳ. Mô thức (6) ở ngõ ra (output gate). hình này có khả năng học các phụ thuộc dài đối với dữ liệu tuần tự. Cấu trúc một module lặp RNN trong Bước thứ hai, LSTM đặt trạng thái tế bào vào hàm LSTM có bốn lớp tương tác theo các chức năng riêng tanh và nhân nó với đầu ra của cổng sigmoid. Điều này biệt. Bên cạnh đó, nó có hai trạng thái: trạng thái ẩn và nhằm mục đích giúp cho bộ LSTM chỉ xuất ra các phần trạng thái tế bào (cell state). Hình 2 minh họa mô hình mà nó quyết định như công thức (7). ISBN 978-604-80-5958-3 263
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) 3. Bidirectional LSTM (Bi_LSTM) 5. CNN-LSTM Mô hình Bi-LSTM [8] được mô tả như hình 3. Đầu ra Lớp Convolutional của CNN tạo ra một vectơ đặc tại mỗi thời điểm có thể xem là không chỉ phụ thuộc trưng của đối tượng. Số vectơ đặc trưng bằng số bộ lọc vào các yếu tố trước đó trong chuỗi, mà chúng còn phụ được sử dụng trong quá trình tích chập. Ở lớp Pooling, thuộc vào các yếu tố tiếp theo trong chuỗi. Ví dụ, để các giá trị đặc trưng tốt nhất từ mỗi lớp sẽ được chọn dự đoán một mục từ còn thiếu trong một câu, chúng ta để lấy đặc trưng quan trọng nhất của ý kiến. Các vectơ có thể cần phải xem xét cả các mục từ theo ngữ cảnh đặc trưng qua lớp fully connected tạo ra một tập hợp bên trái và bên phải của mục từ này. các tham số ở đầu ra của CNN. Bộ LSTM sử dụng các tham số đầu ra của CNN để thực hiện quá trình phân loại các ý kiến. 6. CNN-Bi-LSTM Tương tự như mô hình CNN-LSTM, bộ Bi-LSTM sử dụng các tham số đầu ra của CNN để thực hiện quá trình phân loại các ý kiến. IV. THỬ NGHIỆM Bài báo thực hiện thử nghiệm phân loại bệnh dựa trên mô tả triệu chứng theo hai trường hợp: xác định một loại bệnh và phân loại bệnh. Xác định một loại bệnh: sử dụng mô hình phân loại nhị phân. Một nhãn là bệnh muốn xác định, nhãn còn Hình 3. Mô hình Bidirectional RNN [8] lại dành cho các loại bệnh khác. Một bộ Bi-LSTM bao gồm hai bộ RNN ngược Phân loại bệnh: trường hợp này tương đương với hướng liên kết với nhau như hình 3. Một bộ RNN xử lý bài toán phân loại đa nhãn. Trong bài báo này số nhãn dữ liệu đầu vào theo thứ tự ban đầu và một bộ RNN xử lả ba, tương ứng với nhãn Hạ huyết áp, Viêm đường lý dữ liệu đầu vào đảo ngược. Dữ liệu dầu ra được tính ruột và Chưa xác định. toán dựa trên trạng thái ẩn của cả hai bộ RNN. Các thử nghiệm được thực hiện trên máy tính có 4. BERT cấu hình như sau: BERT [9] là một mô hình biểu diễn ngôn ngữ mới do Devlin và các cộng sự giới thiệu. BERT sử dụng • CPU: core i5 mạng Bidirectional Transformer [10] để huấn luyện • GPU: Tesla K80 24GB (2 nhân GPU) trước một mô hình ngôn ngữ trên một kho ngữ liệu lớn • Bộ nhớ RAM: 48 GB và tinh chỉnh mô hình đã huấn luyện trước (pre-trained) • Hệ điều hành: Ubuntu 20.04 LTS trên các tác vụ khác. Phương pháp BERT xử lý dữ liệu dựa trên phương pháp Wordpiece [11] tách từ bằng ký A. Cấu hình thử nghiệm các mô hình học sâu tự đặc biệt ##, sử dụng các token [CLS], [SEP] để phân 1. LSTM: Dựa trên thư viện Keras. Các thông biệt đầu chuỗi hay đầu câu, token [MASK] dùng để che số được chọn để thử nghiệm như liệt kê ở bảng 2 dấu từ. Trường hợp có hai câu được ghép lại thành một chuỗi thì chúng được đánh dấu thành các đoạn Bảng 2. Thông số thử nghiệm mô hình LSTM (segment) khác nhau sau mỗi token [SEP]. Hình 4 là ví Đặc tính Giá trị dụ cho chuỗi gồm hai câu được đánh dấu thành hai Số neural ẩn 300 segment A và B. Câu hoặc cặp câu được biểu diễn dạng một chuỗi các từ. Với một từ xác định, biểu diễn dropout 0.2 đầu vào của nó được xây dựng bằng tổng các từ (token Recurrent_dropout 0.2 embedding), sentence embedding và Transformer Epoch 300 position embedding. Với bài toán phân loại, từ đầu tiên Kích thước word embedding 300 của chuỗi được xác định bằng mã [CLS], và một lớp Hàm activation sigmoid kết nối đầy đủ được kết nối ở vị trí [CLS] của tầng mã hóa cuối cùng. 2. CNN: Dựa trên thư viện Tensorflow. Các thông số được chọn để thử nghiệm như liệt kê ở bảng 3. Bảng 3. Thông số thử nghiệm mô hình CNN Đặc tính Giá trị Kích thước embedding word 300 Số bộ lọc 300 Hình 4. Tiền xử lý dữ liệu của giải thuật BERT ISBN 978-604-80-5958-3 264
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) Dropout 0.5 7. Phương pháp BERT chỉ thực hiện thử nghiệm với Epoch 300 dữ liệu hai nhãn (nhị phân) trong bài báo này. L2 0.0008 Bảng 7. Thông số thử nghiệm mô hình BERT Hàm activation Sigmoid Đặc tính Giá trị Kích thước bộ lọc 3,4,5 Pre-trained model bert_uncased_L-12_H-768_A-12/1 3. Bi-LSTM: Dựa trên thư viện Keras. Các Epoch 300 thông số được chọn để thử nghiệm như liệt kê ở bảng Batch size 64 4. B. Kết quả thử nghiệm Bảng 4. Thông số thử nghiệm mô hình Bi-LSTM Kết quả thử nghiệm trên bộ dữ liệu trình bày ở Đặc tính Giá trị phần A được trình bày trong bảng 8. Số neural ẩn 100, 200 Xác định một loại bệnh dropout 0.2 Recurrent_dropout 0.2 Bảng 8. Độ chính xác (accuracy - %) tốt nhất của mô hình Epoch 300 trong các thử nghiệm xác định một loại bệnh Kích thước word embedding 300 Hạ huyết Viêm đường Chưa xác Phương pháp Hàm activation ReLU áp ruột định CNN 88.71 90.06 87.19 4. CNN-LSTM kết hợp: Dựa trên thư viện LSTM 87.64 88.72 86.64 Keras. Các thông số được chọn để thử nghiệm như liệt kê ở bảng 5. Bi_LSTM 86.98 90.07 89.43 CNN- 88.83 89.88 90.76 Bảng 5. Thông số thử nghiệm mô hình CNN + LSTM Bi_LSTM Đặc tính Giá trị CNN-LSTM 88.63 91.30 89.69 Epoch 300 BERT base 80.01 82.36 81.32 LSTM Số bộ lọc 300 Một số nhận xét từ kết thu được về độ chính xác của các phương dùng trong thử nghiệm xác định một Hàm activation softmax loại bệnh của bài báo này như trình bày trong bảng 8: CNN - Không có phương pháp học nào thể hiện được Kích thước embedding word ưu thế rõ rệt với dữ liệu thử nghiệm của bài báo này. Số bộ lọc 300 Sự kết hợp bộ CNN và bộ LSTM, cũng như CNN và Kích thước bộ lọc 3 Bi-LSTM, tạo được sự cải thiện được một phần hiệu Pool size 2 năng, khi so với khi thực thi riêng từng giải thuật này. Hàm activation sigmoid Trong đó, giải thuật LSTM thể hiện không được tốt 5. CNN – Bi-LSTM kết hợp: Dựa trên thư viện như các giải thuật khác, trừ giải thuật BERT. Keras. Các thông số được chọn để thử nghiệm như liệt - Mặc dù là sự kết hợp hai bộ LSTM theo hai kê ở bảng 6. chiều khác nhau nhưng Bi-LSTM không có được kết quả tốt hơn LSTM ở các thử nghiệm của bài báo này. Bảng 6. Thông số thử nghiệm mô hình CNN + Bi-LSTM - Giải thuật BERT thu được kết quả kém hơn các Đặc tính Giá trị giải thuật học sâu khác khá nhiều, trong mọi loại nhãn bệnh được thử nghiệm. Kết quả có thể do các nguyên Epoch 300 nhân như dữ liệu huấn luyện chưa đủ lớn, cấu hình Bi-LSTM phần cứng chưa đủ cho BERT đạt được mức tốt nhất. Số bộ lọc 300 Hàm activation softmax Phân loại bệnh CNN Bảng 9. Độ chính xác (accuracy - %) tốt nhất của mô hình Kích thước embedding word trong các thử nghiệm phân loại bệnh Số bộ lọc 300 Phương pháp Độ chính xác Kích thước bộ lọc 3 CNN 81.67 Pool size 2 LSTM 80.04 Hàm activation sigmoid Bi_LSTM 80.53 6. BERT: Dựa trên thư viện Tensorflow. Các CNN-Bi_LSTM 82.31 thông số được chọn để thử nghiệm như liệt kê ở bảng CNN-LSTM 81.78 ISBN 978-604-80-5958-3 265
- Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) Kết thu được trình bày ở bảng 9 trong thử nghiệm [8] Lei Zhang, Suai Wang, and Bing Liu, “Deep learning for sentiment analysis: A survey”, Wiley Interdisciplinary này thấp hơn khá nhiều, xấp xỉ 10%, khi so với số liệu Reviews: Data Mining and Knowledge Discovery, Vol 8, Issue ở bảng 8. Điều này cũng phù hợp vì đây là kết quả 4, pp e1253, 2018. phân loại nhiều nhãn. Tuy nhiên, hiệu năng của các [9] Devlin, Jacob, Ming-Wei Chang, Kenton Lee, Kristina giải thuật trong phân loại là tương đồng nhau trong hai Toutanova, “BERT: Pre-training of deep bidirectional trường hợp thử nghiệm. Sự kết hợp bộ CNN và bộ transformers for language understanding”, arXiv preprint arXiv:1810.04805, 2019. LSTM, cũng như khi kết hợp bộ CNN và bộ Bi-LSTM [10] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. đạt độ chính xác tốt hơn khi chúng thực thi riêng. N. Gomez, et al., "Attention is all you need", Proc. Adv. Neural Inf. Process. Syst., pp 5998-6008, 2017. V. KẾT LUẬN [11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V Le, Kết quả thử nghiệm chẩn đoán bệnh dựa trên các Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, khai báo từ người bệnh của bài báo này cho thấy Yuan Cao, Qin Gao, Klaus Macherey, et al. "Google’s neural machine translation system: Bridging the gap between human phương pháp tiếp cận của bài báo có nhiều triển vọng. and machine translation”. In arXiv preprint arXiv:1609.08144, Mô hình định bệnh này có ưu điểm là linh hoạt, tương 2016. đối dễ xây dựng ứng dụng đối với các cơ sở y tế. Nếu [12] Xin Rong, “word2vec parameter learning explained”, In arXiv được ứng dụng trong xây dựng website hoặc ứng dụng preprint arXiv:1411.2738, 2014. di động sẽ dễ tiếp cận và dễ sử dụng với nhiều đối [13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and tượng người bệnh. Tuy nhiên, đây mới chỉ là các kết Jeffrey Dean, “Distributed representations of words and quả thử nghiệm trên dữ liệu được thu thập chưa ở quy phrases and their compositionality”. In Proceedings of the Annual Conference on Advances in Neural Information mô lớn, số bệnh để xác định chưa nhiều. Để có thể đưa Processing Systems (NIPS 2013), 2013. vào ứng dụng thực tế, việc thu thập dữ liệu, nghiên cứu [14] Madison Beary, Alex Hadsell, Ryan Messersmith, phân tích bệnh án cần được thu thập ở quy mô lớn hơn, Mohammad-Parsa Hosseini, “Diagnosis of Autism in Children phân loại triệu chứng cho nhiều loại bệnh hơn, và thử using Facial Analysis and Deep Learning”. arXiv preprint nghiệm với nhiều mô hình học sâu khác. arXiv:2008.02890, 2020. [15] Andrew G. Howard., Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco TÀI LIỆU THAM KHẢO Andreetto, Hartwig Adam. “Mobilenets: Efficient [1] Riccardo Miotto, Fei Wang, Shuang Wang, Xiaoqian Jiang, convolutional neural networks for mobile vision applications”. Joel T Dudley, “Deep learning for healthcare: review, arXiv preprint arXiv:1704.04861, 2017. opportunities and challenges. Briefings in bioinformatics”, vol [16] Amjad Rehman, Naveed Abbas, Tanzila Saba, Syed Ijaz ur 19, isuue 6, pp 1236-1246, 2018. Rahman, Zahid Mehmood, HoshangKolivand. “Classification [2] Adnan Muhammad Shah, Xiangbin Yan, Syed Asad Ali Shah, of acute lymphoblastic leukemia using deep learning". and Gulnara Mamirkulova. “Mining patient opinion to Microscopy Research and Technique, cil 81, isuue 11, pp evaluate the service quality in healthcare: a deep-learning 1310-1317, 2018. approach”, Journal of Ambient Intelligence and Humanized [17] A.Z. Peixinho, S.B. Martins, J.E. Vargas and A.X. Falc ã o, J.F. Computing, pp 1-18, 2019. Gomes, C.T.N. Suzuki, “Diagnosis of Human Intestinal [3] Yoon Kim, “Convolutional neural networks for sentence Parasites by Deep Learning”. In: Computational Vision and classification”, in Proceedings of the 2014 Conference on Medical Image Processing V: Proceedings of the 5th Eccomas Empirical Methods in Natural Language Processing, EMNLP Thematic Conference on Computational Vision and Medical 2014, pp 1746-1751, 2014. Image Processing (VipIMAGE 2015, Tenerife, Spain, pp 107, [4] Faust, Oliver, Hagiwara, Yuki, Hong, Tan Jen, Lin, Oh Shu 2015. and Acharya, U Rajendra, “Deep learning for healthcare [18] Jae-Hong Lee, Do-Hyung Kima, Seong-Nyum Jeonga, Seong- applications based on physiological signals: A review”, Ho Choib, “Detection and diagnosis of dental caries using a Computer methods and programs in biomedicine, vol 161, pp deep learning-based convolutional neural network algorithm”. 1-13, 2018. Journal of dentistry, vol 77, pp 106-111, 2018. [5] Beam, Andrew L.; Kohane, Isaac S., “Big data and machine [19] Duy Nguyen Ngoc, Tuoi Phan Thi and Phuc Do, learning in health care”. Jama, vol 319, isuue 13, pp 1317- “Preprocessing Improves CNN and LSTM in Aspect-Based 1318, 2018. Sentiment Analysis for Vietnamese”. In Proceedings of Fifth [6] Wang, Dayong, et al. Deep learning for identifying metastatic International Congress on Information and Communication breast cancer. arXiv preprint arXiv:1606.05718, 2016. Technology. ICICT 2020. Springer, Singapore, pp. 175-185, 2020. [7] Saifeng Liu, Huaixiu Zheng, Yesu Feng, Wei Li, “Prostate cancer diagnosis using deep learning with 3D multiparametric [20] Duy Nguyen Ngoc, Tuoi Phan Thi and Phuc Do, “A Data MRI”, In: Medical imaging 2017: computer-aided diagnosis. Preprocessing Method to Classify and Summarize Aspect- International Society for Optics and Photonics, pp 1013428, Based Opinions using Deep Learning”, Asian Conference on 2017. Intelligent Information and Database Systems. Springer, Cham, pp 115-127, 2019. ISBN 978-604-80-5958-3 266
CÓ THỂ BẠN MUỐN DOWNLOAD
-
Thuật toán phân cụm dữ liệu mờ
24 p | 533 | 197
-
MS Project Training Course (Tieng Viet)
2 p | 670 | 176
-
Chương 2.2 Mô hình thực thể liên kết mở rộng (Enhanced Entity-Relationship) .
29 p | 1437 | 121
-
Bài giảng Nhập môn khai phá dữ liệu (PGS.TS. Hà Quang Thụy) - Chương 3. Tiền xử lý dữ liệu
67 p | 179 | 32
-
Khai phá dữ liệu
25 p | 147 | 23
-
Tài liệu môn học: Phân tích và thiết kế HTTT theo UML - Phần 1
64 p | 108 | 19
-
Bài giảng Khai phá dữ liệu (Data Mining): Chương 2 - Đặng Xuân Thọ
54 p | 119 | 11
-
Các Thành phần cơ bản nhất của javaScript
23 p | 83 | 7
-
Giảm chiều bằng cách trích chọn đặc trưng cải thiện "quá khớp" cho mạng Nơron với bài toán dự báo
14 p | 70 | 6
-
Vhttp://www.dayhoctructuyen.com/file.php/158/PART1.HTMV.Các Thành phần cơ bản của
2 p | 93 | 5
Chịu trách nhiệm nội dung:
Nguyễn Công Hà - Giám đốc Công ty TNHH TÀI LIỆU TRỰC TUYẾN VI NA
LIÊN HỆ
Địa chỉ: P402, 54A Nơ Trang Long, Phường 14, Q.Bình Thạnh, TP.HCM
Hotline: 093 303 0098
Email: support@tailieu.vn