Cơ chế attention

Bài giảng "Học sâu và ứng dụng: Bài 11 - Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên" được biên soạn gồm các nội dung chính sau: Bài toán sinh văn bản: Character-RNN; giới thiệu về bài toán dịch má' mô hình NMT; cơ chế chú ý (attention). Mời các bạn cùng tham khảo!

72p gaupanda088 11-04-2025 5 1   Download

Nghiên cứu này đề xuất một mô hình học sâu kết hợp giữa mạng sinh đối nghịch (Generative Adversarial Network) theo cơ chế attention và hàm mất mát Smooth Fourier để sinh ảnh mô IHC từ ảnh HE. Kết quả này giúp bác sỹ chọn phương pháp điều trị phù hợp cho từng bệnh nhân khi sớm phát hiện sự phát triển bất thường của các protetin và cung cấp thông tin chi tiết về biểu hiện protein trên mô tế bào vú thông qua ảnh IHC.

8p gaupanda068 02-01-2025 4 1   Download

Bài giảng Học sâu và ứng dụng: Bài 11 Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (tiếp theo), cung cấp cho người học những kiến thức như: Bài toán sinh văn bản: Character-RNN; Giới thiệu về bài toán dịch máy; Mô hình NMT; Cơ chế chú ý (attention).

74p tomjerry005 17-11-2021 45 6   Download

Bài giảng Học sâu và ứng dụng - Bài 11: Một số ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên (Phần 2). Bài này cung cấp cho học viên những nội dung về: bài toán sinh văn bản character-RNN; giới thiệu về bài toán dịch máy; mô hình NMT; cơ chế chú ý (attention);... Mời các bạn cùng tham khảo chi tiết nội dung bài giảng!

74p duonghoanglacnhi 07-11-2022 15 5   Download

Bài viết này giới thiệu cách tiếp cận dựa trên biểu diễn đặc trưng của đoạn clip, khai thác thông tin không gian và thời gian qua cơ chế học tự chú ý (self-attention). Kết quả thực nghiệm cho thấy cách tiếp cận này có tiềm năng lớn cho các ứng dụng tóm tắt video thực tế.

12p viprimi 16-12-2024 6 2   Download

Mục tiêu nghiên cứu của luận văn là vận dụng kiến thức đã học để xây dựng một hệ thống trả lời tự động, sử dụng mạng học sâu Deep Neural Networks, dựa trên khung làm việc sequence-to-sequence và cơ chế attention để sinh ra câu trả lời tự động từ một chuỗi đầu vào tương ứng. Mô hình được huấn luyện end-to-end GNMT (Google’s Neural Machine Translation) trên tập dữ liệu miền mở có sẵn.

72p matroinho2510 08-11-2022 80 17   Download

Trong phạm vi khóa luận sẽ trình bày về mô hình mạng nơ-ron dựa trên cơ chế tập trung (attention-based neural networks) áp dụng vào việc dự đoán tác dụng phụ của thuốc sử dụng dữ liệu từ y văn. Kết quả thử nghiệm của khóa luận chỉ ra rằng mô hình ATT-RNN, ATT-GRU, ATT-LSTM hoạt động tốt hơn mô hình CNN khi không sử dụng các kỹ thuật attention và ATT-GRU đạt được điểm F1 trung bình tốt nhất là 0,6037 trên bộ thử nghiệm trong số các DNN được thử nghiệm.

53p inception36 25-11-2021 57 6   Download

Luận văn sẽ xây dựng một mô hình học sâu áp dụng cơ chế Attention kết hợp với mạng BiLSTM dự đoán sự kiện lâm sàng cho 3 sự kiện mục tiêu đó là Nhiễm trùng máu (SEPSIS), Nhồi máu cơ tim (MI), và nồng độ Vancomycin trong huyết thanh sau 24 giờ dùng thuốc Vancomycin.

72p tamynhan0 04-07-2020 19 5   Download

Bố cục luận văn được chia thành 6 chương tình bày về: Giới thiệu bài toán tóm tắt văn bản. Trình bày khái niệm và các phương pháp tiếp cận cho bài toán; cơ sở lý thuyết, trình bày những khái niệm và mô hình trong học sâu; mô hình đề xuất, trình bày cơ chế attention cùng thuật toán tìm kiếm chùm và áp dụng vào mô hình đề xuất; thực nghiệm và đánh giá, trình bày quá trình thử nghiệm và đưa ra một số đánh giá, nhận xét cùng kết quả đạt được.

24p hanh_tv27 06-04-2019 136 10   Download

Ngoài phần mở đầu và phần kết luận, luận văn được chia thành 4 chương như sau: Chương 1) Giới thiệu bài toán tóm tắt văn bản, trình bày khái niệm và các phương pháp tiếp cận cho bài toán. Chương 2) Cơ sở lý thuyết: Trình bày những khái niệm và mô hình trong học sâu. Chương 3) Mô hình đề xuất: Trình bày cơ chế attention cùng thuật toán tìm kiếm chùm và áp dụng vào mô hình đề xuất. Chương 4) Thực nghiệm và đánh giá: Trình bày quá trình thử nghiệm và đưa ra một số đánh giá, nhận xét cùng kết quả đạt được.

66p hanh_tv26 04-04-2019 103 17   Download

Duy trì chế độ ăn lành mạnh có thể giúp ích cho trẻ tăng động giảm tập trung trong quá trình điều trị. Một nghiên cứu mới đây cho thấy duy trì chế độ ăn lành mạnh có thể giúp ích cho trẻ tăng động giảm tập trung (attention deficit hyperactivity disorder, ADHD) trong quá trình điều trị. Sau khi phân tích 70 nghiên cứu trước đó về trẻ ADHD, các nhà nghiên cứu tại Bệnh viện Nhi ở Chicago cho biết các thực phẩm như cá, rau, quả và ngũ cốc nguyên cám chứa nhiều chất xơ, folate và acid...

3p yiyinn 15-08-2013 62 6   Download

Rối loạn tăng động giảm chú ý (ADHD) là một rối loạn đã được biết đến từ hơn 100 năm trước đây, đặc trưng bởi sự kết hợp của một hành vi hoạt động quá mức, thiếu kiềm chế với giảm chú ý rõ rệt và thiếu kiên trì trong mọi công việc. Rối loạn này có tỷ lệ mắc khá cao, ở lứa tuổi học sinh cấp I là 3-5% , hay gặp nhất ở 8 – 11 tuổi và tỷ lệ trẻ trai so với trẻ gái là 3/1 ; các triệu chứng thường giảm nhiều và một...

6p bunbo1 23-07-2010 151 17   Download

Now that we have an appreciation for the evolution of the Internet and the TCP/IP protocol suite, let us turn our attention to the structure of the protocol suite. However, since the TCP/IP protocol suite has a layered structure, we will ®rst examine the ISO Reference Model and the subdivision of its second layer by the Institute of Electrical and Electronic Engineers (IEEE) to provide a standardized frame of reference. 2.3 THE ISO REFERENCE MODEL The International Organization for Standardization is an agency of the United Nations headquartered in Geneva, Switzerland.

20p khinhkha 20-07-2010 104 9   Download