Tóm tắt Luận án Tiến sĩ Kỹ thuật: Nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:27

Thêm vào BST

Báo xấu

4
lượt xem 2
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Tóm tắt Luận án Tiến sĩ Kỹ thuật "Nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ" được nghiên cứu với mục tiêu: Phát triển mô hình mạng nơ-ron xung sâu với tất cả trọng số được nhị phân. Phát triển một kiến trúc tính toán trong bộ nhớ để thực thi mô hình mạng nơ-ron xung nhị phân, hướng tới các thiết bị Edge-AI. Phát triển một phương pháp giúp cải thiện khả năng phòng thủ cho các mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công đối nghịch.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Tóm tắt Luận án Tiến sĩ Kỹ thuật: Nghiên cứu xây dựng mô hình mạng nơ ron xung trọng số nhị phân hướng tới thực thi trên kiến trúc tính toán trong bộ nhớ

BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM ĐINH VĂN NGỌC NGHIÊN CỨU XÂY DỰNG MÔ HÌNH MẠNG NƠ-RON XUNG TRỌNG SỐ NHỊ PHÂN HƯỚNG TỚI THỰC THI TRÊN KIẾN TRÚC TÍNH TOÁN TRONG BỘ NHỚ Ngành: Kỹ thuật điện tử Mã số: 9 52 02 03 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT HÀ NỘI - 2024
CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM Người hướng dẫn khoa học: 1. PGS.TS Bùi Ngọc Mỹ 2. PGS.TS Trịnh Quang Kiên Phản biện 1: GS.TS Trần Xuân Tú Đại học Quốc gia Hà Nội Phản biện 2: PGS.TS Đặng Hoài Bắc Học viện Công nghệ Bưu chính viễn thông Phản biện 3: TS. Vũ Lê Hà Viện Khoa học và Công nghệ quân sự Luận án được bảo vệ tại Hội đồng đánh giá luận án tiến sĩ cấp Viện, họp tại Viện Khoa học và Công nghệ quân sự vào hồi … giờ … ngày … tháng … năm 2024 Có thể tìm hiểu luận án tại: - Thư viện Viện Khoa học và Công nghệ quân sự - Thư viện Quốc gia Việt Nam
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ [CT1]. Van-Ngoc Dinh, Ngoc-My Bui, and Quang-Kien Trinh, “Improving the robustness of binarized neural network using the EFAT method”. JMST, no. CSCE5, pp. 14–23, Dec. 2021. https://doi.org/10.54939/1859-1043.j.mst.CSCE5.2021.14-23 [CT2]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Quang-Manh Duong and Quang-Kien Trinh, "FBW-SNN: A Fully Binarized Weights-Spiking Neural Networks for Edge-AI Applications". 2022 International Conference on IC Design and Technology (ICICDT), 2022, pp. 105-108. https://doi.org/10.1109/ICICDT56182.2022.9933108 [CT3]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Khoa-Sang. Nguyen, Quang-Manh Duong and Quang-Kien Trinh, "A Study on Adversarial Attacks and Defense Method on Binarized Neural Network". 2022 International Conference on Advanced Technologies for Communications (ATC), 2022, pp. 304-309. https://doi.org/10.1109/ATC55345.2022.9943040 [CT4]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Deepu John, Long-Yang Lin, and Quang-Kien Trinh, “NUTS-BSNN: A Non- uniform Time-step Binarized Spiking Neural Network with Energy-Efficient In-memory Computing Macro”. Neurocomputing, 126838, 2023. https://doi.org/10.1016/j.neucom.2023.126838 Tạp chí quốc tế danh mục SCI/SCIE Q1, IF: 6,192. [CT5]. Ngoc-My Bui, Van-Ngoc Dinh, Van-Hau Pham, Quang-Kien Trinh, “Uncovering the Resilience of Binarized Spiking Neural Networks Under Adversarial Attacks”. 2023 International Conference on Control, Automation and Information Sciences (ICCAIS), 2023, pp. 674-679. https://doi.org/10.1109/ICCAIS59597.2023.10382270
1 MỞ ĐẦU 1. Tính cấp thiết của đề tài luận án Học sâu được triển khai trên các thiết bị biên rất phổ biến hiện nay như trên các thiết bị không người lái, các hệ thống quang điện tử, các hệ thống cảm biến thông minh, hệ thống kiểm soát ra vào tự động... Các thiết bị này sử dụng học sâu xử lý các tác vụ như phát hiện đối tượng, phân loại ảnh, nhận dạng ảnh trong thị giác máy tính. Các mô hình học sâu thông thường được sử dụng là các mô hình mạng nơ-ron nhân tạo với nhiều lớp ẩn. Số lớp ẩn của mạng càng tăng thể hiện độ sâu của mô hình, mục đích tăng độ chính xác chung cho mô hình nhưng cũng làm tăng kích thước (độ phức tạp) của mô hình. Các mô hình mạng nơ-ron nhân tạo có số lượng lớp mạng càng lớn dẫn đến số lượng trọng số của mô hình cũng tăng, điều này làm cho việc thực thi mô hình yêu cầu bộ nhớ lưu trữ lớn và số lượng phép tính tăng tương ứng. Khi yêu cầu tính toán tăng dẫn tới năng lượng tiêu thụ chung của thiết bị cũng tăng theo. Do đó, nhu cầu nghiên cứu các mô hình mạng nơ-ron gọn nhẹ và yêu cầu tính toán thấp là cần thiết hướng tới phát triển các phần cứng cho các thiết bị Edge-AI. Một vấn đề nữa là khi sử dụng các thuật toán học sâu vào các ứng dụng trong đời sống đòi hỏi độ chính xác cao và không bị ảnh hưởng nhiễu có chủ đích (hay bị tấn công) để đưa ra các kết quả sai. Các mô hình học sâu được ứng dụng rộng rãi như hiện nay một phần nhờ độ chính xác khi thực hiện các tác vụ phức tạp mà các thuật toán học máy trước đây chưa đạt được. Khi được đưa vào ứng dụng rộng rãi, một câu hỏi lớn đặt ra là có khi nào các mô hình học sâu bị tấn công để làm sai lệch kết quả hay không. Gần đây, tấn công đối nghịch đã được các nhà khoa học đưa ra như là một phương pháp có thể đánh lừa các mạng nơ-ron nhân tạo khi thực thi một tác vụ quan trọng là nhận dạng đối tượng (phân loại ảnh). Phương pháp tấn công đối nghịch thêm một lượng nhiễu loạn nhỏ vào ảnh đầu vào nhưng có thể làm cho mạng nơ-ron nhân tạo nhận dạng sai khá trầm trọng. Các mô hình mạng nơ-ron nhân tạo hướng tới các thiết bị Edge-AI như mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân cũng chịu ảnh hưởng bởi tấn công đối nghịch do tính chất tuyến tính của chúng. Do đó, nghiên cứu phương pháp cải thiện khả năng chống đối nghịch cho các mô hình mạng nơ- ron phù hợp với phần cứng yêu cầu khắt khe về tài nguyên và năng lượng là rất
2 cần thiết, là một bước quan trọng trong quá trình thiết kế mạng nơ-ron nhân tạo vào các ứng dụng trong đời sống. Từ hai yêu cầu cấp thiết của các ứng dụng có sử dụng học sâu triển khai trên thiết bị biên là tiết kiệm tài nguyên, năng lượng và cải thiện khả năng chống tấn công đối nghịch, hướng nghiên cứu phát triển một số kỹ thuật cải thiện hiệu năng mạng học sâu trên nền tảng phần cứng nhúng là rất quan trọng. Do đó luận án này tập trung vào nghiên cứu một số mô hình mạng nơ-ron sâu có thể phát triển trên các phần cứng yêu cầu tài nguyên hạn chế và tiết kiệm năng lượng hướng tới các thiết bị Edge-AI. 2. Mục tiêu nghiên cứu của luận án Phát triển mô hình mạng nơ-ron xung sâu với tất cả trọng số được nhị phân. Phát triển một kiến trúc tính toán trong bộ nhớ để thực thi mô hình mạng nơ-ron xung nhị phân, hướng tới các thiết bị Edge-AI. Phát triển một phương pháp giúp cải thiện khả năng phòng thủ cho các mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công đối nghịch. 3. Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu của luận án là một số mạng nơ-ron sâu thế hệ tiếp theo, định hướng phát triển phần cứng cho hệ thống nhúng yêu cầu giới hạn về tài nguyên và tiết kiệm năng lượng. Tập trung trọng tâm vào mô hình mạng nơ- ron nhị phân và mạng nơ-ron xung nhị phân. Luận án tập trung nghiên cứu đề xuất mô hình mạng nơ-ron xung nhị phân; nghiên cứu các phương pháp cải thiện khả năng phòng thủ cho các mô hình mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công đối nghịch. Phạm vi và điều kiện nghiên cứu của luận án gồm có: Mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân; Phương pháp nhị phân hóa như chuỗi số Stochastic, các phương pháp nhị phân hóa của mạng nơ-ron nhị phân; Kiến trúc tính toán trong bộ nhớ; Phương pháp cải thiện khả năng phòng thủ cho các mô hình mạng nơ-ron trước các tấn công đối nghịch. 4. Nội dung nghiên cứu Để hoàn thành được các mục tiêu nghiên cứu đề ra theo hướng nghiên cứu trong phạm vi nghiên cứu, nội dung chính của luận án là: - Nghiên cứu các mạng nơ-ron nhị phân, mạng nơ-ron xung nhị phân và
3 kết hợp các phương pháp nhị phân hóa trọng số của mô hình. Nghiên cứu đề xuất mô hình mạng nơ-ron xung với toàn bộ trọng số được nhị phân hóa. Nghiên cứu kiến trúc tính toán trong bộ nhớ từ đó đề xuất kiến trúc tính toán trong bộ nhớ để thực thi mô hình mạng nơ-ron xung nhị phân. - Nghiên cứu các phương pháp tấn công và phòng thủ đối nghịch trên các mô hình mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân. Đề xuất một phương pháp huấn luyện đối nghịch giúp cải thiện khả năng phòng thủ đối nghịch cho các mô hình mạng nơ-ron trước các tấn công đối nghịch. - Nghiên cứu thực nghiệm trên các tập dữ liệu phân loại ảnh khác nhau như MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100. 5. Phương pháp nghiên cứu Nghiên cứu tổng quan và lý thuyết về kiến trúc các mô hình mạng học sâu phù hợp với phần cứng yêu cầu tiết kiệm tài nguyên và năng lượng. Tổng hợp tính hình nghiên cứu và đánh giá các công trình đã công bố cùng hướng nghiên cứu để tìm ra các thiếu sót hoặc các bài toán chưa được giải quyết triệt để. Từ đó đưa ra định hướng nghiên cứu của luận án nhằm giải quyết các vấn đề còn tồn đọng đó. Tính toán, lập trình thực nghiệm bằng ngôn ngữ lập trình Python sử dụng Pytorch framework để đánh giá các mô hình, kỹ thuật nghiên cứu được đề xuất. 6. Ý nghĩa khoa học và thực tiễn của luận án Ý nghĩa khoa học của nghiên cứu: Nghiên cứu góp phần thúc đẩy phát triển các mô hình học sâu gọn nhẹ hướng đến phát triển phần cứng. Luận án đề xuất mô hình mạng nơ-ron xung với tất cả trọng số được nhị phân hóa hướng tới phát triển phần cứng dựa trên kiến trúc tính toán trong bộ nhớ. Thêm nữa, Luận án đề xuất một phương pháp cải thiện khả năng phòng thủ cho mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công đối nghịch. Ý nghĩa thực tiễn của nghiên cứu: Kết quả luận án có thể ứng dụng hiệu quả trên các hệ thống có thực thi các thuật toán học sâu yêu cầu tiết kiệm năng lượng và tài nguyên như các hệ thống không người lái, các cảm biến thông minh, các thiết bị đeo được và các thiết bị xử lý trí tuệ nhân tạo tại biên (Edge-AI). Luận án cũng giúp cải thiện độ chính xác cho các mô hình học sâu thực thi trên các thiết bị trước các tấn công đối nghịch.
4 7. Bố cục của luận án Luận án được xây dựng gồm phần Mở đầu, Kết luận và 3 Chương. CHƯƠNG 1. TỔNG QUAN VỀ MẠNG HỌC SÂU TRÊN PHẦN CỨNG NHÚNG TÀI NGUYÊN HẠN CHẾ VÀ TIẾT KIỆM NĂNG LƯỢNG 1.1. Học sâu và các bài toán xử lý ảnh 1.1.1. Lịch sử phát triển trí tuệ nhân tạo Từ 2010 cho tới nay là giai đoạn phát triển như vũ bão của trí tuệ nhân tạo với sự giúp sức của công nghệ tính toán, phần cứng hiệu năng cao. Gần đây nhất và đang gây được chú ý lớn tới cộng đồng là mô hình nhận dạng và xử lý ngôn ngữ ChatGPT của OpenAI. Sự ra đời của ChatGPT vào tháng 11/2022 có thể sẽ là một dấu mốc quan trọng tiếp theo của trí tuệ nhân tạo. 1.1.2. Học sâu và ứng dụng 1.1.3. Các bài toán xử lý ảnh ứng dụng học sâu Bài toán phát hiện đối tượng sử dụng học sâu được ứng dụng phổ biến trong một số lĩnh vực như Quân sự quốc phòng, công nghiệp và giám sát an ninh. Trong quân sự quốc phòng, bài toán phát hiện đối tượng sử dụng học sâu được ứng dụng trong các hệ thống như hệ thống quang điện tử, ra đa, xử lý ảnh trên các thiết bị không người lái. 1.1.4. Các tác vụ trong bài toán phát hiện đối tượng Bài toán phát hiện đối tượng bản chất là bài toán có hai tác vụ là xác định vị trí đối tượng trong ảnh và phân loại ảnh. Để đánh giá các mô hình học sâu giải quyết các tác vụ xử lý ảnh này thông thường sẽ có các tập dữ liệu tương ứng để đánh giá. 1.2. Một số mạng học sâu phù hợp với phần cứng nhúng tiết kiệm năng lượng và tài nguyên hạn chế 1.2.1. Giới thiệu hệ thống nhúng Edge-AI đang trở thành một xu hướng quan trọng vì nó mang lại nhiều lợi ích và tiềm năng cho các ứng dụng thực tế. Tuy nhiên, việc triển khai AI tại biên cũng đặt ra nhiều thách thức, trong đó yêu cầu tiết kiệm năng lượng và tài nguyên hạn chế là một trong các thách thức lớn của thiết bị Edge-AI.
5 1.2.2. Mạng nơ-ron nhị phân Mạng nơ-ron nhị phân được coi là phù hợp với phần cứng vì khi thực thi chỉ sử dụng các phép toán logic đơn giản như AND, OR, XNOR, POP COUNT hoặc bit-shift, thay vì các phép tính toán dạng số học phức tạp như MAC. 1.2.3. Mạng nơ-ron xung Mạng nơ-ron xung (SNN) là một dạng mạng nơ-ron nhân tạo mô phỏng hành vi của các nơ-ron sinh học, trong đó các nơ-ron truyền tải thông tin bằng các xung thay vì các giá trị liên tục như trong các mạng nơ-ron truyền thống. 1.2.4. Mạng nơ-ron xung nhị phân Việc phát triển thực thi các mạng nơ-ron xung sâu trên phần cứng vẫn rất khó khăn vì trọng số khớp thần kinh vẫn là giá trị thực, nghĩa là chúng yêu cầu bộ nhớ lưu trữ lớn và tính toán phức tạp. Mạng nơ-ron xung nhị phân (BSNN) là một SNN có các trọng số nhị phân, gần đây được đề xuất để giảm độ phức tạp của SNN và đẩy hiệu suất của mạng lên một vài lần. 1.2.5. Tấn công và phòng thủ đối nghịch Tấn công đối nghịch là một phương pháp tạo ra các ví dụ đối nghịch bằng cách thêm một lượng nhiễu loạn nhỏ vào đầu vào để đánh lừa mạng nơ- ron sâu và có thể gây ra sự phân loại sai nghiêm trọng cho mạng. 1.3. Tình hình nghiên cứu và các vấn đề còn tồn tại 1.3.1. Cải thiện mạng nơ-ron xung nhị phân So sánh phương pháp huấn luyện trực tiếp và chuyển đổi thì rõ ràng phương pháp huấn luyện trực tiếp với các công trình đã công bố sử dụng ít bước thời gian hơn đáng kể. Điều này làm giảm độ trễ của mạng khi thực thi các tác vụ. Tuy nhiên một số nghiên cứu vẫn giữ trọng số của lớp đầu tiên và lớp cuối cùng là số thực khi huấn luyện và thực thi, điều này khiến cho BSNN chưa trọn vẹn với toàn bộ trọng số là nhị phân. 1.3.2. Tấn công và phòng thủ đối nghịch trên BNN và BSNN Có thể thấy các công bố về tấn công và đối nghịch trên SNN là khá phòng phú tuy nhiên với BSNN thì vẫn chưa tìm thấy công bố nào khảo sát về khả năng phòng thủ của chúng trước các tấn công đối nghịch.
6 1.3.3. Các vấn đề còn tồn tại Trên cơ sở tổng hợp, phân tích tình hình nghiên cứu về các mô hình BSNN và tấn công đối nghịch trên các mô hình BNN và BSNN, nghiên cứu sinh nhận thấy còn có một số tồn tại: Thứ nhất: Các mô hình BSNN với tất cả lớp có trọng số là nhị phân thì mới thử nghiệm trên các kiến trúc mạng nhỏ và các tập dữ liệu đơn giản. Một số mô hình BSNN được đề xuất thử nghiệm trên các tập dữ liệu lớn hơn với kiến trúc mạng sâu hơn thì các trọng số lớp đầu tiên và cuối cùng vẫn giữ là số thực để bảo đảm độ chính xác của toàn bộ mô hình. Chưa có mô hình BSNN sâu nào với tất cả các trọng số là số nhị phân được đề xuất và thực nghiệm đánh giá trên các tập dữ liệu như CIFAR-10 và CIFAR-100. Thứ hai: Các nghiên cứu về tấn công và phòng thủ đối nghịch trên các mô hình BNN được thực hiện rất hạn chế và đa số chỉ thử nghiệm các tấn công trên BNN chứ chưa thực hiện các phương pháp phòng thủ giúp cải thiện khả năng phòng thủ cho BNN chống lại các tấn công đối nghịch. Khác với BNN, các mô hình SNN được thử nghiệm các tấn công và phòng thủ đối nghịch đa dạng hơn. Tuy nhiên, đến thời điểm hiện tại vẫn chưa tìm thấy một công bố nào thực hiện khảo sát tấn công và phòng thủ đối nghịch trên BSNN. 1.4. Định hướng nghiên cứu của luận án Đề xuất kiến trúc mạng nơ-ron xung với toàn bộ các trọng số được nhị phân hóa và kiến trúc tính toán trong bộ nhớ để thực thi mô hình này hướng tới các thiết bị Edge-AI. Khảo sát kết quả các tấn công đối nghịch trên các mô hình BNN và BSNN song song đề xuất một phương pháp giúp cải thiện khả năng phòng thủ cho các mô hình trên chống lại các tấn công đối nghịch. 1.5. Kết luận Chương 1 Trong Chương 1 đã trình bày một số nghiên cứu tổng quan về trí tuệ nhân tạo và các bài toán xử lý ảnh trong thị giác máy tính. Chỉ ra hai vấn đề tồn tại là: một là chưa có mô hình BSNN sử dụng kiến trúc mạng sâu trên các tập dữ liệu như CIFAR-10 và CIFAR-100 với tất cả các trọng số nhị phân được đề xuất và thực nghiệm đánh giá; hai là tấn công đối nghịch trên các mô hình mạng nơ-ron nhị phân còn chưa phong phú và cập nhật, trong khi tấn công và phòng thủ trên mạng nơ-ron xung nhị phân thì chưa có công trình nào thực hiện đến
7 thời điểm khảo sát. Từ hai vấn đề tồn tại, luận án đã đưa ra định hướng nghiên cứu. CHƯƠNG 2. MẠNG NƠ-RON XUNG NHỊ PHÂN HƯỚNG TỚI CÁC THIẾT BỊ EDGE-AI 2.1. Ước lượng các trọng số nhị phân Để thực thi toàn bộ BSNN trên phần cứng hướng tới kiến trúc tính toán trong bộ nhớ đòi hỏi BSNN được nhị phân hóa toàn bộ trọng số của mô hình bao gồm lớp đầu tiên và cuối cùng. Mặc dù có một số công bố huấn luyện BSNN với tất cả trọng số nhị phân theo nguyên lý không phải của BNN nhưng hạn chế ở các tập dữ liệu do mô hình SNN nhỏ hoặc độ chính xác chưa tốt, với các mô hình lớn hơn thì các công bố để lại trọng số lớp đầu tiên và cuối cùng là giá trị thực để đảm bảo độ chính xác phân loại chung không quá thấp. 2.2. Đề xuất mạng nơ-ron xung với toàn bộ trọng số nhị phân 2.2.1. Mạng nơ-ron xung với trọng số nhị phân Một mạng nơ-ron xung nhị phân có thể được xây dựng với nhiều lớp ẩn phổ biến như lớp tích chập và lớp kết nối đầy đủ. 1 0 1 1 0 -1 1 1 1 0 1 0 0 0 0 1 1 1 1 -1 1 0 1 1 1 1 1 1 1 0 0 -1 -1 1 Điện thế 0 0 0 1 1 0 0 1 0 1 màng của 0 1 1 0 1 1 1 1 0 1 bước thời 0 0 0 0 1 Trọng số gian trước (Weights) Xung đầu vào Xung đầu ra Conv/FC BN + Nơ-ron IF (Input spikes) (Output spikes) Hình 2.1 Các khối cơ bản BSNN (minh họa tại một bước thời gian) Các khối cơ bản trong một nơ-ron (hay một lớp) của BSNN thể hiện ở Hình 2.1. Điểm khác biệt đáng kể nhất với các khối cơ bản của DNN là BSNN sẽ sử dụng các nơ-ron IF để thay thế hàm kích hoạt. 2.2.2. Đề xuất một mạng nơ-ron xung với tất cả trọng số nhị phân (FBW- SNN) Mô hình FBW-SNN: A Fully Binarized Weights Spiking Neural
8 Network được đề xuất dựng dựa trên nguyên lý nhị phân hóa toàn bộ trọng số theo nguyên lý XNOR-Net và chuỗi bit stochastic. Tại nơ-ron 𝑖 và nơ-ron 𝑗, điện thế màng 𝑢 𝑖𝑡 tại nơ-ron i và bước thời gian t được biểu diễn: 𝑢 𝑖𝑡 = 𝑢 𝑖𝑡−1 + ∑ 𝑤 𝑖𝑗 𝑜 𝑗𝑡 (2.1) 𝑗 với 𝑤 𝑖𝑗 là các trọng số kết nối giữa hai nơ-ron; 𝑜 𝑗𝑡 là xung đầu ra của nơ-ron 𝑗 tại bước thời gian 𝑡. Điện thế màng 𝑢 𝑖𝑡 sau khi áp dụng lớp chuẩn hóa theo batch được biểu diễn dưới dạng. 𝑀 𝛾 𝑢 𝑖𝑡 = 𝑢 𝑖𝑡−1 + (∑ 𝑤 𝑖𝑗 𝑜 𝑗𝑡 − 𝜇) + 𝛽 (2.2) 𝜎 𝑗=1 Trong đó 𝛾 và 𝛽 lần lượt là các tham số chia tỷ lệ và độ lệch cố định (bias); 𝜎 và 𝜇 tương ứng với độ lệch chuẩn và giá trị trung bình của BN. FBW-SNN sử dụng nguyên lý dựa trên XNOR-Net để xấp xỉ nhị phân. ̃𝑙 = 𝛼 𝑙 × 𝑠𝑖𝑔𝑛(𝑤 𝑙 ) 𝑤 𝑖𝑓 1 < 𝑙 < 𝐿 (2.3) Trong đó 𝛼 𝑙 là trung bình của tập giá trị trọng lượng tuyệt đối của lớp 𝑙 (hệ số tỷ lệ). Hệ số tỉ lệ sẽ được lấy cho từng ma trận bộ lọc. 𝑛 1 𝛼 𝑙 = ∑|𝑤 𝑙𝑖 | (2.4) 𝑛 𝑖=1 với 𝑛 là số lượng trọng số tại lớp 𝑙. Để biểu diễn nhị phân đầy đủ, FBW-SNN đã chuyển đổi trọng số của lớp đầu tiên và lớp cuối cùng thành chuỗi nhị phân Stochastic. Bộ tạo số Stochastic được sử dụng để tạo ra các chuỗi số Stochastic. Bộ tạo số ngẫu r nhiên w Chuỗi nhị phân Trọng số Bộ so sánh Hình 2.4 Bộ tạo số ngẫu nhiên cho các trọng số SNG bao gồm hai thành phần chính, bộ tạo số ngẫu nhiên và bộ so sánh. SNG sẽ tạo ra một chuỗi các số ngẫu nhiên có độ dài 𝑇 bước thời gian.
9 +1, 𝑟 ≤ 𝑤𝑙 ̃ 𝑙𝑡 = { 𝑤 (2.5) −1, 𝑟 > 𝑤𝑙 Với 𝑙 = 1 và 𝑙 = 𝐿. Ở đây, 𝑟 là số ngẫu nhiên theo phân bố đều trong khoảng [−𝜔; +𝜔] và 𝜔 là hệ số tỷ lệ cho trọng số. Hệ số tỷ lệ được lấy là giá trị lớn nhất của bộ trọng số lớp đầu tiên. Ảnh đầu vào 10 time-steps 100 time-steps 1000 time-steps Xung đầu vào Xung đầu vào Xung đầu vào Xung đầu vào Xung đầu vào Xung đầu vào Thời gian Hình 2.5 Mã hóa tỉ lệ cho hình ảnh đầu vào Tại bước thời gian 𝑡, một điểm ảnh được mã hóa thành xung đầu vào như sau: 1, 𝑝≤ 𝑋 𝑖𝑛𝑝 𝑡 = { (2.6) 0, 𝑝> 𝑋 Trong đó 𝑝 là một số ngẫu nhiên theo phân bố đều trong khoảng từ min(X) đến max(X) của tập dữ liệu. Bộ mã hóa tỉ lệ sẽ tạo ra xung nếu số ngẫu nhiên 𝑝 nhỏ hơn hoặc bằng giá trị của đầu vào (giá trị ‘1’). Ngược lại, sẽ không có xung nào được tạo ra (giá trị ‘0’). Minh họa các hình ảnh đầu vào mã hóa thành một luồng các xung theo bước thời gian được thể hiện trên Hình 2.5. 2.2.3. Đề xuất một mạng nơ-ron xung nhị phân với bước thời gian không đồng nhất (NUTS-BSNN) Luận án trình bày đề xuất NUTS-BSNN: A Non-uniform Time-step Binarized Spiking Neural Networks, một mạng nơ-ron xung nhị phân theo bước thời gian không đồng nhất. Để trích xuất thêm các đặc trưng thông tin từ đầu vào ban đầu, NUTS-BSNN sử dụng 𝐾 bộ trọng số khớp thần kinh của lớp đầu vào thay vì chỉ một như trong các cấu trúc thông thường. Sự khác nhau giữa NUTS-BSNN, FBW-SNN và BSNN được thể hiện trên Hình 2.6.
10 Trọng số Điện thế thực màng trước Xung đầu Xung đầu vào 1 Conv1 BN + Nơ-ron IF ra 1 a) Trọng số nhị Điện thế phân 1 màng trước Xung đầu Xung đầu vào 1 Conv1 BN + Nơ-ron IF ra 1 b) Trọng số nhị phân 11 Tổng điện thế Xung đầu màng bước Conv1 BN thời gian vào 11 trước Xung đầu Trọng số nhị + Nơ-ron IF ra 1 phân 1K c) Xung đầu Conv1 BN vào 1K Hình 2.6 Các khối lớp đầu vào của BSNN: a) BSNN với các trọng số thực; b) FBW-BSNN với các trọng số nhị phân; c) NUTS-BSNN với K bộ trọng số nhị phân 2.2.4. Huấn luyện mạng nơ-ron xung với trọng số nhị phân Do sự khác biệt giữa mô hình FBW-SNN và NUTS-BSNN chỉ là tính toán tại lớp đầu vào do đó cả hai mô hình này đều được huấn luyện cùng một phương pháp, huấn luyện trực tiếp. Điện thế màng tổng quát của lớp đầu vào được tính toán trước khi đưa vào nơ-ron IF như sau: 𝐾 𝜔 × ∑ 𝑗 ̃ 𝑖𝑗 𝑜 𝑗𝑡,𝑘 − 𝜇 𝑤 𝑡,𝑘 𝑢 𝑖𝑡 = 𝑢 𝑖𝑡−1 +∑ (2.8) 𝑘=1 √𝜎 2 − 𝜏 Trong đó, ̃ là trọng số được biểu diễn lại thành chuỗi nhị phân hóa sử 𝑤 dụng SNG. Các thông số của BN: 𝜇 là trung bình; 𝜎 2 là phương sai; 𝜏 là giá trị tránh xảy ra phép tính chia cho 0. Khi thay 𝐾 = 1 thì công thức này thể hiện cho mô hình FBW-SNN. Mất mát entropy của BSNNs được tính sau lớp đầu ra.
11 𝐶 𝑇 𝑒 𝑢𝑖 𝐽 = − ∑ 𝑦 𝑖 𝑙𝑜𝑔 ( 𝑇 ) (2.10) 𝑖=1 ∑ 𝐶𝑚=1 𝑒 𝑢 𝑚 Với 𝑦 𝑖 là đầu ra đúng (ground truth) cho lớp 𝐶. 𝑢 𝑖𝑇 là tổng điện thế màng của các bước thời gian 𝑇. Giá trị mất mát 𝐽 được sử dụng để tính toán gradient trong quá trình lan truyền ngược. Trong quá trình lan truyền ngược, mô hình được huấn luyện sử dụng nguyên lý giảm gradient (GD) và lan truyền ngược theo thời gian (BPTT) để cập nhật trọng số cho mô hình. 𝜕𝐽 𝑊𝑙 = 𝑊𝑙 − 𝜂 ∑ (2.11) 𝜕𝑊𝑙 𝑡 𝑡 Ở đây 𝑊𝑙 là bộ trọng số giá trị thực của lớp 𝑙 và 𝜂 là tốc độ học. Gradient tích lũy ở lớp 𝑙 được tính theo quy tắc dây chuyền sau: 𝜕𝐽 𝜕𝑂 𝑙𝑡 𝜕𝑈 𝑙𝑡 ∑ , 𝑖𝑓 𝑙 < 𝐿 𝜕𝐽 𝜕𝑂 𝑙𝑡 𝜕𝑈 𝑙𝑡 𝜕𝑊𝑙 𝑡 𝑡 ∑ = (2.12) 𝜕𝑊𝑙 𝑡 𝜕𝐽 𝜕𝑈 𝑙 𝑇 𝑡 ∑ 𝑇 𝑡. 𝑖𝑓 𝑙 = 𝐿 { 𝑡 𝜕𝑈 𝑙 𝜕𝑊𝑙 Trong quá trình tính gradient, với tính chất bất khả vi của các xung đầu ra tại các nơ-ron IF do đó phải sử dụng thuật toán gradient thay thế (SG) để tính gần đúng hàm đạo hàm thành phần: 𝜕𝑂 𝑙𝑡 𝑈 𝑙𝑡 − 𝜃 = 𝜑 × 𝑚𝑎𝑥 {0, 1 − | |} (2.13) 𝜕𝑈 𝑙𝑡 𝜃 Với 𝜑 là hệ số giảm lần được đặt bằng 0.3 để đảm bảo tính ổn định trong quá trình huấn luyện. 𝜃 là giá trị ngưỡng của nơ-ron IF. 2.3. Đề xuất kiến trúc tính toán trong bộ nhớ thực thi BSNN 2.3.1. Tính toán trong bộ nhớ 2.3.2. Tính MAC dựa trên phép tính XNOR Điện thế màng tại thời điểm 𝑡 của mô hình BSNN một cách tổng quát được tính như sau:
12 𝛾 × ∑ 𝑗=1 ̃ 𝑖𝑗 𝑠 𝑗𝑡 − 𝜇 𝑀 𝑤𝑡 𝑢 𝑖𝑡 = 𝑢 𝑖𝑡−1 + (2.15) √𝜎 2 − 𝜏 Ở đây, 𝛾 là hệ số tỷ lệ. Hệ số 𝛾 bằng 𝜔 cho lớp đầu vào, đầu ra và bằng hệ số tỷ lệ 𝛼 𝑙 đối với các lớp ẩn. Trường hợp riêng của NUTS-BSNN sẽ tăng cường tích lũy tại lớp đầu vào 𝐾 lần. Công thức (2.15) được viết lại như sau: 𝑀 𝛾 𝜇 𝑢 𝑖𝑡 = 𝑢 𝑖𝑡−1 + (∑ ̃ 𝑖𝑗 𝑠 𝑗𝑡 − ) 𝑤𝑡 (2.16) √𝜎 2 − 𝜏 𝑗=1 𝛾 Khi thay đổi ngưỡng 𝜃 sang ngưỡng mới 𝜃̅: 𝑀 𝜇 ̅ 𝑖𝑡 𝑢 = ̅ 𝑖𝑡−1 𝑢 + ∑ ̃ 𝑖𝑗 𝑠 𝑗𝑡 − 𝑤𝑡 𝛾 𝑗=1 (2.17) 𝛾 √𝜎 2 − 𝜏 𝜃̅ = 𝜃 × ; ̅ 𝑖𝑡−1 = 𝑢 𝑖𝑡−1 × 𝑢 √𝜎 2 − 𝜏 𝛾 𝑀 𝑡 𝑡 Thành phần MAC ∑ 𝑗=1 ̃ 𝑖𝑗 𝑠 𝑗 được chuyển đổi để tính toán bằng cách 𝑤 sử dụng phép tính lô-gic XNOR. 𝑀 𝑀 𝑡,𝑢 ∑ ̃ 𝑖𝑗 𝑠 𝑗𝑡 𝑤𝑡 = ∑ 𝑤 𝑖,𝑗 ⊙ 𝑠 𝑗𝑡 − 𝑀1 (2.18) 𝑗=1 𝑗=1 Với ⊙ là toán tử XNOR. 𝑀1 là số lượng trọng số -1 trong bộ trọng số 𝑡,𝑢 𝑤𝑡 ̃ 𝑖𝑗 . 𝑤 𝑖,𝑗 là bộ trọng số đã được biến đổi thành giá trị nhị phân (0, 1) bằng 𝑡,𝑢 𝑤 𝑖,𝑗 ̃𝑡 = (𝑤 𝑖𝑗 + 1)/2. Công thức (2.18) được biểu diễn lại theo điện thế màng mới ̅ 𝑖𝑡 tương ứng với ngưỡng mới của nơ-ron 𝜃̅: 𝑢 𝑀 𝑡,𝑢 𝜇 ̅ 𝑖𝑡 𝑢 = ̅ 𝑖𝑡−1 𝑢 + ∑ 𝑤 𝑖,𝑗 ⊙ 𝑠 𝑗𝑡 − (𝑀1 + ) (2.19) 𝛾 𝑗=1 𝑡,𝑢 Theo công thức (2.19), thành phần ∑ 𝑗=1 𝑤 𝑖,𝑗 ⊙ 𝑠 𝑗𝑡 là phép tính XNOR. 𝑀 Như vậy để tính toán trong quá trình dự đoán, các phép tính MAC của FWB- SNN và NUTS-BSNN có thể sử dụng các phép tính lô-gic XNOR.
13 2.3.3. Tính toán BSNNs dựa trên mảng XNOR Xung đầu vào Trọng số Xung đầu ra 1 Q Xung đầu vào P 2 XNOR Bộ giải mã cột XNOR cell s1 s2 s3 sM w11 w12 w13 w1M Q IF w21 w22 w23 w2M IF 3x3xP XxYxQ Xung đầu ra XxYxP w31 w32 w33 w3M N=Q IF Xung đầu vào Xung đầu vào Xung đầu vào Sub-array IF IF IF w wN2 wN3 wNM N1 IF Sub- Sub- Sub- array array array M=3x3xP 1 2 S Hình 2.10 Một kiến trúc IMC dự đoán sử dụng mảng XNOR Ánh xạ của lớp tích chập vào các mảng nhớ XNOR (Sub-array) có kích thước 𝑁 × 𝑀 được thể hiện trên Hình 2.10, trong đó 𝑁 là số hàng và 𝑀 là số cột. 𝑆 = 𝑋 × 𝑌 là kích thước của bản đồ đặc trưng (ví dụ: ở lớp đầu vào 𝑋 × 𝑌 là kích thước bản đồ đặc trưng). Tại một nút của Sub-array sẽ thực hiện một phép tính lô-gic XNOR. Mỗi lớp của mô hình tính toán bởi 𝑆 Sub-array có cùng kích thước ô XNOR. Do đó, việc tính toán cửa sổ trượt có thể được xử lý song song hoặc tuần tự bằng cách sử dụng 𝑆 hoặc một Sub-array. Xung đầu vào a) Với NUTS-BSNN, 1k tích lũy 𝐾 lần ở lớp đầu vào Xung Tổng điện Nơ-ron Sub-array thế màng IF đầu ra có thể được thực hiện bằng 1 cách sử dụng bước thời K lần gian thứ hai để tăng tốc độ Xung đầu vào 11 tính toán ở lớp đầu vào (a). Mặt khác, nếu tăng số Sub-array 1 b) lượng Sub-array ở lớp đầu Xung vào lên 𝐾 lần để tích lũy Tổng điện Nơ-ron Xung đầu vào 1K + thế màng IF đầu ra 1 đồng thời thì mô hình sẽ không phải sử dụng bước Sub-array K thời gian thứ 2 (b), nhưng phải tăng tài nguyên. Hình 2.11 Thực thi tại lớp đầu vào của NUTS-BSNN
14 2.4. Kết quả thực nghiệm trên các tập dữ liệu phân loại ảnh 2.4.1. Cài đặt các tham số huấn luyện 2.4.2. Ảnh hưởng bước thời gian Luận án đã nghiên cứu tác động của bước thời gian 𝑇 bằng cách huấn luyện BSNN thông thường (trọng số tại lớp đầu vào và đầu ra vẫn giữ là giá trị thực) sử dụng bước thời gian từ 6 đến 18 để nghiên cứu tác động của tham số này đối với việc phân loại ảnh. 100 91,58 92,14 92,15 92,41 92,58 92,55 92,56 Điều thú vị cho thấy rằng cả ba mô hình 90 trên ba tập dữ liệu đều đạt 80 Độ chính xác % 82,58 83,86 84,02 84,37 83,75 83,49 được độ chính xác tốt 79,99 70 nhất với 𝑇 được đặt là 14. 60 61,20 61,49 61,07 59,23 Chúng đều giảm khi 50 57,06 59,25 bước thời gian tăng do đó 53,29 Fashion-MNIST 40 CIFAR-10 luận án chọn bước thời CIFAR-100 30 gian là 14 cho cả ba tập 6 8 10 12 14 16 18 Bước thời gian (time-step) dữ liệu huấn luyện. Hình 2.12 Độ chính xác phân loại của BSNN với các trọng số giá trị thực tại lớp đầu vào và đầu ra khi thay đổi bước thời gian 2.4.3. Ảnh hưởng hệ số tỉ lệ của SNG Bảng 2.2 Độ chính xác của FBW-SNN với các hệ số tỉ lệ khác nhau Tập dữ liệu µ+σ µ+2σ µ+3σ µ+4σ Fashion-MNIST 92,32% 92,06% 92,02% 91,38% CIFAR-10 83,74% 82,57% 81,88% 81,84% CIFAR-100 63,10% 62,80% 62,21% 60,69% Để xác định hệ số tỷ lệ 𝜔 phù hợp cho SNG, luận án đã huấn luyện FBW-SNN với hệ số tỷ lệ 𝜔 khác nhau của SNG từ µ + 𝜎 đến µ + 4𝜎 trên cả ba tập dữ liệu. Theo Bảng 2.2, độ chính xác của các tập dữ liệu đạt giá trị cao nhất với hệ số tỉ lệ 𝜔 ở mức µ + 𝜎. Đặc biệt với CIFAR-100, độ chính xác của FBW-SNN lớn hơn BSNN khoảng 2%.
15 2.4.4. Ảnh hưởng số lần tích lũy tại lớp đầu tiên 100 Trên cả hai tập dữ 92,32 92,80 93,18 93,23 93,25 93,21 95 liệu CIFAR-10 và 90 CIFAR-100 đều có xu Độ chính xác % 85 88,71 80 86,24 87,53 87,63 88,12 hướng chung là tăng độ 83,74 75 68,92 69,66 70,31 chính xác khi tăng số lần 66,55 68,00 70 63,10 tích lũy 𝐾. Nếu tiếp tục 65 60 Fashion-MNIST tăng 𝐾 lên hơn 6 không 55 CIFAR-10 cho độ chính xác khác CIFAR-100 50 biệt lớn so với 𝐾 = 6, do 1 2 3 4 5 6 Số lần tích lũy đó trong luận án chọn 6. Hình 2.14 Độ chính xác của NUTS-BSNN với K thay đổi Đối với tập dữ liệu Fashion-MNIST, độ chính xác phân loại dao động trong khoảng 1% khi 𝐾 tăng từ 1 lên 6 và đạt tối đa ở 𝐾 = 5 với 93,25%. 2.4.5. Ảnh hưởng độ sâu của cấu trúc mạng Bảng 2.3 Độ chính xác phân loại trên các mô hình BSNN với các cấu trúc mạng khác nhau Tên Cấu trúc mạng Trọng số Độ chính xác VGG-7 5 Conv and 2 FC layers 4.843.040 83,40% VGG-9 7 Conv and 2 FC layers 5.938.880 84,37% VGG-11 8 conv and 3 FC layers 42.442.432 84,80% Luận án sử dụng cấu trúc VGG-9 có thể đủ để đạt được độ chính xác khá tốt với tập dữ liệu CIFAR-10 so với VGG-11 trong khi số lượng trọng số giảm khoảng 8 lần. 2.4.6. Ảnh hưởng tính ngẫu nhiên của khối SNG Bảng 2.4 Độ chính xác của NUTS-BSNN ảnh hưởng bởi tính ngẫu nhiên Độ chính xác (%) Tập dữ liệu Cao nhất Trung bình (𝝁) /Độ lệch chuẩn (𝝈) Fashion-MNIST 93,25 92,94/0,12 CIFAR-10 88,71 88,26/0,17 CIFAR-100 70,31 69,90/0,19 Luận án tiến hành lặp lại suy luận 100 lần với mô hình đã được huấn
16 luyện NUTS-BSNN trên ba tập dữ liệu để tìm ra giá trị trung bình và độ lệch chuẩn của độ chính xác phân loại. Có thể kết luận, tính ngẫu nhiên của việc tạo số ngẫu nhiên đầu vào, các trọng số có tác động đến độ chính xác của các mô hình, nhưng hiệu ứng này tương đối nhỏ và có thể được bỏ qua. 2.4.7. Các kết quả đánh giá và so sánh BSNNs NUTS-BSNN được đề xuất của luận án có thể đạt được độ chính xác tương đương hoặc thậm chí tốt hơn hầu hết các công trình đã công bố BSNN trước đó, xem Bảng 2.5. Trong khi chỉ sử dụng 14 bước thời gian, điều này giúp cho NUTS-BSNN thực thi có độ trễ thấp. Bảng 2.5 So sánh độ chính xác của các BSNN Mạng nơ-ron Trọng số lớp đầu Phương pháp huấn Time Độ chính vào và đầu ra luyện steps xác (%) Fashion-MNIST BS4NN [65]’ NPL 22 Giá trị nhị phân Huấn luyện trực tiếp 256 87,30 FBW-SNN [CT2] Giá trị nhị phân Huấn luyện trực tiếp 14 91,49 BSNN [CT4] Giá trị thực Huấn luyện trực tiếp 14 92,58 NUTS-BSNN (𝑲 = 𝟓) [CT4] Giá trị nhị phân Huấn luyện trực tiếp 14 93,25 CIFAR-10 BSNN [81]’ TCDS 20 Giá trị thực Chuyển đổi 100 90,19 BSNN [82]’ ICSICT 20 Giá trị thực Chuyển đổi 150 80,52 ReStoCNet [24]’ FN 19 Giá trị nhị phân Hybrid-STDP 500 66,23 STT-BSNN [73]’ IA 21 Giá trị thực Huấn luyện trực tiếp 8 83,85 FBW-SNN [CT2]’ ICICDT 22 Giá trị nhị phân Huấn luyện trực tiếp 14 82,86 BSNN [CT4] Giá trị thực Huấn luyện trực tiếp 14 84,37 NUTS-BSNN (𝑲 = 𝟔) [CT4] Giá trị nhị phân Huấn luyện trực tiếp 14 88,71 CIFAR-100 B-SNN [62]’ FN 20 Giá trị nhị phân Chuyển đổi 148 62,71 BSNN [81]’ TCDS 20 Giá trị thực Chuyển đổi 300 62,02 B-SNN [74]’ HPBD&IS 21 Giá trị thực Huấn luyện trực tiếp 8 59,11 BSNN [CT4] Giá trị thực Huấn luyện trực tiếp 14 61,49 NUTS-BSNN (𝑲 = 𝟔) [CT4] Giá trị nhị phân Huấn luyện trực tiếp 14 70,31 2.4.8. Hiệu quả của các mô hình BSNN Có thể nói việc nhị phân hóa các trọng số thành các giá trị nhị phân đã giúp giảm gần 32 lần yêu cầu bộ nhớ lưu trữ. Các mô hình BSNN ngoài lợi thế là các trọng số được nhị phân hóa còn có các đầu vào là các xung có giá trị nhị phân. Do đó thay vì phải thực hiện các phép tính MAC phức tạp và tốn kém về năng lượng, chúng được tính toán bằng phép tính lô-gic dạng bit.
17 2.5. Kết luận Chương 2 Chương 2 đã đề xuất hai mô hình mạng nơ-ron xung với toàn bộ trọng số được nhị phân là FBW-SNN [CT2] và NUTS-BSNN [CT4], bao gồm cả lớp đầu vào và đầu ra, các mô hình đạt được độ chính xác tốt hơn các mô hình mạng nơ-ron xung nhị phân đã công bố trong khi chỉ sử dụng 14 bước thời gian. Chương 2 cũng đã đề xuất một kiến trúc phần cứng sử dụng tính toán trong bộ nhớ để thực thi các mô hình BSNN đã đề xuất. Các kết quả đạt được của chương 2 đã được công bố ở hai công trình [CT2], [CT4]. CHƯƠNG 3. PHƯƠNG PHÁP CẢI THIỆN KHẢ NĂNG PHÒNG THỦ MẠNG NƠ-RON HỌC SÂU TRƯỚC CÁC TẤN CÔNG ĐỐI NGHỊCH 3.1. Tấn công và phòng thủ đối nghịch trên các mạng nơ-ron sâu 3.1.1. Tấn công đối nghịch Phương pháp tấn công đối nghịch FGSM lần đầu tiên được đề xuất. FGSM là một tấn công hộp trắng dựa trên nguyên lý gradient. 𝑥 𝑎𝑑𝑣 = 𝑥 + 𝛼 × 𝑠𝑖𝑔𝑛(𝛻𝑥 𝐽(𝑤, 𝑥, 𝑦)) (3.1) trong đó 𝑥 𝑎𝑑𝑣 là mẫu đối nghịch được tạo, 𝑥 là đầu vào ban đầu, 𝐽 là hàm mất mát, 𝛼 là hệ số nhiễu hay hệ số kích thước bước, 𝑤 là bộ trọng số của mô hình và 𝑦 là đầu ra đúng cơ bản. Để tăng độ phức tạp và sức mạnh tấn công đối nghịch, PGD đã được đề xuất, là một tấn công đối nghịch nhiều bước. 𝑥 𝑖 𝑎𝑑𝑣 = Π 𝑥±𝜀 {𝑥 𝑖−1 + 𝛼 × 𝑠𝑖𝑔𝑛 (𝛻𝑥 𝐽(𝑤, 𝑥 𝑖−1 , 𝑦))} 𝑎𝑑𝑣 𝑎𝑑𝑣 (3.2) với 𝑥0𝑎𝑑𝑣 = 𝑥. Trong đó 𝛼 là kích thước bước và 𝜀 là hệ số bán kính. Giá trị 𝑥 𝑖 𝑎𝑑𝑣 được giới hạn bằng hàm Projector 𝛱 𝑥±𝜀 trong khoảng 𝑥 ± 𝜀 sao cho đầu vào được thêm vào với lượng nhiễu không cao hơn hệ số bán kính 𝜀 (hệ số nhiễu), do đó làm cho các mẫu đối nghịch không quá khác biệt so với đầu vào sạch nếu quan sát bằng mắt. 3.1.2. Phòng thủ đối nghịch Một phương pháp hiệu quả để cải thiện khả năng phòng thủ của các mô hình mạng nơ-ron trước các tấn công đối nghịch là huấn luyện đối nghịch. Phương pháp FAT là phương pháp huấn luyện đối nghịch một bước do đó yêu