BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG
VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM
ĐINH VĂN NGỌC
NGHIÊN CỨU XÂY DỰNG MÔ HÌNH MẠNG NƠ-RON XUNG
TRỌNG SỐ NHỊ PHÂN HƯỚNG TỚI THỰC THI TRÊN
KIẾN TRÚC TÍNH TOÁN TRONG BỘ NHỚ
Ngành: Kỹ thuật điện tử
Mã số: 9 52 02 03
TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT
HÀ NỘI - 2024
CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI
VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ/ BTTM
Người hướng dẫn khoa học:
1. PGS.TS Bùi Ngọc Mỹ
2. PGS.TS Trịnh Quang Kiên
Phản biện 1: GS.TS Trần Xuân Tú
Đại học Quốc gia Hà Nội
Phản biện 2: PGS.TS Đặng Hoài Bắc
Học viện Công nghệ Bưu chính viễn thông
Phản biện 3: TS. Vũ Lê Hà
Viện Khoa học và Công nghệ quân sự
Luận án được bảo vệ tại Hội đồng đánh giá luận án tiến sĩ cấp Viện,
họp tại Viện Khoa học và Công nghệ quân sự vào hồi … giờ … ngày …
tháng … năm 2024
Có thể tìm hiểu luận án tại:
- Thư viện Viện Khoa học và Công nghệ quân sự
- Thư viện Quốc gia Việt Nam
DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
[CT1]. Van-Ngoc Dinh, Ngoc-My Bui, and Quang-Kien Trinh,
“Improving the robustness of binarized neural network using the
EFAT method”. JMST, no. CSCE5, pp. 14–23, Dec. 2021.
https://doi.org/10.54939/1859-1043.j.mst.CSCE5.2021.14-23
[CT2]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Quang-Manh
Duong and Quang-Kien Trinh, "FBW-SNN: A Fully Binarized
Weights-Spiking Neural Networks for Edge-AI Applications".
2022 International Conference on IC Design and Technology
(ICICDT), 2022, pp. 105-108.
https://doi.org/10.1109/ICICDT56182.2022.9933108
[CT3]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Khoa-Sang.
Nguyen, Quang-Manh Duong and Quang-Kien Trinh, "A Study on
Adversarial Attacks and Defense Method on Binarized Neural
Network". 2022 International Conference on Advanced
Technologies for Communications (ATC), 2022, pp. 304-309.
https://doi.org/10.1109/ATC55345.2022.9943040
[CT4]. Van-Ngoc Dinh, Ngoc-My Bui, Van-Tinh Nguyen, Deepu John,
Long-Yang Lin, and Quang-Kien Trinh, “NUTS-BSNN: A Non-
uniform Time-step Binarized Spiking Neural Network with
Energy-Efficient In-memory Computing Macro”.
Neurocomputing, 126838, 2023.
https://doi.org/10.1016/j.neucom.2023.126838
Tạp chí quốc tế danh mục SCI/SCIE Q1, IF: 6,192.
[CT5]. Ngoc-My Bui, Van-Ngoc Dinh, Van-Hau Pham, Quang-Kien
Trinh, “Uncovering the Resilience of Binarized Spiking Neural
Networks Under Adversarial Attacks”. 2023 International
Conference on Control, Automation and Information Sciences
(ICCAIS), 2023, pp. 674-679.
https://doi.org/10.1109/ICCAIS59597.2023.10382270
1
MỞ ĐẦU
1. Tính cấp thiết của đề tài luận án
Học sâu được triển khai trên các thiết bị biên rất phổ biến hiện nay như
trên các thiết bị không người lái, các hệ thống quang điện tử, các hệ thống cảm
biến thông minh, hệ thống kiểm soát ra vào tự động... Các thiết bị này sử dụng
học sâu xử lý các tác vụ như phát hiện đối tượng, phân loại ảnh, nhận dạng ảnh
trong thị giác máy tính. Các mô hình học sâu thông thường được sử dụng là các
mô hình mạng nơ-ron nhân tạo với nhiều lớp ẩn. Số lớp ẩn của mạng càng tăng
thể hiện độ sâu của mô hình, mục đích tăng độ chính xác chung cho mô hình
nhưng cũng làm tăng kích thước (độ phức tạp) của mô hình. Các mô hình mạng
nơ-ron nhân tạo có số lượng lớp mạng càng lớn dẫn đến số lượng trọng số của
mô hình cũng tăng, điều này làm cho việc thực thi mô hình yêu cầu bộ nhớ lưu
trữ lớn và số lượng phép tính tăng tương ứng. Khi yêu cầu tính toán tăng dẫn tới
năng lượng tiêu thụ chung của thiết bị cũng tăng theo. Do đó, nhu cầu nghiên
cứu các mô hình mạng nơ-ron gọn nhẹ và yêu cầu tính toán thấp là cần thiết
hướng tới phát triển các phần cứng cho các thiết bị Edge-AI.
Một vấn đề nữa là khi sử dụng các thuật toán học sâu vào các ứng dụng
trong đời sống đòi hỏi độ chính xác cao và không bị ảnh hưởng nhiễu có chủ
đích (hay bị tấn công) để đưa ra các kết quả sai. Các mô hình học sâu được ứng
dụng rộng rãi như hiện nay một phần nhờ độ chính xác khi thực hiện các tác vụ
phức tạp mà các thuật toán học máy trước đây chưa đạt được. Khi được đưa vào
ứng dụng rộng rãi, một câu hỏi lớn đặt ra là có khi nào các mô hình học sâu bị
tấn công để làm sai lệch kết quả hay không. Gần đây, tấn công đối nghịch đã
được các nhà khoa học đưa ra như là một phương pháp có thể đánh lừa các mạng
nơ-ron nhân tạo khi thực thi một tác vụ quan trọng là nhận dạng đối tượng (phân
loại ảnh). Phương pháp tấn công đối nghịch thêm một lượng nhiễu loạn nhỏ vào
ảnh đầu vào nhưng có thể làm cho mạng nơ-ron nhân tạo nhận dạng sai khá trầm
trọng. Các mô hình mạng nơ-ron nhân tạo hướng tới các thiết bị Edge-AI như
mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân cũng chịu ảnh hưởng bởi
tấn công đối nghịch do tính chất tuyến tính của chúng. Do đó, nghiên cứu
phương pháp cải thiện khả năng chống đối nghịch cho các mô hình mạng nơ-
ron phù hợp với phần cứng yêu cầu khắt khe về tài nguyên và năng lượng là rất
2
cần thiết, là một bước quan trọng trong quá trình thiết kế mạng nơ-ron nhân tạo
vào các ứng dụng trong đời sống.
Từ hai yêu cầu cấp thiết của các ứng dụng có sử dụng học sâu triển khai
trên thiết bị biên là tiết kiệm tài nguyên, năng lượng và cải thiện khả năng chống
tấn công đối nghịch, hướng nghiên cứu phát triển một số kỹ thuật cải thiện hiệu
năng mạng học sâu trên nền tảng phần cứng nhúng là rất quan trọng. Do đó luận
án này tập trung vào nghiên cứu một số mô hình mạng nơ-ron sâu có thể phát
triển trên các phần cứng yêu cầu tài nguyên hạn chế và tiết kiệm năng lượng
hướng tới các thiết bị Edge-AI.
2. Mục tiêu nghiên cứu của luận án
Phát triển mô hình mạng nơ-ron xung sâu với tất cả trọng số được nhị
phân. Phát triển một kiến trúc tính toán trong bộ nhớ để thực thi mô hình mạng
nơ-ron xung nhị phân, hướng tới các thiết bị Edge-AI. Phát triển một phương
pháp giúp cải thiện khả năng phòng thủ cho các mạng nơ-ron nhị phân và mạng
nơ-ron xung nhị phân trước các tấn công đối nghịch.
3. Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu của luận án là một số mạng nơ-ron sâu thế hệ tiếp
theo, định hướng phát triển phần cứng cho hệ thống nhúng yêu cầu giới hạn về
tài nguyên và tiết kiệm năng lượng. Tập trung trọng tâm vào mô hình mạng nơ-
ron nhị phân và mạng nơ-ron xung nhị phân.
Luận án tập trung nghiên cứu đề xuất mô hình mạng nơ-ron xung nhị
phân; nghiên cứu các phương pháp cải thiện khả năng phòng thủ cho các mô
hình mạng nơ-ron nhị phân và mạng nơ-ron xung nhị phân trước các tấn công
đối nghịch. Phạm vi và điều kiện nghiên cứu của luận án gồm có: Mạng nơ-ron
nhị phân và mạng nơ-ron xung nhị phân; Phương pháp nhị phân hóa như chuỗi
số Stochastic, các phương pháp nhị phân hóa của mạng nơ-ron nhị phân; Kiến
trúc tính toán trong bộ nhớ; Phương pháp cải thiện khả năng phòng thủ cho các
mô hình mạng nơ-ron trước các tấn công đối nghịch.
4. Nội dung nghiên cứu
Để hoàn thành được các mục tiêu nghiên cứu đề ra theo hướng nghiên
cứu trong phạm vi nghiên cứu, nội dung chính của luận án là:
- Nghiên cứu các mạng nơ-ron nhị phân, mạng nơ-ron xung nhị phân và