Luận văn Thạc sĩ Khoa học máy tính: Một số kỹ thuật trích chọn đặc trưng chữ viết tay trong nhập điểm rèn luyện tự động

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:69

Thêm vào BST

Báo xấu

19
lượt xem 3
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Đề tài “Một số kỹ thuật trích chọn đặc trưng chữ viết tay trong nhập điểm rèn luyện tự động” đi sâu vào tìm hiểu kỹ thuật trích chọn đặc trưng nhận dạng chữ viết tay trên phiếu đánh giá kết quả rèn luyện. Mời các bạn cùng tham khảo!

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Luận văn Thạc sĩ Khoa học máy tính: Một số kỹ thuật trích chọn đặc trưng chữ viết tay trong nhập điểm rèn luyện tự động

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI QUỐC AN MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2016 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI QUỐC AN MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TS. Vũ Duy Linh Thái Nguyên - 2016 Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
i LỜI CAM ĐOAN Tôi xin cam đoan toàn bộ nội dung bản luận văn này là do tôi tự sưu tầm, tra cứu và sắp xếp cho phù hợp với nội dung yêu cầu của đề tài. Nội dung luận văn này chưa từng được công bố hay xuất bản dưới bất kỳ hình thức nào và cũng không được sao chép từ bất kỳ một công trình nghiên cứu nào. Tất cả phần mã nguồn của chương trình đều do tôi tự thiết kế và xây dựng, trong đó có sử dụng một số thư viện chuẩn và các thuật toán được các tác giả xuất bản công khai và miễn phí trên mạng Internet. Nếu sai tôi xin hoàn toàn chịu trách nhiệm. Thái Nguyên, ngày tháng 07 năm 2016 Người cam đoan i Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
ii LỜI CẢM ƠN Trong quá trình học tập và nghiên cứu tại lớp Cao học khóa 12 chuyên ngành Khoa học máy tính tại trường ĐH Công nghệ thông tin và truyền thông - Đại học Thái Nguyên, tôi đã nhận được rất nhiều sự chỉ bảo, dìu dắt, giảng dậy nhiệt tình của các thầy, cô giáo trong Viện công nghệ thông tin. Các thầy cô giáo quản lý trong trường ĐH Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã luôn giúp đỡ, tạo điều kiện tốt nhất cho tôi trong quá trình công tác cũng như học tập. Nhân dịp này tôi xin bày tỏ lời cảm ơn chân thành tới tập thể các thầy, cô giáo trong Viện công nghệ thông tin, các thầy cô giáo trong trường ĐH Công nghệ thông tin và truyền thông - Đại học Thái Nguyên. Tôi xin chân thành cảm ơn sâu sắc tới thầy giáo TS. Vũ Duy Linh đã cho tôi nhiều ý kiến đóng góp quý báu, đã tận tình hướng dẫn và tạo điều kiện cho tôi hoàn thành tốt luận văn tốt nghiệp này. Tôi xin cảm ơn các đồng nghiệp và người thân đã động viên, giúp đỡ tôi trong quá trình nghiên cứu và thực hiện luận văn này. Quá trình thực hiện đề tài không tránh khỏi các thiếu sót, rất mong tiếp tục nhận được sự đóng góp ý kiến của các thầy, các cô giáo, các bạn đồng nghiệp đối với đề tài nghiên cứu của tôi để đề tài được hoàn thiện hơn. Tôi xin trân trọng cảm ơn! Thái Nguyên, ngày tháng 07 năm 2016 ii Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
iii MỤC LỤC PHẦN MỞ ĐẦU ................................................................................................... 1 Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY ...................................................... 2 1.1. Khái quát về nhập điểm rèn luyện tự động ............................................ 2 1.1.1. Quản lý và nhập điểm rèn luyện tự động ............................................ 2 1.1.2. Kiến trúc một hệ thống nhận dạng điểm rèn luyện sử dụng mạng nơron nhân tạo ........................................................................................................ 5 1.2. Khái quát trích chọn đặc trưng chữ viết tay ........................................ 13 1.2.1. Đặc trưng màu sắc .............................................................................. 15 1.2.2. Đặc trưng hình dạng .......................................................................... 16 1.2.3. Đặc trung kết cấu ................................................................................ 17 1.2.4. Đặc trung cục bộ bất biến .................................................................. 17 Chương 2: NHẬN DẠNG PHIẾU ĐIỂM SỬ DỤNG MẠNG NƠ RON ...... 19 2.1. Thiết kế mạng nơron nhân tạo ............................................................... 19 2.1.1. Các bước thiết kế ................................................................................ 19 2.1.2. Chi tiết các bước thiết kế một mạng nơron ....................................... 19 2.2. Các kỹ thuật trích chọn đặc trưng......................................................... 24 2.2.1. Kỹ thuật trích chọn đặc trưng kết hợp biến đổi DCT và thuật toán phân tích thành phần chính PCA ........................................................................ 24 2.2.2 Kỹ thuật trích đặc trưng sử dụng Momen Legendre ......................... 27 2.2.3. Kỹ thuật sử dụng mạng Neural nhân chập (Convolution neural network) ................................................................................................................. 32 2.3. Huấn luyện mạng..................................................................................... 35 2.3.1. Các phương pháp học......................................................................... 35 2.3.2. Học có giám sát trong các mạng nơron ............................................. 36 2.3.3. Thuật toán lan truyền ngược Back-Propagation .............................. 37 2.4. Nhận dạng sử dụng mạng nơron ........................................................... 49 2.4.1. Khả năng sử dụng mạng nơron trong nhận dạng ............................ 49 2.4.2. Mô hình nhận dạng hệ thống sử dụng mạng nơron ........................ 49 2.4.3. Nhận dạng hệ thống sử dụng mạng nơron ....................................... 51 Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM .............................................. 52 3.1. Đặc trưng của phiếu điểm ...................................................................... 52 3.2. Bài toán ..................................................................................................... 53 3.3. Tiền xử lý .................................................................................................. 54 3.4. Phân đoạn và trích chọn đặc trưng ....................................................... 57 3.5. Huấn luyện và nhận dạng ....................................................................... 57 3.6. Hậu xử lý .................................................................................................. 58 iii Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
iv PHẦN KẾT LUẬN ............................................................................................. 58 TÀI LIỆU THAM KHẢO ................................................................................. 60 CÁC CHỮ VIẾT TẮT Từ viết tắt Ý nghĩa CSDL Cơ sở dữ liệu MCP Mô hình McCulloch và Pitts MSE Mean-Square Error BP Back-Propagation PCA Principal Component Analysis OMR Optical Mark Recognition) iv Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
v MỤC LỤC HÌNH ẢNH Hình 1: Nơron đơn giản ........................................................................................ 7 Hình 2: Nơron phức tạp hơn ................................................................................. 7 Hình 3: mạng truyền thẳng.................................................................................... 9 Hình 4: mạng hồi quy đơn giản........................................................................... 10 Hình 5: Perceptron .............................................................................................. 11 Hình 6: Sự khác nhau giữa hồi quy tuyến tính và mạng nơron .......................... 12 Hình 7: Các bước cơ bản trong hệ thống nhận dạng văn bản ............................. 14 Hình 8: Ví dụ về xác định các đặc trưng của ảnh ............................................... 15 Hình 9: Ảnh hưởng của vector riêng, giá trị riênglên tập dữ liệu ....................... 24 Hình 10: Các bước trích chọn đặc trưng bằng biến DCT kết hợp PCA ............. 26 Hình 11: Biến đổi DCT và cách lấy dữ liệu theo đường zigzag ......................... 27 Hình 12: Họ đa thức Legendre ............................................................................ 29 Hình 13: Thao tác nhân chập .............................................................................. 33 Hình 14: Quá trình trích chọn đặc trưng sử dụng mạng Neural nhân chập ........ 34 Hình 15: Minh họa quá trình lấy đặc trưng bằng mạng Neuron nhân chập ....... 34 Hình 16: Mô hình học có giám sát. ..................................................................... 36 Hình 17: Mạng lan truyền với một lớp ẩn........................................................... 38 Hình 18: xấp xỉ của mạng trong các trường hợp i = 1, 2, 4, 8 ............................ 42 Hình 19: Xác định tần số..................................................................................... 47 Hình 20: Mô hình nhận dạng cơ bản................................................................... 50 Hình 21: Mẫu phiếu điểm đánh giá rèn luyện..................................................... 52 Hình 22: Mẫu phiếu điểm tổng kết ..................................................................... 53 Hình 23: Nhị phân hóa ảnh. ................................................................................ 54 Hình 24: Lọc nhiễu.............................................................................................. 55 Hình 25: Chuẩn hóa kích thước ảnh các số “4” và “6”. ..................................... 55 Hình 26: Làm tròn biên chữ. ............................................................................... 56 Hình 27: Làm mảnh chữ. .................................................................................... 56 v Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
vi Hình 28: Tách thông tin phiếu điểm. .................................................................. 57 vi Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn
1 PHẦN MỞ ĐẦU Công nghệ thông tin đang là một trong những ngành then chố t trong quá trình công nghiêp̣ hóa hiêṇ đại hóa đất nước. Viê ̣c triể n khai nghiên cứu các công trình khoa học và đưa vào thực tế ứng du ̣ng góp phầ n giải phóng sức lao đô ̣ng con người, tiết kiê ̣m thời gian, nâng cao hiêụ suấ t công viê ̣c là mô ̣t viê ̣c làm hết sức có ý nghiã trong giai đoa ̣n này. Bài toán nhâ ̣n dạng chữ viết tay xuất hiện cách đây khá lâu và đã được ứng dụng rất hiệu quả trong nhiều lĩnh vực khác nhau như y tế, giáo dục, quốc phòng, nghiên cứu vũ trụ. Trong quá trình công tác, tôi nhận thấy rằng: Việc xử lý kết quả đánh giá rèn luyện của sinh viên hiện nay hầu hết ở các trường được thực hiện một cách thủ công. Quy trình đánh giá rèn luyện của học sinh - sinh viên được tiến hành từ cấp lớp đến cấp khoa và cấp trường. Kết quả đánh giá rèn luyện được giảng viên nhập vào bảng tổng hợp dựa trên phiếu đánh giá rèn luyện. Việc nhập điểm thủ công như vậy tốn khá nhiều công sức và khả năng nhầm lẫn cao. Để giải quyết vấn đề trên đòi hỏi chúng ta phải xây dựng được các công cụ hữu hiệu trong việc nhận dạng chữ viết tay và sẽ đem la ̣i các lơ ̣i ích sau khi đưa vào ứng du ̣ng thực tế: - Giảm lượng nhân công nhập điểm. - Độ chính xác cao. - Tiết kiệm thời gian, công sức. - Dễ dàng giám sát tiến trình nhập điểm, giúp đưa ra cách giải quyết phù hợp khi có sai sót xảy ra. Trong phạm vi một đề tài luận văn thạc sỹ, tôi sẽ đi sâu vào tìm hiểu kỹ thuật trích chọ đặc trưng nhận dạng chữ viết tay trên phiếu đánh giá kết quả rèn luyện. Do đó tôi chọn đề tài: “Một số kỹ thuật trích chọn đặc trưng chữ viết tay trong nhập điểm rèn luyện tự động”.
2 Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY 1.1. Khái quát về nhập điểm rèn luyện tự động 1.1.1. Quản lý và nhập điểm rèn luyện tự động Hiện nay, đánh giá kết quả rèn luyện của học sinh, sinh viên các trường đại học, cao đẳng và trung học chuyên nghiệp nhằm góp phần thực hiện mục tiêu giáo dục là đào tạo con người Việt Nam phát triển toàn diện, có đạo đức, tri thức, sức khỏe, thẫm mỹ và nghề nghiệp, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội; hình thành và bồi dưỡng nhân cách, phẩm chất và năng lực của công dân, đáp ứng yêu cầu xây dựng và bảo vệ Tổ quốc. Việc đánh giá kết quả rèn luyện của học sinh, sinh viên là việc làm thường xuyên ở các trường. Quá trình đánh giá phải đảm bảo chính xác, công bằng, công khai và dân chủ. Có nhiều bài toán hiệu quả và tin cậy để giải quyết khâu nhập điểm như các bài toán điều tra xã hội học, thi tuyển sinh qua trắc nghiệm, nhập chứng từ ngân hàng, nhập các tờ khai thuế...Khó khăn ở chỗ khối lượng nhập rất nhiều và việc kiểm soát độ chính xác trong quá trình nhập. Để tăng tốc độ nhập dữ liệu, một số phương pháp được nghiên cứu là: - Phân tải để có thể nhập từ nhiều nguồn, nhiều đầu mối; - Nhập qua các giá mang tính trung gian để tận dụng được nhiều phương pháp, nhiều đầu mối, sau đó dùng các công cụ để chuyển về định dạng cần thiết; - Nhập qua giao diện âm thanh hoặc hình ảnh, trong đó hình ảnh là phương pháp được quan tâm nhiều hơn. Đã có nhiều thành công trong các hệ thống nhận dạng chữ viết, nhận dạng các form tài liệu, nhận dạng các phiếu đánh dấu.
3 Để tăng độ tin cậy, người ta thường phải áp dụng các biện pháp tìm sai sót và chỉnh sửa như: - Kiểm lỗi trực tiếp; - Nhập hai lần từ hai người khác nhau để phát hiện sai lệch; - Tăng cường độ tin cậy của các hệ nhập liệu tự động; - Phát hiện những ràng buộc toàn vẹn để đặt ra các cơ chế kiểm soát tự động theo các ràng buộc và trong nhiều truờng hợp có thể tự sửa lỗi. Trong hệ thống quản lý rèn luyện hiện nay có một vài giải pháp nhập điểm đã được đưa vào để thực hiện như nhập liệu thủ công trực tiếp, nhập điểm trực tuyến, nhập điểm theo lô từ file, và nhập điểm bằng nhận dạng ảnh phiếu điểm. Việc nhập điểm bằng nhận dạng ảnh phiếu điểm: Một trong các giải pháp nhập điểm khác được áp dụng là dùng các phiếu ghi điểm được viết theo những định dạng đặc biệt. Sau đó bảng điểm được quét vào thành một ảnh và dùng một phần mềm nhận dạng để biết cột nào được đánh dấu để suy ra điểm và ghi vào CSLD. Giải pháp này có ưu điểm là giảm tải cho phòng Công tác học sinh - sinh viên, thay vì việc phải nhập điểm chỉ cần quét ảnh, sau đó chạy phần mềm nhận dạng. Tuy nhiên vẫn phải in bảng điểm và mời giáo viên lên ký. * Quy trình chung một hệ thống nhập điểm tự động. Quy trình chung của một hệ thống nhập điểm tự động thường bao gồm: - Quét ảnh: quét ảnh phiếu điều tra và lưu dưới dạng ảnh raster: Quét trực tiếp các loại phiếu điều tra thông qua máy quét. Đọc và xử lý hơn 30 dạng tệp tin ảnh phổ dụng nhất như PCX, BMP, TIF, GIF, JPG, ... Có thể nhận dạng trực tiếp phiếu điều tra thông qua máy quét, không cần lưu trữ dưới dạng tệp ảnh trung gian. Các phiếu điều tra có thể được quét và lưu trữ dưới dạng tệp tin cơ sở dữ liệu.
4 - Tiền xử lý: nối các đường đứt nét, quay ảnh, xoá nhiễu,... lấp lỗ hổng. co dãn, vuốt trơn đường, phát hiện góc nghiêng, độ dịch chuyển và hiệu chỉnh 1 cách tự động... - Lựa chọn vùng: Markread hiển thị phiếu mẫu sạch đẹp chưa điền thông tin và chọn các vùng và điền thông tin liên quan đến chúng. - Học form: vùng được lựa chọn có thể chứa nhiều ô hình chữ nhật trên ảnh mẫu và tách ra các ô chữ nhật, elip và chúng được sử dụng cho trường OMR * Dữ liệu đầu vào: Phiếu điểm: là các ảnh đen trắng hoặc đa cấp xám từ đĩa hoặc từ Scanner. Khi đó yêu cầu chung về dữ liệu là các tệp ảnh có thể có nhiễu, nghiêng và dịch chuyển nhưng hạn chế, các bản in và photocopy tương đối rõ ràng. Hầu hết các khuôn dạng thông thường như TIFF, GIF, PCX, BMP, JPG,... Các ảnh này gồm các ô hình vuông, chữ nhật, tròn, e-lip có thể đánh dấu, chữ và chữ số có hạn chế. - Nhận dạng phiếu điểm: Tự động nhặt ra các đối tượng theo mẫu đã chỉ ra trong các phiếu mẫu. Ở giai đoạn này đối với mỗi đối tượng cần nhận dạng sẽ được tiến hành theo các bước cơ bản: Xử lý sơ bộ, trích chọn các đặc trưng liên quan đến mẫu, đối sánh các đặc trưng của đối cần nhận dạng với mẫu. - Hiệu chỉnh: Hiệu chỉnh bằng tay hoặc tự động các vị trí trong phiếu mẫu. - Trích chọn đặc trưng mẫu: Tự động phân tích và tách các vùng này các đối tượng riêng lẻ (cô lập đối tượng) và tính đặc trưng cho các hình này rồi lưu vào tệp mẫu học. * Dữ liệu ra: - Tệp kết quả của nhận dạng được đưa ra theo các qui cách DBF, MDB, XLS. - Mỗi phiếu là một bản ghi gồm các trường tương ứng với các đối tượng cần nhận dạng (hình vuông, chữ nhật, hình tròn, e-lip) đã được điền.
5 - Tên các trường được sinh ra một cách tự động hoặc được người dùng đưa vào. Tiếp cận phương pháp nhận dạng nhãn quang học hiện đại: - Tự động xử lý các bản kiểm tra, phiếu thăm dò, câu hỏi và các phiếu mẫu. 1.1.2. Kiến trúc một hệ thống nhận dạng điểm rèn luyện sử dụng mạng nơron nhân tạo 1.1.2.1. Khái niệm mạng nơron nhân tạo Mạng nơron nhân tạo hay thường gọi ngắn gọn là mạng nơron, trong tiếng anh là Artificial Neural Network. Nó gồm có một nhóm các nơron nhân tạo nối với nhau, và xử lý thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các nút. Trong nhiều trường hợp, mạng nơron nhân tạo là một hệ thống thích ứng, tự thay đổi cấu trúc của mình dựa trên các thông tin bên ngoài hay bên trong chảy qua mạng trong quá trình học. Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất, học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron. 1.1.2.2. Lịch sử phát triển của mạng nơron Một trong những mô hình điển hình của mạng noron chính là não bộ của con người. Bộ não người là một mạng noron có cấu tạo vô cùng phức tạp. Con người đã nghiên cứu nó hàng nghìn năm nay. Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến bộ trong ngành điện tử hiện đại, con người đã bắt đầu nghiên cứu các nơron và sự kiện đầu tiên đánh dấu sự ra đời của mạng nơron nhân tạo vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pitts viết bài báo mô tả cách thức các nơron hoạt động. Họ cũng đã tiến hành xây dựng một mạng nơron đơn giản bằng các mạch điện. Năm 1949 cuốn sách Organization of Behavior của Donald Hebb được xuất bản đã chỉ ra rằng các nơron nhân tạo sẽ trở lên hiệu quả hơn sau mỗi lần chúng được sử dụng.
6 Những tiến bộ của máy tính đầu những năm 1950, dự án Dartmouth nghiên cứu về trí tuệ nhân tạo năm 1956 đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng nơron. Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân không. Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt cũng bắt đầu nghiên cứu về Perceptron - một thuật ngữ trong học máy, đó là một thuật toán phân loại. Sau thời gian nghiên cứu này Perceptron đã được cài đặt trong phần cứng máy tính và được xem như là mạng nơron lâu đời nhất còn được sử dụng đến ngày nay. Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháp học lan truyền ngược (back-propagation). Ngày nay, đi xa hơn mức nghiên cứu lý thuyết, các nhà khoa học đã nghiên cứu mạng nơron để cho ra các ứng dụng có khả năng giải quyết các bài toán thực tế được diễn ra ở khắp mọi nơi. Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày càng hoàn thiện hơn. 1.1.2.3. Mô hình nơron a. Nơron nhân tạo đơn giản Một nơron nhân tạo đơn giản là một thiết bị với nhiều đầu vào và có một đầu ra. Nơron có hai chế độ hoạt động: chế độ huấn luyện và chế độ sử dụng. Trong chế độ huấn luyện, nơron có thể được huấn luyện với một số các mẫu đầu vào tới khi không được sử dụng nữa. Trong chế độ sử dụng thì khi phát hiện một mẫu đã học tại đầu vào, đầu ra của nó sẽ trở thành đầu ra hiện tại. Nếu mẫu đầu vào không thuộc vào danh sách mẫu đã học thì luật loại bỏ được sử dụng để tiếp tục dùng hay loại bỏ nơron. Hình 1 mô tả một nơron đơn giản đó.
7 Hình 1: Nơron đơn giản b. Nơron phức tạp hơn (Mô hình McCulloch và Pitts: MCP) Sự khác biệt với mô hình đơn giản ở trên là đầu vào của mô hình này có trọng số, hiệu quả của nó là mỗi đầu vào có một sự đưa ra quyết định phụ thuộc vào trọng số của từng đầu vào. Trọng số của một đầu vào là một số mà khi nhân với đầu vào thì ta có được trọng số đầu vào. Những đầu vào trọng số này được nhóm lại với nhau và nếu chúng vượt quá giá trị ngưỡng thì nơron sẽ bị loại bỏ. Với các trường hợp khác thì nơron không bị loại bỏ. Hình 2:Nơron phức tạp hơn Ví dụ ta có giá trị ngưỡng là T thì về mặt toán học, nơron này sẽ bị loại bỏ khi và chỉ khi bất đẳng thức sau xảy ra: X1.W1 + X2.W2 + X3.W3 + … > T Sự thêm vào trọng số đầu vào và giá trị ngưỡng của nơron làm cho nó
8 linh hoạt và mạnh hơn. Nơron MCP có khả năng thích nghi với hoàn cảnh cụ thể như là thay đổi trọng số hay giá trị ngưỡng. 1.1.2.4. So sánh mạng nơron với máy tính truyền thống Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với máy tính truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải thuật, tức là máy tính thực hiện một tập các câu lệnh để giải quyết một vấn đề. Vấn đề được giải quyết phải được biết và phát biểu dưới dạng một tập chỉ lệnh rõ ràng. Những câu lệnh này sau đó phải được chuyển sang một chương trình ngôn ngữ bậc cao và chuyển sang mã máy để máy tính có thể hiểu được. Nếu các bước cụ thể mà máy tính cần tuân theo được chỉ ra không rõ ràng, máy tính sẽ không làm được gì cả. Điều đó giới hạn khả năng của các máy tính truyền thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính xác cách thực hiện. Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thực hiện được những việc mà bản thân con người không biết chính xác là phải làm như thế nào. Các mạng nơron xử lý thông tin theo cách thức giống như bộ não con người. Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau làm việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron học theo mô hình, chúng không thể được lập trình để thực hiện một nhiệm vụ cụ thể. Các mẫu phải được chọn lựa cẩn thận nếu không sẽ rất mất thời gian, thậm chí mạng sẽ hoạt động không đúng. Điều hạn chế này là bởi vì mạng tự tìm ra cách giải quyết vấn đề, thao tác của nó không thể dự đoán được. Các mạng nơron và các máy tính truyền thống không cạnh tranh nhau mà bổ sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều nhiệm vụ đòi hỏi các hệ thống sử dụng tổ hợp cả hai cách tiếp cận đểthực hiện được
9 hiệu quả cao nhất. (thông thường một máy tính truyền thống được sử dụng để giám sát mạng nơron). 1.1.2.5. Một số kiến trúc mạng nơron dùng nhận dạng mẫu a. Mạng truyền thẳng Mạng truyền thẳng (hình 3) cho phép tín hiệu truyền chỉ theo một đường từ đầu vào tới đầu ra, không có sự phản hồi hay lặp lại. Mạng này có xu hướng truyền thẳng giữa đầu vào với đầu ra. Chúng được dùng rộng rãi trong nhận dạng mẫu. Cách tổ chức trong mạng truyền thẳng là tham chiếu tới phương pháp từ dưới lên hoặc là từ trên xuống. Hình 3:mạng truyền thẳng b. Mạng hồi quy Mạng hồi quy có kiến trúc tương tự mạng truyền thẳng (hình 2.3) nhưng có điểm khác nhau đó là nó cho phép tín hiệu truyền theo cả hai hướng. Mạng hồi quy truyền tín hiệu rất tốt và có thể trở lên rất phức tạp. Nó có tính động; trạng thái của nó thay đổi liên tục tới khi đạt tới điểm trạng thái cân bằng. Chúng duy trì điểm cân bằng tới khi đầu vào thay đổi và cần tìm một một trạng thái cân bằng mới. Kiến trúc hồi quy có thể tham chiếu tới việc tương tác. c. Các lớp mạng
10 Các loại phổ biến nhất của mạng nơron nhân tạo bao gồm ba nhóm hoặc lớp của các đơn vị: một lớp của các đơn vị "đầu vào" được kết nối với một lớp của các đơn vị "ẩn", và lớp đơn vị “ẩn” này được kết nối với một lớp của đơn vị"đầu ra". (xem hình 4) •Hoạt động của các đơn vị đầu vào mô tả các thông tin thô được đưa vào mạng. •Hoạt động của từng đơn vị ẩn được xác định bởi các hoạt động của các đơn vị đầu vào và trọng số trên các kết nối giữa đầu vào và các đơn vị ẩn. •Hành vi của các đơn vị đầu ra phụ thuộc vào hoạt động của các đơn vị ẩn và trọng số giữa các đơn vị ẩn và đầu ra. Hình 4:mạng hồi quy đơn giản Loại mạng hồi quy đơn giản này khá thú vị bởi vì các đơn vị ẩn được tự do xây dựng đại diện đầu vào riêng của chúng. Trọng số giữa đầu vào và các đơn vị ẩn xác định khi mỗi đơn vị ẩn đang hoạt động. Do đó bằng cách thay đổi các trọng số, một đơn vị ẩn có thể chọn cái nó đại diện. Chúng ta cũng phân biệt kiến trúc lớp đơn và kiến trúc nhiều lớp. Tổ chức lớp đơn, trong đó tất cả các đơn vị được kết nối với nhau, tạo thành trường hợp tổng quát nhất và là sức mạnh tính toán tiềm năng hơn tổ chức nhiều lớp cấu trúc phân cấp. Trong các mạng đa lớp, các đơn vị thường được đánh số theo lớp, thay vì đánh số theo toàn bộ hệ thống mạng.
11 d. Perceptrons Nghiên cứu có ảnh hưởng nhất trên mạng nơron trong những năm 60 được tiến hành dưới tiêu đề của “perceptron” một thuật ngữ được đặt ra bởi Frank Rosenblatt. Perceptron (hình 5) trở thành một mô hình MCP (nơron với đầu vào trọng số) với một số bổ sung, sửa chữa, tiền xử lý. Các đơn vị có nhãn A1, A2, Aj, Ap được gọi là đơn vị kết nối và nhiệm vụ của chúng là trích xuất các đặc điểm riêng biệt từ những hình ảnh đầu vào. Perceptron bắt chước các ý tưởng cơ bản đằng sau hệ thống thị giác động vật có vú. Chúng chủ yếu được sử dụng trong mô hình nhận dạng mẫu mặc dù khả năng của chúng được mở rộng hơn rất nhiều. Hình 5: Perceptron 1.1.2.6.Ứng dụng của mạng nơron nhân tạo Khả năng học và xử lý song song là hai đặc trưng của mạng nơron nhân tạo. Nó có thể mô tả gần đúng mối quan hệ tương quan phức tạp giữa các yếu tố đầu vào và đầu ra của các quá trình cần nghiên cứu. Thêm vào đó thì khi đã học được thì việc kiểm tra độc lập thường cho kết quả tốt. Sau khi đã học xong, mạng nơron nhân tạo có thể tính toán kết quả đầu ra tương ứng với bộ số liệu đầu vào mới.
12 Về mặt cấu trúc, mạng nơron nhân tạo là một hệ thống gồm nhiều phần tử xử lý đơn giản cùng hoạt động song song. Tính năng này của mạng nơron nhân tạo cho phép nó có thể được áp dụng để giải các bài toán lớn. Về khía cạnh toán học, theo định lý Kolmogorov, một hàm liên tục bất kỳ f(x1, x2,.. , xn ) xác định trên khoảng In ( với I =[0,1]) có thể được biểu diễn dưới dạng: (1.1) trong đó : χj , Ψij là các hàm liên tục một biến. Ψij là hàm đơn điệu, không phụ thuộc vào hàm f. Mặt khác, mô hình mạng nơron nhân tạo cho phép liên kết có trọng số các phần tử phi tuyến (các nơron đơn lẻ) tạo nên dạng hàm tổng hợp từ các hàm thành phần. Do vậy, sau một quá trình điều chỉnh sự liên kết cho phù hợp (quá trình học), các phần tử phi tuyến đó sẽ tạo nên một hàm phi tuyến phức tạp có khả năng xấp xỉ hàm biểu diễn quá trình cần nghiên cứu. Kết quả là đầu ra của nó sẽ tương tự với kết quả đầu ra của tập dữ liệu dùng để luyện mạng. Khi đó ta nói mạng nơron nhân tạo đã học được mối quan hệ tương quan đầu vào - đầu ra của quá trình và lưu lại mối quan hệ tương quan này thông qua bộ trọng số liên kết giữa các nơron. Do đó, mạng nơron nhân tạo có thể tính toán trên bộ số liệu đầu vào mới để đưa ra kết quả đầu ra tương ứng. Hình 6: Sự khác nhau giữa hồi quy tuyến tính và mạng nơron