Báo cáo: Tìm hiểu mạng nơ-tron ứng dụng trong nhận dạng chữ viết

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN TP HỒ CHÍ MINH KHOA KHOA HỌC MÁY TÍNH<br /> <br /> BỘ MÔN MÁY HỌC NÂNG CAO<br /> BÁO CÁO TÌM HIỂU ĐỀ TÀI :<br /> <br /> Nhóm sinh viên thực hiện : Nguyễn Thế Luân Nguyễn Anh Hùng Nguyễn Huỳnh Trường Khang 08520216 08520549 08520172<br /> <br /> HỌC KÌ I NĂM HỌC 2011-2012 ____________________________<br /> 1<br /> <br /> Việc viết chữ trên giấy là một hành động bình thường đối với mỗi người chúng ta, và mỗi một người đều sở hữu một nét chữ khác nhau, không ai giống ai. Những chữ viết tay của một người thường khiến người khác khó khăn khi đọc chúng, vì chúng không theo một khuôn dạng rõ ràng và khác nhau giữa người này với người khác. Cũng có trường hợp đôi khi chính người viết cũng không đọc được chữ của mình. Vì vậy, nếu ngay cả con người chúng ta không đọc được những chữ viết đó thì liệu máy tính có đọc được không?Từ đây, một câu hỏi được đặt ra là : có cách nào để máy tính của chúng ta có thể “giải mã” những chữ viết tay của một người nào đó và giúp cho mọi người hiểu được ý nghĩa mà chúng hiển thị. Việc phân tích những chữ viết tay của máy tính nhằm tìm ra lời giải cho vấn đề thú vị này là một trong những tiền đề của kỹ thuật nhận dạng chữ viết tay hiện nay. Nhận dạng chữ viết tay là một lĩnh vực nghiên cứu sôi nổi và là một phần quan trọng và thú vị trong các ứng dụng khoa học máy tính hiện nay. Nhận dạng chữ viết ngày càng trở nên quan trọng vì rất nhiều lý do, trong đó có việc bất tiện hoặc không thể sử dụng bàn phím máy tính để nhập liệu. Một tình huống đưa ra: chúng ta sở hữu một số lượng lớn đầu sách, tài liệu cổ lâu năm được viết bằng tay. Những quyển sách này đã bị hư hại do thời gian, do môi trường ảnh hưởng,… và là chữ viết tay của một người nào đó nên không thể hoặc cực kỳ khó đọc. Làm thể nào để máy tính đọc và ta có thể số hóa những trang này? Đây chỉ là một tình huống cụ thể mà ta có thể gặp trong thời đại thế giới số hiện nay. Ngoài ra, chúng ta có rất nhiều tình huống nan giải khác. Ngày nay, máy tính ngày càng được sử dụng một cách rộng rãi. Dựa trên kỹ thuật xử lý hình ảnh trên máy tính, công nghệ nhận dạng chữ viết tay có thể giúp ta giải quyết vấn đề này. Với chương trình nhận dạng chữ viết tay, ta có thể chuyển hàng ngàn đầu sách được viết bằng tay trên thành những văn bản điện tử trong thời gian ngắn.Ngoài ra,việc nhận dạng chữ viết của con người có ứng dụng trong khoa học hình sự, bảo mật thông tin và các lĩnh vực khác … Để giải quyết các bài toán nhận dạng, người ta đã đưa vào các cách tiếp cận khác nhau. Mỗi phương pháp tiếp cận trong những bài toán cụ thể đều có những ưu, nhược điểm riêng… và những phương pháp này có một tỉ lệ nhận biết thành công nhất định. Một trong những phương pháp cơ bản trong nhận dạng chữ viết được sử dụng rộng rãi hiện nay là sử dụng mô hình mạng nơ tron nhân tạo. Nội dung của báo cáo này sẽ đi vào tìm hiểu tổng quan về mạng nơ tron, xem xét và nghiên cứu cấu trúc các mạng nơ tron, giới thiệu về phương pháp huấn luyện mạng nơ tron và cuối cùng là tìm hiểu về vấn đề nhận dạng ký tự viết tay- một trong những ứng dụng phổ biến của mạng nơ tron.<br /> <br /> 2<br /> <br /> I. GIỚI THIỆU VỀ MẠNG NƠ TRON NHÂN TẠO<br /> 1. Mạng nơ tron sinh học:<br /> Những nghiên cứu y học đã phát hiện ra rằng: Bộ não chúng ta được hình thành từ hơn 10 tỉ tế bào được gọi là nơ tron. Loại tế bào này khác các tế bào khác ở chỗ nó có khả năng nhận, xử lý và truyền các tín hiệu điện hóa trên các đường kết nối giữa các tế bào, các con đường này tạo nên hệ thống giao tiếp của bộ não. Từ đó, các nơ tron liên kết với nhau, tạo thành mạng nơ tron. Mạng nơ tron sinh học là một mạng (plexus) các nơ tron có kết nối hoặc có liên quan về mặt chức năng trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay hệ thần kinh trung ương (central nervous system). Thông thường, một mạng nơ tron bao gồm một hoặc nhiều nhóm các nơ tron được kết nối vật lý với nhau hoặc có liên quan với nhau về chức năng. Một nơ tron đơn có thể được nối với nhiều nơ tron khác và tổng số nơ tron và kết nối trong một mạng có thể là một giá trị cực kỳ lớn. Các kết nối, gọi là các khớp thần kinh (synapses), thường nối từ các axon tới các tế bào tua gai thần kinh (dendrite), tuy có thể có các vi mạch dendrodentritic và các kết nối khác. Ngoài tín hiệu điện, còn có các dạng tín hiệu khác phát sinh từ việc khuyếch tán các chất dẫn truyền xung động thần kinh (neurotransmitter). Chúng có ảnh hưởng đối với tín hiệu điện. Do vậy, cũng như các mạng sinh học khác, mạng nơ tron vô cùng phức tạp. Trong khi hiện nay, dù chưa đạt được một mô tả chi tiết nào về hệ thần kinh , người ta vẫn ngày càng hiểu rõ hơn về các cơ chế cơ bản.<br /> <br /> Mạng nơ tron trong bộ não con người<br /> <br /> 3<br /> <br /> Với mục đích xây dựng một mô hình có khả năng xử lý dữ liệu mạnh mẽ như não bộ của con người, dựa trên mô hình mạng nơ tron sinh học, ngày nay con người đã xây dựng và đề ra mô hình mạng nơ tron nhân tạo.<br /> <br /> 2. Mạng nơ tron nhân tạo :<br /> Mạng nơ tron nhân tạo là mô hình được xây dựng dựa trên việc bắt chước cấu trúc và chức năng của mạng nơ tron sinh học. Thành phần cấu tạo cơ bản của mạng là tế bào nơ tron nhân tạo. Các nơ tron này, về bản chất, cũng dựa trên mô hình tế bào nơ tron sinh học. Một mô hình tế bào nơ tron nhân tạo gồm có ba quy tắc cơ bản : nhân, tổng hợp và kích hoạt. tại lối vào (input) của mô hình, các giá trị đầu vào sẽ được nhân với trọng số cá nhân (weight). Các lối vào đều có trọng số riêng của mình. Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng. Lối vào nào có trọng số càng lớn thì đồng nghĩa với tín hiệu truyền qua đó càng lớn. Bên trong thân của tế bào sẽ tổng hợp các giá trị đầu vào này và ngưỡng (bias). Ở lối ra (output) của tế bào, hàm truyền (Transfer function) có tác dụng giới hạn phạm vi output của tế bào, sẽ nhận vào giá trị tổng hợp, xử lý và quyết định giá trị đầu ra của tế bào, thường là 0 hoặc 1. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán cụ thể. Có thể viết mô hình trên dưới dạng toán học như sau :  Tổng hợp các input với trọng số<br /> N<br /> <br /> u=<br /> <br /> w x<br /> i i 0<br /> <br /> i<br /> <br /> với x,w là giá trị đầu vào và trọng số tại đường truyền input thứ I<br /> <br /> <br /> <br /> (trong tổng số N đường input) Output  N  y = f(u-t) = f   wi xi  t  với f là hàm truyền, y là giá trị đầu ra (output) và t là  i0  ngưỡng.<br /> <br /> Mô hình của tế bào nơ tron Với cấu trúc và cách thức hoạt động trên, khả năng xử lý của một tế bào nơ tron nhân tạo chỉ có giới hạn. Tuy nhiên, sức mạnh tính toán và xử lý của chúng sẽ được phát huy khi ta kết nối các tế bào này lại với nhau thành một kiến trúc đồng nhất, tạo thành một mạng nơ tron. Mô hình mạng nơ tron có khả năng xử lý những tình huống vấn đề, bài toán phức tạp hơn, nhất là trong các bài toán<br /> 4<br /> <br /> phi tuyến như phân tích, dự doán, nhận dạng tiếng nói, vân tay hay các ứng dụng nhận dạng khác, … Khả năng này được dựa trên ba tham số: kiểu của tế bào, kiến trúc kết nối và thuật toán học cho mạng. Về mặt toán học, một mạng nơ tron được xem như là một hàm ánh xạ F: X->Y, trong đó X là không gian trạng thái đầu vào (input state space) và Y là không gian trạng thái đầu ra (output state space) của mạng. Các mạng chỉ đơn giản là làm nhiệm vụ ánh xạ các vector đầu vào x ∈ X sang các vector đầu ra y ∈ Y thông qua “bộ lọc” (filter) các trọng số. Tức là y = F(x) = s(W, x), trong đó W là ma trận trọng số liên kết. Khác với các ứng dụng trên máy tính truyền thống, thường chỉ thực hiện theo một giải thuậtmột tập luật có thứ tự được đề ra một cách rõ ràng, mô hình mạng nơ tron có cách xử lý thông tin giống với hoạt động của bộ não con người hơn. Một mô hình mạng nơ tron gần giống như một đối tượng có thể tư duy .Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau làm việc song song để giải quyết một vấn đề cụ thể. Mạng nơ tron có thể mô phỏng gần như bất cứ hàm mục tiêu nào với số biến nhập và xuất tuỳ ý. Ngoài ra, mạng nơ tron còn có một ưu điểm tuyệt vời khác, đó là khả năng học. Khả năng học của mạng chủ yếu dựa trên kỹ thuật lan truyền ngược. mạng<br /> nơ tron lan truyền là một hàm phi tuyến có thể xấp xỉ gần đúng, nhưng một hàm đích được cho qua một số mẫu trong tập mẫu có sẵn.. Mỗi khi có kiến thức mới ta lại đưa cho mạng nơ tron. Khả năng này của<br /> <br /> mạng nơ tron là rất cần thiết cho các vấn đề có dữ liệu luôn thay đổi.<br /> <br /> 3. Lịch sử phát triển của mạng nơ tron nhân tạo<br /> Sự kiện đầu tiên đánh dấu sự ra đời của mạng nơ tron nhân tạo diễn ra vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pitts viết bài báo mô tả cách thức các nơ tron hoạt động. Họ cũng đã tiến hành xây dựng một mạng nơ tron đơn giản bằng các mạch điện. Các nơ tron của họ được xem như là các thiết bị nhị phân với ngưỡng cố định. Kết quả của các mô hình này là các hàm logic đơn giản chẳng hạn như “ a OR b” hay “a AND b”. Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản cuốn sách Organization of Behavior. Cuốn sách đã chỉ ra rằng các nơ tron nhân tạo sẽ trở lên hiệu quả hơn sau mỗi lần chúng được sử dụng. Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hình hóa các nguyên lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại các phòng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mô phỏng một mạng nơ tron. Trong thời kì này tính toán truyền thống đã đạt được những thành công rực rỡ trong khi đó những nghiên cứu về nơ tron còn ở giai đoạn sơ khai. Mặc dù vậy những người ủng hộ triết lý “thinking machines” (các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình. Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo ( Artificial Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng nơ tron. Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các nhà khoa học về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giản của mạng nơ tron trong bộ não con người. Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất việc mô phỏng các nơ tron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân không. Nhà sinh học chuyên nghiên cứu về nơ tron Frank Rosenblatt cũng bắt đầu nghiên cứu về Perceptron. Sau thời gian nghiên cứu này Perceptron đã được cài đặt trong phần cứng máy tính và được xem như là mạng nơ<br /> 5<br /> <br />