Neurol Networks and applications

Chia sẻ: Pham Thanh Hai | Ngày: | Loại File: PPT | Số trang:40

Thêm vào BST

Báo xấu

173
lượt xem 58
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nội dung môn học gồm lý thuyết và thực hành: 1. Lý thuyết đưa ra các chủ đề về neural network và ứng dụng vào quá trình học có/không có giám sát (supervised/unsupervised learning) 2. Thực hành với Matlab và ứng dụng của thuật toán học trong neural network. 3. Các ứng dụng của Neural Networks trong lĩnh vực điện tử-viễn thông.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Neurol Networks and applications

Neural Networks and Applications Người hướng dẫn: TS. Hoàng Mạnh Thắng hmt@mail.hut.edu.vn or thang@ieee.org http://fet.hut.edu.vn/SIP-LAB Faculty of Electronics and Telecommunications, HUT 1 Bangkok, Jun. 14 – 23, 2006
Nội dung môn học Gồm lý thuyết và thực hành: 1. Lý thuyết đưa ra các chủ đề về neural network và ứng dụng vào quá trình học có/không có giám sát (supervised/unsupervised learning) 2. Thực hành với Matlab và ứng dụng của thuật toán học trong neural network. 3. Các ứng dụng của Neural Networks trong lĩnh vực điện tử-viễn thông Faculty of Electronics and Telecommunications, HUT 2 Bangkok, Jun. 14 – 23, 2006
Neural Network là gì ?  Là mạng của các phần tử tính toán đơn giản (gọi là neuron)  Nhấn mạnh đến quá trình học (pattern recognition)  Vấn đề tính toán của các phần tử (neurons)  NN được mô tả dựa theo mạng neuron sinh học Faculty of Electronics and Telecommunications, HUT 3 Bangkok, Jun. 14 – 23, 2006
Lịch sử Nguồn gốc của NN bắt nguồn từ:  Các nghiên cứu về thần kinh sinh học (cách đây cả thế kỷ): Từ những kích thích thần kinh, và ngưỡng kích thích bằng bao nhiêu thì có đáp ứng? etc..  Từ các nghiên cứu về tâm lý học: Làm thế nào để động vật có thể học được…  Từ vật lý về tâm lý thực nghiệm giúp các nhà khoa học hiểu các neuron và nhóm các neuron làm việc như thế nào.  McCulloch và Pitts lần đầu tiên đưa ra mô hình toán của neuron đơn và nó được ứng dụng cho các nghiên cứu sau này. Faculty of Electronics and Telecommunications, HUT 4 Bangkok, Jun. 14 – 23, 2006
Lịch sử, cont Tiền sử:  Golgi and Ramony Cajal nghiên cứu các hệ thống thần kinh và phát hiện ra các neuron (cuối thế kỷ 19) Tóm tắt qua các mốc thời gian:  McCulloch và Pitts (1943): NN đầu tiên với các neuron binary  Hebb (1949): quá trình học khi các neuron nối với nhau  Minsky (1954): NN cho quá trình reinforcement learning  Taylor (1956): associative memory  Rosenblatt (1958): perceptron, một neuron với các quá trình học có và ko có giám sát Faculty of Electronics and Telecommunications, HUT 5 Bangkok, Jun. 14 – 23, 2006
Lịch sử, cont  Widrow and Hoff (1960): Adaline (adaptive linear neuron)  Minsky and Papert (1969): đưa ra các hạn chế của perceptron một lớp và đưa đến perceptron nhiều lớp Ngừng trệ trong thập kỷ 70:  Các nhà nghiên cứu độc lập tiếp tục nghiên cứu  von der Marlsburg (1973): đưa ra quá trình học competitive learning và self-organization NN phát triển cực manh ở thập niên 80's  Grossberg: adaptive resonance theory (ART)  Hopfield: Hopfield network  Kohonen: self-organising map (SOM) Faculty of Electronics and Telecommunications, HUT 6 Bangkok, Jun. 14 – 23, 2006
Lịch sử, cont  Oja: phân tích thành phần độc lập(PCA)  Ackley, Hinton and Sejnowski: Máy Boltzmann  Rumelhart, Hinton and Williams: backpropagation Sự đa dạng hóa trong thập niên 90's:  Machine learning: Phương pháp toán, Bayesian các phương pháp, lý thuyết thông tin, support vector machines (công cụ mạnh hiện nay), ...  Computational neurosciences: làm việc với hầu hết các phần của hệ thống của não và được hiểu ở mức nào đó. Nghiên cứu từ các mô hình mức thấp của các neuron đến các mô hình bộ não. Faculty of Electronics and Telecommunications, HUT 7 Bangkok, Jun. 14 – 23, 2006
Phân loại các giải thuật học Learning Tasks Supervised Unsupervised Data: Data: Labeled examples Unlabeled examples (input , desired output) (different realizations of the input) Tasks: classification Tasks: pattern recognition clustering Regression content addressable memory NN models: perceptron NN models: adaline self-organizing maps (SOM) feed-forward NN Hopfield networks radial basis function support vector machines Faculty of Electronics and Telecommunications, HUT 8 Bangkok, Jun. 14 – 23, 2006
NNs: mục đích và thiết kế Học được thực hiện với tập các mẫu (dataset) và được gọi là training examples. Một NN được quan tâm theo 3 khía cạnh:  Kiến trúc của mạng: Các neuron và liên kết giữa chúng với nhau. Mỗi liên kết có một trọng số, gọi là weight,  Mô hình của Neuron: liên quan đến số đầu vào và hàm kích hoạt,  Thuật tóan học: dùng để dạy NN thông qua điều chỉnh các weight để có đầu ra như mong muốn. Mục đích cuối cùng là có được NN có thể Faculty of Electronics and Telecommunications, HUT nhận ra được những thông tin được đưa vào 9 Bangkok, Jun. 14 – 23, 2006
Ví dụ: Alvinn Camera Tự động lái ở tốc độ 110 Km/ image h 30 đầu ra 4 hidden Neurons 30x32 weights Cho 1 trong 4 hidden neuron Đầu vào là các ảnh 30x32 pixels Faculty of Electronics and Telecommunications, HUT 10 Bangkok, Jun. 14 – 23, 2006
Các thông số cho NN  Kiến trúc mạng  Các loại neuron  Các giải thuật học  Các ứng dụng Faculty of Electronics and Telecommunications, HUT 11 Bangkok, Jun. 14 – 23, 2006
Các kiến trúc mạng neuron  Có 3 loại kiến trúc  single-layer feed-forward Các neuron được nối với nhau  multi-layer feed-forward không tạo ra vòng (acyclic)  Recurrent neural network  kiến trúc của NN có liên hệ với giải thuật học được dùng để dạy cho mạng Faculty of Electronics and Telecommunications, HUT 12 Bangkok, Jun. 14 – 23, 2006
Single Layer Feed-forward Input layer Output layer of of source nodes neurons Faculty of Electronics and Telecommunications, HUT 13 Bangkok, Jun. 14 – 23, 2006
Multi layer feed-forward 3-4-2 Network Input Output layer layer Hidden Layer Faculty of Electronics and Telecommunications, HUT 14 Bangkok, Jun. 14 – 23, 2006
Recurrent network Recurrent Network có các hidden neuron: phần tử làm trễ z-1 được dùng input hidden output z-1 z-1 z-1 Faculty of Electronics and Telecommunications, HUT 15 Bangkok, Jun. 14 – 23, 2006
Mô hình một Neuron Bias b x1 w 1 Activation Local function Field Output ∑ v x2 w2 ϕ (.) y Input values …………. Summing function xm wm weights Faculty of Electronics and Telecommunications, HUT 16 Bangkok, Jun. 14 – 23, 2006
Tín hiệu vào và Weights  Input signals  Weights  Tín hiệu được đưa  Weights được dùng trong vào có thể dưới dạng kết nối giữa các đầu vào thô hoặc được qua và hàm tổng, hoặc giữa đầu ra của một neuron tiền xử lý với đầu vào hàm tổng của (preprocessed). lớp tiếp theo.  Có thể đưa vào các  Hoạt động của NN được đặc tính cụ thể của theo các Weights đối tượng cần phân  Bias là đầu vào hằng số loại. và có weight xác định.  Thường weights được gán giá trị ngẫu nhiên trước khi NN được dạy Faculty of Electronics and Telecommunications, HUT 17 Bangkok, Jun. 14 – 23, 2006
Neuron  Neuron là phần tử xử lý thông tin cơ bản của NN. Nó gồm:  Một tập các liên kết, các đầu vào, và weights w , w , …, w m u = ∑wjxj j=1 ϕ (.) y = ϕ (u + b) Faculty of Electronics and Telecommunications, HUT 18 Bangkok, Jun. 14 – 23, 2006
Bias của Neuron  bias b và u v=u+b  v được gọi là induced field của neuron x1-x2= -1 x2 x1-x2=0 u = − x2 x1 x1-x2= 1 x1 Faculty of Electronics and Telecommunications, HUT 19 Bangkok, Jun. 14 – 23, 2006
Bias as extra input • Bias có thể được xem như một đầu vào m v = ∑wj xj w j =0 x0 = +1 0 w0 = b x1 w1 Activation Local function Field ∑ Input Output signal x2 w2 v ϕ (− ) y Summing ………….. function xm wm Synaptic weights Faculty of Electronics and Telecommunications, HUT 20 Bangkok, Jun. 14 – 23, 2006