Phân loại ảnh viễn thám siêu phổ dựa trên mô hình CNN-KELM sâu

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:4

Thêm vào BST

Báo xấu

30
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Nghiên cứu này đề xuất một phương pháp phân loại ảnh viễn thám siêu phổ (AVTSP). Chúng tôi sử dụng một khung mạng nơ-ron tích chập mới để trích xuất các đặc điểm cục bộ của ảnh viễn thám siêu phổ, và sau đó sử dụng một thuật toán máy học hạt nhân cấp tốc (kernel extreme learning machine, KELM) để phân loại các đối tượng khác nhau.

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Phân loại ảnh viễn thám siêu phổ dựa trên mô hình CNN-KELM sâu

Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) Phân loại ảnh viễn thám siêu phổ dựa trên mô hình CNN-KELM sâu Lê Bá Tuấn,Vũ Quốc Huy, Nguyễn Vũ Hưng, Lê Khánh Thành và Phạm Chí Thành Phòng Thiết Bị Và Hệ Thống Thông Minh Viện Tự Động Hóa Kỹ Thuật Quân Sự Email: batuanle@hotmail.com, maihuyvu@gmail.com, kehoachvtdh@gmail.com, lethanhvtdhktqs@gmail.com, th.phamchi@gmail.com Abstract—Nghiên cứu này đề xuất một phương pháp dữ liệu AVTSP. Nó được chứng minh là một phương phân loại ảnh viễn thám siêu phổ (AVTSP). Chúng tôi sử pháp khai thác tính năng với hiệu quả cao [7], [8], [9]. dụng một khung mạng nơ-ron tích chập mới để trích Huang và cộng sự [10] đề xuất thuật toán máy học hạt xuất các đặc điểm cục bộ của ảnh viễn thám siêu phổ, và nhân cấp tốc, sử dụng lý thuyết hàm hạt nhân và không sau đó sử dụng một thuật toán máy học hạt nhân cấp tốc cần xác định số lượng nút lớp ẩn, do đó thời gian đào (kernel extreme learning machine, KELM) để phân loại các đối tượng khác nhau. Các thí nghiệm được thực hiện tạo nhanh hơn các mạng truyền thống. trên hai ảnh viễn thám siêu phổ và thu được kết quả Bộ phân loại được sử dụng trong hầu hết các phân loại tốt. nghiên cứu là hàm Softmax truyền thống. Chức năng này sẽ hoạt động kém trong các bài toán đa phân loại. Keywords- Ảnh viễn thám siêu phổ, mạng nơ-ron tích Mặt khác, việc sử dụng các đặc trưng không gian của chập (convolutional neural network, CNN), máy học hạt các đối tượng trên mặt đất để nâng cao độ chính xác nhân cấp tốc (kernel extreme learning machine, KELM), của mô hình phân loại là một nhiệm vụ quan trọng cần phân loại. được nghiên cứu trong công nghệ viễn thám. Do đó, để cải thiện hiệu suất của mô hình phân loại AVTSP, dựa I. GIỚI THIỆU trên hai thuật toán CNN và KELM, nghiên cứu này đề Gần đây, thuật toán học sâu đã thu hút sự chú ý của các xuất một mô hình phân loại cho AVTSP. Mô hình này nhà nghiên cứu trong việc phân loại ảnh viễn thám siêu sử dụng các ưu điểm của thuật toán CNN và KELM và phổ [1], [2]. Mou và cộng sự [3] đã đề xuất một khung thông tin phổ không gian của AVTSP. Thuật toán CNN mạng nơ-ron lặp lại sâu cho phân loại AVTSP. Mô được sử dụng để trích xuất các đặc trưng cục bộ không hình này có thể phân tích hiệu quả các pixel siêu phổ gian-phổ của AVTSP và chuyển các đặc trưng sang và xác định các đối tượng thông qua một mạng suy KELM để phân loại. luận. Zhou và cộng sự [4] đưa ra một mô hình phân II. THIẾT LẬP KHUNG PHÂN LOẠI AVTSP loại AVTSP bằng cách sử dụng một mạng nhớ ngắn- dài hạn. Đầu tiên, mô hình sử dụng thuật toán phân tích 1. Mạng nơ-ron tích chập thành phần chính để trích xuất các tính năng chính của Cấu trúc mạng nơ ron tích chập bao gồm các lớp tích AVTSP, sau đó nhập các tính năng của mỗi pixel vào chập, lớp gộp, và lớp kết nối. Lớp kết nối thường là mạng nhớ ngắn-dài hạn để học và cuối cùng sử dụng một vectơ một chiều. Nếu l một lớp chập, ánh xạ đối bộ phân loại Softmax để phân loại từng pixel. Zhao và tượng j được tính theo công thức (1) cộng sự [5] đã đề xuất một khung mạng nơ-ron tích chập nhiều lớp để phân loại AVTSP. Khung có hai mô- xlj g xil 1 kijl blj (1) đun: “mạng quyết định và mạng phức hợp” và sử dụng xin 1 Mj phương pháp biểu quyết để thu được kết quả hợp nhất của hai mạng này. Wang và cộng sự [6] đã sử dụng ở đây, g ( ) là một hàm kích hoạt phi tuyến tính; M j mạng nơ-ron tích chập để trích xuất các đặc điểm của l l AVTSP và sử dụng một thuật toán rừng ngẫu nhiên để là dữ liệu đầu bào; kij là nhân tích chập; b j là độ lệch. chọn các đặc trưng và phân loại. Kết quả cho thấy rằng Nếu lớp l là một lớp gộp, thì ánh xạ đối tượng j phương pháp đề xuất của họ có thể cải thiện kết quả được thể hiện bằng công thức (2) phân loại của ảnh AVTSP. So với các phương pháp học máy truyền thống, xlj g l j DO xlj 1 blj (2) CNN có thể trích xuất các đặc điểm hình học của hình ảnh tốt hơn. Trong phân loại AVTSP, CNN có thể được sử dụng như một công cụ trích xuất đặc trưng cho ISBN: 978-604-80-5076-4 265
Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) Hình 1: Một mô hình phân loại cho ảnh viễn thám siêu phổ. 1 Alfalfa 10 Soybean-notill 2 Corn-notill 11 Soybean-mintill 3 Corn-mintill 12 Soybean-clean 4 Corn 13 Wheat 5 Grass-pasture 14 Woods 6 Grass-trees 8 Hay-windrowed 9 Oats 16 Stone-Steel-Towers 15 Buildings-Grass-Trees-Drives 7 Grass-pasture-mowed (a) (b) (c) Hình 2: Các kết quả phân loại của bộ dữ liệu Indian Pines: (a) Hình chuẩn, (b) CNN , và (c) CNN-KELM 1 Asphalt 2 Meadows 3 Gravel 4 Trees 5 Painted metal sheets 6 Bare Soil 7 Bitumen 8 Self-Blocking Bricks 9 Shadows (a) (b) (c) Hình 3: Kết quả phân loại của bộ dữ liệu Đại học Pavia: (a) Hình chuẩn (b) CNN (c) CNN-KELM ở đây DO( ) l l là nhân gộp; j là trọng số; b j là độ ở đây, g ( x ) là hàm số kích hoạt; L số nơ-ron thần kinh; lệch. j là trọng số đầu ra; là trọng số đầu vào bà b j là độ 2. Máy học hạt nhân cấp tốc lệch. Giả sử có N mẫu ( xi , t i ) , Tiếp theo, công thức (3) sẽ được viết gọn lại như công thức (4). xi [ xi1 , xi 2 , , xin ]T R n , ti [ti1 , ti 2 , , tim ]T Rm , Hβ T (4) mạng máy học cấp tốc f ELM được hiển thị bởi công ở đây, β là trọng số đầu ra; H là ma trận đầu ra; và T thức (3). L là giá trị thực tế. β sẽ được tính theo công thức (6). f ELM x j g w j xi bj ti , I -1 j 1 (3) β H T=HT HHT T (5) C i 1, , N; b j , j R ở đây, C là hệ số chính quy. Cuối cùng, mạng KELM được tính theo công thức (6). ISBN: 978-604-80-5076-4 266
Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) -1 1.73% và 1.47%, còn đối với bộ dữ liệu Pavia I f K-ELM x h x HT ω T (6) University là 1.66% và 3.07%. Thời gian huấn luyện và C kiểm tra của hai mô hình cơ bản là giống nhau, thời ở đây, ω HHT . gian huấn luyện của CNN-KELM là 167 giây, và của 3. Xây dựng mô hình CNN là 163 giây, thời gian kiểm tra lần lượt là 3.28 Dựa trên hai thuật toán CNN và KELM, chúng tôi đề giây và 3.25 giây. Kết quả cho thấy hiệu quả của xuất mô hình phân loại AVTSP, gọi là mô hình CNN- phương pháp đề xuất của chúng tôi. KELM. Mô hình sử dụng các ưu điểm của hai thuật Bảng 1: Độ chính xác phân loại (%) của các mô hình toán CNN và KELM. Thuật toán CNN được sử dụng khác nhau để trích xuất các đặc trưng cục bộ không gian-phổ của Tập dữ liệu Độ chính sác CNN CNN-KELM AVTSP và chuyển các đặc trưng sang KELM để phân Indian Tổng thể 96.67 98.40 loại. Sơ đồ mô hình được thể hiện trong Hình 1. Pines Trung bình 97.15 98.62 Mô hình bao gồm bốn lớp tích chập, ba lớp quy Tổng thể 97.60 99.26 chuẩn hàng loạt, ba lớp gộp và hai lớp kết nối đầy đủ. Pavia University Trung bình 95.51 98.58 Lớp cuối cùng là thuật toán KELM có nhiệm vụ là máy phân loại. Lớp tích chập sử dụng hàm nhân 5*5. Chúng tôi đã thiết kế 32 bộ lọc cho lớp chập đầu tiên và 64 bộ IV. KẾT LUẬN lọc cho lớp chập thứ hai và thứ ba. Đặc biệt, số bộ lọc Viễn thám là một công cụ quan trọng để quan sát các trong lớp tích chập thứ tư là 1, đầu ra nối chung với các đối tượng trên mặt đất, và viễn thám siêu phổ là một lớp tích chập khác. Lớp gộp sử dụng ma trận gộp 2*2 công nghệ then chốt cho sự phát triển của viễn thám. và chọn phương pháp gộp tối đa. Lớp tích chập thứ ba Trong nghiên cứu này, chúng tôi đề xuất một phương được kết nối với lớp được kết nối đầy đủ thứ nhất và pháp phân loại chính xác hơn cho ảnh viễn thám phổ. được hợp nhất với lớp tích chập thứ tư, và các đặc Phương pháp này áp dụng học tập sâu vào các đặc trưng đầu ra được gửi đến KELM để phân loại và phân trưng không gian-phổ của ảnh viễn thám. Kết quả cho tích. thấy phương pháp được đề xuất tốt hơn các thuật toán học sâu truyền thống về độ chính xác. III. KẾT QUẢ VÀ THẢO LUẬN Để đánh giá hiệu suất của mô hình đề xuất, hai bộ dữ REFERENCES liệu chuẩn được sử dụng [11]. Bộ dữ liệu Indian Pines [1] Li, S., Song, W., Fang, L., Chen, Y., Ghamisi, P., & AVTSP được cảm biến AVIRIS chụp ở Tây Bắc Benediktsson, J. A. (2019). Deep learning for hyperspectral image classification: An overview. IEEE Transactions on Indiana. Độ phân giải hình ảnh là 145*145, với 200 Geoscience and Remote Sensing, 57(9), 6690-6709. bước sóng đặc trưng quang phổ, và có tổng cộng 16 [2] Roy, S. K., Krishna, G., Dubey, S. R., & Chaudhuri, B. B. loại. AVTSP của Đại học Pavia được chụp bởi cảm (2019). HybridSN: Exploring 3-D–2-D CNN feature biến ROSIS-03 ở Pavia, Ý. Độ phân giải hình ảnh là hierarchy for hyperspectral image classification. IEEE Geoscience and Remote Sensing Letters, 17(2), 277-281. 640*340, với 103 bước sóng đặc trưng phổ, nằm trong [3] Mou, L., Ghamisi, P., & Zhu, X. X. (2017). Deep recurrent khoảng (430-860) nm, và có tổng cộng 9 loại. Chúng neural networks for hyperspectral image classification. IEEE tôi chọn 10% dữ liệu làm tập huấn luyện và 90% dữ Transactions on Geoscience and Remote Sensing, 55(7), liệu làm tập kiểm tra. Chúng tôi so sánh mô hình CNN 3639-3655. với mô hình CNN-KELM. [4] Zhou, F., Hang, R., Liu, Q., & Yuan, X. (2019). Ảnh đầu vào có kích thước là 25*25 và được Hyperspectral image classification using spectral-spatial LSTMs. Neurocomputing, 328, 39-47. chuẩn hóa về 0-1. Sau đó được đưa vào mô hình CNN- [5] Zhao, G., Liu, G., Fang, L., Tu, B., & Ghamisi, P. (2019). KELM để huấn luyện và thử nghiệm. Hình 2 cho thấy Multiple convolutional layers fusion framework for kết quả phân loại của bộ dữ liệu Indian Pines theo các hyperspectral image classification. Neurocomputing, 339, mô hình khác nhau. Có thể thấy rằng mô hình CNN- 149-160. KELM có thể phân loại tốt hơn các đối tượng như loại [6] Wang, A., Wang, Y., & Chen, Y. (2019). Hyperspectral 10 và loại 11, loại 14 và loại 15. Hình 3 cho thấy kết image classification based on convolutional neural network and random forest. Remote sensing letters, 10(11), 1086-1094. quả phân loại của các mô hình trên tập dữ liệu của Đại [7] Cheng, G., Li, Z., Han, J., Yao, X., & Guo, L. (2018). học Pavia. Chúng ta có thể thấy rằng có một số phân Exploring hierarchical convolutional features for loại sai trong mô hình CNN, chẳng hạn như loại 6 được hyperspectral image classification. IEEE Transactions on xếp thành loại 2; và loại 3 được xếp vào loại 8. CNN- Geoscience and Remote Sensing, 56(11), 6712-6722. KELM có thể xác định chính xác các loại này. Bảng 1 [8] Song, W., Li, S., Fang, L., & Lu, T. (2018). Hyperspectral image classification with deep feature fusion network. IEEE thể hiện độ chính xác nhận dạng của các mô hình. Có Transactions on Geoscience and Remote Sensing, 56(6), thể thấy rằng độ chính xác tổng thể và độ chính xác 3173-3184. trung bình của mô hình CNN-KELM cao hơn so với [9] Han, M., Cong, R., Li, X., Fu, H., & Lei, J. (2020). Joint mô hình CNN. Cụ thể, đối với bộ dữ liệu Indian Pines, spatial-spectral hyperspectral image classification based on độ chính xác tổng thể và trung bình của mô hình mà convolutional neural network. Pattern Recognition Letters, 130, 38-45. chúng tôi đề xuất lần lượt cao hơn mô hình CNN là ISBN: 978-604-80-5076-4 267
Hội nghị Quốc gia lần thứ 23 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2020) [10] Huang, G. B., Zhou, H., Ding, X., & Zhang, R. (2011). [11] http://www.ehu.eus/ccwintco/index.php?title=Hyperspectral_ Extreme learning machine for regression and multiclass Remote_Sensing_Scenes classification. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 42(2), 513-529. ISBN: 978-604-80-5076-4 268