Ứng dụng AI-Vision phát hiện sự cố trên băng chuyền trong nhà máy sản xuất thông minh

Chia sẻ: _ _ | Ngày: | Loại File: PDF | Số trang:5

Thêm vào BST

Báo xấu

55
lượt xem 4
download

Download Vui lòng tải xuống để xem tài liệu đầy đủ

Ngày càng có nhiều sự quan tâm đến ý tưởng về các nhà máy thông minh với 92% giám đốc điều hành sản xuất tin rằng đây là con đường của tương lai, với lượng dữ liệu đang tăng lên từng ngày mô hình nhà máy thông minh là một môi trường nơi máy móc và thiết bị có thể cải thiện quy trình thông qua tự động hoá và tối ưu hoá, do đó cần tận dụng các giải pháp thông minh hơn để làm cho toàn bộ quy trình của nhà máy hiệu quả và có thể mở rộng. Bài viết đề xuất hệ thống ứng dụng AI – Vision để giám sát và phát hiện với khoảng cách sản phẩm nằm sát mép băng chuyền

Chủ đề:

Bình luận(0) Đăng nhập để gửi bình luận!

Lưu

Nội dung Text: Ứng dụng AI-Vision phát hiện sự cố trên băng chuyền trong nhà máy sản xuất thông minh

Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) ỨNG DỤNG AI-VISION PHÁT HIỆN SỰ CỐ TRÊN BĂNG CHUYỀN TRONG NHÀ MÁY SẢN XUẤT THÔNG MINH Đinh Hữu Đức, Nguyễn Văn Thành, Đinh Triều Dƣơng, Hoàng Văn Xiêm Khoa Điện tử - Viễn thông, trƣờng Đại học Công nghệ, Đại học Quốc Gia Hà Nội Email: hducbkeee92@gmail.com, nvthanhch1@gmail.com, duongdt@vnu.edu.vn, xiemhoang@vnu.edu.vn Tóm tắt—Ngày càng có nhiều sự quan tâm đến của Deloittecho[5] cho thấy chỉ 5% các nhà sản xuất ý tưởng về các nhà máy thông minh với 92% giám Hoa Kỳ đã chuyển đổi hoàn toàn ít nhất một nhà máy đốc điều hành sản xuất tin rằng đây là con đường thông minh, trong khi khoảng 30% báo cáo các sáng của tương lai, với lượng dữ liệu đang tăng lên từng kiến nhà máy thông minh đang diễn ra. AI là rất quan ngày mô hình nhà máy thông minh là một môi trọng đối với việc kích hoạt nhà máy thông minh và trường nơi máy móc và thiết bị có thể cải thiện quy việc triển khai AI trong các hoạt động công nghiệp trình thông qua tự động hoá và tối ưu hoá, do đó cũng là một thách thức lớn [5]. cần tận dụng các giải pháp thông minh hơn để làm Hiện nay, nhiều máy móc đã vƣợt qua khả năng cho toàn bộ quy trình của nhà máy hiệu quả và có nhận diện, phân tích hình ảnh bằng mắt thƣờng của thể mở rộng. Cho đến thời điểm hiện tại thì công con ngƣời. Thị giác máy tính đƣợc xem là một trong nghệ trí tuệ nhân tạo (AI) đang mang đến cho các những lĩnh vực thuộc AI và mang lại nhiều ứng dụng nhà máy sản xuất một khả năng chưa từng có để thực tiễn cho cuộc sống của con ngƣời. Một số ứng đẩy mạnh năng lực sản xuất, tối ưu hóa chuỗi cung dụng phổ biến trong đời sống con ngƣời đƣợc nhiều ứng và tăng tốc độ nghiên cứu và phát triển, nhưng ngƣời biết đến nhƣ nhận diện giao thông [7], nhận thực tế thì chưa có nhiều nghiên cứu và ứng dụng diện biển số xe, nhận diện mặt ngƣời hoặc nhận diện AI trong nhà máy sản xuất thông minh. Để giải các đồ vật, loài cây, hoa [6]. quyết việc đưa ra các giải pháp thông minh hơn Trong bài viết này chúng tôi xin đề xuất một trong nhà máy sản xuất, trong bài báo này chúng nghiên cứu về việc ứng dụng AI-Vision trong việc tôi đề xuất hệ thống ứng dụng AI – Vision để giám nhận diện và cảnh báo tình trạng sản phẩm trên dây sát và phát hiện với khoảng cách sản phẩm nằm sát chuyền sản xuất điện thoại di động trong nhà máy mép băng chuyền
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) liệu chuẩn và đa dạng, do đó phƣơng pháp đƣợc đề chuyển trên băng tải sau đó đƣợc camera chụp và ghi xuất này của chúng tôi hoàn toàn hứa hẹn tính chính lại gửi về cho PC thông qua hệ thống truyền thông xác cao do mô hình học máy có đƣợc dựa trên bộ dữ TCP/IP bởi các dây kết nối, tại đây máy tính có nhiệm liệu rất dồi dào trong quá trình sản xuất của nhà máy vụ là trung tâm điều khiển tiếp nhận hình ảnh từ vì vậy việc đào tạo trở nên rất dễ dàng và khả năng camera gửi về, xử lý, phát hiện và gán nhãn cho sản phát hiện lỗi phát sinh đạt hiệu quả cao nhất. phẩm điện thoại đã đặt OK hay NG tƣơng ứng trên băng tải. Phƣơng pháp và thuật toán để xử lý hình ảnh phân loại sản phẩm đƣợc sử dụng trong bài báo này dựa vào hai thuật toán SVM và CNN đƣợc triển khai trên ngôn ngữ python và thƣ viện xử lý ảnh OpenCV. Dƣới đây là một số thông số chi tiết trong thành phần hệ thống vision trong phƣơng án đƣợc đề xuất:  Camera : Basler Ace 2 Pro – 10 Megapixel – 60 fps (khung hình trên giây)  PC : Intel® Core™ i7-4800MQ @2.7 GHz , RAM 4 GB, hệ điều hành Window 10, 64-bit  Môi trường kiểm thử: Anacoda 3 - python 3, openCV 2  Băng chuyền : Kích thƣớc 500x1600mm  Dây kết nối. Hình 2: Mô tả hệ thống Hình 1: Mô tả hệ thống ứng dụng AI-Vision vào việc quản lý và cảnh báo các trường hợp gây lỗi sản phẩm trên băng chuyền. B. Mô tả cách xác định sản phẩm Trong phần tiếp theo của bài báo này, chúng tôi trình bày về đề xuất hệ thống ứng dụng AI-Vision vào phát hiện lỗi trên băng tải (phần II) và các phƣơng pháp AI để đào tạo sẽ đƣợc giới thiệu trong phần III. Tiếp đó, phần IV sẽ trình bày về kết quả thực nghiệm thực tế và các phân tích đánh giá, đây là cơ sở cho phần kết luận chúng tôi nêu trong phần V. II. ĐỀ XUẤT HỆ THỐNG A. Xây dựng hệ thống Hình 3: Mô tả trạng thái sản phẩm [OK] [NG] Để quan sát xác định đƣợc lỗi có phát sinh đối với sản phẩm hay không, trong nghiên cứu của chúng tôi Cách tiếp cận đƣợc đề xuất trong nghiên cứu của đề xuất sử dụng hệ thống AI-vision (hình 2), cách tiếp bài báo này để nhận biết sản phẩm điện thoại có lỗi hay cận này đƣợc thực hiện để phân loại sản phẩm mà không đƣợc xử lý qua một PC nhƣ thể thiện trong hình không làm thay đổi cấu trúc của dây chuyền sản xuất 2. Tại đây PC sẽ chứa tất cả tập dữ liệu đào tạo và kiểm thực tế. Hệ thống vision của chúng tôi đƣợc đƣợc xây tra cùng với chƣơng trình phân loại để nhận hình ảnh dựng bao gồm một camera có độ phân giải cao: 10 gửi về, các hình ảnh sẽ đƣợc thay đổi với cùng kích megapixel với tốc độ xử lý 60 fps (khung hình trên thƣớc và đƣợc xử lý để đƣa ra phán định. Các lỗi đƣợc giây) và một nguồn sáng từ đèn Led để đảm bảo độ xem xét trong phân loại ở đây đƣợc chia thành 2 loại sáng không bị biến đổi nhiều trong quá trính quan sát chính : OK (All correct) và NG (Not good), trong loại sản phẩm. Mỗi panel (sản phẩm điện thoại) đƣợc vận sản phẩm [NG] gồm 2 loại lỗi điện thoại đặt sát mép ISBN 978-604-80-5958-3 329
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) băng tải hoặc điện thoại bị đặt xếp chồng lên nhau chi Kết hợp hai điều kiện trên, có y(w.x + b)>= 1. tiết thể hiện trong hình 3. Sản phẩm OK là sản phẩm Khoảng cách của siêu phẳng và đến là . không nằm sát mép của băng tải với khoảng cách >8mm và không bị đặt chồng lấn tác động vào nhau. Cần tìm siêu phẳng với lề lớn nhất, là giải bài toán Cách phân loại sản phẩm [OK] hay [NG] này dựa theo tối ƣu tìm w và b sao cho: đạt cực đại với ràng kinh nghiệm và dữ liệu chạy trực tiếp trong dây truyền buộc (w. + b) >= 1. Tƣơng đƣơng với bài toán cực nhà máy dựa trên đó để thiết lập tập dữ liệu đào tạo. Các sản phẩm OK sau đó sẽ tiếp tục đƣợc robot gắp đi, tiểu hóa: với điều kiện: (w. + b) ≥ 1, mọi còn đối với trƣờng hợp phát sinh NG hệ thống sẽ dừng i=1…r. Lời giải cho bài toán tối ƣu này là cực tiểu hóa và cảnh báo để đƣợc khắc phục kịp thời. hàm Lagrange: III. CÁC PHƢƠNG PHÁP AI-VISION L(w,b,α)= | | ∑ α (| | ) A. Phương pháp sử dụng thuật toán SVM SVM là một giải thuật máy học dựa trên lý thuyết Trong đó, α là các hệ số Lagrange, α≥0. học thống kê do Vapnik and Chervonenkis (1974), Lời giải tìm siêu phẳng tối ƣu trên có thể mở rộng Vapnik (1999) xây dựng. Bài toán cơ bản của SVM là trong trƣờng hợp dữ liệu không thể tách rời tuyến tính bài toán phân loại hai lớp: Cho trƣớc r điểm trong bằng cách ánh xạ dữ liệu vào một không gian có số không gian n chiều (mỗi điểm thuộc vào một lớp kí chiều lớn hơn bằng cách sử dụng một hàm nhân K hiệu là +1 hoặc –1), mục đích của giải thuật SVM là (kernel). Một số hàm nhân thƣờng dùng nhƣ: tìm một siêu phẳng (hyperplane) phân hoạch tối ƣu - Hàm tuyến tính có dạng K(x,y)=x.y cho phép chia các điểm này thành hai phần sao cho - Hàm đa thức có dạng K(x.y)= ) các điểm cùng một lớp nằm về một phía với siêu - Hàm RBF (Radial Basis Function) có dạng phẳng này [8]. Hình 4 cho một minh họa phân lớp với SVM trong mặt phẳng. K(x, y) = Với khả năng vƣợt trội của SVM về tính hiệu quả, độ chính xác, khả năng xử lý các bộ dữ liệu một cách linh hoạt, việc sử dụng máy vectơ hỗ trợ SVM đã và đang là sự lựa chọn tối ƣu nhất trong việc giải quyết các bài toán phân loại/dự báo trong một số các ngành khoa học [9]. Bài viết này áp dụng phƣơng pháp phân lớp sử dụng máy vectơ hỗ trợ SVM cho bài toán cảnh báo trên dây chuyền sản xuất điện thoại. Hình 4: Ví dụ minh họa phân lớp với SVM. Xét tập r mẫu huấn luyện {( , ), ( , ),… ( , )}. Trong đó là một vector đầu vào đƣợc biểu Hình 5: Áp dụng thuật toán SVM trong việc cảnh báo diễn trong không gian X  , là một nhãn lớp; các trường hợp sản phẩm lỗi trên băng chuyền  1,1. Siêu phẳng tối ƣu phân tập dữ liệu này thành hai lớp là siêu phẳng có thể tách rời dữ liệu  Bƣớc 1: Đọc dữ liệu ảnh. thành hai lớp riêng biệt với lề (margin) lớn nhất. Tức  Bƣớc 2: Sử dụng thuật toán HOG (Histogram Of là, cần tìm siêu phẳng : y = w.x + b = 0 và hai siêu Oriented Gradient). Thuật toán này sẽ tạo ra các phẳng , hỗ trợ song song với và có cùng bộ mô tả đặc trƣng nhằm mục đích phát hiện vật khoảng cách đến . Với điều kiện không có phần tử thể. Từ một bức ảnh, ta sẽ lấy ra 2 ma trận quan nào của tập mẫu nằm giữa và , khi đó: trọng giúp lƣu thông tin ảnh đó là độ lớn gradient : w.x + b >= +1 với y = +1 (gradient magnitute) và phƣơng của gradient (gradient orientation). Bằng cách kết hợp 2 thông : w.x + b >= -1 với y = -1 tin này vào một biểu đồ phân phối histogram, trong đó độ lớn gradient đƣợc đếm theo các nhóm bins của phƣơng gradient. Cuối cùng ta sẽ thu ISBN 978-604-80-5958-3 330
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) đƣợc véc tơ đặc trƣng HOG đại diện cho histogram [10]. OK (All correct) NG (Not good) Hình 6: Histogram Of Oriented Gradient  Bƣớc 3: Áp dụng thuật toán SVM để phân loại ảnh trƣờng hợp NG và OK.  Bƣớc 4: Gán Label. B. Phương pháp CNN Convolutional Neural Network (CNNs – Mạng nơ-ron Hình 7: Mô hình CNN tích chập) [11] là một trong những mô hình Deep Learning tiên tiến, giúp cho chúng ta xây dựng đƣợc Mô hình CNN mà chúng tôi áp dụng gồm có 4 loại những hệ thống thông minh với độ chính xác cao. Vì layers [12]: vậy trong bài toán nhận diện ảnh này chúng tôi áp dụng một mô hình CNN vào để nhận biết việc điện Conv+Relu: Áp dụng cho layer Ci (i=1,2). Phép tích thoại đặt [OK] hay [NG] trên băng tải hay không, cấu chập trƣớc tiên đƣợc thực hiện để tạo ra 2(i + 5) bản đồ trúc mô hình CNN đƣợc thể hiện trong hình 6. Trong đối tƣợng (feature maps). Sau đó hàm kích hoạt Relu mô hình này hình ảnh đầu vào đƣợc tiền xử lý thay đổi (rectified linear unit) đƣợc sử dụng cho tính phi tuyến. đƣa về cùng một kích thƣớc 64*64 pixel sau đó đƣợc Max pooling: Mạng sử dụng layer max pooling 2*2 đƣa vào 2 lớp tích chập với số bộ lọc lần lƣợt là 64 và với bƣớc nhảy (stride) là 1, dùng để trích xuất mẫu của 128 có kích thƣớc kernel 3*3 và bƣớc nhảy là 1, cùng bản đồ đối tƣợng. với đó hàm kích hoạt Relu đƣợc sử dụng cho tính phi Full Connection: Layer này chúng tôi áp dụng hàm tuyến của mạng, tiếp đó hàm Maxpooling 2*2 đƣợc áp Flatten và Dense để kết nối toàn bộ các node trong đầu dụng để lấy đặc điểm nổi bật nhất và giảm kích thƣớc ra của mạng. chiều dài, chiều rộng đi một nửa. Sau đó các node của Output layer: Layer này kết nối hoàn toàn với layer mạng sẽ đƣợc kết nối toàn bộ và làm phẳng thông qua trƣớc đó (Layer full connection) và xuất ra vector 2*1 hàm Flatten và Dense của lớp Full connection, cuối là xác xuất phân loại của đầu ra sử dụng hàm softmax. cùng ở lớp ouput chúng tôi sử dụng hàm softmax để dự đoán xác xuất các node tại đầu ra. IV. KẾT QUẢ VÀ ĐÁNH GIÁ Để đánh giá độ chính xác của các mô hình chúng tôi đã thực hiện việc mô phỏng và kiểm thử trên bộ dữ liệu gồm 350 chụp thực tế chia làm 2 tập training và testing trong đó dữ liệu training gồm 140 ảnh OK và ISBN 978-604-80-5958-3 331
Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT2021) 100 ảnh NG và tập testing gồm 110 ảnh với tỉ lệ suất thiết bị tốt trong các dây chuyền công nghiệp hiện OK/NG là 50/60. Số lƣợng cụ thể đƣợc thể hiện ở đại và nghiêm ngặt. bảng 1. Bảng 1: Dữ liệu đánh giá TÀI LIỆU THAM KHẢO Hạng mục Phân loại Training Testing Total [1] PhilippOsterrieder, LukasBudde, ThomasFriedli, “The smart factory as a key construct of industry 4.0: A systematic OK 140 50 190 literature review” International Journal of Production Số lƣợng Economics, Volume 221, March 2020, 107476 NG 100 60 160 ảnh [2] Petrillo, A.; De Felice, F.; Cioffi, R.; Zomparelli, “Digital Total 240 110 350 Transformation in Smart Manufacturing”, IntechOpen: London, UK, 2018; pp. 1–20 Bảng 2 tổng hợp dữ liệu kết quả độ chính xác của [3] Michele Calì “Smart Manufacturing Technology” Department of Electrical, Electronics and Computer Engineering (DIEEI), các model trong các phƣơng pháp AI đƣợc sử dụng. University of Catania, 95124 Catania, Italy, Appl. Chỉ với tập dự liệu training không quá lớn 350 ảnh Sci. 2021, 11(17), 8202 (140 ảnh OK và 100 ảnh NG) nhƣng độ chính xác đã [4] Chen, B., Wan, J., Shu, L., Li, P., Mukherjee, M., & Yin, B. đạt khá cao với Model SVM (kernel=”rbf”) đạt (2018). “Smart Factory of Industry 4.0: Key Technologies, 91,81% và model CNN 91,81%. Điều này hứa hẹn tỷ Application Case, and Challenges”. IEEE Access, 6, 6505– 6519. doi:10.1109/access.2017.2783682 lệ chính xác có thể cải thiện hơn rất nhiều nếu tập dữ [5] Frank Herrmann. “The Smart Factory and Its Risks”. OTH liệu đƣợc training đủ lớn và đang dạng hơn khi đƣợc Regensburg, Innovation and Competence Centre for lấy từ trong nhà máy. Hơn nữa với tập dữ liệu đã có ở Production Logistics and Factory Planning, P.O. Box 120327, trên thì thời gian huấn luyện khá nhanh trong khoảng 93025 Regensburg, Germany, Systems 2018, 6(4), 38; từ 23s-25s đối với có model SVM và cao nhất là 64s https://doi.org/10.3390/systems6040038 đối với model CNN thêm vào đó thời gian xử lý dự [6] Yu Sun, Yuan Liu, Guan Wang, and Haiyan Zhang “Deep Learning for Plant Identification in Natural Environment” đoán xác định hình ảnh chỉ trong khoảng 0.1-0.2s 1School of Information Science and Technology, Beijing (bảng 3) nên hoàn toàn đáp ứng đƣợc trong dây Forestry University, Beijing 100083, China 22 May 2017 chuyền khi sản xuất tự động liên tục của nhà máy. [7] MihainDaniel RADU, Ilona Madalina COSTEA, Valentin Alexandru STAN “Automatic Traffic Sign Recognition Artificial Inteligence - Deep Learning Algorithm” 25-27 June Bảng 2: Độ chính xác của các mô hình (%) 2020 Số lƣợng Dự đoán Độ chính [8] Wun-Hwa Chen, Sheng-Hsun Hsu∗, Hwang-Pin Shen, Phƣơng pháp kiểm thử đúng xác (%) “Application of SVM and ANN for intrusion detection” SVM(kernel="linear") 110 98 89.09% National Taiwan University, No. 1, Section 4, Roosevelt Road, Taipei 106, Taiwan Accepted 29 March 2004 SVM(kernel="poly") 110 99 90% [9] Durgesh K. Srivastava, Lekha Bhambh, “Data classification SVM(kernel="rbf") 110 101 91.81% using support vector machine” Journal of Theoretical and SVM(kernel="sigmoid") 110 60 54.54% Applied Information Technology 12(1):1-7, february 2010. CNN (20 epochs) 110 101 91.81% [10] N. Dalal and B. Triggs. ”Histograms of oriented gradients for human detection” 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'05). 20-25 Bảng 3: Thời gian xử lý June 2005 Thời gian Thời gian dự [11] Saad Albawi, Tareq Abed Mohammed, Saad Al-Zawi, Phƣơng pháp (Tiền xử lý - đoán “Understanding of a convolutional neural network”, 2017 Training) (second/Image) International Conference on Engineering and Technology SVM(kernel="linear") 24.27 s 0.123 s (ICET), DOI: 10.1109/ICEngTechnol.2017.8308186 [12] Shyava Tripathi, Rishi Kumar, “Image Classification using SVM(kernel="poly") 25.29 s 0.132 s small Convolutional Neural Network”, 2019 9th International SVM(kernel="rbf") 23.74 s 0.113 s Conference on Cloud Computing, Data Science & Engineering SVM(kernel="sigmoid") 24.92 s 0.127 s (Confluence), DOI: 10.1109/CONFLUENCE.2019.8776982 CNN (20 epochs) 64.03 s 0.105 s V. KẾT LUẬN Trong bài viết này chúng tôi đã nghiên cứu một số phƣơng pháp (mô hình SVM, CNN) để áp dụng xác định phát hiện điện thoại đặt OK, NG trên băng truyền trong nhà máy. Qua kết quả thực nghiệm đã khẳng định tính đúng đắn của phƣơng pháp đƣợc đề xuất, đây là một phƣơng pháp cải tiến có khả năng áp dụng thực tế cao và đồng loạt với độ chính xác đáng tin cậy rất hữu ích cho việc đảm bảo chất lƣợng sản phẩm và hiệu ISBN 978-604-80-5958-3 332