Luận văn Kết hợp giải thuật di truyền và mạng nơ-Ron RBF nhận dạng và xử lý tín hiệu điều khiển phi tuyến (Phần 1)

Nội dung text: Luận văn Kết hợp giải thuật di truyền và mạng nơ-Ron RBF nhận dạng và xử lý tín hiệu điều khiển phi tuyến (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN NGỌC MINH THÔNG KẾT HỢP GIẢI THUẬT DI TRUYỀN VÀ MẠNG NƠ-RON RBF NHẬN DẠNG VÀ XỬ LÝ TÍN HIỆU ĐIỀU KHIỂN PHI TUYẾN NGÀNH: KỸ THUẬT ĐIỆN - 60520202 S K C0 0 4 9 1 3 Tp. Hồ Chí Minh, năm 2016
2. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN NGỌC MINH THÔNG KẾT HỢP GIẢI THUẬT DI TRUYỀN VÀ MẠNG NƠ-RON RBF NHẬN DẠNG VÀ XỬ LÝ TÍN HIỆU ĐIỀU KHIỂN PHI TUYẾN NGÀNH: KỸ THUẬT ĐIỆN - 60520202 Hướng dẫn khoa học: PGS.TS. NGUYỄN THANH PHƯƠNG LÝ LỊCH KHOA HỌC Tp. Hồ Chí Minh, tháng 10/2016
3. LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƯỢC: Họ & tên: NGUYỄN NGỌC MINH THÔNG Giới tính: Nam Ngày, tháng, năm sinh: 24/10/1982 Nơi sinh : Vĩnh Long Quê quán: An Nhơn, Trung Thành, Vũng Liêm, Vĩnh Long. Dân tộc: Kinh Chỗ ở riêng hoặc địa chỉ liên lạc: An Nhơn, Trung Thành, Vũng Liêm, Vĩnh Long. Điện thoại cơ quan: 070.3825903 Điện thoại nhà riêng: 0939712127 E-mail: thongmtu@gmail.com II. QUÁ TRÌNH ĐÀO TẠO: 1. Cao đẳng: Hệ đào tạo: Chính quy Thời gian đào tạo từ 09/2000 đến 04/2004 Nơi học (trường, thành phố): Trường CĐ Sư phạm Kỹ thuật Vĩnh Long, Tp. Vĩnh Long. Ngành học: Điện Công nghiệp. 2. Đại học: Hệ đào tạo: Hoàn chỉnh ĐHTC Thời gian đào tạo từ 09/2006 đến 09/2008 Nơi học (trường, thành phố): Trường ĐH Sư phạm Kỹ thuật Tp.HCM Ngành học: Điện Khí hóa Cung cấp điện. Tên đồ án, luận án hoặc môn thi tốt nghiệp: Đồ án Thiết kế Cung cấp điện cho nhà xưởng cơ khí chế tạo máy. Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: 8/2008 tại Thành phố Vĩnh Long. Người hướng dẫn: Thầy Nguyễn Thanh Tùng III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm Công ty cổ phần dịch vụ Bưu 2008 - 2010 Nhân viên phát triển thị trường chính Viễn thông Sài gòn 2010 - 2013 Công ty cổ phần Viễn thông FPT Trưởng phòng KD dịch vụ 2013 - 2016 Trường ĐHXD Miền Tây Nhân viên phòng Quản lý ĐT i
4. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tp. Hồ Chí Minh, ngày 24 tháng 10 năm 2016 Tác giả Nguyễn Ngọc Minh Thông ii
5. CẢM TẠ Đầu tiên, tôi xin chân thành cảm ơn PGS.TS Nguyễn Thanh Phương đã trực tiếp hướng dẫn cho tôi hoàn thành luận văn này. Xin chân thành cảm ơn Ban Giám hiệu, các đồng nghiệp Trường Đại học Xây dựng Miền Tây đã tạo nhiều điều kiện thuận lợi trong quá trình thực hiện luận văn. Xin chân thành cảm ơn những người thân trong gia đình, bạn bè, những người luôn quan tâm và ủng hộ tôi hoàn thành công trình này. Xin chân thành cảm ơn. Tác giả luận văn Nguyễn Ngọc Minh Thông iii
6. TÓM TẮT TÓM TẮT: Hệ phi tuyến tồn tại ở hầu hết các hệ thống điều khiển, để đạt được giá trị đầu ra mong muốn đòi hỏi phải có một bộ điều khiển được thiết kế phù hợp với từng hệ thống khác nhau. Với đòi hỏi ngày càng cao của hệ thống điều khiển chính xác cần có những giải pháp điều khiển ngày càng tối ưu hơn. Ứng dụng trí tuệ nhân tạo để giải quyết bài toán này là một trong những hướng nghiên cứu hiện đại và thiết thực nhất. Mạng Nơ-ron dùng hàm Xuyên tâm cơ sở (Neural network Radial Basic Function – RBFNN) là công cụ mạnh trong nhận dạng và xấp xỉ hệ phi tuyến. Tuy nhiên RBFNN vẫn có nhược điểm đòi hỏi người sử dụng phải có kinh nghiệm trong việc chọn các thông số học. Để giải quyết vấn đề này tác giả đề xuất giải pháp dùng Giải thuật di truyền (Genetic Algorithm – GA) giúp huấn luyện RBFNN trở nên dễ dàng hơn không cần phải có nhiều kinh nghiệm lựa chọn các tham số học cho RBF. Từ khóa: Mạng nơ-ron Xuyên tâm cơ sở, Giải thuật di truyền, Điều khiển phi tuyến, Phân tích hệ thống phi tuyến. ABSTRACT: Nonlinear systems exist on the most of the control systems, to achieve the desired output values require a controller is designed to suit each different systems. With requring the hight technology of the precise control system needs many control solutions is more optimal. Applying the artificial intelligence to solve this problem is the one of the morden research and practically. Neural nerwork Radial Basic Function (RBFNN) is a powerful tool in the identification and approximate nonlinear systems. However, RBFNN has a limitation to require to has experience in the selection of training parameters of them. To resolve this issue, I propose Genetic Algorithm (GA) to training parameters of RBFNN and do not need to have any experience to select of them. Keywords: Neural nerwork Radial Basic Function, Genetic algorithm, Nonlinear control, Nonlinear systems alnalysis. iv
7. MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch cá nhân i Lời cam đoan ii Cảm tạ iii Tóm tắt iv Mục lục v Danh sách các chữ viết tắt vii Danh sách các hình viii Danh sách các bảng x MỞ ĐẦU 1 Chương 1 TỔNG QUAN 3 1.1 Điều khiển phi tuyến 3 1.2 Mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) 5 1.3 Giải thuật di truyền (Genetic Algorithm - GA) 6 1.4 Kết hợp mạng nơ-ron RBF với Giải thuật di truyền 8 Kết luận chương 1 11 Chương 2 CƠ SỞ LÝ THUYẾT 12 2.1 Hệ phi tuyến 12 2.2 Mạng nơ-ron (Neuron) 15 2.3 Giải thuật di truyền 25 Kết luận chương 2: 30 Chương 3 HUẤN LUYỆN MẠNG NƠ-RON RBF 31 3.1 Xấp xỉ mạng nơ-ron RBF trên cơ sở phương pháp giảm Gradient 31 3.2 Thực nghiệm dùng mạng nơ-ron RBF xấp xỉ đối tượng phi tuyến 33 v
8. 3.3 Xấp xỉ đối tượng phi tuyến bằng mạng nơ-ron RBF với độ rộng b bất kỳ 37 Kết luận chương 3: 41 Chương 4 KẾT HỢP MẠNG NƠ-RON RBF VÀ GIẢI THUẬT DI TRUYỀN XẤP XỈ HÀM PHI TUYẾN 42 4.1 Kết hợp Giải thuật di truyền với mạng nơ-ron RBF 42 4.2 Mô phỏng thực nghiệm kết hợp Giải thuật di truyền (GA) để tối ưu độ rộng mạng nơ-ron RBF 43 Kết luận chương 4: 46 Chương 5 KẾT HỢP MẠNG NƠ-RON RBF VÀ GIẢI THUẬT DI TRUYỀN ĐIỀU KHIỂN CÁNH TAY MÁY HAI BẬC TỰ DO 47 5.1 Cánh tay máy hai bậc tự do: 47 5.2 Điều khiển cánh tay máy hai bậc tự do bằng RBF theo phương pháp Runge-Kutta- Merson [21] 49 5.3 Kết hợp Giải thuật di truyền để tối ưu độ rộng RBF cho hệ điều khiển cánh tay máy 2 bậc tự do sử dụng phương pháp điều khiển Runge-Kutta-Merson 53 Kết luận chương 5 54 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 58 vi
9. DANH MỤC CÁC CHỮ VIẾT TẮT Ký hiệu Mô tả E(t) Hiệu suất xấp xỉ của hàm xuyên tâm cơ sở (RBF) 풉풋(풕) Ngõ ra của lớp ẩn j hàm xuyên tâm cơ sở (RBF) M(q) Ma trận quán tính 푛 × 푛 푪(풒, 풒̇ ) Ma trận lực hướng tâm và hệ số Coriolis 푛 × 푛 푮(풒) Ma trận lực hướng tâm và momen 푛 × 1 풋 Tâm thứ j của hàm xuyên tâm cơ sở (RBF) 흈풋 Độ rộng thứ j của hàm xuyên tâm cơ sở (RBF) w Trọng số hàm xuyên tâm cơ sở (RBF) r Số K láng giềng của tâm [ ] Ma trận chuyển vị || . || Khoảng cách Euclidean AI Trí tuệ nhân tạo (Artifical Intelligent) ANN Mạng nơ-ron nhân tạo (Artificial Neural Network) Mạng nơ-ron hàm bán kính xuyên tâm cơ sở (Radial RBFNN Basic Function Neural Netword) GA Giải thuật di truyền (Genetic Algorithm) RMSE Căn phương sai số (Root Mean Square Error) SMC Điều khiển trượt (Sliding Mode Control) MLP Mạng nhiều tầng (Multi-Layer Perceptrons) mạng nơ-ron truyền thẳng nhiều lớp (Multilayer feed- MFN forward network) EAs Giải thuật tiến hóa (Evolution Algorithms) Phương pháp K- láng giềng gần nhất (K-nearest- KNN neighbor) vii
10. DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 1.1 So sánh kết quả NRMSE với các phương pháp khác (Phương pháp González và Rivas) 11 Hình 2.1 Hệ thống bơm xả nước 13 Hình 2.2 Hệ cánh tay máy hai bậc tự do 13 Hình 2.3 Cấu tạo của tế bào nơ-ron sinh học 16 Hình 2.4 Mô hình một nơ-ron nhân tạo 18 Hình 2.5 Đồ thị hàm ngưỡng 18 Hình 2.6 Đồ thị hàm tuyến tính 18 Hình 2.7 Đồ thị hàm signmoid 19 Hình 2.8 Đồ thị hàm tanh 19 Hình 2.9 Đồ thị hàm Gaussian 19 Hình 2.10 Mô hình mạng nơ-ron nhiều lớp (MLP) 20 Hình 2.11 Mô hình mạng hàm cơ sở 22 Hình 2.12 Cấu trúc mạng nơ-ron RBF ba lớp 24 Hình 2.13 Lưu đồ thuật toán của Giải thuật di truyền đơn giản 26 Hình 2.14 Toán tử lai ghép biễu diễn theo cây 29 Hình 3.1 Kết quả mô phỏng huấn luyện một pha mạng nơ-ron RBF 34 Hình 3.2 Kết quả mô phỏng huấn luyện hai pha mạng nơ-ron RBF 35 Hình 3.3 Kết quả mô phỏng huấn luyện ba pha mạng nơ-ron RBF 36 Hình 3.4 Biểu đồ hiệu suất huấn luyện 1 pha, 2 pha, 3 pha của RBFNN 37 Hình 3.5 Hiệu suất huấn luyện một pha mạng nơ-ron RBF với b = 0.1 38 viii
11. Hình 3.7 Hiệu suất huấn luyện ba pha mạng nơ-ron RBF với b = 0.1 39 Hình 3.8 Biểu đồ so sánh hiệu suất huấn luyện 40 1 pha, 2 pha, 3 pha của RBFNN với b=0.1 40 Hình 4.1: Lưu đồ Giải thuật di truyền tối ưu độ rộng 42 Hình 4.2 Hiệu suất huấn luyện 2 pha mạng nơ-ron RBF có sử dụng GA với b=0.1 44 Hình 4.3 So sánh hiệu suất hai phương pháp 45 Hình 5.1 Mô tả cánh tay máy hai bậc tự do trong không gian Descartes 47 Hình 5.2 Đáp ứng vị trí của tay máy hai bậc tự do 50 Hình 5.3 Đáp ứng tốc độ của cánh tay máy hai bậc tự do 50 Hình 5.4 Tín hiệu điều khiển cánh tay máy hai bậc tự do 51 Hình 5.5 So sánh đáp ứng vị trí khi chọn tâm ci khác nhau 52 Hình 5.6 So sánh đáp ứng tốc độ khi chọn tâm ci khác nhau 52 Hình 5.7 So sánh đặc tính điểu khiển khi chọn tâm ci khác nhau 52 Hình 5.8 So sánh đáp ứng vị trí khi chưa có và có kết hợp GA 53 Hình 5.9 So sánh đáp ứng tốc độ khi chưa có và có kết hợp GA 54 Hình 5.10 So sánh đặc tính điều khiển khi chưa có và có kết hợp GA 54 ix
12. DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 1.1 Căn phương sai số (RMSE) hàm Sin một chiều với 500 mẫu thử 9 Bảng 1.2 Căn phương sai số (RMSE) hàm Sin hai chiều với 1000 mẫu thử 10 Bảng 3.2 Hiệu suất huấn luyện một pha, hai pha, ba pha RBFNN với b = 0.1 40 Bảng 4.1 Hiệu suất xấp xỉ theo 2 cách huấn luyện mạng RBF 45 x
13. MỞ ĐẦU 1. Tính cấp thiết của đề tài: Hệ phi tuyến tồn tại ở hầu hết các hệ thống điều khiển, để đạt được giá trị đầu ra mong muốn đòi hỏi phải có một bộ điều khiển được thiết kế phù hợp với từng hệ thống khác nhau. Với đòi hỏi ngày càng cao của hệ thống điều khiển chính xác cần có những giải pháp điều khiển ngày càng tối ưu hơn. Ứng dụng trí tuệ nhân tạo để giải quyết bài toán này là một trong những hướng nghiên cứu hiện đại và thiết thực nhất. Mạng Nơ-ron dùng hàm Xuyên tâm cơ sở (Neural network Radial Basic Function – RBFNN) là công cụ mạnh trong nhận dạng và xấp xỉ hệ phi tuyến. Tuy nhiên RBFNN vẫn có nhược điểm đòi hỏi người sử dụng phải có kinh nghiệm trong việc chọn các thông số học. Đề tài luận văn “Kết hợp Giải thuật di truyền và mạng nơ-ron RBF nhận dạng và xử lý tín hiệu điều khiển phi tuyến” nghiên cứu giải pháp dùng Giải thuật di truyền (Genetic Algorithm – GA) giúp huấn luyện các tham số của RBFNN làm cho huấn luyện mạng RBF trở nên dễ dàng hơn không cần phải có nhiều kinh nghiệm lựa chọn các tham số học cho RBF. 2. Đối tượng nghiên cứu của đề tài: Điều khiển cánh tay máy hai bậc tự do. 3. Nội dung nghiên cứu: - Nghiên cứu điều khiển hệ thống phi tuyến. - Nghiên cứu lý thuyết mạng nơ-ron RBF, Giải thuật di truyền. - Nghiên cứu kết hợp mạng nơ-ron RBF và Giải thuật di truyền. - Mô phỏng so sánh các giải pháp trong điều khiển nhận dạng điều khiển phi tuyến 4. Phạm vi nghiên cứu: Ứng dụng mạng nơ-ron RBF và Giải thuật di truyền xử lý tín hiệu điều khiển phi tuyến. 5. Phương pháp nghiên cứu: Trên cơ sở nghiên cứu lý thuyết hệ thống phi tuyến, mạng nơ-ron RBF và Giải thuật di truyền. Mô phỏng trên Matlab 1
14. simulink 2012b các giải thuật từ các hệ thống nhỏ đơn lẻ đến hệ cánh tay máy hai bậc tự do. 6. Những đóng góp của luận văn: Hệ thống hóa kiến thức cơ bản về hệ phi tuyến, mạng nơ-ron RBF, Giải thuật di truyền. Nghiên cứu phương pháp kết hợp Giải thuật di truyền và mạng nơ-ron RBF nhằm tối ưu hóa tham số độ rộng của RBFNN trong huấn luyện mạng để xấp xỉ đối tượng phi tuyến, dùng Giải thuật di truyền tối ưu tham số độ rộng của mạng nơ-ron RBF áp dụng cho huấn luyện hai pha không cần phải lựa chọn tối ưu tâm ci và độ rộng RBF. Các kết quả mô phỏng trên tay máy hai bậc tự do cho thấy rằng phương pháp mà tác giả đề xuất ở trên là một đóng góp nhằm làm đa dạng hơn các thuật học của RBFNN cũng như sự đa dạng khi sử dụng RBFNN vào các quá trình điều khiển nói chung. 7. Cấu trúc của luận văn: Gồm có 5 chương Chương 1: Tổng quan Chương 2: Cơ sở lý thuyết Chương 3: Huấn luyện mạng nơ-ron RBF Chương 4: Kết hợp mạng nơ-ron RBF và Giải thuật di truyền xấp xỉ hàm phi tuyến. Chương 5: Kết hợp mạng nơ-ron RBF và Giải thuật di truyền điều khiển cánh tay máy 2 bậc tự do. 2
15. Chương 1 TỔNG QUAN 1.1 Điều khiển phi tuyến Điều khiển phi tuyến đã được nhiều nhà vật lý, nhà toán học, nhà khoa học, nhà thiết kế hệ thống điều khiển, quan tâm từ các hệ thống, thiết bị phục vụ sinh hoạt hằng ngày, đến các robot, thiết bị không gian vũ trụ. Chẳng hạn như yếu tố thời tiết được xem là phi tuyến bất định vì trong đó các thay đổi đơn giản trong một phần của hệ thống hoặc có nhiễu loạn tác động đến hệ thống sẽ tạo ra các hiệu ứng phức tạp và có thể dẫn đến tan rã cả hệ thống điều khiển. Sự phi tuyến này là một trong những lý do tại sao dự báo dài hạn một cách chính xác là không thể với công nghệ hiện nay [20]. Theo Jean- Jacquese.Slotine và Weipingli [4], có rất nhiều lý do để tiếp tục nghiên cứu điều khiển phi tuyến như: . Cải tiến các hệ thống hiện có: Đối với các hệ thống điều khiển tuyến tính thường chỉ được sử dụng trong các lĩnh vực nhỏ, hẹp. Khi phát triển mở rộng lên thành các hệ thống lớn hơn chúng sẽ trở nên không ổn định, đáp ứng sẽ thiếu chính xác. Chẳng hạn khâu điều khiển nâng của robot nếu áp dụng điều khiển tuyến tính sẽ không đáp ứng tốt khi có tải thay đổi (tải đặt vào lớn hơn hoặc trọng lượng tải thay đổi liên tục) sẽ ảnh hưởng tốc độ di chuyển của robot (phản hồi của robot), nếu tại đây thay đổi thành kiểu điều khiển phi tuyến sẽ giúp cho robot hoạt động ổn định hơn. . Phân tích phi tuyến đặc trưng (hard nonlinearities): Giả sử trong một hệ thống điều khiển tuyến tính với mô hình hoàn toàn tuyến tính. Tuy nhiên sẽ có rất nhiều thành phần phi tuyến tác động vào hệ, cản trở hoạt động của hệ làm hệ không thể hoạt động tuyến tính. Các yếu tố “hard noninearities” đó là: Ma sát Columb, bảo hòa, vùng chết (dead-zones), phản ứng (backlash), hiện tượng trễ (hysteresis) là những thứ thường gặp trong hệ thống điều khiển. Chỉ 3
16. có dùng các kỹ thuật phân tích phi tuyến mới có thể phân tích, dự đoán và bù chính xác ảnh hưởng tác động phi tuyến bên ngoài. . Phù hợp với các mô hình bất định (model uncertainties): Trong các mô hình điều khiển tuyến tính thường cần xác định các tham số cho mô hình hệ thống một cách chính xác. Tuy nhiên trong nhiều hệ điều khiển có rất nhiều các tham số bất định những thứ mà chỉ có thể dùng hệ điều khiển phi tuyến. . Đơn giản hóa thiết kế: Một thiết kế phi tuyến thường sẽ đơn giản hơn, thực tế hơn so với thiết kế hệ tuyến tính. Điều này có vẻ nghịch lý vì hệ phi tuyến thường phân tích rất sâu vào yếu tố vật lý của đối tượng. Nhưng một điều chắc chắn rằng những phương pháp mới về phân tích, xử lý, nhận dạng hệ thống phi tuyến sẽ nâng cao được chất lượng cho các hệ thống điều khiển hiện tại. Hầu hết các hệ thống vật lý đều phi tuyến. Các hệ thống điều khiển phi tuyến thường được mô tả bởi các phương trình phi tuyến không giống nhau. Tuy nhiên xét trong một khía cạnh nào đó và nếu các tác động phi tuyến tương đối phẳng (smooth) thì hệ thống có thể được xấp xỉ bằng hệ thống tuyến tính và các nhiễu động sẽ được mô tả bởi các phương trình tuyến tính khác nhau. Về mặt toán học người ta chia hệ phi tuyến thành hai dạng, liên tục (continuous) và rời rạc (discontinuous). Vì hệ phi tuyến rời rạc không thể xấp xỉ địa phương (locally approximated) bằng các hàm tuyến tính, người ta còn gọi đó là các “hard nonlinearities”. Vì các hệ thống phi tuyến đa dạng hơn và phức tạp hơn các hệ thống tuyến tính do đó phân tích chúng trở nên khó khăn hơn nhiều. Về mặt toán học nó biểu hiện ở hai mặt, mặt thứ nhất là các phương trình phi tuyến không giống với các loại tuyến tính nào, nó không thể gộp chung để tiến hành phân tích, do đó để hiểu được các thuộc tính của nó trở nên rất khó khăn; Mặt thứ hai, khả năng của công cụ toán học như Laplace, triển khai Fourier không thể áp dụng cho các hệ thống phi tuyến phức tạp. 4
17. Thực tế cho thấy không có một phương pháp nào có thể tiên đoán được các trạng thái của hệ thống phi tuyến cũng như không tạo ra được phương pháp dùng để thiết kế các hệ thống điều khiển phi tuyến. Thay vào đó là các công cụ giúp phân tích và xấp xỉ mạnh mẽ áp dụng vào các bài toán điều khiển phi tuyến đạt được kết quả cao. Các công trình nghiên cứu về hệ phi tuyến Đối tượng phi tuyến tồn tại ở mọi lĩnh vực do đó đã có rất nhiều công trình nghiên cứu về nó được công bố. Trong đó, nổi bật là các phương pháp phân tích mặt phẳng pha; phương pháp phân tích và điều khiển hệ Hammerstein, hệ Wiener, phương pháp cân bằng điều hòa, lý thuyết Lyapunov hay phương pháp điều khiển trượt (Sliding Mode Control - SMC), giúp khai phá về hệ phi tuyến và điều khiển phi tuyến. Với các hệ điều khiển phi tuyến thực theo tác giả GS. Nguyễn Doãn Phước [3] nhờ sự ra đời của Lý thuyết tập mờ (Fuzzy logic – Klir 1997), mạng nơ-ron nhân tạo (Artificial Neural network), Giải thuật di truyền (Genetic algorithm), kỹ thuật vi điều khiển, giúp cho khoảng cách giữa lý thuyết và thực tế của hệ phi tuyến đã được thu hẹp đáng kể. 1.2 Mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) Mạng nơ-ron nhân tạo (ANN) là một mô hình toán học dựa trên cơ sở cấu trúc và hoạt động của mạng nơ-ron sinh học. ANN giống như bộ não con người, được học bởi kinh nghiệm (thông qua huấn luyện), có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết (unseen data). ANN được đề xuất đầu tiên vào năm 1943 bởi Warren McCulloch và Walter Pitts, tiếp theo đó là khái niệm “Perceptron” của Rosenblatt (1958) tuy nhiên vẫn chưa được chú ý do nhiều hạn chế trong ứng dụng bởi giới hạn trong phạm vi tính toán [5]. Đến năm 1986, Rumelhart và McClelland phát triển ANN lên tầm cao mới chúng được hoàn thiện về cấu trúc và phương pháp học mới. 5
18. ANN là công cụ mạnh trong việc mô hình hóa dữ liệu thống kê phi tuyến, có thể mô hình hóa mối quan hệ phức tạp giữa dữ liệu vào và dữ liệu ra. Các ứng dụng của mạng nơ-ron được sử dụng trong rất nhiều lĩnh vực như điện, điện tử, kinh tế [6], quân sự, để giải quyết các bài toán có độ phức tạp và đòi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận dạng, học ngôn ngữ, xấp xỉ [7], ANN được phát triển thành nhiều loại: Mạng nơ-ron truyền thẳng (feedforward network), Mạng hồi tiếp (Back-propagation), Mạng nhiều tầng (Multi-Layer Perceptrons – MLP), Mạng nơ-ron dùng hàm xuyên tâm cơ sở (Radial Basic Function – RBF), Về nhận dạng và xấp xỉ đối tượng phi tuyến mạng nơ-ron RBF (RBF Neural network – RBFNN) chiếm ưu thế nhất. RBFNN được Broomhead và Lowe's đề xuất vào 1988 [8]. Từ các công trình nghiên cứu thực tiễn đã cho thấy khả năng đa dạng của việc xấp xỉ bằng RBFNN có thể thực hiện trên nhiều hàm phi tuyến một cách đơn giản và có độ chính xác cao. ANN nói chung, RBFNN nói riêng, phụ thuộc nhiều vào số lượng nơ-ron, nếu có quá ít số nơ-ron thì sẽ xấp xỉ kém đi, quá nhiều số nơ-ron sẽ làm cho bài toán phức tạp hơn, bên cạnh đó việc lựa chọn các tham số như độ rộng (width), các tâm (centers) cũng ảnh hưởng rất nhiều đến chất lượng xấp xỉ bài toán. Vào thập niên 1990, D. Whitley đề xuất Giải thuật tiến hóa (Evolution Algorithms – EAs) nhằm tối ưu hóa cấu trúc và các tham số của ANN [9], tiếp sau đó là hàng loạt các công trình nghiên cứu dùng Giải thuật di truyền (Genetic Algorithm) trong luyện mạng RBFNN đây là các ứng dụng theo tiến hóa sinh học làm tăng khả năng tính toán, giải các bài toán phức tạp. 1.3 Giải thuật di truyền (Genetic Algorithm - GA) Trong “Trí tuệ nhân tạo” (Artifical Intelligent – AI) không thể không kể đến Giải thuật di tuyền (Genetic Algorithm - GA). GA là một trong những phân nhánh quan trọng của Giải thuật tiến hóa (Evolution Algorithms – EAs). Nó dựa trên thuyết tiến hóa sinh học “Giữ lại cá thể tốt, loại bỏ cá thể kém, chọn 6
19. lọc những cá thể thích nghi nhất” là một trong những kỹ thuật tính toán thông minh, mang lại phương pháp cực kỳ hiệu quả với các dạng bài toán có nghiệm phức tạp, khó khăn khi giải quyết bằng các phương pháp truyền thống. Vào những năm trong thập niên 1950, các nhà khoa học đã bắt đầu nghiên cứu Trí tuệ nhân tạo và tính toán thuyến tiến hóa, nỗ lực mô tả bằng chương trình tính toán mô phỏng những hiện tượng trong giới tự nhiên. Vào năm 1953, Nils Barricelli được mời đến Princeton để nghiên cứu trí tuệ nhân tạo, Ông đã gần như bị cuốn hút vào máy tính kỹ thuật số dùng viết các phần mềm bắt chước tái sinh và đột biến của giới tự nhiên, Ông không giải quyết được bài toán tối ưu cũng như chưa mô phỏng được quá trình tiến hóa sinh học nhưng đã đặt nền tảng cho thế giới nhân tạo, Ông cũng là người đầu tiên dùng máy tính để nghiên cứu thuyết tiến hóa, khơi màu cho các nhà sinh vật học tiếp bước Ông trong cuối thập niên 1950 và thập niên 1960 [10]. Theo Michell [11], GA được phát minh ra bởi J.H.Holland năm 1962 hoặc ít ra là một phiên bản GA đặc biệt được sử dụng đến ngày nay. Holland đã phát triển từ học thuyết của Charles Darwin “cá thể thích nghi nhất sẽ sống sót” bằng cách trải qua lai tạo (crossover), tái tạo (recombination), đột biến (mutation) và ghéo chéo (inversion) diễn ra trong các bộ gen. Về sau, Kenneth De Jong (học trò của J.H.Holland) đã đưa ra giải pháp học tổng thể (comprehensive study) của GA đối với các bài toán tối ưu trong luận án tiến sĩ của ông. GA là một giải thuật dựa trên cơ chế của chọn lọc tiến hóa tự nhiên [1]. Một số công trình nghiên cứu điển hình như: . Quy hoạch tiến hóa (EP) do D.B. Pogel đề xuất. Đề xuất được mô tả như sau: Cho một lớp các phương pháp khả dĩ giải quyết một (số) phần của vấn đề. Dựa vào quy luật tiến hóa, tìm một phương pháp liên hợp đủ khả năng giải quyết trọn vẹn vấn đề đó. 7
20. . Chiến lược tiến hóa do T. Baeck, F.H. Hofmeister và HP. Schwefel. Thuật toán này dựa trên một số chiến lược ban đầu, tiến hóa để tạo ra những chiến lược mới phù hợp với môi trường thực tế một cách tốt nhất. . Thuật toán di truyền (GA) do D.E. Goldberg đề xuất, được L. Davis và Z. Michalevicz phát triển. Hoạt động của GA đơn giản là việc mô phỏng sự tiến hóa và chọn lọc tự nhiên bằng máy tính bắt đầu từ một quần thể ngẫu nhiên. Bên cạnh đó để tối ưu ta cần hàm lượng giá hoặc hàm thích nghi để chọn cá thể tốt và loại bỏ cá thể xấu. GA khác với kĩ thuật tối ưu khác ở chỗ [12]: - GA làm việc với bộ mã của biến chứ không phải làm việc trực tiếp trên biến. - Hầu hết các kĩ thuật tối ưu thông thường tìm kiếm từ một đỉnh, trong khi đó GA luôn hoạt động trên tập hợp đỉnh (điểm tối ưu), điều này là một ưu điểm của GA giúp tăng cơ hội tiếp cận tối ưu toàn cục và tránh hội tụ sớm tại điểm cục bộ địa phương. - GA đánh giá hàm mục tiêu để phục vụ quá trình tìm kiếm, vì vậy có thể ứng dụng cho bất kì bài toán tối ưu nào (liên tục hay rời rạc). - GA thuộc lớp các thuật toán xác suất, các thao tác cơ bản của GA dựa trên khả năng tích hợp ngẫu nhiên trong quá trình xử lý. 1.4 Kết hợp mạng nơ-ron RBF với Giải thuật di truyền Việc kết hợp các giải thuật tính toán lại đề cùng giải quyết một bài toán không phải là việc ít thấy. Trong đó việc kết hợp giữa mạng nơ-ron RBF và Giải thuật di truyền cũng được nhiều nhà nghiên cứu áp dụng rất hiệu quả đối với các bài toán phức tạp, nhiều ẩn số, tham số không đầy đủ hay không gian tìm kiếm lời giải lớn. Một số công trình nghiên cứu kết hợp mạng nơ-ron RBF với đã được công bố: 8
21. . Dùng Giải thuật di truyền tối ưu độ rộng hàm Gaussian trong mạng nơ-ron RBF do A. Golbabai và A. Safdari-Vaighani đề xuất [13]. Tác giả sử dụng tối ưu tham số độ rộng (width) trên cơ sở tính toán độ rộng của Moody và Darken kết hợp với phương pháp K- láng giềng gần nhất (K-nearest-neighbor - KNN), sau đó dùng GA tìm kiếm một hệ số tối ưu cho độ rộng đó để có thể xấp xỉ một đối tượng phi tuyến. 1 2 1 2 휎 = ( ∑‖ − ‖ ) (1.1) 푗 푖 푗 푖=1 Trong đó: 휎푗 : Độ rộng thứ j 푗 : Tâm thứ j r : Số K láng giềng của tâm cj, r thường là 2 hoặc 3. Tham số độ rộng được tính: 휎 = ℎ푞휎푗 . Dùng GA tối ưu hệ số hq sau cho ngõ ra đạt xấp xỉ với ngõ ra yêu cầu. Kết quả đạt được so với các phương pháp khác như sau: Bảng 1.1 Căn phương sai số (RMSE) hàm Sin một chiều với 500 mẫu thử Căn phương sai số (Root Mean Square Error) Hàm Sin một chiều với 500 mẫu thử Số Kết quả Moody & S. Hakin Optimal h tâm Tác giả Darken q 5 0/0387 0/0428 0/0539 1/7415 6 0/0362 0/0393 0/0466 1/8760 Tác giả đã đề xuất xấp xỉ cấu trúc độ rộng RBF dùng GA. Trong phương pháp này tác giả đã thiết lặp tối ưu vòng lặp hàm Gaussian và phương pháp này đã tăng được hiệu suất làm việc của RBF. 9
22. Bảng 1.2 Căn phương sai số (RMSE) hàm Sin hai chiều với 1000 mẫu thử Căn phương sai số (Root Mean Square Error) Hàm Sin hai chiều với 1000 mẫu thử Số Kết quả Moody & S. Hakin Optimal q tâm Tác giả Darken 4 0/1945 0/2052 0/2103 1/3115 6 0/1770 0/1871 0/1902 1/4560 8 0/1423 0/1482 0/1512 1/1941 10 0/1351 0/1420 0/1476 1/1016 Kết quả trên cho thấy với các mẫu thử nhiều hơn sẽ cho chất lượng tốt hơn (sai số ít hơn). Tuy nhiên nhược điểm của phương pháp này nằm ở hệ số K- láng giềng gần nhất vì hệ số K này chưa phải là lời giải đảm bảo một tối ưu toàn cục cho bài toán. . Mohammed Awad đã dùng Giải thuật di truyền tối ưu các tham số của mạng nơ-ron RBF sử dụngbằng hàm xấp xỉ [14]. Đã đề xuất cách tiếp cận mới trong bài toán hàm xấp xỉ hàm ngõ vào và ngõ ra dùng mạng nơ-ron RBF và Giải thuật di truyền. Trên cơ sở tối ưu các tham số mạng nơ-ron RBF bằng Giải thuật di truyền, tối ưu tâm c và bán kính r của mạng nơ-ron RBF. Kết quả của phương pháp này cho thấy căn bình phương sai số (Normalized-Root-Mean-Square-Error - NRMSE) tốt hơn so với các cách truyền thống (Hình 1.1). Tác giả đã cho thấy giữa ba phương pháp xấp xỉ, cho thấy NRMSE nhỏ hơn, hàm thích nghi tăng theo số lượng quần thể; Hàm thích nghi thay đổi chậm khi số lượng quần thể trong khoảng 20÷50. Tác giả nhận thấy rằng điều kiện hội tụ được xác lập khi quần thể trong khoảng 20 bởi vì hàm thích nghi không thể tăng thêm hơn nữa. Dù cách của tác giả có phần ưu thế hơn tuy nhiên để đạt được giá trị tối ưu xấp xỉ tuyệt đối (sai 10