Bài giảng Mạng neuron nhân tạo ANN - Lê Hoài Long

Nội dung text: Bài giảng Mạng neuron nhân tạo ANN - Lê Hoài Long

1. Mạng neuron nhân tạo ANN Phần GV: Lê Hoài Long
2. Mạng neuron nhân tạo Mạng neuron nhân tạo là mạng được xây dựng bằng cách sao chép lại các nguyên lý tổ chức của hệ neuron con người GV: Lê Hoài Long
3. Mạng neuron nhân tạo Cấu trúc cơ bản của một neuron trong hệ neuron con người gồm có các đầu vào (dendrities), thân neuron và đầu ra (axon) Synaps Synaps Neuron Axon Dendrite GV: Lê Hoài Long
4. Mạng neuron nhân tạo Cấu trúc cơ bản của một hệ neuron con người gồm có lớp neuron đầu vào, các lớp neuron ẩn và lớp neuron đầu ra GV: Lê Hoài Long
5. Mạng neuron nhân tạo Mc.Culloch và Pitts vào năm 1943 đề ra cấu trúc cơ bản của một neuron thứ i trong mô hình của mạng neuron nhân tạo xj - là đầu ra của neuron thứ j x w 1 11  hoặc đầu vào từ môi i trường bên ngoài. w12 yi wij - là trọng số kết nối giữa neuron thứ i và neuron thứ x2 Đầu ra j. w1m Phần tử xử lý thứ i  - là giá trị ngưỡng của neuron thứ i. xm yi - là đầu ra của neuron thứ i GV: Lê Hoài Long
6. Mạng neuron nhân tạo Mô hình tính toán đơn giản cho đầu ra yi của neuron thứ i được định nghĩa như sau m y( t 1) a w x ( t )  i  ij j i j 1 Nếu gọi fi là một hàm tổng hợp để tổng hợp tất cả các thông tin đến từ các đầu vào của neuron thứ i m f w x ( t )  i  ij j i j 1 GV: Lê Hoài Long
7. Mạng neuron nhân tạo Lúc này ta có một hàm tác động (hàm chuyển) – đầu ra yi( t 1) a f i Trọng số wij biểu diễn cường độ kết nối giữa neuron thứ j với neuron thứ i. Nếu là trọng số dương tương ứng với tín hiệu truyền kích động, nếu là trọng số âm tương ứng với tín hiệu truyền ức chế, và nếu wij = 0 thì không có sự kết nối giữa hai neuron. GV: Lê Hoài Long
8. Mạng neuron nhân tạo Xác định cấu trúc Để thiết kế một mạng mạng ANN Huấn luyện mạng GV: Lê Hoài Long
9. Ứng dụng mạng neuron nhân tạo  Xử lý ảnh và nhận biết bằng máy tính  Xử lý tín hiệu  Nhận dạng mẫu  Kỹ thuật chế tạo  Hệ thống điện  Y học  Quân sự  Kinh tế  GV: Lê Hoài Long
10. Ứng dụng mạng neuron nhân tạo Ứng dụng ANN trong quản lý xây dựng trên thế giới  Dự trù chi phí cho công tác lót đường bằng bê tông cốt thép của Hojjat Adeli và Mingyang Wu, ASCE (1998 [13]),  Dự trù chi phí xây dựng đường cao tốc Tarek Hegazy và Amr Ayed, ASCE (1998 [14]), của Chester G Wilmot và Bing Mei, ASCE (2005 [15])  Dự đoán quá trình thực hiện các dự án thiết kế thi công ở Singapore của Florence Yean Yng Ling và Min Liu (2004 [16]),  Ảnh hưởng của các yêu cầu thay đổi đến năng suất lao động của Osama Moselhi và đồng sự, ASCE (2005 [17])  Dự trù năng suất ngành của Jason Portas và Simaan Abourizk, ASCE (1997 [18])  Khả năng ứng dụng mang neuron trong xây dựng được Moselhi. O và đồng sự , ASCE chỉ ra trong (1991 [19]).  GV: Lê Hoài Long
11. Ứng dụng mạng neuron nhân tạo – Việt Nam  Xây dựng mô hình xác định chi phí trong xây dựng dựa trên ứng dụng mạng neuron của Trần Bách - Luận văn thạc sỹ ĐHBK TP.HCM (2006 [8]). Qua đó tác giả đã xây dựng mô hình xác định chi phí thực tế của dự án xây dựng dựa trên ứng dụng của mạng neuron mờ thông qua 16 yếu tố đầu vào của mô hình là các yếu tố tác động đến sự thay đổi chi phí của dự án xây dựng được xác định từ các nghiên cứu trước đó và các đặc trưng của dự án GV: Lê Hoài Long
12. Ứng dụng mạng neuron nhân tạo – Việt Nam  Ứng dụng ANN tối ưu hoá tiến độ mạng, Luận văn thạc sỹ Hồ Hải Đăng, ĐHBK TPHCM (2004 [6])  Ứng dụng ANN trong chọn thầu thi công, Luận văn thạc sỹ Phạm Trường Giang, ĐHBK TPHCM (2003 [7]) GV: Lê Hoài Long
13. Ứng dụng mạng neuron nhân tạo – Việt Nam  Luận văn thạc sỹ của Văn Khoa ĐHBK TP.HCM (2006 [30]). Trong luận văn tác giả đã trình bày cách ứng dụng mạng neuron nhân tạo để dự đoán chi phí xây dựng cho các dự án chúng cư qua việc ‘học’ từ kinh nghiệm các chúng cư đã được xây dựng trước đây với sự hỗ trợ của công cụ Matlab để tìm được bảng ma trận trọng số. GV: Lê Hoài Long
14. Ứng dụng mạng neuron nhân tạo – Việt Nam  Luận văn của Nguyễn Anh Tuấn (2007) đánh giá rủi ro biến động chi phí và tiến độ trong giai đoạn thi công của dự án. Tác giả đã xác định được các biến đầu vào thông qua một cuộc khảo sát bằng bảng câu hỏi.  Luận văn của Nguyễn Nam Cường (2007) đánh giá khả năng mất năng suất lao động trên các công trường xây dựng ở Việt Nam thông quá các yếu tố tác động. Tương tự Nguyễn Anh Tuấn, tác giả cũng xác định các biến đầu vào là các yếu tố có khả năng gây biến động năng suất dựa trên một cuộc khảo sát. Tác giả đã viết một chương trình ứng dụng với ngôn ngữ C++ có thể giúp các kỹ sư, người quản lý ứng dụng kết quả nghiên cứu vào trong thực tế. GV: Lê Hoài Long
15. Thống nhất  Trong môn học này, chúng ta không xem xét hết tất cả các cấu trúc neuron. Chỉ những cấu trúc neuron được ứng dụng nhiều trong quản lý xây dựng mới được nghiên cứu trong môn học này.  Các cấu trúc khác học viên tự nghiên cứu nếu thấy cần thiết. GV: Lê Hoài Long
16. Kí hiệu  Vô hướng (scalar) kí hiệu chữ thường in nghiêng: a, b, c  Vector: kí hiệu chữ thường in đậm: a, b, c  Ma trận: chữ hoa in đậm: A, B, C GV: Lê Hoài Long
17. Mô hình neuron  Một biến đầu vào (single-input) GV: Lê Hoài Long
18. Mô hình neuron – 1 biến đầu vào  Giá trị đầu ra neuron được tính toán theo công thức: a f() wp b  Ví dụ: ta có w= 3, p = 2 và b = -1.5 => a = ?? GV: Lê Hoài Long
19. Mô hình neuron – 1 biến đầu vào  Giá trị đầu ra phụ thuộc vào hàm chuyển.  Bias cũng là một trọng số (weight). Trong một số trường hợp không cần thiết phải sử dụng bias.  Chú ý: w và b đều là các tham số có thể thay đổi trong cấu trúc neuron. GV: Lê Hoài Long
20. Mô hình neuron  Hàm chuyển (truyền) (Transfer function) - Hàm chuyển có thể tuyến tính hay phi tuyến. - Hàm chuyển được lựa chọn để thỏa mãn các đặc trưng của vấn đề mà mô hình neuron đang cố gắng giải quyết. - Có khá nhiều dạng hàm chuyển, tuy nhiên có 3 dạng chính hay được sử dụng GV: Lê Hoài Long
21. Mô hình neuron – hàm truyền  Hàm hard limit GV: Lê Hoài Long
22. Mô hình neuron – hàm truyền  Hàm linear GV: Lê Hoài Long
23. Mô hình neuron – hàm truyền  Hàm log-sigmoid: nhận giá trị đầu vào và ép giá trị đầu ra nằm trong khoảng 0 đến 1 theo công thức: 1 a 1 e n GV: Lê Hoài Long
24. Mô hình neuron – hàm truyền  Một số dạng hàm chuyển khác GV: Lê Hoài Long
25. Mô hình neuron – hàm truyền  Một số dạng hàm chuyển khác (tt) GV: Lê Hoài Long
26. Mô hình neuron – nhiều biến đầu vào  Neuron nhiều biến đầu vào GV: Lê Hoài Long
27. Cấu trúc mạng neuron  Một lớp neuron GV: Lê Hoài Long
28. Cấu trúc mạng neuron  Mạng neuron nhiều lớp GV: Lê Hoài Long
29. Cấu trúc mạng neuron  Mạng truy hồi (recurrent) GV: Lê Hoài Long
30. Bài tập hiểu bài  Bài 1: Đầu vào của một neuron là 2.0, trọng số của nó là 2.3 và bias là -3. Hãy xác định - Xác định tham số của hàm truyền - Đầu ra của neuron? GV: Lê Hoài Long
31. Bài tập hiểu bài  Bài 2: Giá trị đầu ra của neuron ở bài 1 là bao nhiêu nếu hàm truyền là: - Hard limit - Linear - Log-sigmoid GV: Lê Hoài Long
32. Bài tập hiểu bài  Bài 3: Cho các thông số của neuron có 2 input: b=1.2; W=[3 2] và p=[-5 6]T, tính các giá trị đầu ra nếu hàm truyền là: - Symmetrical hard limit - Saturating linear - Hyperbolic tangent sigmoid (tansig) GV: Lê Hoài Long
33. Bài tập hiểu bài  Bài 4: Một mạng neuron 1 lớp có sáu giá trị input và 2 output. Giá trị output bị giới hạn và liên tục trên đoạn 0 đến 1. Hãy trả lời: - Cần phải có bao nhiêu neuron? - Kích thước của ma trận trọng số? - Cần phải sử dụng loại hàm truyền nào? - Giá trị bias là? GV: Lê Hoài Long
34. Bài tập tự giải  Bài : Một neuron có hai giá trị input. Giá trị output là 0.5. Ma trận trọng số là [3 2], input là [-5 7]T. Hãy trả lời: - Nếu bias là 0, có hàm truyền nào (trong bài giảng) phù hợp? - Nếu có bias, hàm linear có phù hợp với bài toán? - Nếu có bias, hàm log-sigmoid có phù hợp với bài toán? - Nếu có bias, hàm symmetrical hard limit có phù hợp với bài toán? GV: Lê Hoài Long