Luận văn Sử dụng mạng nơ ron trong khai phá dữ liệu

Nội dung text: Luận văn Sử dụng mạng nơ ron trong khai phá dữ liệu

1. HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN THỊ VÂN ANH SỬ DỤNG MẠNG NƠ RON TRONG KHAI PHÁ DỮ LIỆU CHUYÊN NGÀNH : TRUYỀN DỮ LIỆU VÀ MẠNG MÁY TÍNH MÃ SỐ: 60.48.15 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT NGƯỜI HƯỚNG DẪN KHOA HỌC : TS. VŨ VĂN THỎA Hà Nội - 2010
2. MỞ ĐẦU Trong môi trường cạnh tranh người ta ngày càng cần có nhiều thông tin với tốc độ nhanh để trợ giúp việc ra quyết định và ngày càng nhiều câu hỏi mang tính chất định tính cần phải trả lời dựa trên một khối lượng khổng lồ dữ liệu đã có. Do đó thực tế đã làm phát triển một khuynh hướng kỹ thuật mới làm sao để khai thác tốt cơ sở dữ liệu trong các doanh nghiệp đó là kỹ thuật khai phá dữ liệu (data mining), vận dụng kỹ thuật đó thì dữ liệu giao dịch đóng một vai trò rất quan trọng cho việc hoạch định kế hoạch kinh doanh trên thương trường vào những năm tiếp theo. Kỹ thuật này đã được sử dụng tại nhiều nơi và đã cho kết quả khả quan trong nhiều tổ chức trong và ngoài nước và trên thế giới. Chương 1: Tổng quan về khai phá dữ liệu Chương 2: Mạng nơ ron nhân tạo (Artificial neural network) Chương 3: Ứng dụng mạng nơ ron nhân tạo cho bài toán dự đoán phụ tải điện. Kết luận và hướng nghiên cứu tiếp theo. Các từ khóa: Khai phá dữ liệu (datamining), học máy (machine learning), mạng nơ ron (neural network), MLP (Multi-layer Perceptron), SOM (Self-organizer map). 32 1
3. asymmetric fuzzy weight - Decision Support Systems, Vol 24, 1998, 105-126 p. [12] Rachel Konrad, Data mining: Digging user info for gold, ZDNET News, February 7, 2001, 528032.html?legacy=zdnn. [13] [14] Rekesh Arawal, Ramakrishnan Srikant, Fast Algorithms for Mining Association, IBM Almadem Research Center 650 Harry Road, San Jose, CA 95120. [15] Stuart Russell and Peter Norvig, Artificial Intelligence - A Modern Approach. @2003, 1995 by Pearson Education, Inc. [16] Trần Bách, Lưới điện và hệ thống điện. NXB Khoa học và kỹ thuật [17] The Gartner Group, www.gartner.com. [18] Zhe Liao, Jun Wang - Forecasting model of global stock index by stochastic time effective neural network- Expert Systems with Application, Vol.37 (2010), 834-841. 2 31
4. TÀI LIỆU THAM KHẢO Chương 1. Tổng quan về khai phá dữ liệu [1] Ben Krose and Patrick van der Smagt, An Introduction to 1.1 Khái niệm Neural Networks, @1996 University of Amsterdam. [2] David Hand, Heikki Mannila, and Padhraic Smyth, Theo Gartner Group [4] “Khai phá dữ liệu là quá trình khám Principles of Data Mining, MIT Press, Cambridge, MA, phá các tương quan, mẫu và các xu thế mới có ý nghĩa bằng 2001. việc dịch chuyển thông qua lượng lớn các dữ liệu được lưu trữ, [3] Daniel T. Larose, Discovering Knowledge in Data: An và sử dụng các công nghệ nhận dạng mẫu cũng như các công Introduction to Datamining, NXB. Wiley Interscience. nghệ thống kê, toán”. [4] The Gartner Group, www.gartner.com Ta có thể phân khai phá dữ liệu thành một trong hai loại sau: [5] Joseph. P. Bigus, Datamining with Neural Network, 1. Khai phá dữ liệu có tính dự đoán: tức là là sản xuất ra @1996 by The McGraw-Hill Companies, Inc. mô hình của hệ thống được mô tả bởi tập dữ liệu được cho. [6] Lã Văn Út, Phân tích và điều khiển ổn định Hệ thống 2. Khai phá dữ liệu có tính mô tả: tức là sản xuất ra thông điện, NXB Khoa học và kỹ thuật tin mới, không tầm thường dựa trên tập dữ liệu có sẵn. [7] Martin T. Hagan, Howard B. Demuth, Neural Network Design, copyright@1996 by PWS Publishing Company, 1.2 Các nhiệm vụ của khai phá dữ liệu USA. 1.2.1 Mô tả: Đôi khi, các nhà nghiên cứu và phân tích đơn [8] Mehmed Kantardzic, Data Mining: Concepts, Models, giản là cố gắng tìm cách mô tả các mẫu và các xu thế nằm Methods, and Algorithms, ©2003 by John Wiley & Sons. trong dữ liệu. Các mô hình khai phá dữ liệu nên là minh [9] Mehdi Khashei, Mehdi Bijari - An Artificial neural bạch ở mức có thể. network (p, d, q) model for timeseries forecasting - 1.2.2 Ước lượng: Ước lượng tương tự như phân loại trừ Expert Systems with Application, Vol. 37(2010) 479-489 việc biến mục đích là số chứ không phải là loại. [10] M. Becvali, M.Cellura, V. Lo Brano, A. Marvuglia- 1.2.3 Dự đoán: Dự đoán giá cả thị trường ba tháng trong Forecasting daily urban electric load using artificial tương lai, dự đoán tăng phần trăm trong tai nạn giao thông neural networks - Energy Conversion and Management năm tiếp theo nếu giới hạn tốc độ được tăng lên Vol. 45 (2004) 2879-2900 p. [11] R. J. Kuo, K. C. Xue - A decision support system for sales forecasting through fuzzy neural networks with 30 3
5. 1.2.4 Phân loại: Trong phân loại, có một biến loại mục như là quá trình học và nội dung học của chúng. Đến nay, có rất đích, như là mức thu nhập, có thể được phân đoạn thành ba nhiều mô hình mạng nơ ron nhân tạo, tuy nhiên do giới hạn của lớp hoặc ba loại: thu nhập cao, thu nhập giữa và thu nhập luận văn chúng tôi tìm hiểu sâu về hai mô hình đó là mạng tự tổ thấp chức (SOM) và mạng truyền thẳng đa tầng (MLP) đây là hai mô 1.2.5 Phân cụm (Clustering): Phân cụm nhằm vào việc hình được sử dụng phổ biến và rộng rãi cho các bài toán có dữ nhóm các bản ghi, hoặc các trường hợp thành các lớp đối liệu lớn, có độ biến thiên cao và ưu điểm của kỹ thuật này chính tượng tương tự. là khả năng tính xấp xỉ chính xác cho bất kỳ hàm cần dự đoán nào. 1.2.6 Luật kết hợp: Nhiệm vụ kết hợp cho khai phá dữ liệu Cuối cùng, để ứng dụng quá trình khai phá dữ liệu sử dụng là công việc tìm kiếm các thuộc tính “đi cùng nhau”, khám kỹ thuật mạng nơ ron, trong chương 3, chúng tôi giới thiệu bài phá các luật cho việc xác định mối quan hệ giữa hai hoặc toán phụ tải điện năng, một trong những bài toán phù hợp với nhiều hơn thuộc tính. việc sử dụng mạng nơ ron, với đầu ra dự đoán là phụ tải điện 1.3 Quá trình khai phá dữ liệu ngắn hạn trong vòng 24 giờ tới. 1.3.1 Phát biểu bài toán và đề ra giả thiết  Với việc thu thập dữ liệu 2 năm 2005 và 2006, chúng tôi đã Trong bước này, một người lên mô hình thường xác định chuẩn hóa hơn 600 vec tơ làm đầu vào cho mạng nơ ron. một tập các biến cho sự phụ thuộc không biết trước, và nếu có  Với việc sử dụng mạng SOM, chúng tôi đã xây dựng được thể, một dạng chung của sự phụ thuộc này là một giả thiết đầu tiên. cấu trúc lưới SOM tối ưu nhất là 8 8, tiếp theo chúng tôi 1.3.2 Thu thập dữ liệu tiến hành phân cụm hiệu quả sử dụng giải thuật K-means Bước này liên quan tới việc dữ liệu được sưu tập và sinh ra với số cụm tốt nhất là 9. như thế nào. Với hướng tiếp cận này, thì dữ liệu ngẫu nhiên sẽ  Để dự đoán phụ tải điện năng trong 24 giờ tới, chúng tôi sử được sinh, được giả thiết trong phần lớn các ứng dụng khai phá dụng kết quả phân cụm của SOM cùng với một số dữ liệu dữ liệu. phụ tải điện quá khứ để tiến hành huấn luyện cho một mạng 1.3.3 Tiền xử lý dữ liệu truyền thẳng đa tầng (MLP) với thiết kế 50 nút tầng ẩn và Trong hướng tiếp cận quan sát, dữ liệu thường được “sưu tập” 24 đầu ra cho các giá trị phụ tải điện của các giờ trong ngày. từ các cơ sở dữ liệu đang tồn tại, các kho dữ liệu, và các trung Kết quả thu được là hết sức khả quan và có khả năng ứng dụng tâm dữ liệu. Tiền xử lý dữ liệu thường bao gồm ít nhất hai trong việc dự đoán phụ tải cho bên quản lý hệ thống điện miền nhiệm vụ sau: Bắc. a) Phát hiện (và loại bỏ) các dữ liệu ngoại lai. 4 29
6. và sai số giữa phụ tải dự đoán và phụ tải thực tế là rất nhỏ, trong b) Lên tỉ lệ, mã hóa, và lựa chọn các thuộc tính. khi đó đường phụ tải dự đoán ở khoảng từ 1h chiều đến 4h Hai lớp nhiệm vụ tiền xử lý này chỉ là các ví dụ mô tả của chiều có sai số là khá lớn. Điều này phần lớn xảy ra do dữ liệu một phạm vi lớn các hoạt động tiền xử lý trong một quá trình phụ tải không được đúng trong khoảng đó. Ngoài ra, trong luận khai phá dữ liệu. văn này, chúng tôi chỉ dự đoán phụ tải qua dữ liệu phụ tải điện 1.3.4 Ước lượng mô hình trong quá khứ, nếu muốn được chính xác hơn ta sẽ cần thêm Sự lựa chọn và thực hiện kỹ thuật khai phá dữ liệu thích hợp một số điều kiện của thời tiết như nhiệt độ, độ ẩm, thì đường là nhiệm vụ chính trong giai đoạn này. Quá trình này không dễ dự đoán phụ tải điện và phụ tải điện thực tế sẽ có sai số bé hơn. dàng, trong thực hành việc thực thi dựa trên một vài mô hình, Kết luận và kèm theo là nhiệm vụ chọn được cái tốt. Phần đầu tiên của Luận văn trình bày với cấu trúc 3 chương, với mục đích thể dữ liệu được gọi là tập học, phần tiếp theo được gọi là tập xác hiện việc khai phá dữ liệu thông qua kỹ thuật mạng nơ ron và nhận, cũng được gọi là tập kiểm tra. Một mô hình được nhận ra minh họa cụ thể qua bài toán phụ tải điện năng. thông qua quá trình khai phá dữ liệu sử dụng các kỹ thuật học Các kết quả chính của luận văn là: quy nạp có thể được ước lượng sử dụng tham số tốc độ lỗi Ở chương 1, chúng tôi đã nghiên cứu tổng quan về khai phá chuẩn như một phép đo việc thực hiện của nó. dữ liệu, phân loại khai phá dữ liệu, đưa ra được các nhiệm vụ 1.3.5 Diễn giải mô hình và đưa ra kết luận của khai phá dữ liệu đó là mô tả, ước lượng, dự đoán, phân loại, Trong phần lớn các bài toán, các mô hình khai phá dữ liệu phân cụm và cuối cùng là luật kết hợp. Tiếp theo, là phân tích hỗ trợ trong phần ra quyết định. Do vậy, các mô hình thực sự về quá trình khai phá dữ liệu bao gồm 5 bước: Phát biểu bài hữu ích thì cần thiết phải diễn giải được bởi vì con người không toán và đề ra giả thiết. Thu thập dữ liệu. Tiền xử lý dữ liệu. Ước chắc chắn dựa vào các quyết định của chúng trên các mô hình lượng mô hình. Diễn giải mô hình và đưa ra kết luận. “khép kín” phức tạp. Để ý rằng các đích của sự chính xác của Ở chương 2, chúng tôi đi vào nghiên cứu về kỹ thuật mạng một mô hình trái ngược với sự chính xác của sự diễn giải của nó. nơ ron, là một trong các phương pháp được ứng dụng nhiều và Thông thường, các mô hình đơn giản là diễn giải được nhiều mang lại hiệu quả cao trong các nhiệm vụ khai phá dữ liệu. Bắt hơn, nhưng chúng cũng kém chính xác hơn. Các phương pháp đầu với việc giới thiệu về mạng nơ ron sinh học, rồi lên mô khai phá dữ liệu hiện đại được mong đợi gặt hái các kết quả hình toán cụ thể cho một nơ ron nhân tạo, chúng tôi tìm hiểu chính xác cao sử dụng các mô hình có số chiều cao. tiếp về kiến trúc của mạng nơ ron nhân tạo gồm mạng truyền thẳng, mạng hồi quy, và khả năng học sửa lỗi của mạng nơ ron 28 5
7. Kết luận chương Bộ dữ liệu gồm 583 vec tơ được chia thành bộ dữ liệu, bộ dữ liệu huấn luyện bao gồm 555 vec tơ từ ngày 1/1/2005 đến Chương 1 nêu ra khái niệm về khai phá dữ liệu, các nhiệm 29/7/2006, bộ dữ liệu kiểm tra bao gồm 28 vectơ từ ngày vụ cần thực hiện trong khai phá dữ liệu và cuối cùng là quá 30/7/2006 đến ngày 26/8/2006. Ở phần huấn luyện, chúng ta trình khai phá dữ liệu. Một trong các phương pháp khai phá huấn luyện mạng với 5000 bước (epoches). 3.5.2 Đánh giá kết quả được áp dụng nhiều trong các nhiệm vụ khai phá dữ liệu chính Với bộ dữ liệu kiểm tra, giả sử ta lấy ngày Thứ ba là kỹ thuật mạng nơ ron nhân tạo. Chúng ta sẽ tìm hiểu mạng nơ (15/8/2006) cần được dự đoán, ta có đồ thị so sánh giữa phụ tải ron nhân tạo với mục đích phân cụm và dự đoán trong chương 2. điện thực tế và phụ tải dự đoán như sau: 1 0.8 n hóa) n hóa) ẩ 0.6 t (chu 0.4 ấ 0.2 Công su Công 0 1 4 7 10 13 16 19 22 Tải điện thực tế Giờ Tải điện dự đoán Hình 3.5 Kết quả so sánh giữa các phụ tải thực tế và phụ tải dự đoán cho Thứ ba (15/8/2006). Ta thấy kết quả thu được là có thể chấp nhận được, nhất là trong đồ thị các giá trị tại các đỉnh (Pmax) là khá chính xác, điều này rất quan trọng trong việc dự đoán quá tải lưới điện và có biện pháp dự phòng kịp thời xử lý việc quá tải. Ví dụ trong đồ thị trên, ta thấy rõ đường phụ tải dự đoán thể hiện khá chính xác ở các phụ tải đỉnh vào khoảng 10h sáng và 5h chiều đến 7h tối 6 27
8. Chương 2. Mạng nơ ron nhân tạo Tầng các 1 2 3 2 2 đầu ra . . . . . . . . . 2.1 Khái niệm, mô hình và kiến trúc mạng nơ ron nhân tạo. 2.1.1 Mô hình mạng nơ ron nhân tạo: Một nơ ron nhân tạo là một đơn vị xử lý thông tin mà là cơ Tầng . . . . . . . . . . . sở đối với hoạt động của một mạng nơ ron nhân tạo. Một tập ẩn 50 . . các đường kết nối từ các đầu vào khác nhau (tiếp hợp), mỗi đầu vào được phân biệt bởi trọng số hoặc độ dài . Chỉ số đầu tiên chỉ tới nơ ron đang nói đến và chỉ số thứ hai chỉ tới đầu vào của tiếp hợp mà trọng số đó liên quan. Một bộ cộng cho . . . . . . . . . . . . việc tính tổng các tín hiệu đầu vào tính bởi cường độ tiếp 1 2 2 2 2 4 4 5 55 6 hợp tương đối . Việc tính toán mô tả ở đây tạo thành một tổ 7 tải điện tả6i điện 8 mã cụm mã ngày i hợp tuyến tính. Một hàm hoạt hóa f để giới hạn biên độ của đầu ngày i-1 ngày i-2 ngày i-1 ra của một nơ ron. Hình 3.4 Kiến trúc của mạng đa tầng truyền thẳng Thêm vào một độ nghiêng áp dụng bên ngoài định nghĩa là cho dự đoán phụ tải điện năng. . Độ nghiêng này có hiệu ứng làm tăng thêm hoặc thấp xuống Hàm hoạt hóa sử dụng trong mạng ở tầng ẩn là hàm sigmoid đầu vào mạng của hàm hoạt hóa, phụ thuộc vào liệu nó là âm hay dương. Nơ ron là một mô hình trìu tượng của một nơ ron tự (3.14) nhiên, và các khả năng xử lý của nó được hình thức hóa sử Đối với các nơ ron ở tầng đầu ra, hàm hoạt hóa sử dụng hàm dụng các chú thích sau. Đầu tiên, có một vài đầu vào: tuyến tính . Mỗi đầu vào được nhân lên bởi trọng số . (3.15) , ở đây k là chỉ số của một nơ ron được cho trong một mạng Một biểu thức rút gọn của mô hình được tóm tắt như sau: nơ ron. Tổng trọng số của các tích , với (3.16) thường được xem như là “net” trong mạng nơ ron nhân tạo: ở đây, là trọng số tiếp hợp (hoặc giá trị dốc) của mạng, CC (2.1) là mã cụm của các vec tơ dữ liệu (được gán trong pha SOM), và DC là mã định danh ngày được dự đoán. Sử dụng và đầu vào thì 26 7
9. 3.5 Thủ tục học sử dụng cho mạng nơ ron truyền thẳng đa tầng (MLP): (2.2) Giải thuật học cho bài toán này để huấn luyện mạng đa tầng Do đó, có thể tính bằng tích hai vec tơ m chiều: truyền thẳng (MLP) là lan truyền ngược có thích ứng với hệ số (2.3) quán tính Cuối cùng, một nơ ron nhân tạo tính toán đầu ra bằng một (3.13) hàm có đối số là : ở đây, tham số quán tính giảm sự ảnh hưởng của bước trước lên bước hiện thời. Tốc độ học ban đầu được dùng là , (2.4) và hệ số quán tính là . Hàm f được gọi là hàm hoạt hóa. Có rất nhiều dạng hàm hoạt hóa. 3.5.1 Kiến trúc của mạng MLP cho bài toán. 2.1.2 Kiến trúc mạng nơ ron nhân tạo Mô hình mạng MLP được thực hiện bảo một mạng hai tầng Kiến trúc của một mạng nơ ron nhân tạo được định nghĩa kết nối đầy đủ (đầu vào, tầng ẩn và tầng đầu ra) với các đặc bởi các đặc điểm của môt nút và các đặc điểm của sự kết nối của nút đó trong một mạng. Thông thường, kiến trúc mạng điểm cấu trúc như sau: được xác định bởi số đầu vào của mạng, số đầu ra của mạng,  Giá trị phụ tải 24 giờ của ngày trước ngày dự đoán (i 1). toàn bộ số nút cơ sở mà thường là bằng các phần tử xử lý cho toàn bộ mạng, sự tổ chức và tương kết của chúng. Các mạng nơ  Giá trị phụ tải 24h trước ngày dự đoán hai ngày (i 2). ron nói chung được phân thành hai loại: mạng truyền thẳng và  Vec tơ 9 thành phần chỉ ngày trước ngày dự đoán có định mạng hồi quy. danh cụm mà đường cong phụ tải của nó thuộc về (ví dụ đầu vào 100000000 cụm số 1, 010000000 cụm số 2, v.v ). tầng ẩn x1  Vec tơ 7 thành phần chỉ định ngày trước ngày dự đoán y1 x (1000000 là Chủ Nhật, 0000001 là thứ Bảy). 2 đầu ra Đầu ra được thiết lập là 24, thể hiện sự dự đoán phụ tải 24 giờ y2 cho ngày cần dự đoán. xn a) Mạng truyền thẳng 8 25
10. 10 10 0.773768 độ trễ 12 12 0.727853 đầu vào y 14 14 0.764637 x1 1 x đầu ra Bảng 3.2 Giá trị của cho 5 mô hình mạng SOM. 2 y2 3.4 Mức thứ hai của sự trìu tượng: Sự phân cụm hiệu quả Trên các vec tơ nguyên mẫu của mạng SOM được huấn xn b) Mạng hồi quy luyện, giải thuật k-mean phân cụm được thực hiện, thông thường bằng việc tối thiểu hóa hàm đích hoặc hàm lỗi: Hình 2.1 Kiến trúc mạng truyền thẳng và mạng hồi quy. (3.11) Mạng truyền thẳng nếu các lan truyền xử lý từ phía đầu vào tới phía đầu ra là theo một hướng thống nhất, không có bất cứ ở đây C là số các cụm được đặt vào; chỉ cụm thứ ; là lặp hoặc ngược lại. trung tâm của cụm , thu được bởi công thức: Mạng hồi quy được dùng trong các trường hợp khi có thông tin hiện thời đưa vào mạng đó, nhưng chuỗi đầu vào là rất quan (3.12) trọng, và chúng ta cần mạng nơ ron đó lưu trữ một bản ghi của các đầu vào trước tiên và khuếch đại chúng với dữ liệu hiện thời Giải thuật này được áp dụng lặp với tất cả các giá trị C trong vùng từ 2 tới . Giá trị của được chọn dựa vào U- đó để sinh ra câu trả lời. matrix của SOM được huấn luyện, và ở đây ta chọn là 10. Mặc dù có rất nhiều mô hình mạng nơ ron được đề xuất Sau quá trình phân cụm, và tính toán hiệu quả, các kết quả cho trong cả hai loại trên, mạng nơ ron truyền thẳng đa tầng với giải thấy việc chọn số cụm bằng 9 là cho kết quả phân cụm dữ liệu thuật học lan truyền ngược là mô hình được sử dụng rộng rãi phụ tải hợp lý nhất[10]. Tiếp theo, 9 cụm được gán mã định nhất trong các ứng dụng thực tế. danh đó sẽ được dùng làm đầu vào cho mạng đa tầng truyền 2.2 Quá trình học và nội dung học thẳng MLP. Nhiệm vụ chính của mạng nơ ron là phải học một mô hình của thế giới mà ở đó nó được nhúng vào và duy trì mô hình đó đủ phù hợp với thế giới thực để thu được một số kết quả xác định của ứng dụng liên quan. Quá trình học được dựa trên các 24 9
11. mẫu dữ liệu từ thế giới thực, và ở đây nằm trên sự khác nhau cơ Kích cỡ sơ đồ Độ dài huấn Độ dài huấn luyện tinh bản giữa thiết kế của một mạng nơ ron và một hệ xử lý thông luyện thô tin cổ điển. Để mô tả một trong các luật học, ta xét trường hợp 6 6 200 20000 đơn giản của một nơ ron , được chỉ trong Hình 2.1 tạo thành 8 8 200 20000 200 20000 chỉ một nút tính toán trong mạng nơ ron đó. Nơ ron được thực 10 10 12 12 200 20000 hiện bằng vec tơ đầu vào , ở đây n chỉ thời gian rời rạc, 14 14 200 20000 hay chính xác hơn là bước thời gian của quá trình lặp liên quan đến việc điều chỉnh các trọng số đầu vào . Mỗi mẫu dữ liệu Bảng 3.1 Độ dài huấn luyện của các pha thô và tinh cho 5 mạng SOM được kiểm tra. cho việc huấn luyện mạng nơ ron nhân tạo bao gồm vec tơ đầu Độ dài T của các pha “huấn luyện thô” và “tinh chỉnh” là vào và đầu ra liên quan . như nhau cho mỗi SOM được sử dụng. Các độ dài huấn luyện T Xử lý vec tơ đầu vào , một nơ ron k sản xuất đầu ra của hai pha được tổng kết trong được gọi là Bảng 3.1. Với mỗi SOM được huấn luyện, chúng ta sẽ tính (2.5) toán chỉ số , tổng của các chỉ số chất lượng trước đây: (3.9) Nó thể hiện đầu ra duy nhất của mạng đơn giản này, và nó ở đây, t là bước lặp (với một khoảng là tăng thêm 50). Mạng được so sánh với một phản hồi mong muốn hoặc đích ra SOM được huấn luyện tốt nhất là cái được huấn luyện với số đã được cho. Một lỗi được sinh ra tại đầu ra được định nghĩa: khoảng cho mỗi giả sử là một giá trị nhỏ nhất, là: (2.6) (3.10) Tín hiệu lỗi được sinh ra khởi động một cơ chế điều khiển Giá trị của nhận được cho mỗi SOM được tổng kết trong giải thuật học, mục đích của nó là phải áp dụng một chuỗi các Bảng 3.4. Trong luận văn này, mạng SOM tốt nhất được chọn là chiều chỉnh sửa lỗi tới các trọng số đầu vào của một nơ ron. Các cái gồm 64 nơ ron (sơ đồ 8 8 nơ ron). trọng số sửa lỗi được thiết kế để làm tín hiệu đầu ra tiến sát tới đích mong muốn v từng bước từng bước một. Mục đích này thu được bằng việc tối thiểu hóa hàm tính giá , nó là Kích cỡ sơ đồ giá trị tức thời của năng lượng lỗi, trong ví dụ này nó là . 6 6 0.737839 Quá trình học dựa trên việc tối thiểu hàm tính giá được chỉ tới 8 8 0.670167 10 23
12. lân cận ban đầu nhận giá trị là 5 giảm đơn điệu xuống 1 việc học sửa chữa lỗi. Đặc biệt, tối thiểu hóa hàm dẫn tới trong quá trình làm thô (giá trị của bán kính lân cận được giữ một luật học thường được gọi là luật delta hoặc luật Widrow- bằng 1 trong suốt quá trình làm tinh). Hoff. Gọi là giá trị của hệ số trọng số cho nơ ron k hoạt động bởi đầu vào tại bước thời gian n. Theo luật delta, sự 3.3.2 Chọn mô hình mạng SOM tốt nhất điều chỉnh ∆wn được định nghĩa bởi: Chất lượng của mạng SOM thường được đánh giá dựa (2.7) trên sự phân giải và khả năng duy trì hình học tập dữ liệu. Do ở đây, là hằng số dương quyết định tốc độ học. Do đó, luật đó, để đánh giá mạng SOM, tại mỗi bước lặp ta tính thêm vào delta được phát biểu như sau: Sự điều chỉnh được làm tới một vào các phép đo sau: hệ số trọng số của một kết nối nơ ron đầu vào là tỉ lệ với tích a. Phép đo độ méo trung bình (ADM) và được định nghĩa là của tín hiệu lỗi và giá trị đầu vào của kết nối hiện tại. Sau khi đã được tính toán, giá trị cập nhật của trọng số tiếp (3.7) hợp được quyết định bởi: (2.8) ở đây N là số các vec tơ mẫu được dùng cho huấn luyện sơ đồ; và có thể được xem là giá trị cũ và giá trị mới M là số các đơn vị sơ đồ và là khoảng cách Euclidean. của trọng số tiếp hợp . b. Phép đo độ phân giải (trung bình lỗi lượng tử): x1(n) wk1 (3.8) wk2  f ∑ x 2(n) d (n) Năm sơ đồ tự tổ chức (6 6; 8 8; 10 10; 12 12; 14 14), k wkm được mô tả bởi mạng lục giác, kiểm tra và phân cụm của dữ liệu sửa lỗi xm(n) phụ tải được dẫn ra từ một trong số chúng, cái nào được chọn là do sự quan sát của hai chỉ số chất lượng là ADM, và QE. Ở bài Hình 2.2 Học sửa lỗi thực hiện thông qua các điều toán này, SOMs được sử dụng khởi đầu với các giá trị ngẫu chỉnh các trọng số. nhiên. Đối với mỗi thành phần , các giá trị của các vec tơ trọng số được phân bố đồng đều trong miền [ ]. 22 11
13. Học sửa lỗi được áp dụng trong kiến trúc mạng nơ ron phức tạp hơn nhiều. Quá trình sửa chữa trọng số sẽ tiếp tục với các mẫu huấn luyện mới hoặc dùng cùng các mẫu dữ liệu trong các vòng lặp tiếp theo. Khi để kết thúc quá trình lặp được định nghĩa bởi một tham số đặc biệt hoặc tập các tham số gọi là tiêu chuẩn dừng. . 2.3 Một số kiểu mạng nơ ron nhân tạo 2.3.1 Mạng tự tổ chức (Kohonen feature maps) “Kohonen feature maps” là mạng nơ ron truyền thẳng sử dụng giải thuật học không giám sát, thông qua một quá trình tự tổ chức, cấu hình các đơn vị đầu ra thành một sơ đồ hình học Hình 3.3 Cập nhật đơn vị phù hợp nhất và các lân cận của nó về phía mẫu đầu vào đánh dấu là x. Các đường đen đậm và đứt hoặc không gian. Các mạng Kohonen thể hiện dưới dạng của quãng thể hiện trước và sau khi cập nhật. “sơ đồ tự tổ chức” (SOM - Self-organized maps), bản thân nó Hàm lân cận được sử dụng là hàm Gaussian: thể hiện một lớp đặc biệt của các mạng nơ ron. Mục đích của SOM là biến đổi một tín hiệu đầu vào có số chiều cao, phức tạp (3.5) thành một sơ đồ rời rạc có số chiều thấp đơn giản hơn. Do vậy, các SOM thường thích hợp cho việc phân tích theo cụm, ở đây, ở đây và là các vị trí của các đơn vị và trên lưới các mẫu ẩn phía dưới trong các bản ghi và các trường được tìm SOM; trung bình được gọi là bán kính lân cận. Hàm lân kiếm. Các mạng SOM cấu trúc các nút đầu ra thành các cụm cận nhận giá trị lớn nhất cho đơn vị thắng cuộc và giảm đơn các nút, ở đây các nút trong sự xấp xỉ gần sát hơn tương đương điệu với việc tăng khoảng cách trên lưới sơ đồ . với nhau hơn là các nút khác ở xa hơn. Tốc độ học được giảm theo luật luỹ thừa: (3.6) với T là độ dài huấn luyện, và là giá trị ban đầu ta cho là 0.01 và giảm xuống 0.001 trong suốt quá trình huấn luyện. Bán kính 12 21
14. 3.3 Mức đầu tiên của sự trìu tượng: huấn luyện của SOM 3.3.1 Chuẩn bị các vec tơ đầu vào Đầu ra Một sơ đồ tự tổ chức SOM sử dụng một tập các vec tơ nguyên mẫu mô tả tập dữ liệu và thực hiện “phép chiếu duy trì hình học” của các nguyên mẫu đó từ một không gian đầu vào d chiều vào một lưới thấp chiều. Mỗi nơ ron của một SOM được thể hiện bởi một vec tơ trọng số chiều (vec tơ nguyên mẫu) Các kết nối với trọng số , ở đây là số chiều của các vec tơ đầu vào. Đầu vào Nơ ron có vec tơ trọng số sát nhất với vec tơ đầu vào được gọi là đơn vị phù hợp nhất (BMU). Gọi là vec tơ trọng số Tuổi Thu nhập của một đơn vị sơ đồ và là vec tơ trọng số của BMU, ta có chỉ số là: (3.3) Hình 2.3 Kiến trúc thông thường của SOM. Các sơ đồ tự tổ chức là dựa trên việc học cạnh tranh, ở đâu ở đây chỉ giá trị nhỏ nhất của đạt được tại thời điểm , là phép đo khoảng cách, thường là khoảng cách Euclidean, các nút đầu ra cạnh tranh giữa chúng với nhau để trở thành nút thắng cuộc, chỉ nút đó là được hoạt hóa bởi một sự quan sát đầu Sau sự thể hiện của các vec tơ dữ liệu , các vec tơ trọng số vào đầu đặc biệt. Kiến trúc SOM thông thường như của các nơ ron được cập nhật theo luật học sau: Hình 2.3. (3.4) Các mạng nơ ron cạnh tranh nằm trong lớp các mạng hồi ở đây, là thời gian lặp; là một vec tơ đầu vào lấy ngẫu quy, và chúng dựa trên các giải thuật học không giám sát, như nhiên từ dữ liệu đầu vào tại thời điểm ; là một phần tử là giải thuật cạnh tranh. Trong việc học cạnh tranh, các nơ ron lân cận trung tâm trên BMU; là tốc độ học. đầu ra của mạng nơ ron tính toán trong số chính chính tiến tới tích cực (được “cháy”). 20 13
15. Phụ tải cao điểm là nhân tố quyết định việc huy động nguồn Giải thuật mạng Kohonen: điện trong khi đó phụ tải thấp điểm lại giữ vai trò quan trọng trong việc quyết định phối hợp và điều chỉnh các nguồn điện Với mỗi vec tơ đầu vào x, do: nhằm đảm bảo vận hành kinh tế. Dự báo chính xác phụ tải cao Cạnh tranh. Đối với mỗi nút đầu vào j, tính toán giá trị điểm có hiệu quả lớn về kinh tế vào mùa lũ khi cần khai thác tối của hàm tính giá. Ví dụ, với khoảng cách đa nguồn thủy điện, trong khi nước các hồ chứa đang xả thì các Euclidean, . Tìm nút j nguồn điện khác huy động chỉ nhằm mục đích an toàn, bù điện chiến thắng mà làm là nhỏ nhất trên tất cả các áp và phủ đỉnh. nút đầu ra. 3.2 Chuẩn hóa các vec tơ dữ liệu phụ tải Hợp tác. Định danh tất cả các nút đầu ra j phía trong lân Dữ liệu phụ tải được dùng trong luận văn là từ 1/1/2005 đến cận của j định nghĩa bởi kích thước lân cận R. Với các nút 26/8/2006: tập dữ liệu bao gồm 583 vec tơ, mỗi vec tơ gồm 24 này, làm như sau với tất cả các trường bản ghi đầu vào: thành phần (đã loại bỏ một số vec tơ không phù hợp). Trước khi o Thích ứng. Điều chỉnh các trọng số: chia tách dữ liệu phụ tải vào các cụm khác nhau sử dụng SOM, chúng được chuẩn hóa sử dụng kỹ thuật mô tả trong phương Điều chỉnh tốc độ học và kích thước lân cận, khi cần. trình sau: Dừng lại khi gặp điều kiện kết thúc. (3.1) 2.3.2 Mạng nơ ron truyền thẳng đa tầng (Multilayer (3.2) Perceptrons). ở đây: x là giá trị của thành phần chung của các vec tơ dữ liệu Mạng truyền thẳng đa tầng là một trong các lớp phổ biến và bước khi chuẩn hóa; quan trọng nhất trong các ứng dụng của mạng nơ ron. Mạng nơ là giá trị trung bình trên thành phần; ron này thông thường bao gồm một tập các đầu vào mà hình thành nên tầng đầu vào của mạng, một hoặc nhiều hơn các tầng (N số dữ liệu trong một ẩn của các nút tính toán, và cuối cùng một tầng đầu ra của các thành phần) là độ lệch chuẩn của cùng thành phần đó; nút tính toán. Việc xử lý là theo một hướng thẳng dựa trên cơ sở là giá trị thành phần sau chuẩn hóa. từng lớp. MLP đã được ứng dụng thành công để giải quyết một Các chuẩn hóa thường được thực hiện để giảm độ biến thiên số các bài toán khó và đa dạng bằng việc huấn luyện mạng dưới của các thành phần vec tơ. 14 19
16. Trong pha tiền xử lý, dữ liệu ban đầu được chuẩn hóa để dạng có giám sát với một thuật giải được nhiều người biết đến giảm sự biến thiên của chúng và sau đó nhóm lại thành các cụm là giải thuật lỗi lan truyền ngược (Back-propagation). liên quan tới các kiểu phụ tải khác nhau. Việc phân nhóm được Giả sử ta có biểu đồ của một MLP như sau: thực hiện bởi một kỹ thuật có hiệu quả cao đó là mạng tự tổ chức (SOM). Nhờ có ứng dụng thủ tục phân cụm này, mỗi vec tơ dữ liệu phụ tải được đánh nhãn với một mã định danh liên ở đây, là tập các đầu vào tại tầng m, m = 0, , M, và là quan tới cụm mà nó thuộc về và được sử dụng. Sự phân cụm một ma trận đối với tất cả m = 1, , M. Có M + 1 thực sự được thực hiện bằng việc thực thi giải thuật k-means tầng nơ ron, và M tầng các trọng số tiếp hợp. Chúng ta sẽ thay trên các vectơ của SOM được huấn luyện trước đó với dữ liệu đổi các trọng số và độ dốc b để đầu ra thực sự trở nên sát phụ tải. Sau đó, chúng ta mô tả một ứng của của một MLP huấn hơn với đầu ra mong muốn . luyện với dữ liệu phụ tải đối với một vấn đề dự đoán phụ tải trong thời gian 24h. Giải thuật lan truyền ngược bao gồm các bước sau: 1. Truyền thẳng. Vec tơ đầu vào được biến đổi tới vec tơ 3.1.2 Phụ tải hệ thống điện miền Bắc đầu ra bởi tính giá trị công thức: Các thành phần cấu thành phụ tải được thể hiện ở biều đồ (2.9) sau: Các hoạt Nông nghiệp và Qu ản lý tiêu động khác thuỷ hải sản 1.40% với i = 1 đến M. dùng & dân 4.32% 2. Tính toán lỗi. Việc tính toán lỗi chính là tìm hệ số nhạy cư 44.59% cảm thể hiện sự khác nhau giữa đầu ra mong muốn và đầu ra thực sự được tính toán (2.10) 3. Truyền ngược. Tín hiệu lỗi tại các đơn vị đầu ra được truyền ngược lại qua toàn bộ mạng, bằng việc tính giá trị Thương nghiệp Công nghiệp và xây dựng 4.49% (2.11) 45.20% Hình 3.2 Các thành phần cấu thành phụ tải. với m từ M đến 1. 18 15
17. 4. Cập nhật trọng số. Các trọng số tiếp hợp và các độ dốc Chương 3. ỨNG DỤNG MẠNG NƠ RON CHO BÀI TOÁN được cập nhật sử dụng các kết quả của truyền thẳng và DỰ ĐOÁN TẢI ĐIỆN NĂNG lan truyền ngược: 3.1 Giới thiệu bài toán phụ tải điện năng (2.12) Rất nhiều nghiên cứu đã chỉ ra độ nhạy cảm do sự quá tải (2.13) tiêu thụ điện năng đặc biệt tập trung vào sự dự đoán giới hạn 24 được tính từ m = 1 đến M. giờ tới. Một sự tiếp cận khá phổ biến trong các vấn đề dự đoán Kết luận chương phụ tải ngắn hạn được tạo thành bởi các giải thuật dựa trên các mạng nơ ron nhân tạo. Phần lớn các mô hình cho dự đoán phụ Chương 2 trình bày về khái niệm, mô hình và kiến trúc của tải ngắn hạn sử dụng kiến trúc mạng nơ ron được biết đến như mạng nơ ron nhân tạo trong đó giới thiệu hai kiểu mạng nơ ron các “perceptron” đa tầng (MLPs). Đặc biệt, với vấn đề dự đoán nhân tạo là mạng nơ ron tự tổ chức và mạng nơ ron truyền phụ tải ngắn hạn, rất nhiều các ứng dụng chỉ ra rằng mạng nơ thẳng đa tầng được dùng rộng rãi cho các bài toán phân cụm và ron nhân tạo có khả năng học các thuộc tính của phụ tải điện, và dự đoán có dữ liệu đầu vào lớn và nhiễu. hơn nữa yêu cầu phân tích sâu và kỹ để được khám phá. 3.1.1 Mô tả công việc Trong luận văn này, chúng tôi sử dụng mạng nơ ron nhân tạo dựa trên mô hình dự báo sử dụng dữ liệu phụ tải điện thu thập tại khu vực miền Bắc - Việt Nam. Các giá trị phụ tải được lấy từ tổng điện năng tiêu thụ của khu vực này. Lượng điện tiêu thụ được tính bởi lượng điện sinh hoạt người dân địa phương và cả lượng điện tiêu thụ của các nhà dùng điện công nghiệp. Hình 3.1 Sơ đồ các bước phân cụm trên SOM. 16 17