Đồ án Nhận dạng ký tự sử dụng mạng neural (Phần 1)

Nội dung text: Đồ án Nhận dạng ký tự sử dụng mạng neural (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN-ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG NHẬN DẠNG KÝ TỰ SỬ DỤNG MẠNG NEURAL GVHD: TS PHAN VĂN CA SVTH: LÊ QUANG CÔNG MSSV: 08117401 SVTH: NGUYỄN CAO TRỰC MSSV: 08117451 S K L 0 0 3 2 4 7 Tp. Hồ Chí Minh, tháng 08/2014
2. BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP NGÀNH: CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: NHẬN DẠNG KÝ TỰ SỬ DỤNG MẠNG NEURAL GVHD : TS PHAN VĂN CA SVTH : LÊ QUANG CÔNG - 08117401 NGUYỄN CAO TRỰC - 08117451 TP.HCM – 8/2014
3. TRƢỜNG ĐẠI HỌC SPKT TPHCM CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM Khoa Điện - Điện Tử Độc lập - Tự do - Hạnh phúc Bộ Môn Điện Tử Viễn Thông Tp. Hồ Chí Minh, ngày.31.tháng.07. năm 2014. NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Lê Quang Công Lớp: 08917LD MSSV: 08117401 Họ tên sinh viên 2: Nguyễn Cao Trực Lớp: 08917LD MSSV: 08117451 1. Tên đề tài: NHẬN DẠNG KÝ TỰ SỬ DỤNG MẠNG NEURAL 2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu):  Tìm hiểu nhận dạng ký tự quang học.  Trình bày đặc trƣng mạng neural nhân tạo  Xây dựng, huấn luyện mạng neural nhân tạo  Mô phỏng chƣơng trình nhận dạng ký tự 3. Ngày giao nhiệm vụ ĐATN: 26 / 02 / 2014 4. Ngày bảo vệ 50% ĐATN: 28 / 04 / 2014 5. Ngày hoàn thành và nộp về khoa: 6. Giáo viên hƣớng dẫn: Phần hƣớng dẫn: 1 2 3. Nội dung và yêu cầu ĐATN đã thông qua Khoa và Bộ môn Ngày tháng năm 2014 TRƢỞNG KHOA GV HƢỚNG DẪN (Ký và ghi rõ họ và tên) (Ký và ghi rõ họ và tên) CHỦ NHIỆM BỘ MÔN (Ký và ghi rõ họ tên)
4. BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ VIỄN THÔNG NHẬT KÝ THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP NGÀNH: CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: NHẬN DẠNG KÝ TỰ SỬ DỤNG MẠNG NEURAL GVHD : TS PHAN VĂN CA SVTH : LÊ QUANG CÔNG - 08117401 NGUYỄN CAO TRỰC - 08117451 TP.HCM – 8/2014
5. ĐỀ CƢƠNG CHI TIẾT DỰ KIẾN Tên đề tài: NHẬN DẠNG KÝ TỰ SỬ DỤNG MẠNG NEURAL Chƣơng 1: Tổng quan 1.1 Giới thiệu tình hình nghiên cứu hiện nay Xử lý hình ảnh (image processing) là một lĩnh vực đƣợc ứng dụng rất nhiều trong cuộc sống, đặc biệt trong những năm gần đây lĩnh vực này đã đạt đƣợc nhiều thành tựu và tiến bộ vƣợt bậc. Đây là một dạng ứng dụng thú vị mà nhiều nhà khoa học đã, đang và sẽ không ngừng nghiên cứu vì nhu cầu thực tiễn và đa dạng phƣơng pháp tiếp cận. 1.2 Mục tiêu của đề tài Xây dựng chƣơng trình phát hiện và nhận dạng ký tự Chƣơng 2: Cơ sở lý thuyết 2.1. Tổng quan về các phƣơng pháp nhận dạng ký tự 2.2. Giới thiệu phƣơng pháp nhận dạng ký tự Chƣơng 3: Thiết kế hệ thống Ảnh đầu vào Trích chuỗi ký Cách ly các ký tự tự Nhận dạng các Chuỗi ký tự Xử lý kết quả ký tự Chƣơng 4: Kết luận và hƣớng phát triển đề tài
6. TIẾN ĐỘ THỰC HIỆN STT TUẦN/NGÀY NỘI DUNG Tuần 1 Nhận đề tài 1 26/2/2014 2 Tuần 2 Báo cáo đề cƣơng chi tiết 8/3/2014 3 Tuần 3-4 Tìm hiểu lý thuyết mạng Neural nhân tạo: đặc trƣng 10-23/3/2014 mạng neural, phân loại, phƣơng pháp xây dựng, huấn luyện, ứng dung mạng neural nhân tạo 4 Tuần 5 Báo cáo chƣơng 2: tổng quan về mạng neural nhân tạo 26/3/2014 5 Tuần 6-7 Tìm hiểu giải thuật, phƣơng pháp nhận dạng ký tự và 1-12/4/2014 chƣơng trình mô phỏng nhận dạng ký tự 6 Tuần 8 Báo cáo chƣơng 3: Nhận dạng ký tự quang học trong 16/4/2014 mạng neural nhân tạo 7 Tuần 9 Báo cáo 50% ĐATN 26/4/2014 8 Tuần 10-11 Viết code chƣơng trình mô phỏng 28/4-11/5/2014
7. 9 Tuần 12 Báo cáo chƣơng trình mô phỏng 14/5/2014 10 Tuần 13 Báo cáo chƣơng trình mô phỏng 24/5/2014 11 Tuần 15 Báo cáo lý thuyết và chƣơng trình mô phỏng 7/6/2014 12 Tuần 17 21/6/2014 Chỉnh sửa chƣơng trình mô phỏng 13 Tuần 19 Báo cáo lý thuyết và chƣơng trình mô phỏng 5/7/2014 14 Tuần 20-21-22 Chỉnh sửa lý thuyết và chƣơng trình mô phỏng 15 Tuần 23 Báo cáovà nộp cuốn đồ án Sinh viên thực hiện Lê Quang Công NguyễnCao Trực
8. ĐỒ ÁN TỐT NGHIỆP Trang i LỜI CẢM ƠN Qua thời gian học tập tại trƣờng ĐH Sƣ Phạm Kỹ Thuật, nhóm đƣợc quý thầy cô truyền đạt những kiến thức quý báu không chỉ vì lĩnh vực chuyên ngành mà còn là những kiến thức về cuộc sống, về kinh nghiệm học tập, nghiên cứu, đƣợc rèn luyện những kỹ năng, phong cách làm việc, giúp chúng em tự tin hơn, bản lĩnh hơn để vững bƣớc trên con đƣờng sự nghiệp tƣơng lai. Đồ án tốt nghiệp là cơ hộ để chúng em tổng hợp, vận dụng những kiến thức, kỹ năng đã học để nghiên cứu và trình bày một vấn đề khoa học. Để hoàn thành đồ án này, ngoài sự nỗ lực của bản thân, còn có sự hƣớng dẫn, giúp đỡ tân tình cuả quý thầy cô, sự động viên, ủng hộ của gia đình và bạn bè. Vì vậy, nhóm thực hiện đề tài xin gửi lời cảm ơn chân thành đến: Thầy Phan Văn Ca đã tận tình hƣớng dẫn, chỉ bảo kinh nghiệm quý báu trong suốt quá trình tìm hiểu, nghiên cứu đề tài. Quý thầy cô trong trƣờng nói chung và quý thầy cô trong Khoa Điện - Điện Tử nói riêng đã tạo điều kiện, cung cấp cho nhóm những kiến thức cơ bản, cần thiết để chúng em có điều kiện và đủ kiến thức để thực hiện quá trình nghiên cứu. Đồng thời, nhóm cũng xin cám ơn các thành viên trong lớp 08917LD đã có những ý kiến đóng góp, bổ sung, giúp nhóm hoàn thành tốt đề tài. Ngoài ra, nhóm cũng đã nhận đƣợc sự chỉ bảo của các anh (chị) đi trƣớc. Các anh (chị) cũng đã hƣớng dẫn và giới thiệu tài liệu tham khảo thêm trong việc thực hiện nghiên cứu. Cuối cùng, nhóm xin cảm ơn gia đình, những ngƣời thân và bạn bè đã tạo điều kiện và động viên nhóm hoàn thành đề tài. Xin chân thành cảm ơn! Tp.Hồ Chí Minh, ngày tháng năm 2014 Nhóm thực hiện đề tài Lê Quang Công Nguyễn Cao Trực
9. ĐỒ ÁN TỐT NGHIỆP Trang ii MỤC LỤC Nhiệm vụ đồ án tốt nghiệp Trang Nhật ký thực hiện đồ án LỜI CẢM ƠN i MỤC LỤC ii LIỆT KÊ HÌNH iv LIỆT KÊ BẢNG v LIỆT KÊ TỪ VIẾT TẮT v TÓM TẮT vi ABSTRACT vii CHƢƠNG 1: GIỚI THIỆU 1 1.1 Lý do chọn đề tài 1 1.2 Mục tiêu đề tài 1 1.3 Giới hạn đề tài 1 1.4 Bố cục trình bày của đồ án 2 CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 3 2.1 Khái niệm mạng neural 3 2.1.1. Tìm hiểu về neural. 3 2.1.2. Mạng neural nhân tạo. 6 2.2 Đặc trƣng của mạng neural. 7 2.2.1. Tính phi tuyến. 7 2.2.2. Tính chất tƣơng ƣớng đầu vào đầu ra. 7 2.2.3. Tính chất thích nghi. 7 2.2.4. Tính chất đƣa ra lời giải có bằng chứng. 8 2.2.5. Tính chất chấp nhận sai xót. 8 2.2.6. Khả năng cài đặt VLSI (Very-large-scale-intergrated). 8 2.2.7. Tính chất đồng dạng trong phân tích và thiết kế. 8 2.3 Phân loại mạng neural nhân tạo. 8 2.3.1. Phân loại theo kiểu liên kết neural. 8 2.3.2. Một số loại mạng neural. 9 2.4 Xây dựng mạng neural. 11
10. ĐỒ ÁN TỐT NGHIỆP Trang iii 2.5 Huấn luyện mạng neural. 12 2.5.1. Phƣơng pháp học. 12 2.5.2. Thuật toán học. 13 2.6 Thu thập dữ liệu cho mạng neural. 19 2.7 Biểu diễn tri thức cho mạng neural. 20 2.8 Một số vấn đề của mạng neural. 22 2.9 Ứng dụng của mạng neural. 23 CHƢƠNG 3: ỨNG DỤNG MẠNG NEURAL ĐỂ NHẬN DẠNG KÝ TỰ 24 3.1 Giới thiệu 24 3.2 Phát biểu bài toán 24 3.3 Các bƣớc giải quyết giải quyết bài toán 25 3.3.1 Xây dựng mạng Neural. 25 3.3.2 Xử lý dữ liệu (phân tích ảnh) 26 3.3.3 Huấn luyện mạng Neural 31 3.3.4 Nhận dạng ảnh ký tự 34 CHƢƠNG 4: MÔ PHỎNG VÀ ĐÁNH GIÁ KẾT QUẢ 36 4.1 Giao diện chƣơng trình 36 4.2 Đánh giá kết quả 42 CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 44 5.1 Kết luận 44 5.2 Hƣớng phát triển 44 TÀI LIỆU THAM KHẢO 46 PHỤ LỤC 47
11. ĐỒ ÁN TỐT NGHIỆP Trang iv LIỆT KÊ HÌNH Hình 2. 2: Mô hình Neural sinh học 3 Hình 2. 3: Mô hình một neural nhân tạo 4 Hình 2. 4: Sơ đồ đơn giản về một mạng neural nhân tạo 6 Hình 2. 5: Mạng tiến với một mức Neural 9 Hình 2. 6: Mạng tiến kết nối đầy đủ với một mức ẩn và một mức đầu ra 10 Hình 2. 7: Mạng hồi quy không có Neural ẩn và không có vòng lặp tự phản hồi 11 Hình 2. 8:Mạng hồi quy có các Neural ẩn 11 Hình 2. 9: Sơ đồ đồ thị có hƣớng đơn giản 12 Hình 3. 1:Sơ đồ mạng Neural thiết kế 25 Hình 3. 2: Quá trình tách dòng ký tự 27 Hình 3. 3: Quá trình tách ký tự 28 Hình 3. 4: Quá trình tìm giới hạn ký tự 29 Hình 3. 5: Quá trình chia lƣới ký tự 30 Hình 3. 6: Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị. 31 Hình 3. 7: Sơ đồ khối quá trình huấn luyện mạng Neural 33 Hình 3. 8: Sơ đồ khối quá trình nhận dạng ký tự 34 Hình 4. 1: Giao diện chƣơng trình 36 Hình 4. 2: Giao diện chƣơng trình nhận dạng ký tự ảnh có sẵn 37 Hình 4. 3: Chọn ảnh đầu vào để nhận dạng 37 Hình 4. 4: Kết quả nhận dạng chữ hoa 38 Hình 4. 5: Kết quả nhận dạng chữ thƣờng 39 Hình 4. 6: Kết quả nhận dạng ảnh có sẵn bị lỗi 40 Hình 4. 7: Kết quả nhận dạng ảnh có sẵn bị lỗi 40 Hình 4. 8: Giao diện chƣơng trình nhận dạng ảnh chụp từ Webcam 41 Hình 4. 9: Kết quả nhận dạng ảnh chụp các số 41 Hình 4. 10: Kết quả nhận dạng ảnh chụp các ký tự hoa 42 Hình 4. 11: Kết quả nhận dạng ảnh chụp bị lỗi 42
12. ĐỒ ÁN TỐT NGHIỆP Trang v LIỆT KÊ BẢNG Bảng 2. 1: Một số hàm kích hoạt cơ bản trong mạng Neural 5 Bảng 4. 1: Bảng thực nghiệm nhận dạng 42 LIỆT KÊ TỪ VIẾT TẮT OCR Optical Character Recognition VLSI Very-large-scale-intergrated MLP Multilayer perceptron
13. ĐỒ ÁN TỐT NGHIỆP Trang vi TÓM TẮT Trong thời đại của thế kỷ 21, với sự phát triển nhảy vọt của trình độ khoa học kỹ thuật, con ngƣời đã tạo nên và phát triển nhiều công trình khoa học mang tính tầm cỡ. Với sự thay thế dần của máy móc cho con ngƣời trong các nhiệm vụ mang tính chính xác và tập trung cao thì kết quả đạt đƣợc đã hoàn toàn đƣợc tin cậy và đánh giá cao. Điều này thực sự có ý nghĩa to lớn và góp phần tăng thêm giá trị và chất lƣợng cuộc sống. Mục tiêu của đề tài là nghiên cứu phƣơng pháp nhận dạng ký tự từ ảnh. Nhóm thực hiện đề tài đã tìm hiểu kiến thức liên quan đến mạng Neural nhân tạo, giới thiệu sơ lƣợc về mạng neural sau đó tiến hành mô tả bài toán ứng dụng mạng neural trong nhận dạng ký tự, phân tích cụ thể bài toán nhận dạng, thiết kế mạng và huấn luyện mạng neural, cài đặt chƣơng trình và kiểm tra thực nghiệm bài toán.
14. ĐỒ ÁN TỐT NGHIỆP Trang vii ABSTRACT Now, in the age of the 21st century, thanks for the high speed development of Science and Technology, human is inventing and processing many scientific projects with theirs mega-structures. From the alternatives of machines and engines instead of human in works which required a high-level of decision and concentrating, the results, facts and effects is being trusted. These things are really huge meaning, thus increases values of lives 's quality days by days. The objective of this project is to study methods of image character recognition. Group topics have done their knowledge related to artificial neural networks, a brief introduction to neural networks then proceed to describe the problem of neural network applications in character recognition, analysis of specific problems receiving formats, network design and training a neural network, install the program and experimental test problems.
15. ĐỒ ÁN TỐT NGHIỆP Trang 1 CHƢƠNG 1: GIỚI THIỆU 1.1 Lý do chọn đề tài Xử lý hình ảnh (image processing) là một lĩnh vực đƣợc ứng dụng rất nhiều trong cuộc sống, đặc biệt trong những năm gần đây lĩnh vực này đã đạt đƣợc nhiều thành tựu và tiến bộ vƣợt bậc. Trong đó, nhận dạng hình ảnh là một trong những lĩnh vực phát triển nhất. Nhờ các hệ thống xử lý ảnh, con ngƣời đã giảm đƣợc khối lƣợng công việc cũng nhƣ giải quyết một cách nhanh chóng và chính các yêu cầu liên quan đến xử lý hình ảnh trên nhiều lĩnh vực: quân sự và quốc phòng, giải phẫu, các hệ thống giao thông thông minh, robotics, các hệ thống an ninh và nhiều lĩnh vực khác. Những hệ thống nhận dạng ký tự (OCR - Optical Character Recognition) đang đƣợc phát triển hàng ngày với độ ổn định cao nhằm phục vụ cho xu hƣớng tự động hóa của con ngƣời. Đối với mỗi con ngƣời chúng ta, việc học và phân biệt đƣợc sự khác nhau giữa từng ký tự thật dễ dàng nhƣng một máy tính dù có mạnh đến đâu chăng nữa, cũng chỉ có thể làm việc theo một chƣơng trình đã đƣợc hoạch định sẵn bởi lập trình viên. Nó vẫn không có khả năng liên tƣởng, kết nối sự việc này với sự việc khác, và quan trọng hơn hết là khả năng sáng tạo nhƣ con ngƣời. Vì lý do đó ,mạng Neural (Artificial neural networks ) ra đời từ mục đích cố gắng mô phỏng hoạt động trí tuệ của con ngƣời.Từ khi ra đời, mạng neuron đã nhanh chóng phát triển trong các lĩnh vực về nhận dạng ,phân loại , giảm nhiễu, dự đoán Vì vậy, việc nghiên cứu về hệ thống nhận dạng ký tự là cần thiết và có ý nghĩa rất lớn về mặt ứng dụng, đáp ứng nhu cầu tự động hóa của xã hội. Từ những yêu cầu đó, chúng em xin thực hiện đề tài “Nhận dạng ký tự sử dụng mạng Neural” 1.2 Mục tiêu đề tài Xây dựng chƣơng trình phát hiện và nhận dạng kýtự. 1.3 Giới hạn đề tài Thông thƣờng, các đặc tính của xử lý và phân tích ảnh chủ yếu bị ảnh hƣởng bởi đặc tính của ảnh. Các lý do có thể đƣa ra là: các đặc điểm ký tự, kích thƣớc, màu sắc, ảnh hƣởng của cảnh nền (độ sáng chói, độ tƣơng phản, nhiễu giống đối tƣợng, ) là rất khác nhau, và nó ảnh hƣởng đến chất lƣợng của quá trình nhận dạng ký tự. CHƢƠNG 1: GIỚI THIỆU
16. ĐỒ ÁN TỐT NGHIỆP Trang 2 Về mặt chủ quan cũng có thể kể đến nhƣ hƣớng quan sát ghi hình của camera, hƣớng ánh sáng, đặc tính kỹ thuật của camera, tốc độ hệ thống máy xử lý chủ (máy tính PC hoặc laptop) cũng gây ra ảnh hƣởng không nhỏ đến đề tài. 1.4 Bố cục trình bày của đồ án Đồ án tốt nghiệp có bố cục cụ thể nhƣ sau: Chƣơng 1: Tổng quan về lý do chọn đề tài và các vấn đề nghiên cứu trong đề tài. Chƣơng 2: Trình bày sơ lƣợc về mạng Neural. Chƣơng 3: Giới thiệu phƣơng pháp nhận dạng ký tự. Chƣơng 4: Mô phỏng và đánh giá kết quả. Chƣơng 5: Kết luận và hƣớng phát triển CHƢƠNG 1: GIỚI THIỆU
17. ĐỒ ÁN TỐT NGHIỆP Trang 3 CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 2.1 Khái niệm mạng neural . 2.1.1. Tìm hiểu về neural. Một neural đƣợc cấu gồm những thành phần chính sau: Dendrite, Soma, Synapse, Axon nhƣ hình 2.1. Hình 2. 1: Mô hình Neural sinh học Soma là thân của neural. Các dendrites là các dây mảnh, dài, gắn liền với soma, chúng truyền dữ liệu (dƣới dạng xung điện thế) đến cho soma xử lý. Bên trong soma các dữ liệu đó đƣợc tổng hợp lại, có thể xem gần đúng sự tổng hợp ấy nhƣ là một phép lấy tổng tất cả các dữ liệu mà neural nhận đƣợc. Một loại dây dẫn tín hiệu khác cũng gắn với soma là các axon. Khác với dendrites, axons có khả năng phát các xung điện thế, chúng là các dây dẫn tín hiệu từ neural đi các nơi khác. Chỉ khi nào điện thế trong soma vƣợt quá một giá trị ngƣỡng nào đó thì axon mới phát một xung điện thế, còn nếu không thì nó ở trạng thái nghỉ. Axon nối với các dendrites của các neural khác thông qua những mối nối đặc biệt gọi là synapse. Khi điện thế của synapse tăng lên do các xung phát ra từ axon thì synapse sẽ nhả ra một số chất hoá học (neurotransmitters); các chất này mở CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO
18. ĐỒ ÁN TỐT NGHIỆP Trang 4 "cửa" trên dendrites để cho các ions truyền qua. Chính dòng ions này làm thay đổi điện thế trên dendrites, tạo ra các xung dữ liệu lan truyền tới các neural khác. Có thể tóm tắt hoạt động của một neural nhƣ sau: neural lấy tổng tất cả các điện thế vào mà nó nhận đƣợc, và phát ra một xung điện thế nếu tổng ấy lớn hơn một ngƣỡng nào đó. Các neural nối với nhau ở các synapses. Synapse đƣợc gọi là mạch khi nó cho phép truyền dẫn dễ dàng tín hiệu qua các neural khác. Ngƣợc lại, một synapse yếu sẽ truyền dẫn tín hiệu rất khó khăn. Các synapses đóng vai trò rất quan trọng trong sự học tập. Khi chúng ta học tập thì hoạt động của các synapses đƣợc tăng cƣờng, tạo nên nhiều liên kết mạnh giữa các neural. Có thể nói rằng ngƣời nào học càng giỏi thì càng có nhiều synapses và các synapses ấy càng mạnh mẽ, hay nói cách khác, thì liên kết giữa các neural càng nhiều, càng nhạy bén. Neural nhân tạo là một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một liên kết. Đặc trƣng của neural là một hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra. Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán của mạng neural. y1 w1 a f y2 w2 wk y k b0 푲 Đầu vào Đầu ra a=f( 풊= 풘풊’풚풊 + bo ) Hình 2.2: Mô hình một neural nhân tạo Một neural đƣợc cầu tạo gồm các thành phần chính : liên kết neural, bộ cộng , hàm kích hoạt. Liên kết neural là một thành phần của mạng neural nhận tạo để liên kết giữa các neural, nó nối đầu ra của neural lớp này với đầu vào của một neural trong lớp khác. Đặc trƣng của thành phần liên kết là một trọng số mà mỗi tín hiệu đi qua đều đƣợc nhân với trọng số này. Các trọng số liên kết chính là các tham số tự do cơ bản của mạng neural, có thể thay đổi đƣợc nhằm thích nghi với môi trƣờng xung quanh. CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO
19. ĐỒ ÁN TỐT NGHIỆP Trang 5 Bộ cộng dùng để tính tổng các tín hiệu đầu vào của neural, đã đƣợc nhân với các trọng số liên kết tƣơng ứng. Phép toán đƣợc mô tả ở đây tạo nên một bộ hợp tuyến tính. Hàm kích hoạt hay còn gọi hàm kích hoạt phi tuyến, chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín hiệu đầu ra. Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính toán mạng neural. Nó đƣợc xem nhƣ là một hàm giới hạn, nó giới hạn phạm vi biên độ cho phép của tín hiệu đầu ra trong một khoảng giá trị hữu hạn. Mô hình neural trong hình 1.2 còn bao gồm một hệ số điều chỉnh b tác động từ bên ngoài. Hệ số điều chỉnh b có tác dụng tăng lên hoặc giảm đi đầu vào thực của hàm kích hoạt, tùy theo nó dƣơng hay âm. Bảng 2. 1: Một số hàm kích hoạt cơ bản trong mạng Neural Hàm truyền Đồ thị Miền giá trị Ứng dụng Sử dụng ở tầng ra Symmetrical của mạng nơron Hard Limit y= { trong các bài toán (hardlims) phân loại hai lớp Sử dụng trong Linear y=x mạng ADALINE (purelin) Saturating Sử dụng trong Linear y={ mạng ADALINE (satlin) Sử dụng trong Log-Sigmoid mạng nơron đa y= (logsig) tầng CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO
20. ĐỒ ÁN TỐT NGHIỆP Trang 6 2.1.2. Mạng neural nhân tạo. Là một hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay còn gọi là neural) tựa nhƣ neural thần kinh của não ngƣời, hoạt động song song và đƣợc nối với nhau bởi các liên kết neural. Mỗi liên kết kèm theo một trọng số nào đó, đặc trƣng cho tính kích hoạt hoặc ức chế giữa các neural. Có thể xem các trọng số là phƣơng tiện để lƣu trữ thông tin dài hạn trong mạng neural và nhiệm vụ của quá trình huấn luyện của mạng là cập nhật các trọng số khi có thêm thông tin về mẫu học. Hay nói một cách khác, các trọng số đều đƣợc điều chỉnh sao cho dáng điệu vào ra của mạng sẽ mô phỏng hoàn toàn phù hợp với môi trƣờng đang xem xét. Mô hình mạng neural. Hình 2.3: Sơ đồ đơn giản về một mạng neural nhân tạo Mô hình mạng neural ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn(hidden) và lớp xuất (output). Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập và chuyển vào mạng. Dữ liệu từ tất cả các nút trong lớp nhập đƣợc tích hợp – ta gọi là tổng trọng số – và chuyển kết quả cho các nút trong lớp ẩn. Gọi là “ẩn” vì các nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất, và chỉ có ngƣời thiết kế mạng mới biết lớp này (ngƣời sử dụng không biết lớp này). CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO
21. ĐỒ ÁN TỐT NGHIỆP Trang 7 Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong lớp ẩn. Mỗi nút trong lớp xuất tƣơng ứng với một biến phụ thuộc. 2.2 Đặc trƣng của mạng neural. 2.2.1. Tính phi tuyến. Một neural có thể tính toán một cách tuyến tính hay phi tuyến. Một mạng neural, cấu thành bởi sự kết nối các neural phi tuyến thì tự nó sẽ có tính phi tuyến. Hơn nữa, điều đặc biệt là tính phi tuyến này đƣợc phân tán trên toàn mạng. Tính phi tuyến là một thuộc tính rất quan trọng, nhất là khi các cơ chế vật lý sinh ra các tín hiệu đầu vào (ví dụ tín hiệu tiếng nói) vốn là phi tuyến. 2.2.2. Tính chất tƣơng ƣớng đầu vào đầu ra. Mặc dù khái niệm “học” hay “huấn luyện” chƣa đƣợc bàn đến nhƣng để hiểu đƣợc mối quan hệ đầu vào-đầu ra của mạng neural, chúng ta sẽ đề cập sơ qua về khái niệm này. Một mô hình học phổ biến đƣợc gọi là học với một ngƣời dạy hay học có giám sát liên quan đến việc thay đổi các trọng số liên kết của mạng neural bằng việc áp dụng một tập hợp các mẫu tích lũy hay các ví dụ tích lũy. Mỗi một ví dụ bao gồm một tín hiệu đầu vào và một đầu ra mong muốn tƣơng ứng. Mạng neural nhận một ví dụ lấy một cách ngẫu nhiên từ tập hợp nói trên tại đầu vào của nó, và các trọng số liên kết của mạng đƣợc biến đổi sao cho có thể cực tiểu hoá sự sai khác giữa đầu ra mong muốn và đầu ra thực sự của mạng theo một tiêu chuẩn thống kê thích hợp. Sự tích luỹ của mạng đƣợc lặp lại với nhiều ví dụ trong tập hợp cho tới khi mạng đạt tới một trạng thái ổn định mà ở đó không có một sự thay đổi đáng kể nào của các trọng số liên kết. Các ví dụ tích lũy đƣợc áp dụng trƣớc có thể đƣợc áp dụng lại trong thời gian của phiên tích luỹ nhƣng theo một thứ tự khác. Nhƣ vậy mạng neural học từ các ví dụ bằng cách xây dựng nên một tƣơng ứng đầu vào-đầu ra cho vấn đề cần giải quyết. 2.2.3. Tính chất thích nghi. Các mạng neural có một khả năng mặc định là biến đổi các trọng số liên kết tuỳ theo sự thay đổi của môi trƣờng xung quanh. Đặc biệt, một mạng neural đã đƣợc tích luỹ để hoạt động trong một môi trƣờng xác định có thể đƣợc tích lũy lại một cách dễ dàng khi có những thay đổi nhỏ của các điều kiện môi trƣờng hoạt động. CHƢƠNG 2: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO
22. S K L 0 0 2 1 5 4