Luận văn Ứng dụng memristor trong nhận dạng tiếng nói (Phần 1)

Nội dung text: Luận văn Ứng dụng memristor trong nhận dạng tiếng nói (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN VĂN TIẾN ỨNG DỤNG MEMRISTOR TRONG NHẬN DẠNG TIẾNG NÓI NGÀNH: KỸ THUẬT ĐIỆN TỬ- 60520203 S K C0 0 4 9 4 6 Tp. Hồ Chí Minh, năm 2016
2. LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƯỢC: Họ & tên: Nguyễn Văn Tiến Giới tính: Nam Ngày, tháng, năm sinh: 10/08/1992 Nơi sinh: Quảng Trị Quê quán: Hải Ba – Hải Lăng – Quảng Trị Dân tộc: Kinh Chỗ ở riêng hoặc địa chỉ liên lạc: 259/17/4/1, Tổ 19, Khu Phố 3, Phường Trảng Dài, Biên Hòa, Đồng Nai. E-mail: tiennghe27@yahoo.com II. QUÁ TRÌNH ĐÀO TẠO: Hệ đào tạo: Đại học chính quy Thời gian đào tạo từ 08/2010 đến 08/2014 Nơi học (trường, thành phố): ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH Ngành học: Công Nghệ Điện Tử Viễn Thông Tên đồ án, luận án hoặc môn thi tốt nghiệp: THUẬT TOÁN ƯỚC LƯỢNG CÔNG SUẤT TIÊU TÁN TRÊN FPGA Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: 08/2014 Người hướng dẫn: TS. Võ Minh Huân III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm 8/2016-Nay Đại Học Công Nghệ Đồng Nai Giảng Viên i
3. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tp. Hồ Chí Minh, ngày 19 tháng 09 năm 2016 Nguyễn Văn Tiến ii
4. LỜI CÁM ƠN Để hoàn thành chương trình cao học và viết luận văn này, tôi đã nhận được sự hướng dẫn, giúp đỡ và góp ý nhiệt tình của quý thầy cô trường Đại học sư phạm kỹ thuật Thành phố Hồ Chí Minh. Trước hết, tôi xin chân thành cảm ơn đến quý thầy cô trường Đại học sư phạm kỹ thuật Thành phố Hồ Chí Minh, đặc biệt là những thầy cô đã tận tình dạy bảo cho tôi suốt thời gian học tập tại trường. Tôi xin gửi lời biết ơn sâu sắc nhất đến Tiến sĩ Võ Minh Huân đã dành rất nhiều thời gian và tâm huyết hướng dẫn nghiên cứu và giúp tôi hoàn thành luận văn tốt nghiệp. Xin được cảm ơn, chia sẽ niềm vui này với gia đình, bạn bè cùng anh chị em lớp Cao học Kỹ thuật điện tử Khóa 2015 – 2017 thuộc Trường Đại học Sư phạm kỹ thuật Thành phố Hồ Chí Minh - Những người đã luôn ở bên tôi, giúp đỡ và tạo điều kiện thuận lợi để cho tôi được học tập, nghiên cứu, hoàn thành luận văn. Dù đã có rất nhiều cố gắng, song luận văn chắc chắn không thể tránh khỏi những thiếu sót và hạn chế. Kính mong nhận được sự chia sẽ và những ý kiến đóng góp quý báu của quý thầy cô giáo, các bạn đồng nghiệp. TP Hồ Chí Minh, Ngày 19 tháng 09 năm 2016 Học viên Nguyễn Văn Tiến iii
5. TÓM TẮT Memristor được dự đoán bằng toán học lần đầu tiên bởi Giáo sư Leon Chua vào năm 1971, được xem như là linh kiện điện tử cơ bản thứ tư, được tạo ra thực tế vào năm 2008 bởi R. Stanley Williams. Như R. Stanley Williams đã nói “tôi tin tưởng rằng memristor sẽ thay đổi thiết kế mạch trong thế kỉ 21 này như những gì mà transistor đã thay đổi trong thế kỉ 20”. Câu nói đó chỉ ra tầm quan trọng của memristor. Bởi vì memristor hoạt động như hệ thống thần kinh, do đó những linh kiện này được áp dụng cho các ứng dụng như não người. Trong luận văn này, một cấu trúc mới dùng memristor nhị phân cho nhận dạng tiếng nói được giới thiệu. Luận văn tập trung vào sử dụng memristor dựa trên mạng nơ-ron nhiều lớp. Trong đó, các mảng memristor hoạt động như những trọng số, kết hợp với hàm tác động để xác định ngõ ra. Trong cấu trúc mới được đề xuất này, trọng số được sắp xếp theo đường chéo và chia thành hai mảng trọng số âm và trọng số dương. Một ứng dụng nhận dạng năm nguyên âm được thực thi với cấu trúc được đề xuất. Kết quả cho thấy tỉ lệ nhận dạng từ 94% đến 96.6% trên 500 mẫu được kiểm tra. Một bảng thống kê dựa trên số bit ngõ vào và số bit trọng số được sử dụng cho thấy tỉ lệ nhận dạng tăng tương ứng với số bit được dùng. Từ mô phỏng Monte Carlo, cho thấy tỉ lệ nhận dạng giảm nhẹ từ 94% xuống 93.7% với độ lệch chuẩn của trở kháng nhớ tăng từ 1% đến 15%. Bên cạnh đó, một số cấu trúc mở rộng được đề xuất nhằm phát triển trong tương lai. Tất cả mô phỏng được thực hiện trên phần mềm Cadence Spectre và Matlab. Từ khóa: Memristor, nhận dạng tiếng nói, mạng nơ-ron. iv
6. ABSTRACT The memristors that had been mathematically predicted by Leon O. Chua in 1971 as the fourth basic circuit element were experimentally found in 2008 by R. Stanley Williams. As he said: “I’m convinced that eventually the memristor will change circuit design in the 21st century as radically as the transistor changed it in the 20th ”. This indicates the importance of memristor. Because, memristor work as synaptic systems, so these devices are intended for applications as human brain. In this thesis, the memristor crossbar architecture for speech recognition is introducted. The thesis mainly focus on using memristor based multilayer neural network. In which, the memristor crossbar circuit acts as the weights of the network combined with the activation function circuit of the network to determine the output. In the crossbar architecture, the weights were arranged diagonally and divided into 2 arrays according to positive and negative weights. A speech recognition application for 5 vowels is implemented using proposed architecture. The results showed that the average recognition increases from 94% to 96.6% over 500 audio samples. A statistical table on the number of input and the weight bits shows that the recognition rate and the number of memristors increase correspondingly to the number of bits used. From the Monte Carlo simulation, the recognition rate of the binary memristor crossbar is decreased slightly from 94% to 93.7%, though the percentage variation in memristance is increased from 1% to 15%. Besides, some expansion architectures are proposed for development in the future. All the simulation results are simulated by Cadence Spectre software và Matlab. Keywords: Memristor, speech recognition, neural network. v
7. MỤC LỤC TRANG TỰA Trang QUYẾT ĐỊNH GIAO ĐỀ TÀI LÝ LỊCH KHOA HỌC i LỜI CAM ĐOAN ii LỜI CÁM ƠN iii TÓM TẮT iv ABSTRACT v MỤC LỤC vi DANH SÁCH CÁC HÌNH ix DANH SÁCH CÁC BẢNG xii LIỆT KÊ CÁC TỪ VIẾT TẮT xiii CHƯƠNG 1 1 TỔNG QUAN 1 1.1 Tổng quan chung 1 1.2 Các kết quả nghiên cứu đã công bố 1 1.3 Mục đích của đề tài 2 1.4 Nhiệm vụ và giới hạn của đề tài 3 1.4.1 Nhiệm vụ của đề tài 3 1.4.2 Giới hạn của đề tài 3 1.5 Phương pháp nghiên cứu 3 1.6 Tóm tắt đề tài 3 CHƯƠNG 2 5 CƠ SỞ LÝ THUYẾT 5 2.1 Tổng quan về memristor 5 2.1.1 Lịch sử về memristor 5 2.1.2 Tính chất của memristor 7 2.1.3 Nguyên lý hoạt động của memristor 10 2.1.3.1 Cấu trúc của memristor 10 2.1.3.2 Nguyên lý hoạt động 11 vi
8. 2.1.3.3 Cấu trúc memristor lý tưởng 14 2.2 Trích chọn đặc trưng MFCC 15 2.2.1 Pre-emphasis 16 2.2.2 Windowing 16 2.2.3 DFT (Discrete fourier transform) 19 2.2.4 Mel filter-bank and log 20 2.2.5 Discrete consinse transform 21 2.2.6 Feature extraction 21 2.3 Tổng quan mạng nơ-ron 21 2.3.1 Khái niệm 21 2.3.2 Mô hình một nơ-ron nhân tạo 22 2.3.3 Mạng lan truyền ngược 24 2.3.4 Cơ sở lý thuyết mạng lan truyền ngược 24 2.3.4.1 Cấu trúc mạng lan truyền ngược 24 2.3.4.2 Huấn luyện cho mạng lan truyền ngược 27 CHƯƠNG 3 30 ỨNG DỤNG MEMRISTOR NHẬN DẠNG TIẾNG NÓI 30 3.1 Cấu trúc nhận dạng dựa trên mô hình mạng nơ-ron đơn giản 30 3.1.1 Cấu trúc nhận dạng 30 3.1.2 Kết quả nhận dạng 38 3.2 Cấu trúc nhận dạng dựa trên mô hình mạng nơ-ron nhiều lớp 39 3.2.1 Cấu trúc nhận dạng 39 3.2.2 Kết quả nhận dạng 45 3.3 Cấu trúc nhận dạng định hướng mở rộng 47 3.3.1 Cấu trúc nhận dạng giảm diện tích mạch dựa trên số bit sử dụng 47 3.3.2 Cấu trúc nhận dạng giảm 50% diện tích mạch 49 3.3.3 Cấu trúc mạch nhận dạng thực thi phần cứng 50 CHƯƠNG 4 61 KẾT LUẬN – HƯỚNG PHÁT TRIỂN 61 4.1 Kết luận – hướng phát triển 61 4.2 Hạn chế 61 vii
9. TÀI LIỆU THAM KHẢO 62 PHỤ LỤC 64 [1]. Van-Tien Nguyen, Minh-Huan Vo, New binary memristor crossbar architecture based neural networks for speech recognition, International Journal of Engineering Science Invention, Volume 5 Issue 5, May 2016. viii
10. DANH SÁCH CÁC HÌNH Trang Hình 2.1: Các công thức toán học cặp đôi mô tả quan hệ tương hỗ giữa bốn đơn vị định lượng cho mạch điện – điện tích, dòng điện, điện thế, và từ thong 6 Hình 2.2: Minh họa memristor như ống dẫn nước 8 Hình 2.3: Đặc tuyến V-I của memristor 10 Hình 2.4: Cấu trúc của memristor. 11 Hình 2.5: Sự dịch chuyển các hạt tạp chất trong memristor 11 Hình 2.6: 6a) Cấu trúc đơn giản của memristor; 6b) đặc tuyến V-I với nguồn sóng sin; 6c) đặc tuyến V-I trong 3 chu kỳ với nguồn sin bình phương. 13 Hình 2.7: Đặc tuyến lý tưởng của memristor 14 Hình 2.8: Trích chọn đặc trưng MFCC 15 Hình 2.9: Mô tả trước và sau quá trình Pre-emphasis của một đoạn tín hiệu âm thanh 16 Hình 2.10: Mô tả quá trình windowing 17 Hình 2.11: So sánh hai loại cửa sổ Rectangular và Hamming 19 Hình 2.12: Mô tả trước và sau khi biến đổi DFT của một cửa sổ 19 Hình 2.13: Mô hình các băng lọc trong thang đo tần số bình thường và thang đo mel 20 Hình 2.14: Mô hình toán học tổng quát của mạng Nơ-ron. 22 Hình 2.15: Nơ-ron một ngõ vào 22 Hình 2.16: Nơ-ron có nhiều ngõ vào 23 Hình 2.17: Các hàm truyền cơ bản 23 Hình 2.18: Cấu tạo một Nơ-ron 25 Hình 2.19: Hàm truyền logsig 25 Hình 2.20: Hàm truyền tansig 25 Hình 2.21: Hàm truyền pureline (tuyến tính) 26 Hình 2.22: Cấu trúc mạng một lớp 26 Hình 2.23: Mạng 2 lớp dùng Nơ-ron tagsig và pureline 27 ix
11. Hình 3.1: Mô hình nhận dạng tiếng nói gồm quá trình cài đặt trọng số và quá trình nhận dạng 30 Hình 3.2: Mô hình huấn luyện mỗi âm gồm 48 ngõ vào, 1 ngõ ra 31 Hình 3.3: Cấu trúc nhận dạng dựa trên sự tương quan của nghiên cứu trước 32 Hình 3.4: Nhận dạng sai với ngõ vào khác trọng số 33 Hình 3.5: Cấu trúc mạch dựa trên mô hình mạng nơ ron 34 Hình 3.6: Sơ đồ mạch nhận dạng tiếng nói với 48 ngõ vào. Mỗi ngõ vào 4 bit kết nối với các memristor tạo thành mạch nhân hai số 4 bit 35 Hình 3.7: Sơ đồ mạch chi tiết memristor và mạch winner-take-all. a) mạch nhân ngõ vào vào với memristor, b) mạch nhân theo từng hệ số, c) mạch cộng tính tổng ngõ ra, d) mạch winner- take-all xác định ngõ ra mạch nhận dạng 37 Hình 3.8: Dạng sóng mạch nạp các tụ và mạch winner-take-all để nhận dạng âm ‘a’ 38 Hình 3.9: Mô hình mạng nơ ron nhiều lớp 39 Hình 3.10: Cấu trúc crossbar mới được đề xuất gồm 2 mảng M+ và M- tương ứng với trọng số dương và trọng số âm 40 Hình 3.11: Mạch hàm truyền logsig 41 Hình 3.12: Dạng sóng hàm truyền logsig 41 Hình 3.13: Sơ đồ mạch nhận dạng dựa trên mạng nhiều lớp gồm 48 ngõ vào, 5 nơ- ron lớp ẩn và 5 ngõ ra, hàm truyền sử dụng là hàm logsig, mạch winner-take-all xác định ngõ ra cần nhận dạng 42 Hình 3.14: Sơ đồ mạch chi tiết và mạch winner take all. a) mạch memristor làm trọng số lớp ẩn, b) mạch trừ, c) mạch nhân, d) mạch cộng, e) mạch logsig, f) mạch memristor làm trọng số lớp ra, g) mạch trừ lớp ra, h) mạch nhân lớp ra, k) mạch cộng lớp ra, m) mạch winner take all. 44 Hình 3.15: Mạch nạp của các tụ ngõ ra, mạch nạp của tụ cho thấy ngõ ra âm cần nhận dạng 45 Hình 3.16: Dạng sóng mạch nạp các tụ và mạch winner-take-all để nhận dạng âm ‘a’ 45 x
12. Hình 3.17: Sự thay đổi của trở kháng nhớ với độ lệch chuẩn bằng 10% 47 Hình 3.18: Tỉ lệ nhận dạng theo độ độ lệch chuẩn của trở kháng nhớ. Giảm từ 94 % xuống 93.7 % với độ lệch chuẩn từ 1% đến 15% giá trị trở kháng nhớ 47 Hình 3.19: Cấu trúc nhận dạng mới dựa trên số bít sử dụng được đề xuất 48 Hình 3.20: Cấu trúc mới dùng hai memristor mắc nối tiếp. Giảm một nữa số memristor cần dung 51 Hình 3.21: Dạng sóng trở kháng nhớ M1 và M2 theo xung ngõ vào gồm hai xung dương và xung âm 53 Hình 3.22: Mô hình mạng perceptron 54 Hình 3.23: Sơ đồ mạch huấn luyện cổng AND 57 Hình 3.24: Điều chế độ rộng xung theo biên độ 57 Hình 3.25: Dạng sóng của quá trình huấn luyện trong hai vòng lặp. Gồm xung cài đặt trọng số ban đầu Traininitalx1, Traininitalx2; xung ngõ vào testx1, testx2; xung ngõ ra mong muốn Desire; xung ngõ ra thực tế y, các xung tính toán trọng số Deltawweight, Delta, CLK, Q1, Q2; xung cập nhật trọng số Weighttimex1, Weighttimex2 58 Hình 3.26: Dạng sóng trở kháng nhớ của 4 memristor M11, M12, M21, M22. Mỗi cặp tạo thành một trọng số gồm M11 và M12, M21 và M22 59 Hình 3.27: Dạng sóng của xung cập nhật trọng số 59 Hình 3.28: Dạng sóng của ngõ ra thực tế và ngõ ra mong muốn 60 xi
13. DANH SÁCH CÁC BẢNG Trang Bảng 3.1: Tỉ lệ nhận dạng 5 nguyên âm 38 Bảng 3.2: Thống kế số memristor được dùng và tỉ lệ nhận dạng trung bình theo số bit ngõ vào, số bit trọng số của lớp ẩn, và số bít trọng số của ngõ ra 46 Bảng 3.3: Cấu trúc giảm diện tích dựa trên số bit được dung 48 Bảng 3.4: Trạng thái hoạt động của cổng AND 54 Bảng 4.1: Tổng kết kết quả nghiên cứu – hướng phát triển 61 xii
14. LIỆT KÊ CÁC TỪ VIẾT TẮT CMOS Complementary Metal-Oxide Semiconductor MFCC Mel-frequency cepstral coefficients DFT Discrete fourier transform DCT Discrete consinse transform LRS Low resistance state HRS High resistance state RES Resistance xiii
15. Chương 1: Tổng quan CHƯƠNG 1 TỔNG QUAN 1.1 Tổng quan chung Theo định luật Moore thì số transitor trong mỗi chip sẽ nhân đôi trong vòng 2 năm. Sự phát triển công nghệ vi mạch trong thời gian qua đã cho thấy sự đúng đắn của định luật Moore. Tuy nhiên theo ước tính trong thời gian không xa thì công nghệ sẽ đạt tới giới hạn của định luật Moore, nghĩa là kích thước chip sẽ đạt giá trị tới hạn để đảm bảo tính chính xác và ổn định. Vì vậy, có nhiều phương pháp mới được nghiên cứu để thay thế cho định luật Moore. Và với sự đề cập về “Memristor” của nhà nghiên cứu Leon. Chua năm 1971 [1], được hoàn thiện bởi R.Stanley Williams vào năm 2008 [2] thì tương lai công nghệ đã mở ra hướng phát triển mới, công nghệ này thậm chí còn tốt hơn công nghệ CMOS đã và đang phát triển mạnh. Theo như R.Stanley Williams đã phát biểu nếu như thế kỉ 20 là thế kỉ của transistor thì thế kỉ 21 là thế kỉ của memristor. Điều đó cho thấy tầm quan trọng của memristor trong sự phát triển công nghệ của thế kỉ mà ta đang sống. Memristor viết tắt của memory resistor tức điện trở nhớ. Memristor có khả năng như một điện trở, điện trở này có thể thay đổi trở kháng khi có dòng điện, điện áp đặt vào hai đầu nó. Đặc biệt tính nhớ thể hiện ở chổ khi ngừng cung cấp điện áp thì memristor vẫn lưu được trạng thái trước đó mà không bị mất theo thời gian. Điều này cho thấy một tiềm năng lớn trong việc mô tả hệ thống thần kinh. Chính vì tiềm năng này, đề tài chọn hướng nghiên cứu “Ứng dụng memristor nhận dạng tiếng nói” nhằm ứng dụng những đặc tính của memristor vào việc nhận dạng tiếng nói. 1.2 Các kết quả nghiên cứu đã công bố Kể từ năm 1971, nhà nghiên cứu Giáo sư Leon Chua của UC Berkeley đã nhận ra khả năng tồn tại của memristor như là một loại thiết bị cơ bản thứ tư trong bài báo: “Memristor – The Missing Circuit Element” [1], của Leon O. Chua, thành viên chủ chốt của IEEE, và được công bố vào năm 1971. Đây là nhân tố mạch thụ động, thể hiện mối quan hệ giữa điện lượng và từ thông chạy qua nó. Nhưng ông chưa thể chứng minh rõ ràng được sự tồn tại thật sự của nó. 1
16. Chương 1: Tổng quan Cho đến năm 2008, thì R. Stanley Williams cùng các đồng nghiệp đã công bố các chi tiết về điện trở nhớ này với một số khả năng tuyệt vời của nó trong bài báo: “How We Found the Missing Memristor” [2]. Với sự kết hợp transistor với điện trở nhớ, R. Stanley Williams có thể tăng hiệu năng của các mạch số mà không cần thu nhỏ các transistor lại. Sử dụng các transistor hiệu quả hơn có thể giúp chúng ta duy trì luật Moore và không cần tới quá trình nhân đôi mật độ transistor vốn tốn nhiều chi phí và ngày càng khó khăn. Về lâu dài thì điện trở nhớ thậm chí còn có thể là bước ngoặt đánh dấu sự xuất hiện của các mạch tương tự (analog) biết tính toán nhờ sử dụng kiến trúc giống như kiến trúc của bộ não. Qua bài báo này, ông cũng trình bày bộ về đặc điểm của memristor. Chính vì khả năng nhớ đó, nên memristor được nghiên cứu nhiều về khả năng nhớ như bộ não người. Một ứng dụng được đề cập tới trong bài báo “Neuromorphic crossbar circuit with nanoscale filamentary-switching binary memristors for speech recognition”[4] của nhóm tác giả Son Ngoc Truong, Seok-Jin Ham and Kyeong-Sik Min là nhận dạng tiếng nói dùng các memristor nhị phân (memristor có hai giá trị nhớ). Bài báo hướng tới nhận dạng năm nguyên âm trong tiếng anh là ‘a’, ‘e’, ‘i’, ‘o’, ‘u’ bằng phương pháp so sánh giữa mẫu đưa vào và trọng số, được thực hiện bởi sơ đồ mạch dùng các memristor nhị phân để nhận dạng. Kết quả nhận dạng thu được là tỉ lệ nhận dạng 89.2% và số memristor cần dùng là 2560. Vì so sánh dựa trên sự giống nhau, nên việc nhận dạng sẽ không đúng khi có sự biến động của ngõ vào. Điều đó, được giải thích rõ ở phần sau trong phần phân tích sự không đúng của cấu trúc này. Từ điều này, đề tài đề xuất một phương pháp mới dựa trên mạng nơ ron để khắc phục tình trạng ngõ vào có sự thay đổi. 1.3 Mục đích của đề tài Đề tài hướng tới việc tăng tỉ nhận dạng tiếng nói và giảm số lượng memristor cần dùng so với kết quả của bài báo “Neuromorphic crossbar circuit with nanoscale filamentary-switching binary memristors for speech recognition” [4] bằng cách thay đổi phương pháp nhận dạng và thiết kế sơ đồ mạch mới. 2
17. Chương 1: Tổng quan 1.4 Nhiệm vụ và giới hạn của đề tài 1.4.1 Nhiệm vụ của đề tài - Tìm hiểu cấu trúc, nguyên lý hoạt động của memristor. - Tìm hiều về phương pháp nhận dạng tiếng nói. - Tìm hiểu về mạng nơron. - Thiết kế, mô phỏng cấu trúc mạch mới ứng dụng memristor nhận dạng. 1.4.2 Giới hạn của đề tài Đề tài hướng tới nghiên cứu lý thuyết, thiết kế và mô phỏng mô hình memristor mà không thực hiện được trên thực tế. Đề tài đề xuất phương pháp nhận dạng tiếng nói mới nhưng chỉ với giọng nói của một người, chưa thực hiện đối với nhiều người và chỉ thực hiện với số lượng năm nguyên âm. 1.5 Phương pháp nghiên cứu Do mục đích nghiên cứu của đề tài chủ yếu tập trung vào nghiên cứu công nghệ vi mạch mới, nên phương pháp nghiên cứu được sử dụng chủ yếu là: - Tổng hợp lý thuyết về memristor, các phương pháp nhận dạng tiếng nói, mô hình mạng nơ ron và cách sử dụng phần mềm mô phỏng Cadence Spectre. - Thiết kế cấu trúc mạch mới ứng dụng memristor vào nhận dạng tiếng nói, sử dụng phần mềm Matlab để huấn luyện ngõ vào và phần mềm Cadence Spectre để xác định ngõ ra trong mạch. - So sánh với kết quả của nghiên cứu trước, đánh giá kết quả nhận dạng. 1.6 Tóm tắt đề tài Với các yêu cầu và mục tiêu đề ra, luận văn được xây dựng bao gồm các chương sau: Chương 1: Tổng quan chung về memristor và ứng dụng. Trình bày các nghiên cứu gần đây về memristor, từ đó đề xuất phương pháp nghiên cứu mới cho thấy tầm quan trọng của đề tài. Chương 2: Trình bày cấu trúc, nguyên lý hoạt động của memristor, trình bày phương pháp trích đặc trưng tiếng nói và mô hình mạng nơron. 3
18. Chương 1: Tổng quan Chương 3: Đề xuất phương pháp nhận dạng bằng mạng nơron, thiết kế sơ đồ mạch sử dụng memristor vào nhận dạng tiếng nói, trình bày kết quả thu được. Bên cạnh đó, đề xuất một số cấu trúc mở rộng nhằm phát triển trong tương lai. Chương 4: Kết luận và hướng phát triển đề tài. 4
19. Chương 2: Cơ sở lý thuyết CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 Tổng quan về memristor 2.1.1 Lịch sử về memristor Câu chuyện về memristor xứng đáng được đưa vào sách lịch sử. Khi Giáo sư Leon Chua, giờ là một thành viên của IEEE, viết bài báo khoa học dự đoán về memristor, ông vẫn còn là một giáo sư trẻ đang thăng tiến nhanh ở UC Berkeley. Giáo sư Leon Chua đã dành nhiều năm để cố gắng xoá bỏ cái giới hạn mà ông xem là hết sức vô lý đó là việc lý thuyết mạch điện tử phải tuân theo các hệ thống tuyến tính. Ông tin rằng điện tử phi tuyến có tiềm năng lớn hơn nhiều so với các mạch tuyến tính vẫn đang thống trị công nghệ điện tử cho tới tận ngày nay. Giáo sư Leon Chua phát hiện ra một liên kết bị thiếu trong các công thức toán học cặp đôi mô tả quan hệ tương hỗ giữa bốn đơn vị định lượng cho mạch điện – điện tích, dòng điện, điện thế, và từ thông ở hình 2.1. Giữa chúng có thể có sáu mối quan hệ. Hai mối quan hệ được thể hiện qua các quy luật vật lý cơ bản của điện và từ và ba mối quan hệ khác thể hiện qua các phần tử mạch cơ bản đã biết: điện trở thể hiện mối tương quan giữa điện thế và dòng điện, cuộn cảm thể hiện liên kết giữa từ thông và dòng điện, và tụ điện thể hiện liên kết giữa điện thế và điện tích. Tuy nhiên nhóm này vẫn còn thiếu một công thức liên kết giữa điện tích di chuyển trong mạch điện và từ thông trong mạch này mà theo định luật Faraday thì từ thông, một cách toán học, là tích phân theo thời gian của điện áp trên mạch, định luật Faraday nói rằng 푣 = Φ/ 푡 nên Φ = ∫ 푣 ∗ 푡. Điều này tạo nên một cuộc tranh luận về tính chân thực của phần tử điện trở nhớ. Memristor mà Giáo sư Leon Chua định nghĩa hoàn toàn bằng toán học có thể tồn tại trong thực tế dưới nhiều dạng. Thử xem xét một bộ pin và một bộ biến áp. Cả hai đều cấp một điện áp 12V DC nhưng cơ chế hoạt động của chúng lại hoàn toàn khác biệt: bộ pin thì dựa trên một phản ứng hóa học xảy ra ở trong các viên pin, trong 5
20. Chương 2: Cơ sở lý thuyết Hình 2.1: Các công thức toán học cặp đôi mô tả quan hệ tương hỗ giữa bốn đơn vị định lượng cho mạch điện – điện tích, dòng điện, điện thế, và từ thông. khi đó bộ biến áp tiếp nhận một điện áp 110V AC ở ngõ vào, hạ áp xuống 12V AC, rồi chuyển đổi thành 12V DC ở ngõ ra. Kết quả đầu ra của cả hai thiết bị này hoàn toàn tương đương về mặt toán học, cả hai đều có thể dùng để chạy máy cạo râu hay điện thoại di động dù cho nguồn gốc của các điện áp 12V này hoàn toàn khác nhau. Về mặt lý thuyết, việc điện tích có liên quan với từ thông khá là dễ hiểu, tuy nhiên không có tương tác vật lý rõ rệt nào giữa điện tích với tích phân của điện thế. Giáo sư Leon Chua chứng minh bằng toán học rằng linh kiện giả định của ông sẽ thiết lập một mối liên hệ giữa từ thông và điện tích tương tự như giữa điện áp và dòng điện ở một điện trở phi tuyến. Trong thực tế, điều này đồng nghĩa với việc trở kháng của linh kiện này thay đổi theo lượng điện tích truyền qua nó. Đồng thời, nó sẽ ghi nhớ giá trị trở kháng này ngay cả sau khi dòng điện đã bị ngắt. Ông còn phát hiện ra một điểm khác nữa – đó là cung cách hoạt động này khiến ông liên tưởng tới cơ chế hoạt động của các khớp thần kinh trong não. Tuy vậy các nhà khoa học khác cũng đã công bố trước cả phát kiến của Giáo sư Leon Chua, về điều mà họ gọi là biểu hiện dòng điện-điện áp ‘dị thường’ trong các linh kiện ở mức micromet mà họ tạo ra từ các vật liệu không phổ dụng ví dụ như các polyme hay các ôxít kim loại. Nhưng những đặc tính này lại thường bị quy cho các lý do như một phản ứng điện hóa bí ẩn, hiện tượng đánh thủng do điện áp, hay là do các nguyên nhân chưa thể xác định có liên quan đến điện áp cao mà các nhà nghiên cứu áp lên các linh kiện này. 6
21. Chương 2: Cơ sở lý thuyết Hóa ra thì một số lớn các báo cáo khoa học này lại là các ví dụ không được thừa nhận về trở kháng nhớ (memristance). 35 năm sau khi Giáo sư Leon Chua lý thuyết hóa điện trở nhớ ở dạng toán học thuần túy, các nhà nghiên cứu mới có thể tạo ra linh kiện này một cách có chủ đích tại HP Labs. Sau 2 năm nghiên cứu về memristor, các nhà nghiên cứu tại HP labs đã tạo nên một memristor thực sự mà những đặc tính có được khi kích thước nhỏ ở mức độ nano. Năm 2008, nhóm nghiên cứu tại Hp Labs, dẫn đầu là R.Stanley Williams đã công bố bài báo “How We Found the Missing Memristor” đề cập đến con đường khám phá ra memristor mà cha đẻ lý thuyết memristor là Giáo sư Leon Chua. Và như R.Stanley Williams đã viết “Tôi tin tưởng rằng cuối cùng thì memristor sẽ thay đổi một cách triệt để hoạt động thiết kế mạch trong thế kỷ 21 tương tự như cách transistor đã làm trong thế kỷ 20”. Điều đó nói lên tầm quan trọng, một sự phát triển mạnh mẽ, rộng khắp các ứng dụng sử dụng đến memristor vào thế kỷ 21 này. 2.1.2 Tính chất của memristor Điện trở nhớ (memristor) là từ viết gọn của “memory resistor” vì đó chính là chức năng của nó: ghi nhớ lịch sử của bản thân. Một phần tử điện trở nhớ có hai cực, với trở kháng của nó phụ thuộc vào độ lớn, chiều phân cực và khoảng thời gian của điện thế áp lên nó. Khi bạn tắt điện thế này thì điện trở nhớ vẫn nhớ mức trở kháng ngay trước khi tắt cho tới lần bật lên kế tiếp, bất chấp việc này có xảy ra sau đó một ngày hay một năm. Hãy tưởng tượng một điện trở giống như một cái ống dẫn nước hình 2.2. Nước ở đây là điện tích. Mức cản điện tích của điện trở tỷ lệ với đường kính của ống dẫn: ống càng nhỏ thì độ cản càng lớn. Trong suốt lịch sử thiết kế mạch, các điện trở luôn là những đường ống có các đường kính không đổi. Nhưng điện trở nhớ thì khác, nó là một ống dẫn có thể thay đổi đường kính tùy theo lưu lượng và chiều của dòng nước chảy qua nó. Nếu nước chảy theo hướng này, nó mở rộng ra (trở kháng giảm). Nhưng nếu nước chảy theo chiều ngược lại thì ống thu hẹp lại (trở kháng tăng). Hơn thế, điện trở nhớ còn ghi nhớ đường kính của nó khi nước không chảy qua nữa. Tắt dòng chảy thì đường kính của ống “đóng băng” cho tới lúc nước được mở trở lại. 7
22. Chương 2: Cơ sở lý thuyết Hình 2.2: Minh họa memristor như ống dẫn nước. Đặc tính “đóng băng” này làm cho điện trở nhớ rất phù hợp với bộ nhớ máy tính. Khả năng lưu giữ giá trị trở kháng mãi mãi đồng nghĩa với việc điện trở nhớ có thể được sử dụng làm bộ nhớ không bay hơi (bộ nhớ dài hạn). Như vậy nghe có vẻ không có gì to tát nhưng hãy thử tháo ngay pin của máy tính xách tay ra mà không lưu trữ, không thoát khỏi chương trình, không làm gì cả thử xem. Dĩ nhiên là sẽ bị mất dữ liệu làm việc hiện tại. Nhưng nếu máy tính có sử dụng bộ nhớ làm từ điện trở nhớ thì khi bạn lắp pin lại vào máy, màn hình sẽ bật trở lại cùng với tất cả mọi thứ y như khi lúc nó chưa bị tháo pin: không phải khởi động lại dài đằng đẵng, cũng chẳng có nửa tá tập tin tự phục hồi. Nhưng tiềm năng của điện trở nhớ không chỉ dừng lại ở việc tạo ra những chiếc máy tính có khả năng khởi động tức thì mà còn vươn xa đến mức có thể giải quyết được một trong những thách thức công nghệ lớn nhất: bắt chước các chức năng của bộ não. Trong vòng một thập niên tới, điện trở nhớ có thể giúp chúng ta giả lập hoạt động, thay vì chỉ mô phỏng, các mạng lưới các tế bào thần kinh (neuron) và các khớp thần kinh. Hiện có rất nhiều nhóm đang nghiên cứu để tạo ra một bộ não bằng silicon: dự án Blue Brain của IBM, trung tâm nghiên cứu Janelia Farm thuộc Viện Y học Howard Hughes (Howard Hughes Medical Institute), và Trung tâm Khoa học Não (Center for Brain Science) của Đại học Harvard là ba ví dụ. Tuy nhiên, kể cả việc chỉ mô phỏng một bộ não chuột trong thời gian thực đã đòi hỏi phải giải một hệ phương trình vi phân riêng phần cực lớn. Một máy tính kỹ thuật số thông thường có khả năng thực hiện được lượng tính toán khổng lồ này sẽ phải có kích cỡ khoảng 8