Đồ án Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn (Phần 1)

Nội dung text: Đồ án Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA CƠ KHÍ CHẾ TẠO MÁY ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ NGHIÊN CỨU PHÂN TÍCH CHUYỂN ĐỘNG CỦA MẮT ĐỂ XUẤT RA TÍN HIỆU ĐIỀU KHIỂN XE LĂN GVHD: TS.VŨ QUANG HUY SVTH: NGÔ TUẤN ANH MSSV: 10911014 SVTH: NGUYỄN ĐĂNG TIẾN MSSV: 10911058 S K L 0 0 3 8 6 4 Tp. Hồ Chí Minh, tháng 7/2015
2. TRƢỜNG ĐH SƢ PHẠM KỸ THUẬT TP.HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CƠ KHÍ CHẾ TẠO MÁY Độc lập - Tự do – Hạnh phúc Bộ môn CƠ ĐIỆN TỬ NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hƣớng dẫn: TS.VŨ QUANG HUY Sinh viên thực hiện: NGÔ TUẤN ANH MSSV: 10911014 NGUYỄN ĐĂNG TIẾN MSSV: 10911058 1. Tên đề tài: “Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn “ 2.Các số liệu,tài liệu ban đầu: 3.Nội dung chính của đồ án: a. Nguyên cứu phân tích chuyển động của mắt xuất tín hiệu điều khiển Nguyên cứu ,lập trình phần mềm phân tích chuyển động của mắt bằng C++. Xuất ra tín hiệu điều khiển. b. Thiết kế chế tạo mô hình xe lăn Vẽ bản vẽ chi tiết mô hình hình xe lăn Tính toán chọn động cơ cho mô hình Kết nói mạch điều khiển động cơ(sử dụng modul arduino) Sử dụng phần mềm xử lý ảnh điều khiển mô hình xe lăn 4. Các sản phẩm dự kiến Mô hình xe lăn hoàn thiện Phần mềm sử lý ảnh phân tích chuyển động của mắt 5. Ngày giao đồ án: 23/3/2015 6. Ngày nộp đồ án: 28/7/2015 TRƢỞNG BỘ MÔN GIẢNG VIÊN HƢỚNG DẪN (Ký,ghi rõ họ tên) (Ký,ghi rõ họ tên)  Đƣợc phép bảo vệ (GVHD ký,ghi rõ họ tên) i
3. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy LỜI CAM KẾT - Tên đề tài: Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn - GVHD: TS.Vũ Quang Huy - Họ tên sinh viên: Ngô Tuấn Anh - MSSV: 10911014 Lớp: 109110A - Địa chỉ sinh viên: Kp VII-TT Chơn Thành-Huyện Chơn Thành-Tỉnh Bình Phƣớc - Số điện thoại liên lạc: 0979508082 - Email: tuananhcdt10@gmail.com - Ngày nộp khoá luận tốt nghiệp (ĐATN): 28/7/2015 - Lời cam kết: “Tôi xin cam đoan khoá luận tốt nghiệp (ĐATN) này là công trình do chính tôi nghiên cứu và thực hiện.Tôi không sao chép từ bất kỳ một bài viết nào đã được công bố mà không trích dẫn nguồn gốc.Nếu có bất kỳ một sự vi phạm nào,tôi xin chịu hoàn toàn trách nhiệm”. Tp.Hồ Chí Minh,ngày .tháng .năm 20 Ký tên Ngô Tuấn Anh ii
4. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy LỜI CẢM ƠN Lời đầu tiên,chúng em xin gửi đến Thầy TS Vũ Quang Huy lời cảm ơn chân thành và sâu sắc nhất.Nhờ có sự hƣớng dẫn và giúp đỡ tận tình của Thầy trong suốt thời gian qua,chúng em đã có thể thực hiện và hoàn thành Đồ Án Cơ Điện Tử và Đồ Án Tốt Nghiệp.Những lời nhận xét,góp ý và chỉ dẫn tận tình của Thầy đã giúp chúng em có một định hƣớng đúng đắn trong suốt quá trình thực hiện Đề tài,giúp chúng em nhìn ra đƣợc những ƣu khuyết điểm của Đề tài và từng bƣớc hoàn thiện hơn. Đồng thời,chúng em xin trân trọng cảm ơn các Thầy Cô của Trƣờng Đại Sƣ Phạm Kỹ Thuật Tp.HCM,các Thầy Cô của khoa Cơ Khí Chế Tạo Máy nói chung và của Bộ Môn Cơ Điện Tử nói riêng đã dạy dỗ chúng em suốt quãng thời gian ngồi trên ghế giảng đƣờng Đại học.Những lời giảng của Thầy Cô trên bục giảng đã trang bị cho chúng em những kiến thức và giúp chúng em tích lũy thêm những kinh nghiệm. Bên cạnh đó,chúng tôi xin cảm ơn sự hỗ trợ và giúp đỡ của bạn bè trong thời gian học tập tại Trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp.HCM và trong quá trình hành trình hoàn thành Đồ Án Tốt Nghiệp này. Cuối cùng,chúng con cũng chân thành cảm ơn sự động viên và sự hỗ trợ của cha mẹ và gia đình trong suốt thời gian học tập.Đặc biệt,chúng con xin gửi lời cảm ơn trân trọng nhất đến cha mẹ,ngƣời đã sinh ra và nuôi dƣỡng chúng con nên ngƣời.Sự quan tâm,lo lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho chúng con cố gắng phấn đấu trên con đƣờng học tập của mình.Một lần nữa,chúng con xin gửi đến cha mẹ sự biết ơn sâu sắc nhất. Tp.Hồ Chí Minh,ngày 15 tháng 07 năm 2015. Ngô Tuấn Anh Nguyễn Đăng Tiến iii
5. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy TÓM TẮT ĐỒ ÁN TÊN ĐỀ TÀI Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn Nhằm cải thiện khả năng di chuyển của ngƣời khuyết tật,đề tài: ” Nghiên cứu phân tích chuyển động của mắt để xuất ratín hiệu điều khiển xe lăn” ra đời.Đề tài tập trung vào nghiên cứu phƣơng pháp điều khiển xe lăn bằng ánh mắt bao gồm các yếu tố: Nghiên cứu phân tích chuyển động của mắt bằng xửlý ảnh. Chuyển tín hiệu ảnh đã xử lý sang tín hiệu điều khiển động cơ xe lăn. Thiết kế chế tạo mô hình xe lăn và điều khiển mô hình bằng tín hiệu mắt. Yếu tố phân tích chuyển động của mắt đƣợc nhóm nghiên cứu giải quyết bằng việc thiết kế và lập trình giao diện điều khiển bằng ngôn ngữ C++ của Micorosoft kết hợp với thƣ viện ảnh nguồn mở OpenCV và Webcam thu tín hiệu chuyển động của mắt. Một điểm đặc biệt của công trình là việc tích hợp module thu phát tín hiệu không dây(HC-11 Bluetooth Module).Để kết nối Pc với mô hình xe lăn giúp tăng khả năng hoạt động của mô hình và giảm cả trở khi xe di chuyển. Để điều khiển tối ƣu cho mô hình xe lăn,nhóm nghiên cứu đã ứng dụng và lập trình mạch điều khiển với Adruino và cách thiết bị điện tử khác để tạo ra bộ điều khiển động cơ tối ƣu. Sản phẩm giao diện phần mềm xử lý ảnh và mô hình xe đã đƣợc nhóm lập trình và chế tạo thành công,kết quả thực nghiệm và vận hành,đáp ứng đƣợc mục tiêu đề ra.Bên cạnh đó sản phẩm vẫn còn một số hạn chế về thời gian vận hành và các tính năng phục vụ cho ngƣời dùng vẫn còn hạn chế. Sinh viên Ngô Tuấn Anh Nguyễn Đăng Tiến iv
6. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy ABSTRACT Analysis of Eye Movement to Control Wheelchair In daily life,the disabled people need the help of autonomous wheelchair.Requirements of autonomous wheelchair is capable of support the move for disabled people.There are many methods for autonomous wheelchair.One of the many advantages the technology used is Image Processing This project presented a research of eye movements using image processing methods.This system has ability to identify,locate the coordinate position of eye in an image based on color feature in an image based on color features,then calculate the distance,the replacement of the eye position.After processing,the computer will transmit control signal to wheelchairs via Bluetooth Transceiver.Wheelchairs will process those signal to move to the destination. v
7. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP i LỜI CAM KẾT ii LỜI CẢM ƠN iii TÓM TẮT ĐỒ ÁN iv ABSTRACT v MỤC LỤC vi DANH MỤC BẢNG BIỂU viii DANH MỤC SƠ ĐỒ,HÌNH VẼ ix DANH MỤC TỪ VIẾT TẮT xi CHƢƠNG 1: TỔNG QUAN 1 1.1.Giới thiệu chung 1 1.2.Ý nghĩa của đề tài 4 1.3 Mục tiêu nghiên cứu của đề tài 4 1.4 Đối tƣợng và phạm vi nguyên cứu 5 1.4.1 Đối tƣợng nghiên cứu 5 1.4.2 Phạm vi nghiên cứu 5 1.5 Phƣơng pháp thực hiện 5 1.6 Kết cấu đề tài 6 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT 7 2.1 Lý thuyết về xử lý ảnh 7 2.1.1 Cấu trúc một file ảnh 10 2.1.2Ảnh màu 10 2.1.3 Không gian màu (Color Space) 10 2.1.4 Không gian màu RGB (RGB Color Space) [6] 11 2.1.5 Không gian màu xám (Gray-scale Color Space) 12 2.1.6 Không gian màu HSV 13 2.1.7 Không gian màu nhị phân 13 vi
8. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy 2.1.8 Chuyển đổi ảnh màu sang ảnh xám 14 2.1.9 Chuyển đổi ảnh xám sang ảnh nhị phân 14 2.1.10 Giải thuật CAMSHIFT (Continuously Adaptive Mean Shift) 15 2.1.11Kỹ thuật lọc số - làm trơn nhiễu 19 2.2 Lý thuyêt về Open CV: 20 2.2.1 Cách tổ chức 22 2.3 Thiết bị điều khiển Arduino 23 2.3.1 Khả năng của mạch Arduino 23 2.3.2 Đọc tín hiệu cảm biến ngõ vào 24 2.3.3 Xuất tín hiệu điều khiển ngõ ra 24 2.3.4 Chuẩn giao tiếp 24 2.3.5 Môi trƣờng lập trình mạch Arduino 25 2.3.6 Các loại bo mạch Arduino 26 CHƢƠNG 3: THIẾT KẾ CƠ KHÍ VÀ MẠCH ĐIỀU KHIỂN 28 3.1 Thiết kế mô hình xe lăn 28 3.1.1 Thi công mô hình. 29 3.2 Lựa chọn động cơ. 30 3.3 Lựa chọn thiết bị tâm xử lý ảnh. 33 3.3.1 Máy tính PC,Laptop 33 3.3.2 Main công nghiệp,máy tính nhúng PC 104 34 3.3.3 Single Board Computer (SBC) sử dụng Single on Chip (SoC) 35 3.3.4 Kết luận: 36 3.4 Thiết bị trung tâm điều khiển động cơ 36 3.5 Thiết bị kết nối và giao tiếp. 37 3.6 Mạch công suất 37 3.7 Kết luận: 38 vii
9. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy CHƢƠNG 4: THIẾT KẾ CHƢƠNG TRÌNH XỬ LÝ ẢNH 39 4.1 Phát triển chƣơng trình xử lý tín hiệu mắt và điều khiển xe lăn 39 4.1.1 Xử lý ngầm 40 4.1.2 Xử lý chính 41 4.2 Ứng dụng thƣ viện Open CV thiết kế chƣơng trình xử lý ảnh. 44 4.2.1 Thiết kế quy trình phân tích chuyển động ,vị trí của mắt 45 CHƢƠNG 5: KẾT QUẢ VÀ THỰC NGHIỆM 53 5.1 Chế tạo mô hình xe lăn 53 5.2 Giao diện điều khiển 53 5.3 Xử lý hiển thị tọa độ mắt và hƣớng di chuyển. 54 CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 57 6.1 Kết luận 57 6.2 Đề nghị 57 6.3 Hƣớng phát triển đề tài 57 TÀI LIỆU THAM KHẢO 58 PHỤ LỤC 59 A:Một số hàm trong Opencv đƣợc sử dụng để xử lý trong chƣơng trinh sử lý ảnh 59 B: Code chƣơng trình sử lí ảnh 61 C: Code chƣơng trình điều khiển động cơ 63 DANH MỤC BẢNG BIỂU,BIỂU ĐỒ Biểu đồ 2.1: Kết quả tìm kiếm với giải thuật CAMSHIFT 18 Biểu đồ 2.2: Tìm pixel trung vị trong cửa sổ lọc 19 viii
10. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy Bảng 4.1: Ma trận pixel trƣớc và sau khi qua bộ lọc trung bình,kích thƣớc 3x3. 48 Bảng 4.2: Ma trận pixel trƣớc và sau khi qua bộ lọc trung vị,kích thƣớc 3x3. 49 Bảng 4.3: Mảng các giá trị pixel của ma trận lọc trung vị đã qua sắp xếp. 49 DANH MỤC SƠ ĐỒ,HÌNH ẢNH Hình 1.1: Ngƣời khuyết tật gặp khó khăn trong việc di chuyển 1 Hình 1.2: Điều khiển bằng tay Hình 1.3: Điều khiển bằng Joystick 2 Hình 1.4: Xe lăn điều khiển bằng hơi thở đối với ngƣời liệt một phần hoặc toàn thân . 3 Hình 1.5: Điều khiển xe lăn bằng điện mắt 3 ix
11. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy Sơ đồ 2.1: Các bƣớc cơ bản trong xử lý ảnh 7 Sơ đồ 2.2: Lƣu đồ thông tin giữa các khối xử lý ảnh 9 Hình 2.1: Mảng hai chiều của một file ảnh 10 Hình 2.2: Các kiểu không gian màu 11 Hình 2.3: Không gian màu RGB 12 Hình 2.4: Không gian màu HSV 13 Hình 2.5: (a) Ảnh xám ; (b),(c) Ảnh nhị phân 15 Biểu đồ 2.1: Kết quả tìm kiếm với giải thuật CAMSHIFT 18 Biểu đồ 2.2: Tìm pixel trung vị trong cửa sổ lọc 19 Sơ đồ 2.3: Tổ chức thƣ viện OpenCV 22 Hình 2.6: Giao diện IDE của Arduino 26 Hình 3.1: Hình thiết kế 3D 28 Hình 3.4: Mô hình bằng inox kết hợp mica 30 Hình 3.5: Cách đọc ký hiệu của step motor 31 Hình 3.6: Thông số chung của của motor 23LK-C047V 32 Sơ đồ: 3.1: Thông số kích thƣớc động cơ 32 Sơ đồ: 3.2: Sơ đồ điều khiển tổng quát 33 Hình 3.8: SBC sử dụng SoC 35 Hình 3.9: Adruino Uno R3 36 Hình 3.10: HC-11 Bluetooth modue 37 Hình 3.11: Mạch cầu H L298 và thông số cơ bản 37 Hình 3.12: Sơ đồ chi tiết thiết bị điều khiển 38 Sơ đồ 4.1: Giải thuật xử lý ảnh 40 Sơ đồ 4.2: Lƣu đồ xử lý chính Error! Bookmark not defined. Hình 4.1: Giao diện điều khiển 2 chế độ Auto& Manual hiển thị hƣớng di chuyển 41 Hình 4.2: Giao diện 2 chế độ Auto& Manual hiển thị hƣớng di chuyển thông lúc hoạt động ở chế độ Auto. 42 x
12. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy Hình 4.3: Giao diện gồm 2 chế độ phần Auto & Manual hiển thị hƣớng di chuyển lên đèn tín hiệu lúc hoạt động ở chế độ Manual. 42 Hình 4.4: Giao diện gồm 2 chế độ phần Auto & Manual hiển thị hƣớng di chuyển lên đèn tín hiệu lúc hoạt động ở chế độ Auto. 43 Hình 4.5: Giao diện Manual 44 Bảng 4.1: Ma trận pixel trƣớc và sau khi qua bộ lọc trung bình,kích thƣớc 3x3. 48 Bảng 4.2: Ma trận pixel trƣớc và sau khi qua bộ lọc trung vị,kích thƣớc 3x3. 49 Bảng 4.3: Mảng các giá trị pixel của ma trận lọc trung vị đã qua sắp xếp. 49 Hình 4.7: Trƣớc khi làm mƣợt ảnh 49 Hình 4.8: Sau khi làm mƣợt ảnh 50 Hình 4.9: Trƣớc khi Điều chỉnh Brightness và Contrast 50 Hình 4.10: Sau khi Điều chỉnh Brightness và Contrast 51 Hình 4.11: Điều chỉnh Brightness và Contrast 51 Hình 4.12: Dán nhãn đối tƣợng đƣợc chọn 52 Hình 4.13: Hình tọa độ của đối tƣợng đã đƣợc xuất 52 Hình 5.1: Mô hình đƣợc thiết kế a) và mô hình thực tế b) 53 Hình 5.2: Giao diện điều khiển 54 Hình 5.3: Hiển thị tọa độ và hƣớng di chuyển. 55 Hình 5.4: Xác định độ lệch tâm Hình 5.5: Xác định tọa độ thực 55 DANH MỤC TỪ VIẾT TẮT CCD Change Coupled Device SBC Single Board Computer SoC Single on Chip CNC Computerized Numerical Control ISP: Internet Service Provider xi
13. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy GPS: Global Positioning System GNU: General Public License CAD: Computer Aided Design RAM: Random Access Memory ROM: Read Only Memory PWM: Pluse Width Modulation SPI: Serial Peripheral Interface TWI: Training Within Industry EEPROM: Electrically Erasable Programmable Read-Only Memory SRAM: Static Random-Access Memory ISP: Internet ServiceProvider xii
14. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy CHƢƠNG 1: TỔNG QUAN Trong chƣơng này sẽ giới thiệu chung về tình hình thiết bị xe lăn hỗ trợ ngƣời khuyết tật hiện nay tại Việt Nam.Từ đó,đƣa ra đƣợc lý do chọn đề tài và mục tiêu mà nhóm nghiên cứu hƣớng đến. 1.1. Giới thiệu chung Ƣớc tính,trên thế giới có hơn 70 triệu ngƣời có nhu cầu xe lăn,nhƣng chỉ có 5-15% số ngƣời có thể tiếp câṇ đƣơc̣ .Ngƣời bêṇ h ở các nƣớc đang phát triển thƣờng phụ thuộc vào sự tài trợ của các tổ chƣ́ c xe lăn,và thƣờng khôngphù hợp với ngƣời sử dụng hoặc môi trƣờng của họ. Hơn nữa,đất nƣớc ta đã trải qua hai cuộc kháng chiến,chống thực dân Pháp và đế quốc Mỹ,có rất nhiều cựu chiến binh đã mất một phần cơ thể nơi chiến trƣờng cùng với hàng ngàn các số phận thiếu may mắntrong cuộc sống do gặp phải những tai nạn hay bệnh tật trong đời sống không có một cơ thể lành lặn nhƣ những ngƣời bình thƣờng khác trong xã hội.Họ gặp phải rất nhiều khó khăn với việc di chuyển trong cuộc sống hằng ngày. Hình 1.1: Ngƣời khuyết tật gặp khó khăn trong việc di chuyển Nhằm tạo điều kiện thuận lợi cho những ngƣời khuyết tật không có đôi chân nguyên vẹn,những chiếc xe lăn thô sơ ra đời giúp những ngƣời khuyết tật có thể tự di chuyển.Tuy nhiên.viẹc di chuyển những chiếc xe lăn đòi hỏi ngƣời khuyết tật cần có một đôi tay khỏe mạnh đủ sức để điều khiển xe,mặt khác tốc độ của xe hoàn toàn phụ thuộc vào lực tay và sức của ngƣời sử dụng,còn những ngƣời già yếu,nhƣng ngƣời có vấn đề về sức khỏe lại không đủ sức khỏe để điều khiển chiếc xe. 1
15. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy Hiện nay,thị trƣờng thiết bị xe điện lăn giành cho ngƣời gặp khó khăn trong di chuyển rất đa dạng và phong phú tập trung và tập trung và các dòng sản điều khiển bằng tay ( Hình 1.2),hoặc Joystick(Hình 1.3). Hình 1.2: Điều khiển bằng tay Hình 1.3: Điều khiển bằng Joystick Tuy nhiên,những thiết bị dành cho những liệt toàn thân còn rất ít ở Việt Nam.Trên thế giới đã có những nghiên cứu ứng dụng công nghệ cao để tạo ra những thiết bị xe lăn tiên tiến phục vụ cho những ngƣời kém may mắn này.  Xe lăn điều khiển bằng hơi thở. Các chuyên gia tại Viện Khoa học Weizmann,Israel phát minh một thiết bị điều khiển bằng động tác hít.Thiết bị thổi nhẹ không khí qua một ống đặt ngang mũi ngƣời liệt.Khi ngƣời sử dụng hít thở,luồng không khí bị chặn.Thiết bị xác định chính xác động tác đƣợc thực hiện vào thời điểm nào,diễn ra trong bao lâu và mạnh tới mức nào.Những thông số đó sẽ đƣợc chuyển đổi thành tín hiệu điện và truyền xuống nhiều thiết bị xe lăn,máy tính. 2
16. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy Hình 1.4: Xe lăn điều khiển bằng hơi thở đối với ngƣời liệt một phần hoặc toàn thân  Điều khiển xe lăn bằng điện mắt. Hệ thống do trƣờng Đại học Imperial College London (Anh) phát triển,dựa trên một phần mềm nhận dạng chuyển động của mắt.Phần mềm này có thể phân biệt giữa việc ngƣời dùng quan sát với việc họ muốn di chuyển tới một hƣớng nhất định Hình 1.5: Điều khiển xe lăn bằng điện mắt 3
17. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy Điểm mấu chốt của công nghệ này dựa trên sự theo dõi đồng tử mắt.Điều này vô cùng quan trọng đối với những bệnh nhân mắc hội chứng rối loạn vận động cấp cao,bởi ngay cả khi họ không cử động đƣợc bất cứ bộ phận nào từ dƣới cổ,họ vẫn có thể sử dụng đôi mắt của mình Trƣớc thực trạng đó,nhóm sinh viên chúng em đã đƣa ra vấn đề cần nguyên cứu phƣơng pháp điều khiển xe lăn có thể giúp ngƣời khuyết tật đặc biệt những ngƣời bị liệt toàn thân(nữa thân)gặp khó khăn trong cuộc sống có thể sử dụng và trong việc di chuyển. Đƣợc sự đồng ý và hƣớng dẫn nhiệt tình của giảng viên hƣớng dẫn Thầy TS.Vũ Quang Huy nhóm nguyên cứu quyết định chọn đề tài: ”Nghiên cứu phân tích chuyển động của mắt xuất tiến hiệu điều khiển xe lăn”là đề tài nguyên cứu cho đồ án tốt nghiệp của nhóm. 1.2.Ý nghĩa của đề tài Ứng dụng những kiến thức khoa học kĩ thuật đã đƣợc học trên giảng đƣờng đại học vào đời sống con ngƣời Nghiên cứu và tạo tiền đề cho phƣơng pháp mới ứng dụng khoa học công nghệ mới có thể thay thế sức ngƣời,phục vụ cho việc tạo ra các sản phẩm phục vụ tốt cho những ngƣời khuyết tật kém may mắn. Hƣởng ứng lời phát độngvề”nghiên cứu ứng dụng các thành tựu khoa học vào sản phẩm hỗ trợ ngƣời khuyếttật” của Bộ trƣởng Bộ Khoa học và Công nghệ và Bộ trƣởng Bộ Lao động,Thƣơng binh và Xã hội ban hành 20 tháng 12 năm 2012. 1.3 Mục tiêu nghiên cứu của đề tài o Thiết kế,hoàn thiện phần cơ khí mô hình của xe lăn và phần mạch điện để điều khiển xe lăn,giao tiếp xe lăn - máy tính o Nghiên cứu,xây dựng chƣơng trình nhận dạng đối tƣợng dựa vào màu sắc dùng thị giác máy tính và chƣơng trình điều khiển xe lăn.Chƣơng trình phải có khả năng thực hiện: o Thu nhận hình ảnh động của mắt từ camera (webcam) và xử lý. 4
18. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy o Nhận dạng màu sắc,xác định vị trí sai lệch khi chuyển động của mắt, và xuất tín hiệu điều khiển động cơ 1.4 Đối tƣợng và phạm vi nguyên cứu 1.4.1 Đối tƣợng nghiên cứu Nghiên cứu phƣơng pháp điều khiển động cơ xe lăn bằng việc ứng dụng chƣơng trình xử lýảnh phân tích chuyển động của mắt,xử lý và xuất tín hiệu điều khiển động cơ có thể di chuyển theo ánh mắt của ngƣời điều khiển. 1.4.2 Phạm vi nghiên cứu Đề tài: ”Nghiên cứu phân tích chuyển động của mắt xuất ra tín hiệu điều khiển xe lăn”nhóm nghiên cứu tập trung vào nguyên cứu các vấn đề: o Nghiên cứu về mạch điều khiển Adruino,bộ nhậnthu nhận sóng Bluetooth,động cơ bƣớc và các IC liên quan. o Nghiên cứu về lĩnh vực thị giác máy tính,công nghệ xử lý ảnh (Image Procesing). o Tìm hiểu về lập trình ứng dụng với ngôn ngữ C++ kết hợp thƣ viện xử lý ảnh mã nguồn mở OpenCV của Intel.Lập trình mạch điều khiển PIC với ngôn ngữ C. o Thiết kế hoàn chỉnh mô hình xe lăn.Thiết kế board mạch cho xe dùng bộ điều khiển,Adruino. o Lập trình giao diện điều khiển xe lăn điều khiển bằng ánh mắt ứng dụng thị giác máy tính. 1.5Phƣơng pháp thực hiện Thiết kế và gia công cơ khí phần mô hình xe lăn. - Mô hình xe lăn với hình thức di chuyển bằng bánh xe và hai bánh tự lựa,Động cơ đƣợc chọn là động Step motor có công suất và kích thƣớc phù hợp với thiết kế ban đầu. - Camera đƣợc gắn trên xe một cách hợp lý để phát huy hết tác dụng và không bị cản trở trong quá trình chuyển động. Xây dựng các thuật toán điều khiển cho xe lăn,thiết kế giao diện điều khiển. 5
19. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy 1.6 Kết cấu đề tài  Chƣơng 1: Giới thiệu Nêu lên tính cấp thiết của đề tài.Đối tƣợng ,mục tiêu và phƣơng pháp nghiên cứu của đề tài  Chƣơng 2: Cơ sở lý thuyết .Trong chƣơng này trình bày cơ sở lý thuyết đƣợc sử dụng trong đề tàivề xử lý ảnh,Open CV,Adruino.  Chƣơng 3: Thiết kế cơ khí và mạch điều khiển Đƣa ra thiết kế cơ khí,phƣơng án thiết kế cơ khí và mạch điều khiển  Chƣơng 4: Thiết kế chƣơng trình điều khiển  Chƣơng5: Kết quả và thực nghiệm  Chƣơng 6: Kết luận và hƣớng phát triển Những thuận lợi và hạn chế của đề tài,hƣớng phát triển của đề tài trong tƣơng lai. 6
20. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy CHƢƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Lý thuyết về xử lý ảnh Để hiểu một cách cụ thể hơn về xử lý ảnh,ta xét các bƣớc cần thiết trong xử lý ảnh.Đầu tiên,ảnh tự nhiên từ thế giới ngoài đƣợc thu nhận qua các thiết bị thu (nhƣ Camera,máy chụp ảnh).Trƣớc đây,ảnh thu qua Camera là cácảnh tƣơng tự (loại Camera ống kiểu CCIR).Gần đây,với sự phát triển của công nghệ,ảnh màu hoặc đen trắng đƣợc lấy ra từ Camera,sau đó nó đƣợc chuyển trực tiếp thành ảnh số,tạo thuận lợi cho xử lý tiếp theo.Mặt khác,ảnh cũng có thể tiếp nhận từ vệ tinh,có thể quét từ ảnh chụp bằng máy quét ảnh.Hình dƣới đây mô tả các bƣớc cơ bản trong xử lý ảnh. Sơ đồ 2.1: Các bƣớc cơ bản trong xử lý ảnh Sơ đồ này bao gồm các thành phần sau: o Phần thu nhận ảnh (Image Acquisition) Ảnh có thể nhận qua camera màu hoặc đen trắng.Thƣờng ảnh nhận qua camera là ảnh tƣơng tự (loại camera ống chuẩn CCIR với tần số 1/25,mỗi ảnh 25 dòng),cũng có loại camera đã số hoá (nhƣ loại CCD – Change Coupled Device) là loại photodiot tạo cƣờng độ sáng tại mỗi điểm ảnh.Camera thƣờng dùng là loại quét dòng;ảnh tạo ra có dạng hai chiều.Chất lƣợng một ảnh thu nhận đƣợc phụ thuộc vào thiết bị thu,vào môi trƣờng (ánh sáng,phong cảnh). o Tiền xử lý (Image Processing) Sau bộ thu nhận,ảnh có thể nhiễu độ tƣơng phản thấp nên cần đƣa vào bộ tiền xử lý để nâng cao chất lƣợng.Chức năng chính của bộ tiền xử lý là lọc nhiễu,nâng độ tƣơng 7
21. Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn GVHD: TS. Vũ Quang Huy phản để làm ảnh rõ hơn,nét hơn. o Phân đoạn (Segmentation) hay phân vùng ảnh Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích,nhận dạng ảnh.Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thƣ cho mục đích phân loại bƣu phẩm,cần chia các câu,chữ về địa chỉ hoặc tên ngƣời thành các từ,các chữ,các số (hoặc các vạch) riêng biệt để nhận dạng.Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi,làm mất độ chính xác của ảnh.Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. o Biểu diễn ảnh (Image Representation) Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lân cận.Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính.Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trƣng (Feature Selection) gắn với việc tách các đặc tính của ảnh dƣới dạng các thông tin định lƣợng hoặc làm cơ sở để phận biệt lớp đối tƣợng này với đối tƣợng khác trong phạm vi ảnh nhận đƣợc.Ví dụ: trong nhận dạng ký tự trên phong bì thƣ,chúng ta miêu tả các đặc trƣng của từng ký tự giúp phân biệt ký tự này với ký tự khác. o Nhận dạng và nội suy ảnh (ImageRecognition& Interpretation) Nhận dạng ảnh là quá trình xác định ảnh.Quá trình này thƣờng thu đƣợc bằng cách so sánh với mẫu chuẩn đã đƣợc học (hoặc lƣu) từ trƣớc.Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng.Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì thƣ có thể đƣợc nội suy thành mã điện thoại.Có nhiều cách phân loai ảnh khác nhau về ảnh.Theo lý thuyết về nhận dạng,các mô hình toán học về ảnh đƣợc phân theo hai loại nhận dạng ảnh cơ bản: - Nhận dạng theo tham số. - Nhận dạng theo cấu trúc. Một số đối tƣợng nhận dạng khá phổ biến hiện nay đang đƣợc áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in,chữ viết tay,chữ ký điện tử),nhận dạng văn bản (Text),nhận dạng vân tay,nhận dạng mã vạch,nhận dạng mặt ngƣời 8
22. S K L 0 0 2 1 5 4