Luận văn Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kid Raspberry Pi (Phần 1)

Nội dung text: Luận văn Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kid Raspberry Pi (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KID RASPBERRY PI GVHD: ThS. NGÔ QUỐC CƯỜNG SVTH: NGÔ HOÀI BẢO MSSV: 12141476 SVTH: NGUYỄN TRUNG ĐẠT MSSV: 12141049 S K L 0 0 4 3 4 4 Tp. Hồ Chí Minh, tháng 7/2016
2. BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KIT RASPBERRY PI GVHD: ThS.Ngô Quốc Cường SVTH: Ngô Hoài Bảo 12141476 Nguyễn Trung Đạt 12141049 Tp. Hồ Chí Minh – 7/2016
3. BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KIT RASPBERRY PI GVHD: ThS.Ngô Quốc Cường SVTH: Ngô Hoài Bảo 12141476 Nguyễn Trung Đạt 12141049 Tp. Hồ Chí Minh – 7/2016
4. LỜI CAM ĐOAN Đề tài này là do nhóm tự thực hiện dựa vào một số tài liệu trước đó và không sao chép từ tài liệu hay công trình đã có trước đó. Người thực hiện đề tài Nguyễn Trung Đạt Ngô Hoài Bảo
5. LỜI CẢM ƠN Em xin gởi lời cảm ơn sâu sắc đến thầy Ngô Quốc Cường đã trực tiếp hướng dẫn và tận tình giúp đỡ tạo điều kiện để hoàn thành tốt đề tài. Em xin gởi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã tạo những điều kiện tốt nhất cho em hoàn thành đề tài. Em cũng gửi lời đồng cảm ơn đến các bạn lớp 12141DT2 đã chia sẻ trao đổi kiến thức cũng như những kinh nghiệm quý báu trong thời gian thực hiện đề tài. Xin chân thành cảm ơn! Người thực hiện đề tài Ngô Hoài Bảo Nguyễn Trung Đạt
6. MỤC LỤC Trang bìa I Nhiệm vụ đồ án II Lịch trình III Cam đoan IV Lời cảm ơn V Mục lục VI Liệt kê hình vẽ IX Liệt kê bảng vẽ XI Tóm tắt XII Chương 1. TỔNG QUAN 1 1.1 ĐẶT VẤN ĐỀ 1 1.2 MỤC TIÊU 3 1.3 NỘI DUNG NGHIÊN CỨU 3 1.4 GIỚI HẠN 3 1.5 BỐ CỤC ĐỀ TÀI 5 Chương 2. CƠ SỞ LÝ THUYẾT 6 2.1 TÌM HIỂU KIT RASPBERRY PI 2(RPI2) 6 2.2 NGÔN NGỮ KÝ HIỆU 7 2.3 TÌM HIỂU XỬ LÝ ẢNH 8 2.3.1 GIỚI THIỆU 8 2.3.1.1 Phần thu nhận ảnh (Image Acquisition) 9 2.3.1.2 Tiền xử lý (Image Processing) 9 2.3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh 9 2.3.1.4 Biểu diễn ảnh (Image Representation) 9 2.3.1.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation) 9 2.3.1.6 Cơ sở tri thức (Knowledge Base) 10 2.3.2 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 10 2.3.2.1 Điểm ảnh ( Picture Element) 10 2.3.2.2 Ảnh 10 2.3.2.3 Độ phân giải của ảnh 11 2.3.2.4 Mức xám của ảnh 11 2.3.2.5 Ảnh nhị phân 12 2.3.2.6 Ảnh màu 12 2.3.2.7 Khử nhiễu 12 2.3.2.8 Chỉnh mức xám 12 2.3.2.9 Nhận dạng ảnh 12
7. 2.4 PHÁT HIỆN MÀU DA DỰA VÀO KHÔNG GIAN MÀU 13 2.4.1 GIỚI THIỆU 13 2.4.2 CHUYỂN ẢNH MÀU THÀNH ẢNH XÁM 13 2.4.3 KHÔNG GIAN MÀU 14 2.4.3.1 Không gian màu RGB 15 2.4.3.2 Không gian màu HSV 16 2.5 THUẬT TOÁN ADABOOST VÀ MÔ HÌNH CASCADE 16 2.5.1 ĐẶC TRƯNG HAAR-LIKE 16 2.5.2 ĐẶC TRƯNG HISTOGRAM OF ORIENTED GRADIENTS (HOG) 18 2.5.2.1 Rút trích đặc trưng HOG trong ảnh 19 2.5.2.2 Chuẩn hóa vector đặc trưng cho từng block 22 2.5.3 THUẬT TOÁN TĂNG TỐC ADABOOST 23 2.5.4 MÔ HÌNH CASCADE 26 2.5.4.1 Giai đoạn huấn luyện của bộ phân loại (stage) 28 2.5.4.2 Tầng phân loại (Cascade) 28 Chương 3. TÍNH TOÁN THIẾT KẾ 31 3.1 GIỚI THIỆU 31 3.2 TÍNH TOÁN VÀ THIẾT KẾ HỆ THỐNG 31 3.2.1 THIIẾT KẾ SƠ ĐỒ KHỐI HỆ THỐNG 31 3.2.2 TÍNH TOÁN VÀ THIẾT KẾ MẠCH 31 3.2.2.1 Khối nhận dạng cử chỉ 31 3.2.2.2 Khối công suất 33 3.3 SƠ ĐỒ NGUYÊN LÝ TOÀN MẠCH 34 Chương 4. THI CÔNG HỆ THỐNG 35 4.1 GIỚI THIỆU 35 4.2 THI CÔNG 35 4.2.1 DANH SÁCH LINH KIỆN 35 4.2.2 SƠ ĐỒ SẮP XẾP LINH KIỆN 35 4.2.3 SƠ ĐỒ MẠCH IN 36 4.3 LẬP TRÌNH HỆ THỐNG NHẬN DẠNG CỬ CHỈ TAY 37 4.3.1 LƯU ĐỒ GIẢI THUẬT NHẬN DIỆN CỬ CHỈ TAY BẰNG NGƯỠNG MÀU DA 37 4.3.2 QUY TRÌNH HUẤN LUYỆN PHÁT HIỆN BÀN TAY TRÊN MÁY TÍNH 39 4.4 KẾT QUẢ MÔ PHỎNG 44 Chương 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 47 5.1 NHỮNG MẶT ĐÃ LÀM ĐƯỢC 47 5.2 NHỮNG MẶT CHƯA LÀM ĐƯỢC 47
8. 5.3 NHỮNG KẾT QUẢ BẰNG HÌNH ẢNH CỦA ĐỀ TÀI THU ĐƯỢC 47 Chương 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 50 6.1 KẾT LUẬN 50 6.2 HƯỚNG PHÁT TRIỂN 50 TÀI LIỆU THAM KHẢO PHỤ LỤC A. HƯỚNG DẪN SỬ DỤNG B. CODE CHƯƠNG TRÌNH
9. LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1. Kit Raspberry Pi 2 Model B v1.1 6 Hình 2.2. Cử chỉ bàn tay số từ 1-10 của ASL 8 Hình 2.3. Mô tả các bước cơ bản trong xử lý ảnh 8 Hình 2.4. Ảnh RGB 14 Hình 2.5. Chuyển ảnh màu thành ảnh xám 14 Hình 2.6. Các màu cơ sở 15 Hình 2.7. Không gian màu RGB 15 Hình 2.8. Không gian màu HSV 16 Hình 2.9. Đặc trưng theo cạnh 16 Hình 2.10. Đặc trưng theo đường 17 Hình 2.11. Đặc trưng xung quanh tâm 17 Hình 2.12. Đặc trưng theo đường chéo 17 Hình 2.13. Ảnh chia nhỏ tại vị trí (x,y) 18 Hình 2.14. Tổng giá trị pixel nằm trong vùng A 18 Hình 2.15. R-HOG và C-HOG 19 Hình 2.16. Mỗi khối (block) gồm 9 ô 20 Hình 2.17. Các khối được xếp chồng lên nhau 20 Hình 2.18. Tính góc và biên độ theo X-Gradient và Y-Gradient 21 Hình 2.19. Các bước rút trích đặc trưng trong HOG 22 Hình 2.20. Lược đồ cơ bản của AdaBoost 23 Hình 2.21. Thuật toán học AdaBoost 24 Hình 2.22. Dùng chuỗi Cascade để phát hiện cửa sổ con phù hợp 27 Hình 2.23. Cấu trúc chuỗi Cascade song song 28 Hình 2.24. Cấu trúc của chuỗi cascade nối tiếp, với N giai đoạn học huấn luyện 29 Hình 3.1. Sơ đồ khối hệ thống 31 Hình 3.2. Sơ đồ chân kit raspberry Pi 2 32 Hình 3.3. Camera pi kết nối với kit Raspberry pi 33 Hình 3.4. Sơ đồ nguyên lý khối công suất 33 Hình 3.5. Sơ đồ kết nối khối công suất với kit Raspberry pi 34 Hình 4.1. Sơ đồ sắp xếp linh kiện trên phần mềm 36 Hình 4.2. Sơ đồ sắp xếp linh kiện thực tế 36 Hình 4.3. Sơ đồ mạch in khối công suất 37 Hình 4.4. Lưu đồ giải thuật nhận diện cử chỉ tay bằng ngưỡng màu da 38 Hình 4.5. Một số ảnh positive trong tập huấn luyện 40 Hình 4.6. Một số ảnh negative trong tập huấn luyện 40
10. Hình 4.7. Giao diện Training Image Labeler 41 Hình 4.8. Giao diện Training Image Labeler sau khi thêm hình ảnh tích cực 41 Hình 4.9. Ảnh sau khi xác định ROI 42 Hình 4.10. Tên ROI cần xuất 42 Hình 4.11. Thư mục chứa file L305_GOP .MAT, thư mục “po”, “ne” 43 Hình 5.1. Hộp sản phẩm 47 Hình 5.2. Mặt trước hộp sản phẩm 48 Hình 5.3. Kết nối mạch công suất với raspberry pi 49
11. LIỆT KÊ BẢNG Bảng Trang Bảng 1.1. Nội dung nghiên cứu 3 Bảng 1.2. Tập cử chỉ đề xuất 4 Bảng 2.1. Cấu hình Raspberry Pi 2 model B v1.1 7 Bảng 3.1. Bảng linh kiện và dòng điện tiêu thụ 34 Bảng 4.1. Danh sách linh kiện 35 Bảng 4.2. Kết quả mô phỏng 44 Bảng 6.1. Kết luận 50
12. TÓM TẮT Cùng với sự phát triển của khoa học công nghệ, các thiết bị điện tử đều dần phát triển theo hướng tự động hóa, thông minh, càng hiểu ý con người. Trong những năm gần đây, nhiều loại hệ thống nhận dạng cử chỉ bàn tay đã được đề xuất và phát triển theo hướng ứng dụng thực tế có nhiều thành tựu đáng kể. Đề tài thực hiện nhận dạng cử chỉ tay sử dụng phương pháp nhận diện màu da kết hợp với file huấn luyện phát hiện bàn tay được tạo ra từ thuật toán huấn luyện HOG, thuật toán tăng tốc ADABOOST. Hệ thống đưa ra gồm có 5 cử chỉ, được thiết kế sao cho khi phát hiện cử chỉ tay từ camera thời gian thực đưa ra lệnh điều khiển 4 thiết bị. Mô hình nhận dạng chạy trên nền kit Raspberry Pi 2 model B v1.1, sử dụng ngôn ngữ Python và thư viện có sẵn OpenCV. Trong điều kiện môi trường thích hợp (ánh sáng, màu nền đơn giản, không có màu trùng ngưỡng với màu da) kết quả nhận diện khoảng 85%.
13. CHƯƠNG 1. TỔNG QUAN Chương 1. TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ Ngày nay với những tiến bộ vượt bậc của khoa học kỹ thuật, cùng với bộ môn khoa học xử lý ảnh đã và đang thu được những thành tựu lớn lao. Các thiết bị điện tử đều dần phát triển theo hướng tự động hóa, thông minh, càng hiểu ý con người, chúng giao tiếp với con người mà không cần thiết bị trung gian nào, để làm được điều đó các thiết bị cảm biến, thuật toán nhận dạng ra đời ngày càng hiện đại hơn, càng chính xác hơn, dễ sử dụng hơn, chúng có thể nhận biết các hoạt động của con người, cảm xúc của con người và hoạt động theo đúng ý muốn của họ. Bài toán “Nhận dạng cử chỉ điều khiển thiết bị” là một trong số đó. Ngôn ngữ cơ thể, đặc biệt là ngôn ngữ bằng tay ngày càng được xem là một trong những phương pháp tương tác rất tự nhiên và trực quan. Trong những năm gần đây, nhiều loại hệ thống nhận dạng cử chỉ bàn tay đã được đề xuất và phát triển theo hướng thực hành sử dụng vào trong cuộc sống thực cũng như việc nghiên cứu các giải thuật nhận dạng một cách chính xác hơn: Nghiên cứu của Chen Chiung Hsieh và Dung Hua Liou về nhận dạng cử chỉ bằng lịch sử chuyển động ảnh [1]. Các khung hình được tích lũy trong các hình ảnh lịch sử chuyển động. Sử dụng các báo động sai lọc ra nếu số lượng điểm ảnh da phát hiện nhỏ hơn một ngưỡng nhất định. Hệ thống được xây dựng trên các khối: Digital Zoom, phát hiện màu da, nhận dạng cử chỉ. Nghiên cứu của Dharani Mazumdar, Anjan Kumar Talukda và Kandapar Kumar Sarma nghiên cứu nhận dạng cử chỉ bằng găng tay cảm biến Data Glove [2]. Bằng việc sử dụng lối ra số của serson gia tốc MEMS gắn liền với các ngón tay và sử dụng vi điều khiển. Máy tính phân tích và xử lý thông tin dữ liệu và thực hiện các thuật toán. Trong nước có đề tài: “Nghiên cứu phát triển kỹ thuật nhận dạng cử động của bàn tay người theo thời gian thực” của nhóm nghiên cứu trẻ thuộc Khoa Công nghệ Thông tin, Học viện Kỹ thuật Quân sự do tiến sỹ Trần Nguyên Ngọc làm chủ nhiệm đã mở ra nhiều hướng ứng dụng hiệu quả trong thực tế [3]. Những hiệu quả trong ứng dụng của đề tài như phát triển hệ thống hỗ trợ tra cứu thông BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 1
14. CHƯƠNG 1. TỔNG QUAN tin và điều khiển thiết bị từ xa, điều khiển robot trợ giúp người khuyết tật, tích hợp điều khiển tivi, máy nghe nhạc Trường Đại học sư phạm kĩ thuật thành phố Hồ Chí Minh có đề tài: “Nhận diện cử chỉ bàn tay sử dụng phân cụm K-MEANS và mạng NƠ-RON” do 2 sinh viên Võ Đắc Thọ và Trần Quang Tráng thực hiện vào năm 2014 [4]. Giúp tìm hiểu được tổng quát về xử lý ảnh, tìm hiểu được các phương pháp nhận dạng cử chỉ tay, mô phỏng các tập lệnh liên quan đến đề tài bằng matlab. Tuy nhiên đề tài chỉ dừng lại nhiều ở mức lý thuyết và sử dụng mô phỏng để kiểm chứng kết quả nên còn nhiều hạn chế trong thực tế. Bên cạnh đó còn có các đề tài ứng dụng xử lý ảnh về nhận dạng khuôn mặt, điển hình như: “Nhận diện khuôn mặt ứng dụng trong bảo mật và chấm công dùng kít raspberry pi” do 2 sinh viên Duy và Tâm thực hiện năm 2015 [5]. Đạt được kết quả nhận diện thành công 95% trong khoảng cách 0.5m, tuy nhiên phải lấy mẫu từng người một, ảnh người chụp thẳng nghiêng không quá 10° và ảnh chỉ chụp trong điều kiện ánh sáng bình thường , tốc độ xử lý chậm 5 phút. Đề tài : “Ứng dụng xử lý ảnh cảnh báo tài xế ngủ gật” do sinh viên Phương và Tâm thực hiện năm 2014 [6], đã phát hiện được đúng trên 90% với khoảng cách từ 0.2-1.2 m, nhưng còn tồn tại nhược điểm: Không thể quay trái phải với góc > 40° trên windown và 20° trên kit, chưa đáp ứng được tốc độ hay xử lý có phần hạn chế với người đeo kính, Đề tài “Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kit raspberry pi” của nhóm xây dựng với mong muốn góp một phần thúc đẩy sự phát triển trong nhận dạng cử chỉ, thông qua việc tìm hiểu và kế thừa các thành tựu đã có từ các công trình nghiên cứu trước. Về mặt kỹ thuật, đề tài giúp con người tương tác với hệ thống thiết bị, không còn bó buộc trong những cách tương tác truyền thống (như thông qua bàn phím máy tính, con chuột hoặc điện thoại ) mà chuyển sang tương tác trực tiếp bằng cử chỉ. Ngoài ra có thể giúp người khiếm thính nhận biết ngôn ngữ qua cử chỉ bàn tay, người có vấn đề về cơ bắp điều khiển một số thiết bị gia dụng, Về mặt nghiên cứu khoa học, hệ thống nhận dạng cử chỉ của nhóm ứng dụng phương pháp tối ưu nhất có đầy đủ tri thức về nhận dạng và dữ liệu huấn luyện giúp nhận biết được chính xác các dạng cử chỉ, có khả năng đưa ra kết quả chính xác cao. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 2
15. CHƯƠNG 1. TỔNG QUAN 1.2 MỤC TIÊU Tách được bàn tay một cách nhanh chóng, chính xác, nhận dạng được một số cử chỉ với nền đơn giản. Thiết kế và thi công mô hình, giao diện điều khiển 4 thiết bị bằng cách chụp ảnh bằng camera qua kit raspberry pi 2. 1.3 NỘI DUNG NGHIÊN CỨU Bảng 1.1. Nội dung nghiên cứu Tuần Nội dung Tìm hiểu xử lý ảnh và các công trình nghiên cứu liên quan đến đề Tuần 1 tài Tìm hiểu các phương pháp nhận diện bàn tay Tuần 2 Cấu hình kit raspberry, cài đặt thư viện opencv Tuần 3 Kết nối camera với kit raspberry pi, tiến hành chụp ảnh bàn tay Tuần 4 Nhận dạng cử chỉ bàn tay bằng ngưỡng màu da Tuần 5 Sử dụng cử chỉ tay đưa ra tập lệnh điều khiển Tuần 6 Chụp ảnh mẫu bàn tay Tuần 7 Ứng dụng matlab huấn luyện phát hiện bàn tay Tuần 8 Nhận dạng cử chỉ tay trên nền file huấn luyện phát hiện bàn tay Tuần 9 Thiết kế, thi công khối công suất Tuần 10 Lắp ráp, kiểm tra mạch Tuần 11 Làm mô hình sản phẩm Tuần 12 Tối ưu hóa hệ thống, hoàn thiện đề tài Tuần 13 Viết báo cáo đề tài Tuần 14 1.4 GIỚI HẠN Sử dụng thư viện OpenCV và ngôn ngữ python lập trình trên nền kit Raspberry Pi 2. Nhận dạng cử chỉ tĩnh của bàn tay thông qua camera Pi. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 3
16. CHƯƠNG 1. TỔNG QUAN Nhóm thực hiện được nhận diện 4 cử chỉ bàn tay với thời gian thực. Được mô tả như bảng 1.2. Bảng 1.2. Tập cử chỉ đề xuất Tên cử chỉ Ảnh minh họa “Bật thiết bị 1” “Bật thiết bị 2” “Bật thiết bị 3” “Bật thiết bị 4” “Tắt toàn bộ” Xử lý cử chỉ nhận dạng trong 1 đến 4s. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 4
17. CHƯƠNG 1. TỔNG QUAN Môi trường nhận dạng không phức tạp: Đầy đủ ánh sáng (ánh sáng mặt trời sáng, trưa hoặc đèn chiếu sáng đầy đủ), môi trường ít nhiễu(không có màu tương tự ngưỡng màu da, nền không quá nhiều đồ vật ảnh hưởng đến loại trừ nền trong nhận diện) Khoảng cách nhận dạng từ 0.5 đến 1.2 mét. 1.5 BỐ CỤC ĐỀ TÀI Với đề tài “Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kit raspberry pi” nhóm tập trung nghiên cứu các vấn đề cụ thể sau: Chương 1: Tổng quan. Trong chương này trình bày đặt vấn đề dẫn nhập về lý do chọn đề tài, mục tiêu, cùng với nội dung thực hiện, những vấn đề đề tài có thể làm được và bố cục mẫu báo cáo. Chương 2: Cơ sở lý thuyết. Trong chương này trình bày về kiến thức tổng quát các vấn đề liên quan đến đề tài: Ngôn ngữ ký hiệu, cử chỉ bàn tay, các vấn đề về xử lý ảnh, màu da, thuật toán huấn luyện và đặc tính kĩ thuật của kit Raspberry Pi 2. Chương 3: Tính toán thiết kế. Trong chương này trình bày sơ đồ khối của hệ thống, sơ đồ nguyên lý của toàn mạch và tính toán chi tiết các linh kiện cần sử dụng. Chương 4: Thi công hệ thống. Trong chương này trình bày tổng thể phần cứng, thi công mạch điều khiển, hướng lập trình và kết quả mô phỏng. Chương 5: Kết quả-nhận xét-đánh giá. Trình bày về các mặt làm được cũng như chưa làm được, kết quả thực tế của hệ thống nhận dạng đã làm được. Chương 6: Kết luận và hướng phát triển. Nhận xét tổng quát về đề tài, mở ra hướng phát triển, ứng dụng thực tiễn trong cuộc sống. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 5
18. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Chương 2. CƠ SỞ LÝ THUYẾT Ý tưởng để làm cho máy móc hiểu ngôn ngữ con người, cụ thể trong đề tài là cử chỉ bàn tay, cần phải tìm hiểu đầy đủ tri thức về cách truyền nhận, xử lý hình ảnh cũng như công cụ để xử lý những tín hiệu đưa về, đưa ra các tín hiệu phù hợp. Trong chương này, nhóm sẽ trình bày chi tiết và đầy đủ nhất cách tiếp cận và xử lý của đề tài. 2.1 TÌM HIỂU KIT RASPBERRY PI 2(RPI2) Hình 2.1. Kit Raspberry Pi 2 Model B v1.1 [7] Raspberry Pi được phát triển bởi Raspberry Pi Foundation (Anh) nhằm sử dụng trong giảng dạy kiến thức cơ bản về khoa học máy tính. RPI 2 là máy tính siêu nhỏ (to bằng thẻ tín dụng) giá rẻ (khoảng dưới 1 triệu đồng) và tiêu thụ điện năng cực ít (khoảng 3Wh, chỉ bằng 1/13 lần so với bóng điện tuýp 1,2m). Raspberry Pi được phát triển lần đầu vào năm 2009, cho đến năm 2015 là bản Raspberry Pi 2 Model B v1.1. RPI có thể chạy các hệ điều hành nền Linux như Raspbian, OpenELEC, archLinux, và đặc biệt là Microsoft đã tuyên bố RPI có thể chạy Windows 10. Với vai trò như một máy tính cá nhân, RPI 2 có thể dùng làm những server không yêu cầu năng lực xử lý cao như NAS, Media Server, Firewall, BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 6
19. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT RPI 2 cũng có thể dùng với webcam, IP cam, như một hệ thống giám sát với các tính năng phát hiện chuyển động, phát hiện âm thanh, Bảng 2.1. Cấu hình Raspberry Pi 2 model B v1.1 [8] Thành phần Chỉ số CPU A 900MHz quad-core ARM Cortex-A7 RAM 1GB Cổng USB 4 cổng loại 2.0 1 cổng micro USB cấp nguồn GPIO 40 chân HDMI 1 cổng Ethernet(LAN) 1 cổng Jack âm thanh ra, micro vào và video ra 1 jack cắm 3.5 mm Khe giao tiếp camera(CSI) 1 khe Khe giao tiếp màn hình(DSI) 1 khe Khe cắm thẻ nhớ Micro SD 1 khe Card màn hình VideoCore IV 3D graphics 2.2 NGÔN NGỮ KÝ HIỆU Ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ là ngôn ngữ dùng những biểu hiện của bàn tay thay cho âm thanh của tiếng nói. Ngôn ngữ ký hiệu do người điếc tạo ra nhằm giúp họ có thể giao tiếp với nhau trong cộng đồng của mình và tiếp thu tri thức của xã hội. Ngôn ngữ ký hiệu Mỹ (American Sign Language- gọi tắt ASL) là ngôn ngữ dấu hiệu chiếm ưu thế của cộng đồng người khiếm thính tại Hoa Kỳ và trên cả thế giới. ASL có nguồn gốc từ những năm đầu thế kỷ 19 trong các trường học dành cho người khiếm thính ở Hartford, Connecticut từ một tình huống tiếp xúc ngôn ngữ [9]. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 7
20. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Hình 2.2. Cử chỉ bàn tay số từ 1-10 của ASL [10] 2.3 TÌM HIỂU XỬ LÝ ẢNH 2.3.1 GIỚI THIỆU Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng cho nó. Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất lượng ảnh và phân tích ảnh. Từ năm 1964 đến nay, các phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng [11]. Trong xử lý ảnh có các bước cơ bản cần thiết sau: Đầu tiên, ảnh tự nhiên từ thế giới ngoài được thu nhận qua các thiết bị thu (như camera, máy chụp ảnh). Trước đây, ảnh thu qua camera là các ảnh tương tự (loại camera ống kiểu CCIR). Gần đây, với sự phát triển của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ camera, sau đó nó được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo. Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh; có thể quét từ ảnh chụp bằng máy quét ảnh. Hình 2.3. Mô tả các bước cơ bản trong xử lý ảnh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 8
21. CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Sơ đồ này bao gồm các thành phần sau: 2.3.1.1 Phần thu nhận ảnh (Image Acquisition) Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hoá (như loại CCD – Change Coupled Device) là loại photodiot tạo cường độ sáng tại mỗi điểm ảnh. Camera thường dùng là loại quét dòng; ảnh tạo ra có dạng hai chiều. Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh). 2.3.1.2 Tiền xử lý (Image Processing) Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét hơn. 2.3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: Để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. 2.3.1.4 Biểu diễn ảnh (Image Representation) Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: Trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác. 2.3.1.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation) Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 9
22. S K L 0 0 2 1 5 4