Đồ án Thiết kế hệ thống nhận dạng biển số xe (Phần 1)

Nội dung text: Đồ án Thiết kế hệ thống nhận dạng biển số xe (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN- ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG THIẾT KẾ HỆ THỐNG NHẬN DJANG BIỂN SỐ XE GVHD: T.S ÐỖ ÐÌNH THUẤN SVTH: TRẦN THANH SANG MSSV: 08117439 SVTH: TRẦN MẠNH HÙNG MSSV: 08117411 S K L 0 0 3 2 1 7 Tp. Hồ Chí Minh, tháng 07/2014
2. BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ VIỄN THÔNG ĐỒ ÁN TỐT NGHIỆP NGÀNH : CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: THIẾT KẾ HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE GVHD: T.S ĐỖ ĐÌNH THUẤN SVTH: TRẦN THANH SANG - 08117439 TRẦN MẠNH HÙNG - 08117411 TP.HCM – 7/2014
3. TRƢỜNG ĐẠI HỌC SPKT TPHCM CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM Khoa Điện - Điện Tử Độc lập - Tự do - Hạnh phúc Bộ Môn Điện Tử Viễn Thông Tp. Hồ Chí Minh, ngày tháng năm 201 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên 1: Lớp: MSSV: Họ tên sinh viên 2: Lớp: MSSV: 1. Tên đề tài: 2. Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): 3. Ngày giao nhiệm vụ ĐATN: 4. Ngày bảo vệ 50% ĐATN: 5. Ngày hoàn thành và nộp về khoa: 6. Giáo viên hƣớng dẫn: Phần hƣớng dẫn: 1 2 3. Nội dung và yêu cầu ĐATN đã thông qua Khoa và Bộ môn Ngày tháng năm 2014 TRƢỞNG KHOA GV HƢỚNG DẪN (Ký và ghi rõ họ và tên) (Ký và ghi rõ họ và tên) CHỦ NHIỆM BỘ MÔN (Ký và ghi rõ họ tên)
4. BỘ GIÁO DỤC & ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ VIỄN THÔNG NHẬT KÝ THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP NGÀNH : CÔNG NGHỆ ĐIỆN TỬ VIỄN THÔNG ĐỀ TÀI: THIẾT KẾ HỆ THỐNG NHẬN DẠNG BIỂN SỐ XE GVHD: T.S ĐỖ ĐÌNH THUẤN SVTH: TRẦN THANH SANG - 08117439 TRẦN MẠNH HÙNG - 08117411 TP.HCM – 7/2014
5. ĐỀ CƢƠNG CHI TIẾT DỰ KIẾN Chƣơng 1: Giới thiệu 1.1 Giới thiệu tình hình nghiên cứu hiện nay Xử lý hình ảnh (image processing) là một lĩnh vực đƣợc ứng dụng rất nhiều trong cuộc sống, đặc biệt trong những năm gần đây lĩnh vực này đã đạt đƣợc nhiều thành tựu và tiến bộ vƣợt bậc. Đây là một dạng ứng dụng thú vị mà nhiều nhà khoa học đã, đang và sẽ không ngừng nghiên cứu vì nhu cầu thực tiễn và đa dạng phƣơng pháp tiếp cận. 1.2 Mục tiêu của đề tài Xây dựng chƣơng trình phát hiện và nhận dạng biển số xe tại Việt Nam. Nghiên cứu ứng dụng và xây dựng phần mềm phát hiện và nhận dạng biển số xe trên cơ sở thị giác máy tính 1.3 Đối tƣợng và phạm vi nghiên cứu Một số biển số xe tại Việt Nam. 1.4 Bố cục của Đồ án Đồ án tốt nghiệp có bố cục cụ thể nhƣ sau: Chương 1: Giới thiệu. Tổng quan về lý do chọn đề tài và các vấn đề nghiên cứu trong đề tài. Chương 2: Cơ sở lý thuyết Tổng quan về các phƣơng pháp phát hiện biển biển số xe. Giới thiệu phƣơng pháp nhận dạng biển số xe. Chương 3: Nội dung nghiên cứu. Thiết kế và xây dựng chƣơng trình. Chương 4: Đánh giá kết quả thực hiện Kết quả mô phỏng thực tế và đánh giá sai số. Chương 5: Kết luận – hướng phát triển cho đề tài. Chƣơng 2: Cơ sở lý thuyết liên quan 2.1. Tổng quan về các phƣơng pháp phát hiện biển số xe và nền tảng EmguCV. 2.2. Giới thiệu phƣơng pháp nhận dạng biển số xe.
6. Chƣơng 3: Nội dung nghiên cứu Quá trình huấn luyện phát hiện biển số xe đƣợc thể hiện trong sơ đồ sau Ảnh Positive trong thƣ mục “NhanDangBienSoXe\temp\positive\rawdata” Trình “ObjectMaker” Ảnh Negative trong thƣ mục lấy mẫu đối “NhanDangBienSoXe\temp\negative” tƣợng File “infofile.txt” chứa tên tất cả các file ảnh Negative File “info.txt” File Trình “vector.vec” “CreateSample.exe” với tham số file info.txt” Trình “haartraining.exe” với Các phân lớp tham số file “vector.vec” đặc trƣng File Trình “20_800_1600.xml” “haarconv.exe” Sơ đồ 1: Sơ đồ huấn luyện phát hiện biển số xe trong ảnh.
7. Quá trình huấn luyện nhận dạng biển số xe đƣợc thể hiện trong sơ đồ sau: Xám ảnh Dữ liệu Hàm Phát hiện và tách biển huấn luyện detectAndDisplay số xe ra khỏi ảnh Nhị phân hóa Hàm Resize 320x240 ảnh DieuChinhAnh Hàm Giãn ảnh Tìm biên ảnh Contour Tách ký tự Bouding rect Sơ đồ 2: Sơ đồ quá trình huấn luyện nhận dạng biển số xe.
8. Sơ đồ hoạt động của chƣơng trình: Bắt đầu Load data Nhập ảnh đầu vào Hàm Creatmatrix() Hàm SumDistance Sum min Xử lý nhận dạng Hiển thị kết quả Kết thúc Sơ đồ 3: Sơ đồ hoạt động chƣơng trình.
9. 3.1. Chức năng của chƣơng trình - Phát hiện và nhận dạng biển số xe. 3.2. Xây dựng chƣơng trình Xây dựng cơ sở dữ liệu ảnh biển số xe. Huấn luyện phát hiện biển số xe trong ảnh. Chƣơng 4: Đánh giá kết quả chƣơng trình 4.1. Đánh giá kết quả -Về mặt ánh sáng Trong môi trƣờng ánh sáng ngoài trời tại thực địa, bình thƣờng với cƣờng độ khoảng 300  400 lux, hiệu quả phát hiện là khá tốt. -Về mặt không gian Các xe khi quan sát với nhiều góc độ khác nhau theo các phƣơng x, y, z trong khoảng 30o vẫn phát hiện tốt nhƣng nhận dạng ký tự không tốt lắm. 4.2. Ƣu điểm và nhƣợc điểm của chƣơng trình Ƣu điểm: Hệ thống hoạt động tốt ở điều kiện thử nghiệm cho phép. Chƣơng trình thử nghiệm chƣa phát hiện lỗi nhận dạng nhầm một đối tƣợng không phải là biển số xe Trên cơ sở hệ thống đã hoàn tất, có thể phát triển, mở rộng thêm với nhiều ứng dụng hữu ích và lý thú khác phục vụ công tác học tập, nghiên cứu sâu hơn và ứng dụng thực tiễn. Nhƣợc điểm: Số lƣợng biển số xe nhóm đƣa vào nghiên cứu và thử nghiệm là còn quá ít so với thực trạng thực tế. Số lƣợng mẫu ảnh để đánh giá vẫn còn hạn chế, chƣa phong phú và đang dạng. Chƣơng 5: Kết luận và hƣớng phát triển đề tài
10. TIẾN ĐỘ DỰ KIẾN STT TUẦN/NGÀY NỘI DUNG 1 2 3 4 5
11. TIẾN ĐỘ THỰC HIỆN STT TUẦN/NGÀY NỘI DUNG 1 2 3 4
12. 5 6 7 8 9
13. 10 11 12 13
14. 14 15 Sinh viên thực hiện (Ký và ghi rõ họ và tên)
15. ĐỒ ÁN TỐT NGHIỆP Trang i LỜI CÁM ƠN Trong suốt thời gian học tập tại trƣờng Trƣờng Đại Học Sƣ Phạm Kỹ Thuật TP.HCM nhóm sinh viên thực hiện đã tiếp thu nhiều kiến thức bổ ích, rèn luyện đƣợc nhiều kỹ năng trong học tập và thực tiễn, đƣợc sự quan tâm giúp đỡ tận tình của các thầy cô trong trƣờng, đặc biệt là sự quan tâm hƣớng dẫn của thầy T.s Đỗ Đình Thuấn đã giúp nhóm sinh viên thực hiện hoàn thành đồ án tốt nghiệp này. Vì vậy, nhóm sinh viên thực hiện xin gửi lời cảm ơn chân thành đến: Ban Giám Hiệu cùng toàn thể Thầy Cô – Trƣờng Đại Học Sƣ Phạm Kỹ Thuật TP.HCM đã tận tình giảng dạy, truyền đạt kiến thức cũng nhƣ những kinh nghiệm quý báu trong suốt quá trình học tập tại trƣờng. T.s Đỗ Đình Thuấn, ngƣời thầy đã tận tình hƣớng dẫn và quan tâm, động viên nhóm sinh viên thực hiện đề tài trong suốt quá trình thực hiện đề tài. Các bạn sinh viên đã hỗ trợ cho nhóm nghiên cứu, hỗ trợ các thiết bị cần thiết để nhóm có thể hoàn thành đề tài. Những ngƣời thân trong gia đình đã động viên và tạo mọi điều kiện giúp nhóm sinh viên thực hiện đề tài trong quá trình học tập cũng nhƣ trong cuộc sống. Mặc dù nhóm sinh viên thực hiện đã cố gắng hoàn thành tốt đề tài nhƣng cũng không thể tránh khỏi những sai sót nhất định, rất mong đƣợc sự thông cảm và chia sẻ cùng quý Thầy Cô và bạn bè. Nhóm sinh viên thực hiện xin gửi lời chúc sức khỏe và thành đạt tới tất cả quý thầy cô cùng các bạn sinh viên. TP.HCM – 7/2014 Nhóm sinh viên thực hiện đề tài Trần Thanh Sang Trần Mạnh Hùng Lời Cảm Ơn
16. ĐỒ ÁN TỐT NGHIỆP Trang ii MỤC LỤC NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ĐỀ CƢƠNG CHI TIẾT DỰ KIẾN TIẾN ĐỘ DỰ KIẾN TIẾN ĐỘ THỰC HIỆN LỜI CÁM ƠN i LIỆT KÊ BẢNG iv LIỆT KÊ SƠ ĐỒ v LIỆT KÊ HÌNH vi LIỆT KÊ TỪ VIẾT TẮT vii TÓM TẮT viii ABSTRACT ix CHƢƠNG 1 GIỚI THIỆU 1 1.1 Lý do chọn đề tài 1 1.2 Mục tiêu đề tài 2 1.3 Giới hạn đề tài 2 1.4 Bố cục đồ án tốt nghiệp 2 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT 1 2.1 Tổng quan về các phƣơng pháp phát hiện biển số xe và EmguCV 1 2.1.1 Các phƣơng pháp phát hiện 1 2.1.2 Phát hiện dựa trên ảnh 1 2.1.3 Phát hiện dựa trên hình học 1 2.1.4 Phát hiện dựa trên phƣơng pháp máy học 2 2.1.5 Giới thiệu về EmguCV 2 2.2 Phƣơng pháp sử dụng trong đề tài 2 2.2.1 Các đặc trƣng HAAR-LIKE 2 2.2.2 Thuật toán tăng tốc ADABOOST 4 2.3. Tầng phân loại (CASCADE) 7 2.4 Thuật toán CANNY 8 2.4.1 Giới thiệu thuật toán Canny 8 2.4.2 Các bƣớc thực hiện thuật toán Canny 9 2.4.3 Mô tả chi tiết từng bƣớc của thuật toán 9 2.5 Kỹ thuật Contour Tracing 17 2.5.1 Khái niệm Contour 17 2.5.2 Các thuật toán Contour Tracing 18 Mục Lục
17. ĐỒ ÁN TỐT NGHIỆP Trang iii CHƢƠNG 3: NỘI DUNG NGHIÊN CỨU 20 3.1 Quá trình tạo file huấn luyện phát hiện vùng chứa biển số xe 20 3.1.1 Thu thập và xây dựng dữ liệu dùng phát hiện vùng chứa biển số xe. 20 3.1.2 Lấy mẫu dữ liệu huấn luyện 22 3.1.3 Tổng hợp các positive sample vào 1 file vector 24 3.1.4. Chạy huấn luyện 25 3.1.5 Ghi nhận và thử mẫu cơ sở dữ liệu kết quả 26 3.2 Nhận dạng ký tự 28 3.2.1 Phƣơng pháp nhận dạng 28 3.2.2 Thu nhận ảnh 29 3.2.3 Phân tích ảnh tìm ký tự 29 3.2.4 Nhận dạng ký tự 29 3.2.5 Ghi nhận và thử mẫu kết quả 31 CHƢƠNG 4 ĐÁNH GIÁ KẾT QUẢ CHƢƠNG TRÌNH 33 4.1 Kết quả 33 4.2 Nhận xét 36 4.2.1 Ƣu điểm 36 4.2.2 Khuyết điểm 36 CHƢƠNG 5 KẾT LUẬN – HƢỚNG PHÁT TRIỂN ĐỀ TÀI 39 5.1 Kết luận 39 5.1.1 Kết quả đạt đƣợc 39 5.1.2 Ý nghĩa 39 5.2 Hƣớng phát triển 39 TÀI LIỆU THAM KHẢO 41 PHỤ LỤC A 42 PHỤ LỤC B 54 Mục Lục
18. ĐỒ ÁN TỐT NGHIỆP Trang iv LIỆT KÊ BẢNG Bảng 4.1. Kết quả thử nghiệm. 35 Liệt Kê Bảng
19. ĐỒ ÁN TỐT NGHIỆP Trang v LIỆT KÊ SƠ ĐỒ Sơ đồ 1. Sơ đồ huấn luyện phát hiện biển số xe trong ảnh Sơ đồ 2. Sơ đồ quá trình huấn luyện nhận dạng biển số xe Sơ đồ 3. Sơ đồ hoạt động chƣơng trình Liệt Kê Sơ Đồ
20. ĐỒ ÁN TỐT NGHIỆP Trang vi LIỆT KÊ HÌNH Hình 2.1a. Các đặc trƣng cạnh 3 Hình 2.1b. Các đặc trƣng đƣờng. 3 Hình 2.1c. Các đặc trƣng bao quanh tâm 3 Hình 2.1d. Các đặc trƣng đƣờng chéo. 3 Hình 2.2. Mô phỏng quá trình nhận dạng 4 Hình 2.3 Lƣợc đồ cơ bản của AdaBoost 5 Hình 2.4. Thuật toán học AdaBoost. 6 Hình 2.5. Dùng chuỗi cascade đã đƣợc huấn luyện để phát hiện cửa sổ con phù hợp 7 Hình 2.6. Cấu trúc các chuỗi cascade nối tiếp, với N giai đoạn học huấn luyện. 7 Hình 2.7. Ma trận tích chập. 10 Hình 2.8. Ảnh gốc và ảnh sau khi đƣợc làm mịn. 10 Hình 2.9. Ma trận nhân chập Sobel. 11 Hình 2.10. Độ lớn gradients đƣợc tính toán dựa vào mặt nạ Sobel. 12 Hình 2.11. Ví dụ về thuật toán. 13 Hình 2.12. Hình ảnh Demo 15 Hình 2.13. Hình ảnh minh họa bƣớc 4. 16 Hình 2.14. Mô tả quá trình dò biên bằng hysteresis. 18 Hình 2.15 20 Hình 2.16 20 Hình 2.17 20 Hình 3.1. Tập ảnh Positive trong thƣ mục “rawdata”. 21 Hình 3.2. Tập ảnh Negative trong thƣ mục “negative”. 22 Hình 3.3. Nội dung file “infofile.txt” sau khi chạy file “create_list.bat”. 22 Hình 3.4. Chƣơng trình ObjectMaker trong thƣ mục “positive” 23 Hình 3.5. Đánh dấu đối tƣợng trong trình ObjectMaker. 24 Hình 3.6. Nội dung file “info.txt” 25 Hình 3.7. Cấu trúc của một tập tin XML. 27 Hình 3.8. Kiểm thử cơ sở dữ liệu “20_800_1600.xml” 28 Hình 3.9. Sơ đồ hoạt động của chƣơng trình. 29 Hình 3.10. Ảnh sau khi đƣợc nhị phân hóa. 30 Hình 3.11. Ảnh tách ký tự 31 Hình 3.12. Mô phỏng thuật toán K Nearest Neighbor. 32 Hình 3.13. Ma trận của ký tự. 33 Hình 3.14. Nhận dạng ký tự 34 Hình 4.2. Giao diện chƣơng trình. 35 Hình 4.3. Một số hình ảnh thử nghiệm. 36-37 Liệt Kê Hình
21. S K L 0 0 2 1 5 4