Luận văn Nghiên cứu thuật toán nhận dạng người đi đường, xe và chướng ngại vật cho ô tô chạy tự động (Phần 1)

Nội dung text: Luận văn Nghiên cứu thuật toán nhận dạng người đi đường, xe và chướng ngại vật cho ô tô chạy tự động (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ PHAN TIẾN VƯƠNG NGHIÊN CỨU THUẬT TOÁN NHẬN DẠNG NGƯỜI ĐI ĐƯỜNG, XE VÀ CHƯỚNG NGẠI VẬT CHO Ô TÔ CHẠY TỰ ĐỘNG NGÀNH: KỸ THUẬT CƠ KHÍ ĐỘNG LỰC – 60520116 S K C0 0 4 6 4 0 Tp. Hồ Chí Minh, tháng 10/2015
2. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ PHAN TIẾN VƢƠNG NGHIÊN CỨU THUẬT TOÁN NHẬN DẠNG NGƢỜI ĐI ĐƢỜNG, XE VÀ CHƢỚNG NGẠI VẬT CHO Ô TÔ CHẠY TỰ ĐỘNG NGÀNH: KỸ THUẬT CƠ KHÍ ĐỘNG LỰC – 60520116 Tp. Hồ Chí Minh, tháng 10/2015
3. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ PHAN TIẾN VƢƠNG NGHIÊN CỨU THUẬT TOÁN NHẬN DẠNG NGƢỜI ĐI ĐƢỜNG, XE VÀ CHƢỚNG NGẠI VẬT CHO Ô TÔ CHẠY TỰ ĐỘNG Hƣớng dẫn khoa học: TS. LÊ THANH PHÚC Tp. Hồ Chí Minh, tháng 10/2015
4. LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƢỢC: Họ & tên: PHAN TIẾN VƢƠNG Giới tính: Nam. Ngày, tháng, năm sinh: 20/10/1989 Nơi sinh: Đồng Nai Quê quán: Quảng Trị Dân tộc: Kinh. Địa chỉ liên lạc: 13/46 Kp 3, Đƣờng 11, P. Linh Chiểu Thủ Đức TP.HCM Điện thoại cơ quan: Điện thoại nhà riêng: Điện thoại di động: 01683675350 E-mail: pppvuong@gmail.com II. QUÁ TRÌNH ĐÀO TẠO: Đại học: Hệ đào tạo: Chính qui Thời gian từ 09/2007 đến 07/2012 Nơi học: Trƣờng Đại học sƣ phạm kỹ thuật Thành phố Hồ Chí Minh. Ngành học: Cơ khí động lực. Tên đồ án, luận án hoặc môn thi tốt nghiệp: Chuyên đề 1, Chuyên đề 2, Chuyên đề 3. Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: 23/07/2012 Ngƣời hƣớng dẫn: III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm Trƣờng Trung Cấp Kinh Tế - Kỹ 11/2013– 08/2014 Giáo viên khoa Cơ Khí Thuật Nguyễn Hữu Cảnh Trƣờng Cao Đẳng Giao Thông Giảng viên khoa Kỹ 08/2014 - nay Vận Tải Thành Phố Hồ Chí Thuật Ô Tô Minh i
5. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác. TP.HCM, ngày 23 tháng 10 năm 2015 (Ký tên và ghi rõ họ tên) Phan Tiến Vƣơng ii
6. LỜI CẢM ƠN Một đề tài nghiên cứu không thể thành công nếu không có sự trợ giúp kết hợp với nỗ lực cố gắng của ngƣời nghiên cứu. Do đó, tôi xin chân thành cảm ơn sự hỗ trợ của: Ban giám hiệu Trƣờng Đại Học Sƣ Phạm Kỹ Thuật TP. HCM. Khoa Cơ Khí Động Lực. Thầy TS. Lê Thanh Phúc cùng toàn thể quý thầy cô đã dạy và hƣớng dẫn nhiệt tình và tạo mọi điều kiện thuận lợi cho tôi trong thời gian theo học tại trƣờng. Các bạn kỹ sƣ đồng nghiệp đã động viên ủng hộ tinh thần. Tuy thời gian thực hiện đề tài là 6 tháng nhƣng do lƣợng kiến thức chủ chốt để phục vụ cho công tác nghiên cứu và thực hiện đề tài thuộc chuyên ngành điện tử và điều khiển tự động, công nghệ thông tin nên khả năng tiếp cận và lĩnh hội của học viên chuyên ngành cơ khí động lực gặp nhiều khó khăn và hạn chế. Tuy nhiên, với sự hƣớng dẫn và tạo điều kiện thuận lợi của Thầy TS. Lê Thanh Phúc và các bạn đồng nghiệp, tôi đã lĩnh hội đƣợc rất nhiều kiến thức mới, bổ ích để phục vụ cho ngành cơ khí động lực và công tác nghiên cứu sau khi ra trƣờng. Vì vậy, một lần nữa tôi xin chân thành cảm ơn quý thầy cô và các bạn. Xin chúc quý thầy cô cùng toàn thể các bạn luôn dồi dào sức khoẻ và thành công! TP.HCM, ngày 23 tháng 10 năm 2015. Ngƣời cảm ơn Phan Tiến Vƣơng iii
7. TÓM TẮT Nhận dạng ngƣời đi đƣờng, xe và chƣớng ngại vật là một đề tài hỗ trợ cảnh báo cho ngƣời lái xe và cho hệ thống giao thông thông minh. Mô hình nhận ngƣời đi đƣờng với giả định tỉ lệ kích thƣớc ngƣời trong ảnh không đổi. Nhận dạng ngƣời đi đƣờng dùng giải thuật máy học SVM với đặc trƣng HOG. Mô hình nhận xe với tỉ lệ kích thƣớc xe trong ảnh thay đổi. Nhận dạng xe và chƣớng ngại vật dùng Cascade of boosting với đặc trƣng HOG. Thực nghiệm cho thấy kết quả nhận dạng khá tốt: Nhận dạng ngƣời đi đƣờng đạt độ chính xác 91% khi dùng 4,500 ảnh dƣơng (ảnh ngƣời đi đƣờng), 4,000 ảnh âm (không phải ngƣời đi đƣờng) và 200 ảnh để kiểm tra. Nhận dạng xe đạt độ chính xác 93% khi dùng 1500 ảnh dƣơng (ảnh xe), 3,000 ảnh âm (không phải xe) và 200 ảnh để kiểm tra. Nhận dạng chƣớng ngại vật đạt độ chính xác 84% khi dùng 100 ảnh dƣơng (chƣớng ngại vật), 1,000 ảnh âm (không phải chƣớng ngại vật) và 50 ảnh để kiểm tra. Đề tài nghiên cứu sử dụng Webcam làm bộ phận thu hình ảnh chính đƣợc gắn trên xe ô tô xử lý bằng phần mềm Matlab và chạy thực nghiệm trên đƣờng cho kết quả nhận dạng tốt. Đề tài đã xây dựng đƣợc một chƣơng trình nhận dạng ngƣời đi đƣờng, xe và chƣớng ngại vật. iv
8. ABSTRACT Pedestrians detection, vehicle detection and object recognition are applied to support drivers in warning them and to intelligent transportation system. The system which detects pedestrians is based on an assumption that the sizes of human images are fixed. Human dectection process employs Support Vector Machine- Histograms of Oriented Gradients And the system identifies vehicles when the sizes of those in the images are changeable. Vehicle detection and object recognition process employs Cascade of boosting -Histograms of Oriented Gradients. Experiments show fairly good results: pedestrians acquisition process gained a 91% accuracy after analysing 3500 positive images (images of pedestrians), 4000 negative images (non-pedestrians) and 200 testing images. Vehicles acquistition process gained a 93.1 % accuracy after analysing 1500 positive images (images of vehicles), 2000 negative images (non-vehicle) and 200 testing images. Obstacles acquisition process gained a 84 % accuracy after analysing 100 positive images (images of obstacles), 1000 negative images (non-obstacle) and 50 testing images. This research uses webcam built in cars as the major camera and works with Matlab. Practical experiments on the streets have achieved good acquisition results.The research also creates a programme identifying pedestrians, vehicles and obstacles. v
9. MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch khoa học i Lời cam đoan ii Lời cảm ơn iii Tóm tắt iv Mục lục vi Danh sách các chữ viết tắt xi Danh sách các hình xii Danh sách các bảng xvi CHƢƠNG 1. TỔNG QUAN 1 1.1 Tổng quan chung về lĩnh vực nghiên cứu 1 1.1.1 Giới thiệu 1 1.1.2 Nhận dạng ngƣời đi đƣờng 2 1.1.3 Hệ thống cảnh báo sớm khi phát hiện ngƣời đi đƣờng trên xe 3 1.1.4 Nhận dạng xe và chƣớng ngại vật 4 1.1.5 Mô hình nhận dạng xe tổng quát 5 1.1.6 Hệ thống cảnh báo va chạm (Forward Collision Warning) 6 1.1.7 Phƣơng pháp nhận dạng ngƣời đi đƣờng xe và chƣớng ngại vật bằng xử lý ảnh 7 1.2 Các kết quả nghiên cứu trong và ngoài nƣớc đã công bố 8 1.2.1 Các kết quả nghiên cứu trong nƣớc 8 1.2.2 Các kết quả nghiên cứu quốc tế 9 1.3 Mục đích của đề tài 10 1.4 Phƣơng pháp nghiên cứu 10 1.5 Ý nghĩa khoa học và tính thực tiễn của đề tài 11 1.6 Giới hạn đề tài 11 1.7 Kế hoạch thực hiện 11 vi
10. CHƢƠNG 2. CƠ SỞ LÝ THUYẾT 12 2.1 Lý thuyết tổng quan về xử lý ảnh 12 2.1.1 Ảnh số là gì? 14 2.1.2 Hệ thống xử lý ảnh 15 2.2 Các vấn đề cơ bản trong xử lý ảnh 15 2.2.1 Biểu diễn và mô hình hóa ảnh 15 2.2.2 Tăng cƣờng ảnh 17 2.2.3 Nắn chỉnh biến dạng 17 2.2.4 Khử nhiễu 18 2.2.5 Chỉnh mức xám 18 2.2.6 Trích chọn đặc điểm 18 2.2.7 Đặc điểm biên và đƣờng biên 19 2.2.8 Nhận dạng 19 2.2.9 Nén ảnh 20 2.2.10 Đo khoảng cách giữa các pixels 21 2.3 Các mô hình màu 22 2.3.1 Mô hình màu RGB 23 2.3.2 Mô hình màu CMY 24 2.3.3 Mô hình HSV 24 2.3.4 Mô hình sáng 25 2.4 Đặc Trƣng Haar-like 25 2.5 Thuật toán AdaBoost 29 2.6 Bộ phân lớp Cascade 32 2.7 Bộ phân lớp Cascade of boosting 34 2.8 Đặc trƣng Histogram of Oriented Gradients 35 2.8.1 Nhập ảnh 36 2.8.2 Chuẩn hóa Gamma & Colour 36 2.8.3 Tính Gradient 37 2.8.4 Chia hƣớng & gom đặc trƣng tại mỗi nhóm cell 39 vii
11. 2.8.5 Tính đặc trƣng cho khối và chuẩn hóa 41 2.8.6 Tính vector đặc trƣng cho cửa sổ. 42 2.9 Máy vector hỗ trợ (SVM) 43 2.9.1 Siêu phẳng - Hyperplane 43 2.9.2 SVM tuyến tính 43 2.9.3 Các điều kiện Karush-Kuhn-Tucker (KKT) 45 2.9.4 Giải thuật SMO 45 CHƢƠNG 3. THUẬT TOÁN NHẬN DẠNG 48 3.1 Giới thiệu MATLAB 48 3.1.1 Khởi động Matlab. 48 3.1.2 Một số lệnh thông dụng trong Matlab 49 3.1.3 Lập trình trong MATLAB. 50 3.1.4 Matlab GUIDE 50 3.2 Nhận dạng ngƣời đi đƣờng sử dụng HOG và SVM 52 3.2.1 Tạo dữ liệu mẫu huấn luyện âm và mẫu huấn luyện dƣơng 52 3.2.2 Huấn luyện SVM 56 3.2.3 Nhận dạng ngƣời đi đƣờng 58 3.3 Nhận dạng xe và chƣớng ngại vật 64 3.3.1 Tạo bộ huấn luyện nhận dạng mẫu nhận dạng xe và chƣớng ngại vật 64 3.3.2 Hoạt động của bộ xử lý phân loại 65 3.3.3 Tạo nhãn nhận dạng cho mẫu 66 3.3.4 Sử dụng TrainCascadeObjectDetector tạo mẫu 70 3.3.5 Nhận dạng các đối tƣợng từ mẫu huấn luyện 73 3.4 Đo khoảng cách từ camera tới đối tƣợng 77 3.4.1 Mô hình đo khoảng cách trong ảnh 77 3.4.2 Kỹ Thuật camera calibration 79 CHƢƠNG 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ 83 4.1 Thực nghiệm 83 4.1.1 Thông số Webcam 83 viii
12. 4.1.2 Kết quả thực nghiện 88 4.2 Đánh giá 101 4.2.1 Độ chính xác 101 4.2.2 Tốc độ thu thập 103 CHƢƠNG 5. KẾT LUẬN VÀ ĐỀ NGHỊ 104 5.1 Kết quả đạt đƣợc 104 5.2 Những vấn đề tồn tại 104 5.3 Hƣớng phát triển 105 TÀI LIỆU THAM KHẢO 106 PHỤ LỤC 109 ix
13. DANH SÁCH CÁC CHỮ VIẾT TẮT MATLAB Maxtrix Laboratory CMU Carnegie Mellon University MIT Massachusetts Institute of Technology DARPA Defense Advanced Research Projects Agency HDTV High-definition television ROI Regions of Interest RGB Red, Green, Blue HSL Hue, Saturation, Luminance 2D Two Demension 3D Three Demension TIFF Targed Image File Format JPEG Joint Photographics Experts Group GIF Graphics Interchange Format BMP Window Bitmap PNG Portable Network Graphics XWD X Window Dump PCX Personal Computer Exchange CMY Cyan, Magnenta, Yellow HOG Histograms of Oriented Gradients SIFT Scale-Invariant Feature Transform PCA Principal component analysis CBC Cascade of boosting Classifier SVM Support Vector Machine DAB Discrete AdaBoost RABAdaBoost - Real AdaBoost DAB GAB Gentle AdaBoost TP True Positive FP False Positive TN True Negative FN False Negative x
14. DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 1.1: Ứng dụng của sản phẩm TMPV760 [1] 2 Hình 1.2: Nhận dạng ngƣời đi đƣờng [2] 2 Hình 1.3: Phát hiện ngƣời đi đƣờng bằng công nghệ không dây [3]. 4 Hình 1.4: Mô hình tổng quát giải quyết bài toán nhận dạng xe [6] 6 Hình 1.5: Cảnh báo va chạm sử dụng camera và các cảm biến [6] 6 Hình 1.6: Nhận dạng xe bằng các phƣơng pháp khác nhau [6] 8 Hình 2.1: Ảnh tƣơng tự và ảnh số [17] 14 Hình 2.2: Hệ thống xử lý ảnh [17] 15 Hình 2.3: a, ảnh thật, b, ảnh zoom, c, ma trận điểm [17] 16 Hình 2.4: Ảnh thu nhận và ảnh mong muốn [17] 17 Hình 2.5: Mô hình màu [17] 23 Hình 2.6: Hệ tọa độ màu RGB [17] 24 Hình 2.7: Mô hình màu HSV [17] 25 Hình 2.8: Đặc trƣng Harr-like cơ bản [18] 26 Hình 2.9: Các đặc trƣng mở rộng của các đặc trƣng Haar-like cơ sở [18]. 26 Hình 2.10: Cách tính Integral Image của ảnh [18] 27 Hình 2.11: Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh 27 Hình 2.12: Cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trƣng xoay 45o [18] 28 Hình 2.13: Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh [18] 28 Hình 2.14: Lƣợc đồ cơ bản của AdaBoot [18] 29 Hình 2.15: Thuật toán học AdaBoot [18]. 30 Hình 2.16: Bộ phân loại cascade of classifiers [19]. 34 Hình 2.17: Bộ phân lớp cascade of boosted classifiers [19]. 34 Hình 2.18: Sơ đồ rút trích đặc trƣng HOG [20] 36 Hình 2.19: Hình ảnh miêu tả Sơ đồ rút trích đặc trƣng HOG [20] 37 xi
15. Hình 2.20: Đặc trƣng HOG loại R-HOG và C-HOG [20] 40 Hình 2.21: Đặc trƣng Centre-Surround HOG [20] 40 Hình 2.22: Độ lớn của bin [20] 41 Hình 2.23: Các đƣờng phân chia hai tập dữ liệu mang đặc trƣng khác nhau[22] 43 Hình 2.24: Các siêu phẳng H1 và H2 phân chia các mẫu tích cực và thụ động thành hai lớp khác nhau [22] 44 Hình 3.1: Cửa sổ làm việc Matlab 49 Hình 3.2: Cửa sổ GUI File 51 Hình 3.3: Giao diện .fig 51 Hình 3.4: Tập mẫu ảnh âm 53 Hình 3.5: Tập mẫu ảnh dƣơng 55 Hình 3.6: Xác định đặc trƣng HOG cho ảnh âm 56 Hình 3.7: Xác định đặc trƣng HOG cho ảnh dƣơng 56 Hình 3.8: Miêu tả phân loại với máy học vector SVM 57 Hình 3.9: Sơ đồ nhận dạng ngƣời đi đƣờng. 61 Hình 3.10: Phát hiện ngƣời đi đƣờng từ phía sau. 61 Hình 3.11: Phát hiện ba ngƣời ngƣời đi đƣờng 62 Hình 3.12: Một số kết quả nhận dạng ngƣời đi đƣờng. 63 Hình 3.13: Mô hình đào tạo phân loại với Computer Vision System Toolbox™ 64 Hình 3.14: Công cụ Training Image Labeler 67 Hình 3.15: Chèn hình mẫu ảnh xe vào Training Image Labeler 68 Hình 3.16: Chèn hình mẫu ảnh chƣớng ngại vật vào Training Image Labeler 68 Hình 3.17: mẫu ảnh xe kích thƣớc 20x20 pixel và 64x64 pixel 69 Hình 3.18: Mẫu xe kích thƣớc 128x128 pixel 69 Hình 3.19: Mẫu ảnh cọc tiêu đƣờng 70 Hình 3.20: Dữ liệu data xuất từ Training Image Labeler 71 Hình 3.21: Hình trích xuất HOG từ vùng ảnh ROI của xe 72 Hình 3.22: Trích xuất HOG từ vùng ảnh ROI của chƣớng ngại vật 73 Hình 3.23: Kết quả nhận dạng xe. 75 xii
16. Hình 3.24: Kết quả nhận dạng chƣớng ngại vật 76 Hình 3.25: Mô hình đo khoảng cách trong ảnh [25]. 77 Hình 3. 26: Mô hình chuyển đổi tọa độ[25]. 78 Hình 3. 27: Chuyển đổi tạo độ mặt phẳng ảnh 78 Hình 3.28: Ảnh chụp Checkerboard 79 Hình 3.29: Xác định giao điểm ô vuông Checkerboard 79 Hình 3.30: Mô hình 3D ảnh Checkerboard 80 Hình 3.31: Kết quả đo khoảng cách ngƣời đi đƣờng 82 Hình 4.1: Webcam 84 Hình 4.2: Máy tính 84 Hình 4.3: Nguyên lý của hệ thống nhận dạng xử lý ảnh 85 Hình 4.4: Sơ đồ nhận dạng ngƣời đi đƣờng, xe và chƣớng ngại vật 86 Hình 4.5: Webcam kết nối máy tính gắn trên xe ô tô chạy thực nghiệm 87 Hình 4.6: Nhận dạng một ngƣời đi đƣờng 88 Hình 4.7: Nhận dạng một ngƣời đi đƣờng 88 Hình 4.8: Nhận dạng nhiều ngƣời đi đƣờng 89 Hình 4.9: Nhận dạng nhiều ngƣời đi đƣờng 89 Hình 4.10: Nhận dạng lỗi ngƣời đi đƣờng và ngƣời điều khiển xe gắn máy 90 Hình 4.11: Nhận dạng lỗi ngƣời đi đƣờng và ngƣời điều khiển xe gắn máy 91 Hình 4.12: Nhận dạng xe một xe ở khoảng cách gần 91 Hình 4.13: Nhận dạng xe một xe ở khoảng cách gần 92 Hình 4.14: Nhận dạng xe ở khoảng cách xa 92 Hình 4.15: Nhận dạng xe ở khoảng cách xa 93 Hình 4.16: Nhận dạng xe ở góc khuất 93 Hình 4.17: Nhận dạng xe ở góc khuất 94 Hình 4.18: Nhận dạng nhiều xe ở khoảng cách gần 94 Hình 4.19: Nhận dạng nhiều xe ở khoảng cách xa 95 Hình 4.20: Nhận dạng xe lỗi khi ở khoảng cách quá gần 95 Hình 4.21: Nhận dạng xe lỗi khi ở khoảng quá gần 96 xiii
17. Hình 4.22: Nhận dạng cọc tiêu đƣờng 97 Hình 4.23: Nhận dạng cọc cảnh báo phân làn 97 Hình 4.24: Nhận dạng cọc phân làn đƣờng 98 Hình 4. 25: Đo khoảng cách ngƣời đi đƣờng 99 Hình 4.26: Đo khoảng cách ngƣời đi đƣờng 99 Hình 4. 27: Đo khoảng cách xe 100 Hình 4. 28: Đo khoảng cách xe 100 xiv
18. DANH SÁCH CÁC BẢNG BẢNG TRANG Bảng 2.1: Các dạng thuật toán học huấn luyện AdaBoost [18] 31 Bảng 2.2: Thuật toán Cascade training [19] 33 Bảng 3.1: Cấu trúc file hl_mau_am.m 53 Bảng 3.2:Cấu trúc file hl_mau_duong.m 54 Bảng 3.3: Thông số nhận dạng ngƣời đi đƣờng bằng đặc trƣng HOG 56 Bảng 3.4: Cấu trúc file phanloai.m 57 Bảng 3.5: Cấu trúc file nguoididuong.mat. 58 Bảng 3.6: Cấu trúc file vung_nhan_dang.m 59 Bảng 3.7: Cấu trúc file loai_bo_khong_cuc_tri.m 60 Bảng 3.8: Cấu trúc file ROI.m 60 Bảng 3.9: Cấu trúc file xe20x20.xml 71 Bảng 3.10: Thuật toán đo khoảng cách ngƣời đi đƣờng 80 Bảng 3.11: Kết quả đo khoảng cách ngƣời đi bộ 81 Bảng 4.1: Kết quả phƣơng pháp nhận dạng ngƣời đi đƣờng. 101 Bảng 4.2: So sánh các phƣơng pháp nhận dạng ngƣời đi đƣờng [26]. 102 Bảng 4.3: Đánh giá phƣơng pháp nhận dạng xe với mẫu ảnh xe 20x20 pixel[27] 102 Bảng 4.4: Đánh giá tốc độ thu thập ảnh 103 xv
19. Chƣơng 1 TỔNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu 1.1.1 Giới thiệu Tình trạng giao thông ngày càng phức tạp, an toàn đã trở thành vấn đề đƣợc đặt lên hàng đầu trong ngành công nghiệp sản xuất xe hơi. Với một loạt các phát minh từ túi khí cho đến hệ thống tự động cảnh báo va chạm đƣợc ra đời, giúp ngƣời lái xe và hành khách đƣợc bảo đảm an toàn hơn. Tuy nhiên, các hãng xe luôn hƣớng tới sản xuất những chiếc xe thông minh hơn, đƣợc điều khiển tự động phục vụ tất cả mọi ngƣời kể cả ngƣời không có khả năng lái xe. Đã có rất nhiều nghiên cứu tập trung vào bài toán an toàn khi điều khiển xe. Một số thiết bị cảnh báo và điều khiển hỗ trợ ngƣời lái xe đƣợc ra đời. Hãng Toshiba với dòng sản phẩm TMPV760 sử dụng camera và vi xử lý tốc độ cao cho ra đời các hệ thống hỗ trợ lái xe nâng cao. Trong đó gồm có các hệ thống: cảnh báo va chạm xe (Vehicle collision warning), cảnh báo va chạm ngƣời đi đƣờng vào ban ngày và ban đêm (pedestrian collision warning at day - time and night), cảnh báo va chạm chƣớng ngại vật (general obstacle collision warning), cảnh báo chuyển làn đƣờng (lane departure warning), nhận diện biển báo giao thông (traffic road sign recognition), nhận dạng biển báo giao thông (traffic sign recognition), nhận dạng tín hiệu đèn đỏ (red signal lamp recognition), đèn pha chủ động (high beam assistance). Các hệ thống trên giúp ngƣời lái xe chủ động đƣợc trƣớc các tình huống xảy ra và nhằm giảm thiểu tối đa tai nạn. Năm 2013 hãng xe Toyota ra mắt xe chạy tự động Lexus AASRV. Tuy nhiên trong lĩnh vực xe chạy tự động phải kể đến hãng Google vào 10/2010 chiếc Toyota Prius đƣợc chạy thử nghiệm thành công. Tiếp theo sau đó là những phiên bản xe chạy tự động đƣợc cải tiến để hoàn chỉnh hơn. Google đã cho ra đời mẫu xe chạy tự động riêng và đang tính đến việc sản xuất hàng loạt. 1
20. Hình 1.1: Ứng dụng của sản phẩm TMPV760 [1] 1.1.2 Nhận dạng ngƣời đi đƣờng Việc nhận dạng ngƣời đi đƣờng là một trong những vấn đề quan trong việc đảm bảo an toàn cho xe chạy tự động. Việc nhận dạng ngƣời đi đƣờng thông qua việc xử lý ảnh từ camera. Với sự phát triển nhanh chóng của tốc độ xử lý của máy tính và camera tốc độ cao đƣợc ứng dụng trên rất nhiều trên ô tô. Từ việc ứng dụng trong bài toán nhận dạng ngƣời đi đƣờng nhằm vào hai mục tiêu chính: Xác định đối tƣợng ngƣời đi đƣờng và điều khiển xe tự động. Hình 1.2: Nhận dạng người đi đường [2]. Ngƣời đi đƣờng đƣợc xác định thông qua các thuật toán về xử lý ảnh nhận dạng đối tƣợng, tuy nhiên khó khăn trong bài toán nhận dạng ngƣời đi đƣờng gồm: 2
21. Kích cỡ ảnh: Ngƣời đi đƣờng xuất hiện rất nhỏ trong hình do camera có độ phân giải thấp. Kích thƣớc ảnh thật chỉ còn lại nhỏ. Độ trễ trong xử lý ảnh: Ảnh đƣợc camera chụp và xử lý nên có một độ trễ đồng thời việc xử lý ảnh phải nhanh đáp ứng với thời gian ngắn và tốc độ xe. Trong môi trƣờng đô thị: Nhận dạng ngƣời đƣờng trong môi trƣờng đô thị rất khó khăn do có rất nhiều ngƣời và ảnh bị ảnh hƣởng bởi khung cảnh xung quanh. Nhiều dạng ngƣời đi đƣờng: Ngƣời đi đƣờng có nhiều loại nhƣ ngƣời đi đƣờng với nhiều tƣ thế khác nhau. Ảnh ngƣời đi đƣờng bị chồng lên nhau. Môi trƣờng: Nhận dạng ngƣời đi đƣờng bị ảnh hƣởng bởi môi trƣờng nhƣ trời tối đòi hỏi camera hồng ngoại và việc xử lý ảnh cũng khác. Qua việc xử lý ảnh, ta xác định đƣợc khoảng cách từ xe tới ngƣời đi đƣờng đồng thời có những thay đổi trong việc điều khiển xe. Nếu đối tƣợng ngƣời đi đƣờng chuyển động mà không gây ảnh hƣởng thì xe vẫn chạy tiếp còn gây nguy hiểm thì phải có biện pháp an toàn [3]. 1.1.3 Hệ thống cảnh báo sớm khi phát hiện ngƣời đi đƣờng trên xe Các hệ thống cảnh báo sớm khi phát hiện ngƣời đi đƣờng của các hãng xe hiện nay hầu hết đang sử dụng camera và xử lý ảnh để phát hiện ngƣời đi đƣờng. Khi ngƣời lái xe thiếu tập trung hoặc do xe chạy trong môi trƣờng đô thị quan sát khó thì hệ thống phát hiện và đƣa ra cảnh báo cho ngƣời lái xe tránh gây tai nạn. Hiện nay công nghệ giao tiếp giữa ôtô với ngƣời đi đƣờng thông qua điện thoại thông minh. Ngay khi xác định khả năng sẽ có một va chạm xảy ra với một ngƣời đi đƣờng sắp cắt ngang qua phía trƣớc ôtô, hệ thống giao tiếp trên xe sẽ gửi một thông báo bằng âm thanh và hình ảnh một cách liên tục tới điện thoại của ngƣời đang đi đƣờng phía trƣớc để nhắc nhở. Đồng thời, một âm thanh cảnh báo sẽ vang lên kèm theo một hình ảnh hiển thị lên màn hình trên bảng táp-lô của xe. 3
22. S K L 0 0 2 1 5 4