Luận văn Phát hiện vật cản chuyển động cho robot làm việc trong môi trường đô thị (Phần 1)

Nội dung text: Luận văn Phát hiện vật cản chuyển động cho robot làm việc trong môi trường đô thị (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH HUÂN PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ NGÀNH: KỸ THUẬT ĐIỆN – 60520202 S K C0 0 4 6 2 0 Tp. Hồ Chí Minh, tháng 10/2015
2. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN ĐÌNH HUÂN PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ NGÀNH: KỸ THUẬT ĐIỆN - 60520202 Hướng dẫn khoa học: TS. LÊ MỸ HÀ Tp. Hồ Chí Minh, tháng 10 năm 2015
3. LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƯỢC Họ & tên: NGUYỄN ĐÌNH HUÂN Giới tính: Nam Ngày, tháng, năm sinh: 17/11/1990 Nơi sinh: Kon Tum Quê quán: Phù Cát – Bình Định Dân tộc: Kinh Chỗ ở riêng: Số 36, Đường số 1, P.Bình An, Quận 2, TP.HCM. Điện thoại: 0978747855 II. QUÁ TRÌNH ĐÀO TẠO 1. Cao đẳng Hệ đào tạo: Chính quy Thời gian đào tạo: từ 09/2008 đến 09/2011 Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP. Hồ Chí Minh Ngành học: Kỹ thuật Điện 2. Đại học Hệ đào tạo: Liên thông Thời gian đào tạo: từ 09/2011 đến 05/2013 Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP. Hồ Chí Minh Ngành học: Kỹ thuật Điện Tên đồ án tốt nghiệp: Đồ án thiết kế tủ chuyển mạch tự động ATS Ngày & nơi bảo vệ đồ án tốt nghiệp: Tháng 2/2013 tại Trường Đại học Công nghiệp TP.HCM Người hướng dẫn: Giảng viên. Phạm Toàn Sinh III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC Thời gian Nơi công tác Công việc Trường ĐH. Sư phạm kỹ thuật 2013-2015 Học viên TP. Hồ Chí Minh I
4. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Một số nội dung có nghiên cứu tham khảo từ các nhóm nghiên cứu khác trên thế giới. Các số liệu, kết quả nêu trong luận văn là trung thực và được kiểm nghiệm bằng dữ liệu lấy từ thực tế. Nội dung của luận án cũng có tham khảo và sử dụng một số thông tin, tài liệu từ các nguồn sách, tạp chí được liệt kê trong danh mục các tài liệu tham khảo. Tp. Hồ Chí Minh, ngày 25 tháng 10 năm 2015 (Ký tên và ghi rõ họ tên) II
5. LỜI CẢM ƠN Lời đầu tiên, em xin gửi đến thầy TS. Lê Mỹ Hà lời cảm ơn chân thành và sâu sắc nhất. Nhờ có sự hướng dẫn và giúp đỡ tận tình của thầy trong suốt thời gian qua, em đã có thể thực hiện và hoàn thành luận văn này. Những lời nhận xét, góp ý và hướng dẫn tận tình của thầy đã giúp em có một định hướng đúng đắn trong suốt quá trình thực hiện đề tài, giúp em nhìn ra được những ưu khuyết điểm của đề tài và từng bước hoàn thiện hơn. Đồng thời, em xin trân trọng cảm ơn các thầy cô của trường Đại học Sư phạm kỹ thuật TP. Hồ Chí Minh nói chung và của khoa Điện -Điện tử nói riêng đã dạy dỗ chúng em suốt quãng thời gian ngồi trên ghế giảng đường. Những lời giảng của thầy cô trên bục giảng đã trang bị cho chúng em những kiến thức và giúp chúng em tích lũy thêm những kinh nghiệm. Em cũng xin gửi lời cảm ơn tới c ác anh chị học viên khóa trước đã tận tình hướng dẫn em, định hướng đúng trong những ngày bắt đầu nhận đề tài luận văn. Bên cạnh đó, em xin cảm ơn sự hỗ trợ và giúp đỡ của bạn bè trong thời gian học tập tại trường Sư phạm kỹ thuật TP.Hồ Chí Minh và trong quá trình hoàn trình hoàn thành luận văn này. Cuối cùng, con cũng chân thành cảm ơn sự động viên và sự hỗ trợ của gia đình và cha mẹ trong suốt thời gian học tập. Đặc biệt, con xin gửi lời cảm ơn trân trọng nhất đến cha mẹ, người đã sinh ra và nuôi dưỡng con nên người. Sự quan tâm, lo lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho con cố gắng phấn đấu trên con đường học tập của mình. Một lần nữa, con xin gửi đến cha mẹ sự biết ơn sâu sắc nhất. TP. Hồ Chí Minh, ngày 25 tháng 10 năm 2015 NGUYỄN ĐÌNH HUÂN III
6. TÓM TẮT PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ Các quá trình xử lý tránh vật cản cho robot cũng như hệ thống hỗ trợ lái xe trong môi trường đô thị thì cần rất nhiều thông tin về môi trường đang làm việc. Trích xuất thông tin từ các hình ảnh của một hệ thống camera là một nhiệm vụ phức tạp và có nhiều khó khăn cho các cảnh trong môi trường đô thị. Luận văn sẽ trình bày một phương pháp để phát hiện đối tượng chuyển động bằng cách sử dụng dòng cảnh thưa. Đối với các hình ảnh stereo liên tục lấy được từ một chiếc xe đang di chuyển, điểm đặc trưng tương ứng được trích xuất. Khi đó, với mỗi điểm đặc trưng, các giá trị chênh lệch điểm ảnh và dòng quang được biết đến, và do đó thì dòng cảnh sẽ được tính toán. Các điểm đặc trưng liền kề nhau cùng mô tả một dòng cảnh tương tự giống nhau thì được coi là cùng thuộc về một đối tượng duy nhất. Phương pháp được đề xuất cho phép phát hiện mạnh mẽ các đối tượng chuyển động trong môi trường đô thị. Các đối tượng quan trọng được phát hiện liên tục trong nhiều khung hình. Các đối tượng đang đến gần robot thì được phát hiện trong vòng năm khung hình sau khi chúng xuất hiện ở trong cảnh. Nguyễn Đình Huân - KDD2013B IV
7. ABSTRACT DETECTION OF MOVING OBSTACLES FOR ROBOT WORKING IN THE URBAN ENVIRONMENT The process of obstacle avoidance of robot as well as driver assistance systems need reliable information on the current environment. Extracting such information from camera-based systems is a complex and challenging task for inner city scenarios. This thesis presents an approach for object detection utilizing sparse scene flow. For consecutive stereo images taken from a moving vehicle, corresponding feature points are extracted. Thus, for every feature point, disparity and optical flow values are known and consequently, scene flow can be calculated. Adjacent feature points describing a similar scene flow are considered to belong to one rigid object. The proposed method allows a robust detection of dynamic objects in traffic scenes. Leading objects are continuously detected for several frames. Oncoming objects are detected within five frames after their appearance. Nguyễn Đình Huân - KDD2013B V
8. MỤC LỤC LÝ LỊCH KHOA HỌC I LỜI CAM ĐOAN II LỜI CẢM ƠN III TÓM TẮT IV ABSTRACT V MỤC LỤC VI DANH MỤC CÁC HÌNH IX DANH MỤC CÁC CHỮ VIẾT TẮT XI Chương 1: TỔNG QUAN 1 1.1. Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố 1 1.1.1. Tổng quan chung về phát hiện vật cản chuyển động cho robot 1 1.1.2. Kết quả nghiên cứu trong và ngoài nước 3 1.2. Mục tiêu và đối tượng nghiên cứu 6 1.2.1. Mục tiêu nghiên cứu 6 1.2.2. Đối tượng nghiên cứu 6 1.3. Nhiệm vụ của đề tài và phạm vi nghiên cứu 6 1.3.1. Nhiệm vụ của đề tài 6 1.3.2. Phạm vi nghiên cứu 7 1.4. Phương pháp nghiên cứu 7 Chương 2: CƠ SỞ LÝ THUYẾT 8 2.1. Phát hiện vùng ảnh stereo 8 2.2. Tìm cặp điểm đặc trưng tương đồng 9 2.2.1. Định nghĩa đặc trưng 9 2.2.2. Các bộ dò tìm đặc trưng 10 2.3. Thông số nội của camera 19 2.4. Thuật toán RANSAC 24 2.5. Định vị camera dựa trên điểm tương đồng (Egomotion) 26 Nguyễn Đình Huân - KDD2013B VI
9. 2.5.1. Hình học Epipolar và ma trận cơ bản 26 2.5.2. Ma trận thiết yếu và thông số ngoại camera 26 2.6. Giải thuật 8 điểm kết hợp RANSAC 27 2.7. Thuật toán tối ưu xác định vị trí robot 28 2.8. Ma trận hiệp phương sai 29 2.9. Tam giác Delaunay 31 2.10. Khoảng cách Mahalanobis 32 2.11. Giải thuật tìm kiếm theo chiều sâu 34 2.12. Phương pháp láng giềng gần nhất toàn cục GNN 39 2.12.1. Các cơ sở của MHT 41 2.12.2. Thuật toán REID 41 2.12.3. Đánh giá giả thuyết 42 Chương 3: PHƯƠNG PHÁP PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG.45 3.1. Giới thiệu một số phương pháp pháp hiện vật cản 45 3.1.1. Các phương pháp phát hiện vật không sử dụng camera 45 3.1.2. Các phương pháp phát hiện vật sử dụng camera 47 3.2. Giới thiệu hệ thống Stereo camera 52 3.3. Phương pháp phát hiện đối tượng chuyển động 55 3.3.1. Tổng quan về phương pháp 55 3.3.2. Phát hiện đặc trưng 56 3.3.3. Đối sánh đặc trưng 57 3.3.4. Khôi phục 3D 59 3.3.5. Ước lượng Egomotion 60 3.3.6. Tính toán dòng cảnh 62 3.3.7. Phân nhóm dòng cảnh 63 3.3.8. Liên kết đối tượng 66 Chương 4: THỰC NGHIỆM 68 4.1. Thu thập dữ liệu 68 4.2. Kết quả thực nghiệm 69 Nguyễn Đình Huân - KDD2013B VII
10. 4.2.1. Cân chỉnh camera 69 4.2.2. Đối sánh đặc trưng 70 4.2.3. Phát hiện đối tượng 72 Chương 5: KẾT LUẬN 74 PHỤ LỤC A A PHỤ LỤC B F PHỤ LỤC C G TÀI LIỆU THAM KHẢO H Nguyễn Đình Huân - KDD2013B VIII
11. DANH MỤC CÁC HÌNH Hình 2.1: Phương pháp tính DoG 15 Hình 2.2: Tìm điểm đặc trưng từ các giá trị DoG 16 Hình 2.3: Mô tả điểm đặc trưng 19 Hình 2.4: Mô hình Pinhold camera 20 Hình 2.5: Hệ tọa độ tương đương mô hình Phinhold 20 Hình 2.6: Quan hệ giữa tọa độ camera và tọa độ không gian 22 Hình 2.7: Quan hệ giữa tọa độ điểm ảnh và tọa độ thực 23 Hình 2.8: Tập điểm dữ liệu đường thẳng 25 Hình 2.9: Tìm đường thẳng dùng thuật toán RANSAC 25 Hình 2.10: Mô tả hình học Epipolar 26 Hình 2.11: Mô tả hình học 3 frame liên tục với đặc trưng tương đồng 29 Hình 2.12: Đồ thị các điểm 34 Hình 2.13: Xác định đỉnh kề trong tìm kiếm theo chiều sâu 37 Hình 2.14: Ví dụ về tình huống xung đột liên kết dữ liệu điển hình. 39 Hình 2.15: Tổng quan vể giải thuật MHT 41 Hình 3.1: Một robot gắn các công tắc hành trình 45 Hình 3.2: Phương pháp dùng cảm biến siêu âm 46 Hình 3. 3: Phương pháp phát hiện cạnh 48 Hình 3.4: Phương pháp dò nền 49 Hình 3.5: Phương pháp laser 50 Hình 3.6: Bản đồ chiều sâu thu được của hệ thống Stereo vision 51 Hình 3.7: Cấu trúc của hệ thống Stereo 52 Hình 3.8: Độ sâu của điểm ảnh 53 Hình 3.9: Tổng quan về phương pháp nghiên cứu 55 Hình 3.10: Bộ dò đốm, góc và mô tả đặc trưng 57 Hình 3.11: Đối sánh vòng tròn 57 Hình 3.12: Gán bin lưới cho đặc trưng 58 Nguyễn Đình Huân - KDD2013B IX
12. Hình 3.13: Nhiễu kết quả của khôi phục 3D 60 Hình 3.14: Xây dựng và phân nhóm đồ thị. 64 Hình 3.15: Phát hiện đối tượng 65 Hình 3.16: Thuật toán láng giềng gần nhất toàn cục GNN 67 Hình 4.1: Mô hình phần cứng 68 Hình 4.2: Giao diệncủa sổ cửa toolbox cân chỉnh trong Matlab 69 Hình 4. 3: Tập ảnh bàn cờ dùng cân chỉnh camera 69 Hình 4.4: Đối sánh đặc trưng 70 Hình 4.6: Phát hiện đối tượng ở môi trường ít đối tượng 72 Hình 4.7: Phát hiện đối tượng trong tập dữ liệu phức tạp 73 Hình B.1: Cửa sổ hiệu chỉnh của một camera F Hình B.2: Cửa sổ hiệu chỉnh của hệ thống stereo camera F Hình B.3: Kết quả hiệu chỉnh bằng toolbox Matlab F Nguyễn Đình Huân - KDD2013B X
13. DANH MỤC CÁC CHỮ VIẾT TẮT STT Viết tắt Viết đầy đủ 1 3D Three Direction 2 DAS Driver Assistance Systems 3 DFS Depth-First Search 4 DoG Difference of Gaussians 5 GNN Global Nearest Neighbor 6 GPS Global Positioning System 7 HOG Histogram Of Oriented Gradients 8 LIDAR Light Detection And Ranging 9 LLR Log-Likelihood Ratio 10 MHT Multiple Target Tracking 11 NMS Non-Maximum-Suppression 12 RANSAC Random Sample Consensus 13 SFM Structure From Motion 14 SIFT Scale-Invariant Feature Transform 15 SLAM Simutaneous Localization and Mapping 16 SURF Speeded Up Robust Features 17 TOF Time of Flight Nguyễn Đình Huân - KDD2013B XI
14. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Chương 1 TỔNG QUAN 1.1. Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố 1.1.1. Tổng quan chung về phát hiện vật cản chuyển động cho robot Theo dự đoán trong tương lai, robot sẽ là tâm điểm của một cuộc cách mạng lớn sau Internet. Con người sẽ có nhu cầu sở hữu một robot cá nhân như một máy tính PC bây giờ. Với xu hướng này, cùng các ứng dụng truyền thống khác của robot trong công nghiệp, y tế, giáo dục đào tạo, giải trí và đặc biệt là trong an ninh quốc phòng thì thị trường robot sẽ vô cùng to lớn. Một trong các yêu cầu cơ bản của robot tự động thực thụ là khả năng định hướng tốt trong phạm vi môi trường chưa xác định và hình dung ra một bản đồ định hướng, sau đó là né tránh vật cản. Bằng cách sử dụng các quan sát thích hợp từ môi trường, kết hợp cùng lúc với bản đồ để định hướng và né tránh vật cản cho robot đang là một yêu cầu cần nghiên cứu cho robot di động.Việc đồng thời định vị, vẽ bản đồ và né tránh vật cản cùng lúc là một phương pháp chung có liên quan đến việc triển khai một hệ thống di động trong môi trường chưa xác định. Đối với một robot di động tự động, định hướng là một công việc để di chuyển một cách an toàn từ nơi này đến nơi khác. Việc định hướng gặp nhiều khó khăn do nhiều vấn đề khá phức tạp. Vấn đề gây trở ngại chính là những hạn chế của việc ước tính chuyển động, những khó khăn trong việc phát hiện và nhận biết đối tượng, những khó khăn trong việc tránh xung đột với các đối tượng khác nhau, và những khó khăn liên quan tới việc sử dụng thông tin cung cấp từ môi trường. Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực nghiên cứu hiện nay và được nghiên cứu bằng cách áp dụng các phương pháp khác nhau. Hệ thống LIDAR cung cấp một mô hình hình học có độ chính xác cao cho rất nhiều điểm 3D có thể được sử dụng để phát hiện nhiều đối tượng dưới mặt phẳng giả định Nguyễn Đình Huân - KDD2013B 1
15. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị hoặc bằng cách sử dụng một bộ dò đối tượng dựa trên mô hình. Chương trình nghiên cứu gần đây, ước tính chuyển động từ những hình ảnh biên cũng cho kết quả đầy hứa hẹn là tốt. Trong khi phương pháp phát hiện dựa trên ánh sáng LIDAR có thể trực tiếp cung cấp thông tin hình ảnh 3D quan trọng, dữ liệu cần thiết lại xuất hiện thiếu phong phú. Một số phương pháp khác nhận dạng đối tượng trong phạm vi hình ảnh hiện tại để phát hiện các lớp đối tượng đơn hay nhiều lớp đối tượng. Tuy nhiên, nhiệm vụ này thậm chí còn khó khăn hơn, nếu các camera quan sát chuyển động thì ảnh hưởng việc thu nhận hình ảnh do bị mờ hoặc thay đổi điều kiện ánh sáng. Những phương pháp này thường sử dụng một sự tìm kiếm không biết trước trên toàn bộ hình ảnh và loại bỏ thêm nhiều thông tin hơn về cấu trúc hình học khung cảnh. Ngoài ra, nhận biết môi trường cho robot không chỉ yêu cầu đối tượng được phát hiện thuộc phạm vi hình ảnh mà còn yêu cầu mô tả hình ảnh 3D của cảnh giao thông được quan sát để tiến hành né tránh va chạm. Cấu trúc hình học khung cảnh 3D có thể được ước tính chỉ sử dụng một khung duy nhất là tốt, nhưng có một vài hạn chế và thiếu sự phong phú của các đối tượng. Ngày nay, các máy quét laser vẫn được sử dụng rộng rãi trong robot và xe tự lái, chủ yếu là do chúng trực tiếp cung cấp các phép đo 3D trong thời gian thực. Tuy nhiên, so với các hệ thống camera truyền thống, máy quét laser 3D thường đắt tiền hơn và khó khăn hơn để tích hợp hoàn toàn vào các thiết kế phần cứng hiện hành (ví dụ, xe hơi hoặc xe lửa). Hơn nữa, chúng cũng dựa vào nguyên tắc cảm biến nên chúng dễ dàng gây nhiễu với các cảm biến khác cùng loại như chúng. Thay vào đó là một hệ thống stereo camera cho phép khôi phục cấu trúc hình học của khung cảnh trong hệ tọa độ nhiều hình ảnh 3D. Môi trường đô thị rất phức tạp và đòi hỏi nhận biết cho các hệ thống hỗ trợ lái xe hiện đại DAS hay robot. Các ứng dụng khác nhau như tránh va chạm, giữ làn đường hoặc hỗ trợ ở giao lộ cần thông tin đáng tin cậy về tình hình giao thông hiện tại. Nhận thức và hiểu biết về những cảnh giao thông động ở mức độ cao là rất quan trọng cho các hệ thống như vậy. Môi trường đô thị phức tạp hơn môi trường trong Nguyễn Đình Huân - KDD2013B 2
16. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị nhà, do đó công việc đối với DAS là khó khăn hơn và hiện đang là một vấn đề chưa được giải quyết triệt để: Cảnh giao thông đông đúc với nhiều loại phương tiện khác nhau của người tham gia giao thông như ô tô, người đi bộ, người đi xe đạp hoặc xe điện mà phải được phân biệt trong khi khung cảnh xung quanh có thể khác nhau một cách tuỳ ý. 1.1.2. Kết quả nghiên cứu trong và ngoài nước Có rất nhiều công trình nghiên cứu và thực nghiệm đã được thực hiện trong nhiều năm qua. Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực nghiên cứu hiện nay. Công việc đầu tiên là lập bản đồ xác định vị trí của robot, sau đó phát hiện đối tượng chuyển động trong môi trường đô thị, từ đó có thể đưa ra các phương thức điều khiển hướng chuyển động cho robot hay hệ thống hỗ trợ lái xe. Một số nghiên cứu trong nước và ngoài nước được tóm tắt lại như dưới đây. Trong bài viết của tác giả Nguyễn Minh Thức, định vị cho mobile robot sử dụng GPS [1], robot di chuyển và định vị dựa và tín hiệu GPS, tuy nhiên trong đề tài còn hạn chế là robot không thể tránh nhiều vật cản gần nhau. Lập bản đồ 3D và 2D sử dụng stereo camera [2], tác giả dùng stereo camera gắn trên xe lăn để xây dựng bản đồ 3D, từ đó phát hiện vật cản, điều khiển xe lăn di chuyển an toàn mà không cần sự điều khiển của người tàn tật. Định vị robot dựa trên cơ sở xử lý ảnh stereo camera và có tích hợp GPS [4], tác giả dựa vào GPS để định vị vị trí robot trên mặt đất trong khoảng không gian rộng lớn. Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ước lượng sự di chuyển này dựa vào xử lý cặp ảnh chụp từ stereo camera. Một mô hình định vị và lập bản đồ thời gian thực mức đối đối tượng 3D [5]. Tác giả tạo một tập dữ liệu các đối tượng 3D. Bản đồ được xây dựng từng bước trực tiếp theo hướng đối tượng. Một máy ảnh chụp một cảnh nhiều đối tượng, thông tin các đối tượng được lặp đi lặp lại giải thuật nhận diện đối tượng 3D và tạo ra bản đồ 3D thể hiện vị trí các đối tượng liên quan trong tập dữ liệu. Biểu đồ được tối ưu hóa lên tục như các phép đo mới và cho phép luôn cập nhật, các dự đoán liên tục và chính xác của phép đo camera kế tiếp. Nguyễn Đình Huân - KDD2013B 3
17. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Với công trình nghiên cứu của Hoiem và cộng sự [6] phương pháp này dựa trên hiểu biết về ước lượng hình học từ các hình ảnh của hệ thống đơn camera đã thấy sự phục hồi 3D [7], [10]. Những phương pháp này thông thường phân khúc hình ảnh thành các siêu điểm ảnh và dựa trên sự xuất hiện cục bộ cũng như các ràng buộc toàn cục, suy ra cấu hình 3D giống nhất của mỗi phân khúc đó. Mặc dù có các kết quả ấn tượng đã được chứng minh gần đây [7], những phương pháp này vẫn còn thiếu chính xác và có nhiều lỗi để đưa vào các ứng dụng hỗ trợ trực tiếp như điều hướng di động hoặc lái xe tự động. Tái tạo 3D từ bộ sưu tập hình ảnh chưa được hiệu chỉnh đã được đưa ra bởi Koch [8], Seitz [9] và các cộng sự khác, sử dụng kỹ thuật cổ điển là cấu trúc từ sự chuyển động (SFM). Phần mở rộng để tái tạo đô thị đã được chứng minh trong [11], [12]. Gần đây hơn, với sự sẵn có của nền tảng chia sẻ hình ảnh như Flickr dẫn đến những nỗ lực mô hình hóa các thành phố lớn như Rome [13], [14]. Tuy nhiên, để có được tái tạo 3D bán dày đặc chính xác, hệ thống đa tầm nhìn stereo mạnh mẽ được sử dụng, trong đó, thậm chí trên các bộ thu thập hình ảnh nhỏ, dễ dàng mất đến vài giờ trong khi sử dụng rộng rãi trong các thiết bị xử lý song song. Hơn thế nữa, hầu hết các phương pháp đề xuất yêu cầu một số điểm nhìn dư thừa, trong khi mục tiêu ứng dụng của chúng tôi là một nền tảng di động di chuyển liên tục, ở đó các mục tiêu có thể được nhìn thấy chỉ trong một thời gian ngắn. Badino và cộng sự [15] giới thiệu Stixel World như là đại diện mức trung để giảm số lượng các thông tin đầu vào đọc được. Chúng quan sát không gian trống ở phía trước của một chiếc xe thường được giới hạn bởi các đối tượng với các bề mặt thẳng đứng, và đại diện cho chúng là các thanh hình chữ nhật liền kề với chiều rộng cố định, cái mà được theo dõi theo thời gian. Một loại đại diện cấp trung khác thường xuyên được sử dụng là mạng lưới lấp đầy [16], [17], cái mà rời rạc hóa thế giới 3D thành các phần tử 2d nhị phân. Mặc dù rất hữu ích trong nhiều ứng dụng, những loại trừu tượng này là chưa đủ để thể hiện cho vỉa hè hoặc các đối tượng treo, chìa ra như cây cối, bảng hiệu hay đèn giao thông. Cách khác nữa, lưới điểm ảnh ba chiều 3D có thể được sử dụng. Tuy nhiên nếu không miễn trừ độ phân giải, tính Nguyễn Đình Huân - KDD2013B 4
18. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị toán phức tạp sẽ gia tăng đáng kể. Thay vào đó trong bài báo này, chúng tôi quan tâm đến biển diễn cho các thông tin nhận được càng chi tiết càng tốt, nhưng mà không bị mất hiệu suất làm việc trong thời gian thực. Các công trình phát hiện đối tượng: Một hệ thống stereo camera cho phép khôi phục cấu trúc hình học của khung cảnh trong hệ tọa độ thực 3D. Nedevschi [18],đã giới thiệu một hệ thống cho sự phát hiện đối tượng trong khu vực nội thành và phân loại cách sử dụng một hệ thống stereo camera. Thông tin mật độ hình ảnh stereo được sử dụng cho xây dựng lại và dữ liệu 3D được sử dụng để lựa chọn mô hình và ước tính tỷ lệ. Phân loại đối tượng dựa trên mô hình phù hợp với tỷ lệ đối tượng đang khảo sát, định hướng và định vị trong khung cảnh thu được từ bước lựa chọn mô hình trước đó. Franke [19] và Wedel [20] sử dụng dữ liệu hình ảnh stereo để ước tính vị trí 3D và chuyển động 3D của các điểm quan tâm để phát hiện mạnh mẽ của các đối tượng chuyển động. Pfeiffer [21] giới thiệu việc theo dõi stixels thu được từ hình ảnh stereo dày đặc như một đại diện cho các kịch bản giao thông ngoại thành. Mueller [22] đánh giá sự chênh lệch dòng quang của các điểm quan tâm để nhóm các đối tượng độc lập đang mô tả trong khung cảnh đó. Phương pháp này tận dụng các điểm quan tâm được phát hiện trong chuỗi hình ảnh đơn camera mà được kết nối trong một cấu trúc như đồ thị và rất giống với phương pháp được chúng tôi đề xuất. Mặt khác, chúng tôi sử dụng thông tin dòng cảnh của các điểm đặc trưng từ phương pháp phát hiện chuyển động để mô tả hạn chế của các đối tượng cố định trong mặt phẳng ảnh mà không đủ mạnh mẽ cho các tình huống bên trong nội thành. Ess [23] sử dụng khung hình HOG [24] để phát hiện đối tượng và do đó theo dõi đa đối tượng cho những cảnh giao thông nội thành. Đối với phương pháp này, hóa ra là vượt trội so với [25], [26] vì sự thay đổi hình dạng của người tham gia giao thông là tương đối nhỏ. Nguyễn Đình Huân - KDD2013B 5
19. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị 1.2. Mục tiêu và đối tượng nghiên cứu 1.2.1. Mục tiêu nghiên cứu Mục tiêu đề tài này là định vị robot, phát hiện và theo dõi vật cản chuyển động. Robot sẽ dùng camera chụp các ảnh 2D trong quá trính di chuyển để ước lượng vị trí camera được gắn trên robot, sau đó tính toán vị trí và hướng của robot trong không gian robot đang tương tác. Sau đó dùng các thuật toán để phát hiện đối tượng chuyển động cho robot trong môi trường đô thị. Với các hình ảnh stereo liên tiếp lấy từ một chiếc xe di chuyển, điểm đặc trưng tương ứng được trích xuất. Khi đó, tất cả độ chênh lệch và giá trị dòng quang của điểm đặc trưng được tính toán và kết quả là, dòng cảnh cũng được tính toán. Điểm đặc trưng gần kề mô tả cùng một dòng cảnh tương tự được coi là thuộc về một đối tượng cố định. Phương pháp đề xuất cho phép phát hiện mạnh mẽ các đối tượng chuyển động trong những cảnh giao thông. Các đối tượng liên tục được phát hiện trong khung hình và được theo dõi trong năm khung hình liên tiếp sau khi xuất hiện để đưa ra phát hiện cuối cùng. 1.2.2. Đối tượng nghiên cứu Đề tài nghiên cứu dựa trên bộ dữ liệu đầu vào là tập ảnh 2D được thu thập qua hệ thống stereo camera trong quá trình di chuyển trên đường đi của robot hoặc hệ thống di chuyển (như ô tô, xe lửa ) cần xác định vị trí tương ứng và né tránh vật cản trong môi trường làm việc. 1.3. Nhiệm vụ của đề tài và phạm vi nghiên cứu 1.3.1. Nhiệm vụ của đề tài Để đạt được mục tiêu nghiên cứu cần thực hiện các nhiệm vụ sau: - Tìm hiểu lý thuyết về lập bản đồ và định vị robot - Tìm hiểu về xử lý ảnh: các phép toán trong xử lý ảnh, trích đặc trưng từ ảnh, loại bỏ những đặt trưng yếu hoặc sai: - Thuật toán trích đặc trưng từ bộ dò đốm và góc từ một hình ảnh. - Thuật toán khôi phục 3D, xác định vị trí và góc quay camera để tìm vị trí và hướng của đối tượng nghiên cứu. Nguyễn Đình Huân - KDD2013B 6
20. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị - Các thuật toán phát hiện đối tượng trong môi trường làm việc. - Tam giác Delaunay. - Khoảng cách Mahalanobis. - Giải thuật tìm kiếm theo chiều sâu DFS. - Thuật toán láng giềng gần nhất toàn cục GNN (sử dụng phương pháp theo dõi đa giả thuyết MHT). Sau khi nghiên cứu các thuật toán trên, kết hợp đưa ra phương pháp để phát hiện đối tượng chuyển động cho robot làm việc trong môi trường đô thị. Từ đó viết chương trình Matlab cho phương pháp và thực nghiệm lại phương pháp. 1.3.2. Phạm vi nghiên cứu Đề tài nghiên cứu trên thiết bị di chuyển có người lái, tập ảnh 2D được tác giả thu thập trong quá trình di chuyển trên đường đi thông qua hệ thống stereo camera. Trên tập dữ liệu ảnh 2D đề tài mô phỏng tính toán xây dựng bản đồ 3D, định vị vị trí camera trong bản đồ này và sau đó là phát hiện đối tượng chuyển động trong môi trường cho thiết bị di chuyển. 1.4. Phương pháp nghiên cứu Cách tiếp cận của nghiên cứu này là khảo sát cơ sở lý thuyết những phương pháp hiện có, phân tích ưu nhược điểm. Tiến hành đề xuất phương pháp mới cải tiến. Thực hiện mô phỏng giải thuật trên phần mềm. Khi thu được sai số cho phép sẽ tiến hành thực nghiêm trên phần cứng và môi trường thực tế. Tóm lại, phương pháp nghiên cứu của đề tài là trước tiên tiến hành nghiên cứu lý thuyết, sau đó kiểm chứng bằng thực tế và rút ra kết luận. Nguyễn Đình Huân - KDD2013B 7
21. Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị Chương 2 CƠ SỞ LÝ THUYẾT 2.1. Phát hiện vùng ảnh stereo Hình ảnh video là chuỗi các khung hình liên tiếp được thể hiện trong một thời gian. Phát hiện vùng ảnh stereo bản chất là so sánh các khung hình liên tiếp trong một đoạn video để từ đó có thể đưa ra các vùng ảnh stereo khác nhau giữa các khung hình liên tiếp đó. Đây chính là nguyên lý cơ bản để bắt được vết các đối tượng chuyền động, vì chỉ khi có đối tượng chuyền động trong khung hình thì mới có sự khác nhau giữa các khung hình liên tiếp từ đó sẽ thu được các vết chuyển động của vật thể. Đã có nhiều phương pháp đưa ra để giải quyết vấn đề này, các phương pháp có những ưu nhược điểm riêng phù hợp với các điều kiện và hoàn cảnh giám sát khác nhau. Khái quát lại có thể phân thành các phương pháp: Các phương pháp trừ ảnh nền (Background Subtraction). Các phương pháp dựa trên thống kê (Statistical Methods). Các phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình. Ở đây chúng ta sử dụng phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình. Phương pháp này thực hiện việc phát hiện vùng chuyển động bằng cách sử dụng sự khác nhau ở mức điểm ảnh giữa hai hoặc ba khung hình liên tiếp trong một chuỗi các khung hình video. Phương pháp này khá tốt đối với khung cảnh động nhiều thay đổi song lại thất bại trong việc phát hiện ra các điểm ảnh có liên quan đến cùng một số kiểu chuyển động. Phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình được tính: |It(x,y)–It-1(x,y)| > 훕 (2.1) Trong đó: It (x,y) là điểm ảnh có tọa độ (x,y) của khung hình tại thời điểm t, It- 1(x,y) là điểm ảnh có tọa độ (x,y) của khung hình tại thời điểm t-1, 훕 là một ngưỡng đã xác định trước. Nguyễn Đình Huân - KDD2013B 8
22. S K L 0 0 2 1 5 4