Định vị robot dựa trên kỹ thuật xử lý hình ảnh

Nội dung text: Định vị robot dựa trên kỹ thuật xử lý hình ảnh

1. ĐỊNH VỊ ROBOT DỰA TRÊN KỸ THUẬT XỬ LÝ HÌNH ẢNH 1 2 Ngô Thanh Đông ; Lê Mỹ Hà 1 Học viên cao học, Đại học Sư Phạm Kỹ Thuật Tp.Hồ Chí Minh 2 Đại học Sư Phạm Kỹ Thuật Tp.Hồ Chí Minh Tóm tắt: Định vị robot là đề tài được nhiều nhà khoa học trong nước và thế giới quan tâm. Người ta thường dùng các loại cảm biến để tính toán khoảng cách, hướng, vận tốc để xác định vị trí robot. Vì các loại cảm biến vẫn còn sai số, những yếu tố khách quan như robot bị trượt trong quá trình di chuyển, đã làm cho vấn đề định vị robot vẫn chưa được giải quyết triệt để. Các nhà nghiên cứu đã đưa ra nhiều giải pháp khác nhau như là định vị robot bằng cách phát hiện vật mốc RFID, sử dụng camera Kinect, stereo camera, GPS Để đạt được kết quả tốt hơn, trong đề tài này tác giả định vị robot sử dụng camera kết hợp GPS. Đề tài thực hiện định vị robot sử dụng camera. Robot được trang bị một camera thường, trong quá trình di chuyển nó sẽ thu thập những ảnh 2D, xử lý tập ảnh này, tính toán xác định vị trí và lập quỹ đạo của robot. Tuy nhiên định vị robot sử dụng camera thì chưa thể xác định vị trí chính xác của robot trên tọa độ mặt đất. Đề tài cũng thực hiện định vị robot sử dụng Module GPS để thu thập dữ liệu kinh độ và vĩ độ. Từ đó xác định vị trí của robot trên bản đồ mặt đất. Nhưng định vị robot sử dụng GPS cho kết quả chưa mịn. Kết hợp hai kết quả trên, định vị robot sử dụng camera kết hợp GPS cho kết quả tốt hơn. Robot xác định được vị trí của mình trên tọa độ mặt đất, quỹ đạo di chuyển của robot được xác định mịn hơn. Abstract: Location for robot is a subject which is interested by many researchers. They often use sensors to measure the distance, orientation and velocity to determine navigation of robot. Because sensors still have errors and many external factors such as slipping during moving, the problem of locating robot has not solved thoroughly. Researchers gave many various methods for locating robot such as: RFID, using Kinect camera, stereo camera, GPS, In order to gain better result, in this thesis, navigation of robot fusing camera and GPS is used. Locating robot using camera in this thesis, camera is attached on robot, during the movement, it will collect a set of 2D images. Processing this set of pictures, counting location and mapping the trajectory of robot. But the result of this process cannot give the global location Locating robot using Module GPS is also implemented in this thesis to getting longitude and latitude. From that global location of robot is determined. But this result is not smooth. Fusing camera and GPS gives better result. Robot is located its navigation on glocal map, trajectory of robot is smoother Từ khóa: Locating robot, odometry, GPS, 1
2. 1. GIỚI THIỆU thập và xử lý hình ảnh. Robot tự hành đơn Định vị cho robot di động nhằm giản chỉ được trang bị một camera mà xác định chính xác vị trí của robot trên bản không cần bất kỳ cảm biến nào đã có thể đồ được nghiên cứu từ rất lâu và đã đạt tự quyết định được hành vi di chuyển của được nhiều thành công lớn. Phương pháp robot và hoạt động trong môi trường mới định vị cổ điển là dựa vào các loại cảm mà hoàn toàn chưa biết trước bản đồ. biến để tính toán khoảng cách, hướng, gia Trong bài báo này xác định vị trí và lập tốc trên cơ sở đó ước lượng và quyết định bản đồ robot trong quá trình di chuyển. quỹ đạo di chuyển của robot. Bên cạnh Bài báo chưa làm đến điều khiển robot nên những thành tựu đó, những nhược điểm robot được xem như một phương tiện di khách quan do sai số từ các cảm biến đưa chuyển cụ thể là một ô tô. Robot/ô tô sẽ về cho robot cũng không thể loại bỏ. Việc dùng camera chụp các ảnh 2D trong quá điều khiển robot chỉ dựa vào các cảm biến trính di chuyển để ước lượng vị trí camera trên robot thôi vẫn chưa đủ để giải quyết được gắn trên nó, sau đó tính toán vị trí và vấn đề trên. Dần dần, các nhà nghiên cứu hướng của nó trong không gian đang nhận thấy rằng cần phải phối hợp, tương tương tác. GPS cho biết vị trí của đối tác với môi trường xung quanh, giúp robot tượng trên bản đồ mặt đất, nhưng sai số thêm nhiều thông tin có thể trả lời đúng lớn. Kết hợp hai thiết bị có thể xác định vị câu hỏi “tôi đang ở đâu?” [1]. trí của robot chính xác hơn hoặc trong Bài toán lập bản đồ và định vị cho robot trường hợp một trong hai thiết bị mất tín được chia làm 2 loại: định vị cho robot hiệu thì tín hiệu còn lại được bổ sung để trong nhà và ngoài trời [2]. Lập bản đồ và đảm bảo tính liên tục của tín hiệu định vị cho robot ngoài trời gặp nhiều khó khăn hơn trong nhà vì địa hình gồ ghề hơn, 2. XÁC ĐỊNH VỊ TRÍ ROBOT DỰA môi trường phức tạp hơn và quy mô rộng VÀO CAMERA lớn hơn. Robot ngày càng được trang bị Để xác định vị trí robot dựa vào camera ta những cảm biến như con người, thị giác thực hiện theo lưu đồ hình 1 robot là camera gắn trên robot nhằm thu Chụp Trích Tìm cặp Ước lượng Ước ảnh liên đặc đặc vị trí lượng vị tục trưng trưng camera trí robot tương Thông số nội camera Hình 1: Lưu đồ định vị robot dựa vào camera 2
3. 2.1. THÔNG SỐ NỘI CAMERA . Quá trình tìm thông số nội camera còn được gọi là camera calibratio [3]. Đó là phương pháp tính toán và thực nghiệm nhằm tìm ra các thông số của camera cho việc tái tạo không gian 3D của một cảnh nào đó trong thực tế bằng những ảnh mà camera đó chụp lại được. Mô hình camera thông dụng nhất hiện nay là mô hình Pinhold. Mô hình này bao gồm một mặt phẳng ảnh I và một tâm điểm C nằm trên Hình 3: Tập ảnh bàn cờ mặt phẳng tiêu cự F 2.2. TRÍCH RÚT ĐẶC TRƯNG Có nhiều phương pháp trích đặc trưng như: Harris Laplace, SIFT, SURF là loại đặc trưng mạnh, đúng cho cả phép biến đổi xoay, tỉ lệ và Affine [4]. Nhưng tốc độ thực hiện tính toán đặc trưng rất Hình 2: Mô hình Pinhold chậm. Vì cặp ảnh robot chụp được trong Mỗi điểm ảnh 2D được biểu diễn bởi quá trình di chuyển là mịn, độ thay đổi tỉ m  u, vT và điểm 3D được biểu diễn lệ nhỏ, không có biến đổi Affine và biển T đổi xoay. Dựa vào đặc điểm trên, ta chọn MXYZ  ,, . Dùng x là vector thêm 1 vào phương pháp trích rút đặc trưng dùng mặt sau T và MXYZ , , ,1 T . Một mô m  u, v ,1   nạ đốm và mặt nạ góc [5] như hình 4. hình camera được xây dựng bằng các mối Đầu tiên ảnh đầu vào sẽ thực hiện qua hai quan hệ giữa một điểm M trong 3D và ảnh bộ lọc đốm và bộ lọc góc với mặt nạ như của nó trong mặt phẳng ảnh được mô tả: hình 4. sm K R t M (1) Tiếp theo, loại bỏ điểm không cực đại và Trong đó: s là hệ số tỉ lệ, (,)Rt là thông số không cực tiểu [6] của ảnh sau khi thực ngoại camera, là ma trận xoay và tịnh tiến, hiện qua hai mặt nạ đốm và góc. Kết quả, K là thông số nội camera điểm đặc trưng là một trong bốn lớp đốm Kết quả thực hiện: max, đốm min, góc max, góc min. Để tìm Tập ảnh vào là 30 ảnh được chụp từ cặp đặc trưng tương đồng ta chỉ so sánh camera Canon A4000 hình 3 đặc trưng của các lớp này. Hình 5 thể hiện Kết quả tính ma trận thông số camera điểm đặc trưng được tìm thấy sau khi loại bỏ điểm không cực đại và không cực tiểu 530.451 0 327.974 trong vùng lận cận 11x11 pixels. K 0 531.395 246.160 0 0 1 3
4. -1 -1 -1 -1 -1 -1 -1 0 +1 +1 -1 +1 +1 +1 -1 -1 -1 0 +1 +1 -1 +1 +8 +1 -1 0 0 0 0 0 -1 +1 +1 +1 -1 +1 +1 0 -1 -1 -1 -1 -1 -1 -1 +1 +1 0 -1 -1 a. Bộ phát hiện đốm b. Bộ phát hiện góc Hình 4: Bộ phát hiện đốm và bộ phát hiện góc a. Điểm đặc trưng đốm b. Điểm đặc trưng góc Hình 5: Điểm đặc trưng đốm và đặc trưng góc differences). Để tăng tốc độ so sánh, ta 2.3. MÔ TẢ CẶP ĐẶC TRƯNG TƯƠNG lượng tử hóa Sobel và tính SAD trong một ĐỒNG tập hợp thưa của 16 vị trí như hình 6 thay Trong quá trình di chuyển robot chụp 2 vì tính tổng toàn bộ khối cửa sổ. Với hình ảnh liên tiếp nhau. Sau khi trích rút những giá trị SAD nhỏ nhất cho ta vị trí được các đặc trưng ảnh từ 2 hình, ta cần cặp đặc trưng tương đồng của hai ảnh. tìm cặp điểm tương đồng của hai bộ đặc Hình 7 thể hiện cặp đặc trưng tương đồng trưng từ hai ảnh. Trong trường hợp này vì được tìm thấy. hai ảnh là liền kề nhau, xem như sự di (2) SAD(,)(,)  I12 i j I x i y j chuyển của camera là mịn. (,)Wij Hình 7: Cặp điểm đặc trưng tương đồng Hình 6: Bộ lọc Sobel 2.4. ƯỚC LƯỢNG VỊ TRÍ CAMERA Để giảm thời gian tính toán, ta chỉ cần so Giả sử ảnh thứ nhất được chụp từ camera sánh các cửa sổ của bộ lọc Sobel ngang và có vị trí P , ảnh thứ hai được chụp từ dọc tương ứng với nhau bằng cách sử dụng camera có vị trí P . Ở đây ta cần xác định công thức (2) SAD (sum of absolute vị trí P so với vị trí P , trong đó PI  |0 . 4
5. Khi đã có hai tập đặc trưng tương đồng x SIM968 trong khoảng từ 1200 bps đến và x’ của ảnh thứ nhất và thứ 2. Xác định 115200bps. ma trận cơ bản F thỏa công thức (3) theo 3.2. XÁC ĐỊNH VỊ TRÍ ROBOT DỰA giải thuật 8 điểm [7]. TRÊN DỮ LIỆU GPS x'0T Fx (3) Dữ liệu GPS thu về từ module SIM968 có Sau khi tìm được ma trận cơ bản F ta tính dạng, thành phần kinh độ và vĩ độ được ma trận thiết yếu E theo công thức trích rút từ chuỗi định dạng $GPGGA. E K'T FK (4) Thành phần được ký hiệu là T Tìm ma trận U, V được tính bằng: gps P xygpss gp , trong đó xgps là kinh [U, d, V] = svd(E) độ, ygps là vĩ độ thu được. Chuyển đổi hệ Tính giá trị ma trận dịch chuyển S, ma trận tọa độ kinh độ, vĩ độ vào tọa độ ảnh chụp xoay Ra, Rb: mặt đất. Ảnh mặt đất được chụp từ google S UZUT earth hình 8 có tọa độ P1, P2, P3, P4 như Ra UWVT sau: Rb UWTT V P 106oo 46 16.52 1 0 51 12.44 Trong đó: 1 P 106oo 46 16.52 1 0 51 2.63 0 1 0 0 1 0 2 W 1 0 0 P 106oo 46 27.13 1 0 51 12.44 Z 1 0 0 3 0 0 1 0 0 0 P 106oo 46 27.13 1 0 51 2.63 4 Vị trí mới của camera P  Ra| t hoặc P  Ra| t hoặc P  Rb| t hoặc P  Rb| t trong đó t là vector dịch chuyển t = u3 (cột thứ 3 của U). Có được vị trí P của camera so với vị trí đầu P = [I | 0]. Ta lấy liên tục hai ảnh tiếp theo để xác định vị trí tiếp theo của camera [8]. Hình 8: Ảnh chụp mặt đất từ 4 điểm 3. XÁC DỊNH VỊ TRÍ ROBOT DÙNG P1P2P3P4 GPS 3.1. THU THẬP DỮ LIỆU GPS Ta cẩn chuyển tọa độ Pgps về tọa độ trong Dữ liệu GPS được thu thập từ thiết bị ảnh mặt đất (kết quả như hình 9) công thức module SIM968 [9], dữ liệu này được như sau: truyền về máy tính theo phương thức Pgpss SRPT ( ( gp )) (3) truyền thông nối tiếp. SIM968 cung cấp anh Trong đó: Pgps : tọa độ GPS trong ảnh hai cổng nối tiếp không đồng bộ khác anh S 0 nhau. Một là cổng nối tiếp và một là cổng S : ma trận tỉ lệ, S x với 0 S gỡ lỗi. Các module GPS được thiết kế như y SPP 550 / , SPP 550 / một DCE. Tốc độ truyền nối tiếp của x 13 y 12 5
6. R: ma trận xoay, 10 T OP và S là ma trận tỉ lệ, R là ma trận R 1 01 xoay T: Vector tịnh tiến, T PO 1 S 0 x , là tỉ lệ của hai trục được S SSxy, 0 S y tính từ 30 giá trị đầu cos sin R ,  là góc tạo bởi hướng sinc os của 30 giá trị đầu Kết hợp dữ liệu camera và GPS theo phương pháp trung bình cộng. 4. KẾT QUẢ THỰC HIỆN Thu thập dữ liệu bằng cách dùng ô tô được trang bị camera và GPS di chuyển trong Hình 9: Hệ trục tọa độ ảnh mặt đất khuôn viên trường ĐH Sư phạm kỹ thuật 4. XÁC ĐỊNH VỊ TRÍ ROBOT DÙNG TP.HCM (hình 10), diện tích khuôn viên CAMERA KẾT HỢP GPS 200x90(m2), với tốc độ 20km/h. Camera Vì vị trí robot được định vị dùng camera thu thập tập ảnh trên đường di chuyển. Tập không cho ta biết được vị trí đầu và hướng dữ liệu là các ảnh liên tiếp nhau theo trình của robot trên bản đồ mặt đất. Gọi Pvis i o n là Ov tự di chuyển. GPS thu thập tín hiệu đồng tọa độ robot được xác định dùng camera thời với camera. trong hệ trục tọa độ Ov x v y v . Ta cần chuyển tọa độ điểm về hệ trục tọa độ mặt đất vis i o n Oxy , gọi PO là tọa độ của trong trục tọa độ . Để làm được điều này, ta giả sử 30 điểm đầu tiên của tọa độ vị trí robot xác định từ camera và GPS là trùng nhau. 30 điểm đầu này phải di chuyển trên một đường thẳng. Tập dữ liệu 30 điểm này được viết PPPvis i o n { , , } và Ov 1 30 gps T PPPO {1 , , 30 }, trong đó P1 (0,0) là vị trí Hình 10: Ô tô thu thập dữ liệu đầu camera tại gốc tọa độ . 1.1. Kết quả định vị robot dùng camera PSPTvis i o n R v is i o n (5) OOv Từ tập ảnh của camera, lấy hai ảnh đầu vis i o n tiên để tìm đặc trưng của mỗi ảnh. Sau đó Trong đó: PO là tọa độ camera trong hệ vis i o n tìm cặp điểm đặc trưng tương đồng của hai trục Oxy, PO tọa độ camera trong hệ v ảnh. trục tọa độ , T là vector tịnh tiến, 6
7. 1.2. Kết quả định vị robot dùng GPS Đầu tiên xác định vị trí khu vực tiến hành thực nghiệm trên Google earth. Tiếp theo ta sẽ xác định quỹ đạo của robot trong khu vực này sử dụng GPS. Dữ liệu từ GPS được lắp trên robot trong quá trình di chuyển được sử dụng để trích kinh độ, vĩ độ. Sử dụng kết quả này dựng ảnh 2D ta Hình 11: Cặp điểm đặc trưng tương đồng được kết quả như hình 13. Từ kết quả này của hai ảnh liên tiếp ta thấy quỹ đạo của ô tô không được mịn, Tìm ma trận cơ bản từ cặp điểm đặc trưng tương đồng, ta được ma trận F: Tìm ma bị phân đoạn nhiều thể hiện sai số của dữ trận thiết yếu E, được kết quả sau: liệu từ GPS là khá lớn. 1.5962e 6 4.7908e 4 5.9811e 2 F 4.7873e 4 6.5853e 6 3.0742e 1 6.2448e 2 3.0877e 1 1 0.66448 199.43 20.751 E 199.28 2.7413 2.7600 20.316 1.8371 0.0612 Từ kết quả ma trận E ta tìm ma trận thông số ngoại camera, đó là thông số thể hiện vị trí và góc quay camera; gọi P1, P2 là hai Hình 13: Kết quả định vị robot trong quá thông số của camera chụp tại ảnh 1 và ảnh trình di chuyển dùng GPS 2. Chọn camera một làm gốc tọa độ P1 = 1.3. Kết quả định vị robot kết hợp camera [I | 0]. Tìm vị trí của camera 2 tại P2: và GPS Hình 12 cho ta quỹ đạo robot sai số cục bộ 0.9999 0.0019 0.00013 0.06264 nhỏ nhưng từ tập dữ liệu này ta không xác P2 0.0019 0.9999 0.0011 0.15385 định được điểm đầu, hướng của robot 0.00012 0.00117 0.9999 1 .50584 trong bản đồ. Nghĩa là ta chỉ xác định được Lặp lại tương tự với ảnh kế tiếp, ta tìm vị vị trí cục bộ của robot. Một ưu điểm của trí camera tiếp theo. Hình 12 thể hiện kết sử dụng định vị dùng camera là kết quả sai quả bản đồ 2D từ 680 ảnh với điểm ban số cục bộ nhỏ, nhưng khuyết điểm của đầu ở gốc tọa độ. phương pháp này là kết quả sai số toàn cục. Có nghĩa là khi robot di chuyển trong một quĩ đạo khép kín, nhưng kết quả lập bản đồ của robot là không khép kín hình 14. Về sai số này nếu robot di chuyển trong thời gian lớn sẽ cho kết quả sai số cao. Hình 12: Bản đồ 2D dùng tập ảnh camera 7
8. Điểm kết thúc Điểm xuất phát Hình 14: Sai số toàn cục của định vị dùng camera Điểm xuất phát Điểm kết thúc Hình 15: Sai số toàn cục của định vị dùng GPS Định vị robot sử dụng GPS xác định vị trí Bên cạnh đó ưu điểm của phương pháp mặt đất nhưng sai số cục bộ lớn. Ưu điểm này là có thể sử dụng tín hiệu còn lại bổ của phương pháp này là sai số toàn cục sung vào để xác định vị trí robot khi một nhỏ, có nghĩa là khi robot di chuyển theo trong hai tín hiệu bị mất. Thực nghiệm sau quĩ đạo khép kín kết quả robot lập được được thực hiện khi trong quá trình di bản đồ khép kín hình 15. Vì vậy ở phần chuyển, tín hiệu từ camera bị mất như hình này robot được định vị sử dụng phương 17 và lúc này, dữ liệu từ GPS sẽ bổ sung pháp kết hợp camera và GPS. Để xác định vào để đảm bảo của robot được định vị vị trí và hướng robot ban đầu tác giả dựa liên tục như hình 18 vào 30 dữ liệu đầu tiên của cả hai tập dữ liệu. Hình 16 thể hiện kết quả định vị robot dùng camera kết hợp GPS sử dụng phương pháp tính trung bình tổng. Hình 17: Quỹ đạo của robot bị mất một phần do tín hiệu từ camera Hình 16: Định vị robot dùng camera kết hợp GPS 8
9. Tìm cặp điểm đặc trưng tương đồng của 2 ảnh Tính toán tìm ma trận cơ bản Tính toán tìm ma trận thiết yếu Tính toán tìm vị trí robot từ tập ảnh Vẽ quĩ đạo robot dùng camera và GPS Hình 18: Quỹ đạo robot sau khi được bổ Với phương pháp đã chọn, vị trí của robot sung bởi tín hiệu GPS được định vị tốt hơn theo tọa độ trái đất, 5. KẾT LUẬN quỹ đạo mịn hơn và cải thiện được tình Trong đề tài này tác giả xây dựng được trạng mất dữ liệu từ một trong hai thiết bị quỹ đạo robot dùng 3 phương pháp: Tuy nhiên, trong đề tài còn hạn chế là chỉ phương pháp thứ nhất chỉ sử dụng camera; dùng ô tô di chuyển trong khuôn viên nhỏ, phương pháp thứ hai chỉ sử dụng thiết bị quan cảnh ít phương tiện giao thông di GPS; phương pháp thứ ba kết hợp camera chuyển. Khi định vị robot trong khuôn và GPS. Để thực hiện được điều này tác viên nhiều đối tượng chuyển động kết quả giả đã thực hiện được các bước sau: đề tài cho sai số cao được thể hiện trong Dùng bộ lọc đốm và góc để trích rút đặc hình 19. trưng Hình 19: Sai số định vị trong khuôn viên có nhiều đối tượng di chuyển TÀI LIỆU THAM KHẢO [1] N. Ayache, Artificial Vision for Mobile Robots: Stereo Vision and Multisensory Perception, Cambridge MA: MIT Press, 1991. 9
10. [2] J. G. H. Knight, Constant time SLAM using postponement, Proceedings of the IEEE, 2001. [3] Z. Zhang, A Flexible New Technique for Camera Calibration, IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998. [4] A. Chiuso, 3-D motion from 2-D motion causally integrated over time, Dublin: Proceedings of the 6th European Conference on Computer Vision, 2000. [5] A. Geiger, StereoScan: Dense 3d Reconstruction in Real-time, Department of Measurement and Control Karlsruhe Institute of Technology, 2012. [6] A. Neubeck, Efficient Non-Maximum Suppression, 18th International Conference, 2006. [7] R. I. Hartley, In Defence of the 8-point Algorithm, GE-Corporate Research and Development, 2009. [8] R. Hartley, Multiple View Geometry in Computer Vision, cambridge, 2003. [9] SIMCOM, SIM 968 HARDWARE DESIGN, SIMCOM. Cán bộ hướng dẫn khoa học Học viên thực hiện TS. LÊ MỸ HÀ NGÔ THANH ĐÔNG 10
11. BÀI BÁO KHOA HỌC THỰC HIỆN CÔNG BỐ THEO QUY CHẾ ĐÀO TẠO THẠC SỸ Bài báo khoa học của học viên có xác nhận và đề xuất cho đăng của Giảng viên hướng dẫn Bản tiếng Việt ©, TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH và TÁC GIẢ Bản quyền tác phẩm đã được bảo hộ bởi Luật xuất bản và Luật Sở hữu trí tuệ Việt Nam. Nghiêm cấm mọi hình thức xuất bản, sao chụp, phát tán nội dung khi chưa có sự đồng ý của tác giả và Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh. ĐỂ CÓ BÀI BÁO KHOA HỌC TỐT, CẦN CHUNG TAY BẢO VỆ TÁC QUYỀN! Thực hiện theo MTCL & KHTHMTCL Năm học 2016-2017 của Thư viện Trường Đại học Sư phạm Kỹ thuật Tp. Hồ Chí Minh.