Định vị robot trong không gian 2D sử dụng stereo camera

Nội dung text: Định vị robot trong không gian 2D sử dụng stereo camera

1. ĐỊNH VỊ ROBOT TRONG KHÔNG GIAN 2D SỬ DỤNG STEREO CAMERA ROBOT 2D LOCALIZATION USING STEREO CAMERAS (1) Nguyễn Tấn Như, (2) Nguyễn Thị Lưỡng Khoa Điện – Điện Tử, Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh TÓM TẮT Bài báo đề xuất phương pháp định vị robot trong không gian 2D sử dụng stereo camera. Không gian di chuyển của robot được giả sử đã xác định trước và được đặc trưng bởi các vật mốc có tọa độ cố định trông gian Oxy; do đó, công việc chính của đề tài là xác định tọa độ của robot (tọa độ của stereo camera) trong không gian di chuyển đã xác định. Để xác định được tọa độ của robot, hệ thống định vị được hoạt động theo ba bước chính. Đầu tiên hai ảnh trái và ảnh phải được thu về từ hai camera trái và phải của stereo camera được xử lý để xác định sự xuất hiện của vật mốc trên khung ảnh. Những vật mốc này được đặc trưng bởi tập hợp những vector đặc trưng có đặc điểm không phụ thuộc vào kích thướt và chiều xuất hiện trên khung ảnh. Thuật toán nhận dạng điểm đặc trưng được sử dụng có tên SIFT (Scale-Invariant Feature Transform); thuật toán có nhiệm vụ chuyển đổi hình ảnh của vật mốc thành tập hợp những vector đa hướng có đặc điểm nhận dạng không phụ thuộc vào chiều và kích thướt xuất hiện trên khung ảnh khác và sử dụng công thức khoảng cách Euclid để nhận dạng các vector đặc trưng này trên ảnh chứa vật mốc cần được nhận dạng. Bước thứ hai, tọa độ điểm ảnh của các vật mốc được nhận dạng trên ảnh trái và ảnh phải được chuyển đổi thành khoảng cách từ stereo camera đến vật mốc tương ứng thông qua mô hình hình học của stereo camera được xác định bởi quá trình tinh chỉnh stereo camera. Tọa độ của vật mốc trong không gian và khoảng cách tương ứng từ vật mốc đến stereo camera cuối cùng được thay vào hệ phương trình khoảng cách Euclide để suy ra tọa độ của robot trong không gian di chuyển 2D của mình. Kết quả của phương pháp đã chứng mình rằng mặc dù thời gian giữa hai lần định vị thành công tương đối nhiều nhưng do được sử dụng không thường xuyên nên không ảnh hưởng đến tiêu chí thời gian thực của hệ thống, hơn nữa giá thành của stereo camera thấp hơn nhiều so với các thiết bị khác nhưng vẫn đảm bảo được độ chính xác của phương pháp trong nhận dạng và trong định vị. Phương pháp định vị này được khuyến cáo sử dụng để xác định tọa độ ban đầu của robot khi xảy ra lỗi trong quá trình định vị tương đối, vì vị trí được xác định không phụ thuộc vào phương trình động của robot.
2. Từ khóa: định vị robot, stereo camera, nhận dạng vật mốc, xác định khoảng cách, thuật toán nhận dạng SIFT. ABSTRACT The paper proposes the method of 2D localization using a stereo webcam. The navigating space of the robot is assumed to be predefined by users and specified by available landmarks which have their own coordinates in Oxy coordinating system; therefore, the main task is to localize the robot in that navigating space. In order to determine the robot's location in 2D space, three key processes of the localization system are intended to be followed. Firstly, two images captured by the left and right webcams are processed to detect the appearance of landmarks characterized by each individual collection of features that unchanged in scales and directions on images. The algorithm of detecting the landmarks supposed to used is SIFT (Scale-Invariance Feature Transform) whose function is that all features in each landmark's image are transformed to multi-dimensional vectors which is stable in scales and directions so that they can be easily detected by Euclid's distance equation. Secondly, the pixel locations of the detected landmarks on the left and right images are transformed to distances by the geometrical model of the stereo webcam which is determined by the steps of stereo calibration. The coordinates of each detected landmarks and the distances between each of them and the robot are finally combined in the system of Euclid distance equations to estimate the robot location in 2D space. The results have proven that although the time consuming of each localizing cycle is relatively high, the cost of implementation is not very expensive but still satisfied the requirements of localizing task. The localization method are recommended to be apply in the process of getting the initial robot's pose, which is decoupled from robot's kinematic. Keywords: Robot localization, stereo webcam, landmark recognition, distance measurement, SIFT. I. TỔNG QUAN Định vị là một trong những tác vụ quan trọng trong quá trình điều hướng robot. Một số robot hiện đại ngày nay có thể di chuyển một cách tự động từ vị trí ban đầu đến vị trí đích được yêu cầu bởi người sử dụng. Để biết khi nào robot di chuyển đến vị trí được yêu cầu, tác vụ định vị phải được thực hiện liên tục và chính xác; do đó, độ chính xác và độ tin cậy có vai trò quyết định đến sự thành công của hệ thống điều hướng robot [1]. Độ chính xác và độ tin cậy của quá trình định vị phụ thuộc phần lớn vào kết quả xác định khoảng cách từ robot đến các vật mốc được sử dụng trong quá trình định vị [2]. Cảm biến siêu âm được sử dụng đầu tiên để thực hiện tác vụ đo khoảng cách, do thời gian thực hiện
3. phép đo nhanh, nhưng nhược điểm của hệ thống sử dụng phương pháp này là khả năng nhận dạng những vật mốc xung quanh môi trường di chuyển không cao và chỉ có thể nhận dạng được những vật có bề mặt phẳng như bàn, ghế, bức tường có vị trí cố định trong không gian, hơn nữa độ chính xác của phương pháp này tương đối thấp [3]. Để khắc phục nhược điểm này, cảm biến lazer được sử dụng để làm tăng độ chính xác của quá trình đo khoảng cách và quá trình định vị và tầm đo của cảm biến này tương đối rộng hơn nhiều so với cảm biến siêu âm, tuy nhiên cảm biến vẫn chưa có khả năng nhận dạng được những vật mốc xung quanh một cách chính xác [4]. Nguyên nhân chính dẫn đến nhược điểm này là thông tin thu về từ cảm biến siêu âm và laser chủ yếu là khoảng cách từ cảm biến đến vật giao nhau gần nhất, do đó hình ảnh được sử dụng để có thể lấy thêm thông tin nhận dạng được những vật mốc này [5]. Ưu điểm chính khi sử dụng các thuật toán xử lý ảnh trong quá trình nhận dạng là hệ thống không chỉ có khả năng nhận dạng được những vật mốc xung quanh mà còn có thể xác định được khoảng cách từ robot đến vật mốc đã được nhận dạng, điều này làm cho hệ thống định vị ngày càng trở nên gọn gàng hơn [6]. Có nhiều phương pháp nhận dạng vật mốc khác nhau được sử dụng và mỗi phương pháp có những ưu và nhược điểm riêng tùy thuộc vào môi trường và yêu cầu nhận dạng. Phương pháp nhận dạng sử dụng màu sắc được sử dụng đầu tiên nhưng có nhược điểm là phụ thuộc nhiều và độ chói của môi trường xung quanh [7]. Một số phương pháp khác được sử dụng để khắc phục nhược điểm này sử dụng yếu tố tần số để giảm ảnh hưởng tác động của độ chói môi trường xung quanh [8]. Thế nhưng những phương pháp này dựa vào những đặc điểm toàn cục để nhận dạng do đó phụ thuộc nhiều vào kích thước xuất hiện trên khung ảnh. Năm 2004, tác giả David G. Lowe đã sử dụng thành công thuật toán SIFT để nhận dạng những vật mốc sao cho không phụ thuộc vào chiều và kích thước xuất hiện trên khung ảnh [10]. Kể từ đó, các kỹ thuật nhận dạng được bước sang một kỷ nguyên mới. Ngày nay, các thuật toán xử lý ảnh còn được sử dụng để đo khoảng cách dựa vào mô hình toán học của stereo camera. Do đó, hệ thống định vị sử dụng stereo camera có thể tiếc kiệm được chi phí thiết kế khi chỉ sử dụng một loại cảm biến để vừa xác định khoảng cách vừa nhận dạng vật mốc trong không gian di chuyển [11-15]. Bài báo đề xuất phương pháp định vị robot trong không gian 2D sử dụng stereo camera. Không gian di chuyển của robot được giả sử đã xác định trước và được đặc trưng bởi các vật mốc có tọa độ cố định trông gian Oxy; do đó, công việc chính của đề tài là xác định tọa độ của robot (tọa độ của stereo camera) trong không gian di chuyển đã xác định. Để xác định được tọa độ của robot, hệ thống định vị được hoạt động theo ba bước chính. Đầu tiên hai ảnh trái và ảnh phải được thu về từ hai camera trái và phải của stereo camera được xử lý để xác định sự xuất hiện của vật mốc trên khung ảnh. Những vật mốc này được đặc trưng bởi tập hợp những vector đặc trưng có đặc điểm không phụ thuộc vào kích thướt và chiều xuất hiện trên khung ảnh. Thuật toán nhận dạng điểm đặc trưng được sử dụng có tên SIFT (Scale- Invariant Feature Transform); thuật toán có nhiệm vụ chuyển đổi hình ảnh của vật mốc thành tập hợp những vector đa hướng có đặc điểm nhận dạng không phụ thuộc vào chiều và kích thướt xuất hiện trên khung ảnh khác và sử dụng công thức khoảng cách Euclid để nhận dạng các vector đặc trưng này trên ảnh chứa vật mốc cần được nhận dạng. Bước thứ hai, tọa độ điểm ảnh của các vật mốc được nhận dạng trên ảnh trái và ảnh phải được chuyển đổi thành khoảng cách từ stereo camera đến vật mốc tương ứng thông qua mô hình hình học của stereo
4. camera được xác định bởi quá trình tinh chỉnh stereo camera. Tọa độ của vật mốc trong không gian và khoảng cách tương ứng từ vật mốc đến stereo camera cuối cùng được thay vào hệ phương trình khoảng cách Euclide để suy ra tọa độ của robot trong không gian di chuyển 2D của mình. Kết quả của phương pháp đã chứng mình rằng mặc dù thời gian giữa hai lần định vị thành công tương đối nhiều nhưng do được sử dụng không thường xuyên nên không ảnh hưởng đến tiêu chí thời gian thực của hệ thống, hơn nữa giá thành của stereo camera thấp hơn nhiều so với các thiết bị khác nhưng vẫn đảm bảo được độ chính xác của phương pháp trong nhận dạng và trong định vị. Phương pháp định vị này được khuyến cáo sử dụng để xác định tọa độ ban đầu của robot khi xảy ra lỗi trong quá trình định vị tương đối, vì vị trí được xác định không phụ thuộc vào phương trình động của robot. II. CƠ SỞ LÝ THUYẾT A. Xác định vị trí của robot trong không gian 2D dựa vào vật mốc sử dụng phương pháp hình học Nhiệm vụ chính của đề tài là xác định tọa độ của robot trong không gian 2D nghĩa là phải xác định được hai thành phần tọa độ theo phương ngang và theo phương thẳng đứng trong không gian . Quá trình định vị được mô tả cụ thể trong hình 1. Trong hình này, tọa độ của robot cần được xác định được ký hiệu bằng ( , ) và robot di chuyển trong không gian được xác định bởi những vật mốc có những đặc điểm nhận dạng và tọa độ cố định trong không gian. Giả sử có ba vật mốc trong không gian và lần lượt được ký hiệu là A:( 0, 0), B:( 1, 1), và C:( 2, 2). Khoảng cách từ robot đến các vật mốc tương ứng được ký hiệu là 0, 1, và 2. Mối liên hệ giữa. Mối liên hệ giữa các khoảng cách 0, 1, và 2 và tọa độ của các vật mốc tại các vị trí A, B, và C được biểu diễn bằng hệ phương trình (1). Giải hệ phương trình (1) thành công sẽ tìm ra tọa độ của robot trong không gian di chuyển theo hệ toạn độ . 2 2 2 ( 0 − ) + ( 0 − ) = 0 (a) 2 2 2 {( 1 − ) + ( 1 − ) = 1 (b) (1) 2 2 2 ( 2 − ) + ( 2 − ) = 2 (c) Hình 1. Mô hình hình học của quá trình định vị Robot trong không gian 2D
5. Để giải được hệ phương trình trên cần phải có hai thông tin là tọa độ của vật mốc và khoảng cách từ robot đến các vật mốc tương ứng; do đó, hai quá trình nhận dạng vật mốc và xác định khoảng cách được tập trung giải quyết trong đề tài này. B. Nhận dạng vật mốc dùng thuật toán SIFT (Scale-Invariant Feature Transform) Thuật toán SIFT là phương pháp nhận dạng được thực hiện bằng cách chuyển đổi hình ảnh của vật mốc thành tập hợp những điểm đặc trưng có đặc điểm nhận dạng không phụ thuộc vào độ phóng to thu nhỏ và hướng xuất hiện trên ảnh khác; do đó, thuật toán phải tìm được vị trí điểm ảnh của ảnh vật mẫu sao cho không thay đổi theo độ phóng to thu nhỏ và mô tả vị trí điểm ảnh này thành các vector đặc trưng sao cho không phụ thuộc vào chiều xuất hiện trên ảnh khác. Chi tiết các bước thực hiện được trình bày trong bài báo của David Lowe [10]. Phần này chỉ trình bày một cách sơ lược để làm cơ sở giải thích các bước thực hiện trong phần sau. Để xác định được vị trí điểm ảnh của những điểm đặc trưng không thay đổi theo độ phóng to thu nhỏ, ảnh của vật mẫu được thu nhỏ thành các phiên bản khác nhau khi nhân chập với hàm Gaussian, như ở công thức (8). Các phiên bản ảnh với các độ phóng to thu nhỏ khác nhau được ký hiệu bởi 푳( , , k휎), trong công thức này được gọi là hệ số thu nhỏ, được tính bằng công thức (9). Dựa vào lý thuyết được trình bày trong bài báo [16], vị trí của những điểm có giá trị cực đại và cực tiểu của phép biến đổi Laplace của công thức (10), được ký hiệu bởi σ2∇2푮 và được tính toán bằng công thức (11), chính là vị trí của những điểm ổn định theo độ phóng to thu nhỏ cần tìm. Như được chứng minh trong công thức (12) phép biến đổi Laplace của biểu thức (10) xắp xỉ với giá trị sai lệch liên tiếp giữa hai độ thu nhỏ của 푳( , , k휎), ký hiệu bằng ảnh 푫( , , 휎). Như vậy vị trí cực đại và cực tiểu của phép biến đổi Laplace của biểu thức (10) cũng chính là vị trí cực đại cực tiểu của 푫( , , 휎). ( 2+ 2) 1 − 푮( , , k휎) = 푒 2 2휎2 (8) 2 휎2 푳( , , k휎) = 푰( , ) ∗ 푮( , , k휎) (9) 휕푮 푮( , , 휎)−푮( , ,휎) = σ∇2푮 ≈ (10) 휕휎 휎−휎 ( , , 휎) = 푮( , , 휎) − 푮( , , 휎) ≈ ( − 1)휎2∇2푮 (11) 푫( , , 휎) = (푮( , , 휎) − 푮( , , 휎)) ∗ 푰( , ) = 푳( , , 휎) − 푳( , , 휎) (12) Sau khi tìm được vị trí điểm ảnh của những điểm không phụ thuộc vào độ phóng to thu nhỏ trên ảnh của vật mốc, mỗi vị trí tìm được sẽ được biểu diễn thành những vector đa hướng. Chiều dài của mỗi hướng được tính bằng phương pháp histogram theo hướng với độ phân giải là 45o. Chi tiết tính toán của vector này được trình bày trong bài báo [10]. Như vậy mỗi vật mẫu được đặc trưng bởi tập hợp những điểm đặc trưng. Những điểm đặc trưng này được nhận dạng trên ảnh khác bằng cách so sánh khoảng cách giữa các vector đặc trưng trên ảnh vật mốc và trên ảnh thu thập. Công thức xác định khoảng cách được minh họa ở phương trình (13). 풅 = √(풙 − 풚 ) + (풙 − 풚 ) + ⋯ + (풙 − 풚 ) (13)
6. C. Mô hình hình học của stereo cameras Phần này trình bày khái quát mô hình hình học của stereo camera để làm cơ sở cho việc đo khoảng cách sử dụng các kỹ thuật trong phép chiếu hình học. Các bước chi tiết để xây dựng mô hình hình học của stereo camera được trình bày trong bài báo [17]. Mô hình hình học khái quát của stereo camera được trình bày trong hình 2. Mô hình bao gồm hai camera đơn có cùng cấu hình phần cứng và được đặt cách nhau một khoảng . Hai camera có cùng chiều dài tiêu cự và được ký hiệu bằng . Một điểm 푷 nằm trên vật thể trong không gian được chiếu lên hai mặt phẳng trái và phải lần lượt có tọa độ là ( 푙, 푙) và ( , ). Do mặt phẳng trái và mặt phẳng phải đồng phẳng với nhau, nên thành phần tọa độ 푙 và có giá trị giống nhau và chỉ sai khác nhau thành phần tọa độ 푙 và , khoảng sai lệch được tính bằng công thức = 푙 − . Khoảng cách từ điểm 푷 đến stereo camera (푍) được định nghĩa là khoảng cách từ điểm 푃 trong không gian đến mặt phẳng chứa hai tiêu cự của hai thấu kính camera trái và camera phải, được tính bằng công thức (14). Như vậy, để xác định được khoảng cách 푍, chiều dài tiêu cự , khoảng cách giữa hai camera và khoảng sai lệch cần phải được xác định trước thông qua quá trình tinh chỉnh stereo camera. Hình 2. Mô hình hình học của stereo camera 풇푻 풁 = (14) 풅 III. Phương pháp thực hiện Phần này trình bày thuật toán định vị trong không gian 2D sử dụng những kiến thức được trình bày trong phần trên làm nền tảng. Dựa vào những cơ sở lý thuyết được trình bày, sơ đồ khối của hệ thống được xây dựng và chi tiết từng khối sẽ được giải thích trong phần này. Hai khối quan trong nhất trong hệ thống định vị là khối nhận dạng vật mốc và khối xác định khoảng cách, chi tiết của mỗi khối được trình bày tương ứng trong hai phần. A. Sơ đồ khối hệ thống định vị Sơ đồ khối của hệ thống định vị được trình bày trong hình 3. Camera trái có cùng cấu hình vật lý với camera trái được dùng để thu thập hình ảnh xung quanh trong đó có thể chứa hình ảnh của vật mốc. Sự xuất hiện của vật mốc trong khung ảnh được xác định bởi khối nhận dạng vật mốc dựa vào thuật toán nhận dạng không phụ thuộc vào chiều và độ phóng to thu nhỏ của vật mẫu xuất hiện trên khung ảnh. Vị trí điểm ảnh của vật mốc được phát hiện
7. nằm trên ảnh trái và ảnh phải được dùng để xác định khoảng cách từ stereo camera đến vật mốc bởi khối xác định khoảng cách. Vị trí của mỗi vật mốc trong không gian cùng với khoảng cách tương ứng được xác định từ stereo camera được thay vào hệ phương trình khoảng cách (1) để tìm ra được tọa độ toàn cục của robot trong không gian di chuyển. Hai yếu tố quan trọng nhất trong hệ thống định vị ngoài khối xác định khoảng cách còn có khối nhận dạng vật mốc. Khối nhận dạng vật mốc sử dụng thuật toán nhận dạng SIFT (Scan-Invariant Feature Transform). Thuật toán này có thể nhận dạng được những vật thể có chiều và độ phóng to thu nhỏ xuất hiện khác nhau so với ảnh ban đầu được dùng làm vật mẫu do robot luôn di chuyển qua nhiều vị trí khác nhau. Khối xác định khoảng cách có nhiệm vụ xác định khoảng cách từ stereo camera đến vật mốc được phát hiện. Chi tiết hoạt động của mỗi khối được trình bày trong hai phần sau. Hình 3. Sơ đồ khối của hệ thống định vị B. Nhận dạng vật mốc dùng phương pháp SIFT Nhiệm vụ quan trọng nhất của hệ thống định vị được đề xuất là việc nhận dạng và phân biệt được những vật mốc có đặc điểm nhận dạng riêng biệt. Quá trình nhận dạng áp dụng thuật toán SIFT (Scan-Invariant Feature Transform) vì thuật toán này phù hợp với yêu cầu của hệ thống định vị là có khả năng nhận dạng được vật mốc xuất hiện với chiều và kích thước khác nhau. Chi tiết về thuật toán SIFT được trình bày trong bài báo [10]. Phần này chỉ trình bày cách áp dụng thuật toán để xây dựng hệ thống định vị. Hình 4 trình bày lưu đồ thực hiện quá trình nhận dạng. Yêu cầu đầu tiên để quá trình nhận dạng hoạt động là phải có được thư viện nhận dạng chứa các đặc điểm nhận dạng cho từng vật mốc. Những đặc điểm nhận dạng này có đặc tính không phụ thuộc vào chiều và kích thước xuất hiện trên khung ảnh. Do đó việc đầu tiên phải làm là xác định được vị trí của
8. những điểm đặc trưng bằng công thức Gaussian (8) để vị trí của những điểm đặc trưng này không phụ thuộc vào độ phóng to thu nhỏ của ảnh thu thập. Mỗi vị trí được xác định sẽ được chuyển đổi thành các vector đặc trưng đa hướng sao cho không phụ thuộc vào chiều xuất hiện trên khung ảnh. Hình 5 trình bày kết quả xác định và mô tả điểm đặc trưng trên ảnh mẫu của vật mốc. Những điểm đặc trưng được phát hiện bởi thuật toán SIFT được mô tả bằng những vòng tròn với nhiều bán kính khác nhau tương ứng cho các độ phóng to thu nhỏ mà điểm này không thay đổi và chiều của vòng tròn phụ thuộc vào chiều lớn nhất trong vector đa hướng. Những đặc điểm nhận dạng này được lưu trữ trong thư viện nhận dạng. Ảnh trái và ảnh phải được thu thập bởi stereo camera cố định trên robot tiếp đến cũng được mô tả thành các điểm đặc trưng theo cùng phương pháp như các điểm đặc trưng của vật mẫu được mô tả. Những điểm đặc trưng được phát hiện trên ảnh trái và ảnh phải được so sánh với những điểm đặc trưng trong thư viện vật mốc để nhận dạng sự xuất hiện của ảnh vật mốc trong khung ảnh trái và ảnh phải. Hai vector điểm đặc trưng được so sánh bằng phương trình khoảng cách Euclid được gọi là tương tự nhau khi giá trị khoảng cách nằm trong một giới hạn nhật định được xách định bởi người lập trình hệ thống. Mỗi vật mốc được đại diện bởi tập hợp nhiều điểm đặc trưng khác nhau. Vật mốc được gọi là xuất hiện trên khung ảnh khi số lượng các điểm đặc trưng được phát hiện trên khung ảnh lớn hơn giá trị giới hạn. Quá trình nhận dạng được tiếp tục với khung ảnh tiếp theo được thu về từ hai camera trái và phải. Vị trí điểm ảnh của vật mốc trên ảnh trái và ảnh phải được dùng để xác định khoảng cách từ stereo camera đến vật mốc được nhận dạng. Quá trình xác định khoảng cách được trình bày trong phần tiếp theo. Hình 4. Lưu đồ quá trình nhận dạng vật mốc
9. Hình 5. Điểm đặc trưng trên ảnh vật mốc Hình 6. Kết quả nhận dạng vật mốc trên khung ảnh C. Đo khoảng cách sử dụng stereo camera Quá trình xác định khoảng cách cũng rất quan trọng trong hệ thống định vị. Độ chính xác của quá trình đo khoảng cách quyết định đến độ chính xác của quá trình định vị. Mặc dù độ chính xác của phương pháp xác định khoảng cách sử dụng stereo camera không cao hơn so với khi sử dụng phương pháp khác chuyên dụng, nhưng việc áp dụng này làm cho hệ thống định vị trở nên gọn gàng hơn. Do stereo camera không có sẵn những thông số về cấu hình vật lý cần thiết để thiết lập mô hình vật lý, nên stereo camera cần phải được cân chỉnh để thu về được những thông số cần thiết này. Quá trình sử dụng stereo camera để xác định khoảng cách được trình bày trong lưu đồ hình 7. Stereo camera được sử dụng trong đề tài là Minoru camera có hình minh họa như hình 8. Stereo camera được cấu hình sao cho có độ phân giải là 24 bits cho mỗi pixel và kích thước khung hình là 640x480. Bước đầu tiên trong quá trình là thu thập những ảnh mẫu làm thư viên tinh chỉnh stereo camera. Ảnh mẫu được sử dụng là ảnh của bàn cờ với những ô vuông trắng và đen được xen kẽ với nhau và được chụp với các vị trí, góc độ và khoảng cách khác nhau trong không gian. Mỗi vị trí của bàn cờ được chụp cùng lúc bởi 2 camera trái và phải và được lưu vào thư viện phục vụ cho quá trình tinh chỉnh. Hình 9 minh họa một cặp hình mẫu được dùng để tinh chỉnh stereo camera. Khi các hình mẫu được chụp, bước tiếp theo hai camera trái và phải sẽ được tinh chỉnh để thu về các giá trị là thông số cấu hình của camera trái và phải. Hình 10 trình bày cặp ảnh mẫu và các điểm ảnh tương ứng là hình chiếu của điểm trong không gian 3D lên ảnh 2D trái và phải, tọa độ điểm ảnh của từng cặp điểm được liệt kê trong bảng 1. Mỗi cặp hình chiếu
10. của điểm trong không gian 3D được thay vào phương trình biểu diễn mối liên hệ giữa không gian thực 3D và mặt phẳng ảnh 2D để hình thành hệ phương trình. Giải hệ phương trình, các tham số của stereo camera sẽ tìm được. Hình 7. Lưu đồ quá trình xác định khoảng cách sử dụng stereo camera Hình 8. Minoru stereo camera Hình 9. Cặp hình mẫu được chụp bởi camera trái và camera phải
11. Hình 10. Cặp điểm ảnh trái và phải của cùng một điểm trong không không gian 3D Bảng 1. Tọa độ điểm ảnh trái và phải trong mặt phảng ảnh 2D. = (50 ; 50 ; 0) 푙 = (139, 118) = (43, 129) = (5 50 , 3 50 , 0) 푙 = (327, 215) = (231, 255) = (9 50 , 6 50 , 0) 푙 = (512, 359 ) = (418, 370) Các tham số của camera trái và camera phải được sử dụng để tinh chỉnh hai ảnh trái và ảnh phải để thu về được là hai ảnh được chụp bởi hệ thống stereo camera lý tưởng. Hình ảnh được thu về từ hai camera vật lý xuất hiện nhiều sai số và các thông số không khớp với hệ thống stereo camera lý tưởng. Do đó, những hình ảnh này phải được tinh chỉnh để thu về một phiên bản ảnh khác tương tự như được chụp bởi stereo camera có cấu hình lý tưởng như được minh họa trong hình 2. Hình 11 trình bày kết quả mẫu của quá trình tinh chỉnh ảnh trái và ảnh phải. Sau khi tinh chỉnh, các điểm ảnh trên ảnh trái và phải của cùng một điểm trong không gian thực cùng nằm trên đường thẳng nằm ngang. Trong hình này, điểm ảnh được ký hiệu bằng hình vuông màu đỏ có tọa độ điểm ảnh trái là (150, 102) và tọa độ điểm ảnh phải là (92, 102). Như vậy hai ảnh trái và phải đã được tinh chỉnh để trở thành hai ảnh được chụp bởi cấu hình stereo camera lý tưởng. Hinh 11. Ảnh trái và ảnh phải sau khi được tinh chỉnh
12. Ảnh trái và ảnh phải sau khi được tinh chỉnh được nhận dạng để phát hiện vật mốc trong không gian. Hình 12 trình bày kết quả nhận dạng vật mốc trên ảnh trái và ảnh phải được chụp bởi stereo camera sau khi được tinh chỉnh. Tọa độ điểm ảnh trái và phải của vật mốc được phát hiện có cùng thành phần tọa độ y và sai khác nhau thành phần tọa độ x. Khoảng sai lệch của thành phần tọa độ x được thay vào công thức (14) để tìm khoảng cách từ stereo camera đến vật mốc được phát hiện. a: Vật mốc trên ảnh trái b: Vật mốc trên ảnh phải Hình 12. Vật mốc được phát hiện trên ảnh phải và ảnh trái Sau khi xác định được vị trí và khoảng cách của tối thiểu 3 vật mốc, các giá trị này được thay vào hệ phương trình khoảng cách (1) để giải tìm tọa độ của robot trong không gian 2D. Vị trí này hoàn toàn không phụ thuộc vào phương trình động học của robot và thường được sử dụng để làm tọa độ khởi tạo ban đầu cho robot trong quá trình định vị tương đối. Phần tiếp theo trình bày một số kết quả thực nghiệm khi thực hiện quá trình định vị tương ứng với các điều kiện khác nhau của môi trường hoạt động. IV. Kết quả thực nghiệm Có nhiều yếu tố ảnh hưởng đến độ chính xác của quá trình định vị. Có thể phân chia thành hai yếu tố quan trọng là xác suất nhận dạng vật mốc thành công và độ chính xác trong quá trình đo khoảng cách. Do đó, phần này trước tiên sẽ trình bày kết quả nhận dạng vật mốc tương ứng với các điều kiện ảnh hưởng khác nhau từ khách quan, và kết qua đo đạc khoảng cách cùng với các yếu tố ảnh hưởng đến độ chính xác trong quá trình đo đạc. Cuối cùng, kết quả vị trí được tính toán của robot được đưa ra và đánh giá sai số. A. Kết quả nhận dạng vật mốc Những bước trong thuật toán nhận dạng được trình bày trong phần trên được áp dụng vào nhận dạng vật mốc xuất hiện với chiều và kích thước khác nhau trong khung ảnh. Hình 13 trình bày kết quả nhận dạng vật mốc ở khoảng cách gần nhất. Do số lượng lớn các điểm đặc trưng được phát hiện trên khung ảnh tương ứng với các điểm đặc trưng trên vật mốc, được biểu diễn bằng các đường thẳng nối hai điểm đặc trưng tương đồng, vật thể ở vị trí này có xác suất phát hiện cao nhất. Tuy nhiên khi vật mốc ở khoảng cách xa, số lượng các điểm đặc trưng được phát hiện tương đồng với các điểm đặc trưng của vật mốc ít đi, thì xác suất nhận dạng vật mốc trở nên nhỏ đi, được minh họa trong hình 14.
13. Hình 13. Kết quả nhận dạng khi vật mốc Hình 14. Kết quả nhận dạng khi vật ở gần nhất mốc ở xa nhất Khi khoảng cách được cố định, vật mốc có thể được nhận dạng với chiều xuất hiện khác nhau trong khung ảnh. Như được minh họa trong hình 15, vật mốc bị xoay 90o, hình 16 vật mốc bị xoay 180o. Thuật toán có thể nhận dạng cùng lúc 2 hoặc 3 vật mốc đồng thời xuất hiện trên khung ảnh, như minh họa trong hình 17 và 18. Trong trường hợp vật mốc bị che khuất bởi một số yếu tố khách quan, vật mốc vẫn có thể được nhận dạng nếu số lượng các điểm đặc trưng tương đồng được phát hiện thõa mãn. Hình 19 trình bày kết quả nhận dạng vật mốc khi bị che khuất một phần. Hình 15. Ảnh vật mốc được xoay 90o Hình 16. Ảnh vật mốc được xoay 180o Hình 17. Kết quả nhận dạng đồng thời Hình 18. Kết quả nhận dạng đồng thời 3 hai vật mốc vật mốc Hình 19. Kết quả nhận dạng khi một trong ba vật mốc bị che khuất
14. Khoảng cách nhận dạng phụ thuộc phần lớn vào số lượng các điểm đặc trưng được phân tích trên ảnh của vật mốc. Hình 20 minh họa vật mốc với số lượng các điểm đặc trưng là 2289, do đó khoảng nhận dạng của vật mốc này là từ 100mm đến 2735mm. Trong khi đó, vật mốc với số lượng các điểm đặc trưng là 924 có khoảng nhận dạng thấp nhất chỉ 300mm đến 617mm. Trong một số trường hợp đặc biệt, nếu vật mốc có các điểm đặc trưng rõ ràng và ít thay đổi theo khoảng cách thì khoảng nhận dạng có thể sẽ cao hơn. Đó là trường hợp của vật mốc được trình bày trong hình 21. Hình 20. Vật mốc với 2289 số điểm đặc Hình 21. Vật mốc với 924 điểm đặc trưng trưng Hình 22. Vật mốc với số điểm đặc trưng ít thay đổi theo khoảng cách Như vậy, thuật toán nhận dạng vật mốc được đề xuất trong đề tài phù hợp với yêu cầu của hệ thống định vị do có thể nhận dạng được những vật mốc có chiều và kích thước xuất hiện khác nhau trong khung ảnh. Khoảng cách nhận dạng phụ thuộc phần lớn vào đặc điểm của vật mốc được lựa chọn. Do đó, vật mốc phải được lựa chọn sao cho phù hợp với môi trường định vị của robot. B. Kết quả đo khoảng cách sử dụng stereo camera Độ chính xác của giá trị khoảng cách thu về ảnh hưởng rất lớn đến độ chính xác của quá trình định vị. Tầm đo của phương pháp phụ thuộc nhiều vào độ phân giải của camera thu thập hình ảnh. Hình 23 biểu diễn mối liên hệ giữa độ phân giải và tầm đo của stereo camera khi được cấu hình ở 240x320. Hình 24 biểu diễn mối liên hệ này trong cấu hình 480x640. Trong hình 23, tầm đo chính xác của hệ thống nằm trong khoảng từ 500mm đến 4000mm; tuy nhiên tầm đo trong hình 24 lớn hơn rất nhiều, trong khoảng từ 500mm đến 8000mm. Độ chính xác của quá trình xác định khoảng cách cũng chịu tác động bởi độ phân giải. Trong độ phân giải 240x320, sai số lên đến15.47% trong khi đó ở độ phân giải 640x480 sai số giảm xuống chỉ còn 5.32%. Trong hệ thống định vị, vật mốc chỉ được xác định khoảng cách khi xuất hiện trên khung ảnh, do đó khoảng cách nhận dạng tối đa chính là tầm đo của stereo camera trong xác định
15. khoảng cách. Như vậy, ảnh hưởng của stereo camera đến độ chính xác của hệ thống định vị chỉ tập trung ở sự phụ thuộc của độ phân giải vào sai số của phép đo khoảng cách. Hệ thống định vị trong đề tài sử dụng cấu hình stereo camera có độ phân giải là 640x480, và sai số tương đối là 5.32%. Hình 23. Kết quả đo khoảng cách khi ở Hình 24. Kết quả đo khoảng cách khi đo độ phân giải 240x320 ở dộ phân giải 640x480 Bảng 2. Sai số trung bình tương ứng với mỗi độ phân giải Độ phân giải Tổng sai số Sai số tương tuyệt đối đối (mm) (%) 240x320 51068.87 15.47 480x640 11835.17 5.32 C. Kết quả định vị robot Kết quả của quá trình định vị phụ thuộc phần lớn vào chất lượng của những vật mốc và độ chính xác của quá trình xác định khoảng cách. Phần này sẽ trình bày mỗi liên hệ giữa độ chính xác của quá trình định vị với các yếu tố ảnh hưởng. Hình 25 trình bày kết quả định vị khi robot đang đứng ở vị trí đầu tiên. Không gian di chuyển được xác định bởi 4 vật mốc đặt xung quanh robot có tọa độ được liệt kê trong bảng 3. Khoảng cách thực tế từ robot đến mỗi vật mốc được liệt kê trong bảng 4. Vị trí được tính toán của robot trong không gian di chuyển tương ứng với 5 chu kỳ định vị được trình bày trong bảng 5. Căn cứ vào kết quả được liệt kê trong bảng 5, sai số tương đối của quá trình định vị là 4%. Thực hiện toàn bộ quá trình định vị ở vị trí thứ 2 của robot, được minh họa trong hình 25, các vị trí thực tế và vị trí đo
16. đạc của robot lần lượt được trình bày trong bảng 6 và 7. Sai số tương đối của quá trình định vị khoảng 3.6%. Do độ chính xác của quá trình định vị phụ thuộc phần lớn vào quá trình nhận dạng vật mốc và xác định khoảng cách, nên khoảng định vị phụ thuộc vào khoảng nhận dạng và độ chính xác của quá trình định vị chính là độ chính xác của quá trình đo khoảng cách. Cụ thể hơn, khoảng định vị phụ thuộc phần lớn vào điều kiện ánh sáng của môi trường và tính chất của vật mốc được sử dụng; độ chính xác của quá trình định vị phụ thuộc vào độ phân giải của camera sử dụng thu thập hình ảnh. Hình 25. Vị trí đầu tiên của robot trong không gian Bảng 3. Vị trí của vật mốc trong không gian Vật mốc Vị trí 1 (300, 300) 2 (1500, 300) 3 (1500, 1500)
17. 4 (300, 1500) Bảng 4. Khoảng cách thực tế từ robot đến các vật mốc và vị trí thực của robot Khoảng cách 1 Khoảng cách 2 Khoảng cách 3 Vị trí robot (mm) (mm) (mm) (mm; mm) 845 845 845 [900, 900] Bảng 5. Kết quả định vị ở vị trí đầu tiên STT Khoảng Khoảng Khoảng Khoảng Vị trí Sai số cách 1 cách 2 cách 3 cách 4 (mm; mm) (%) (mm) (mm) (mm) (mm) 1 847.748 867.245 861.725 [886.551; 906.217] 2.2 2 858.736 863.208 852.927 [883.273; 902.452] 2.1 3 859.216 839.659 851.273 ]914.493; 890.614] 2.7 4 827.611 853.015 846.167 [901.903; 980.109] 9.1 5 825.895 849.95 846.269 [884.282; 917.727] 3.7 Average 4.0 Hình 26. Vị trí thứ hai của robot
18. Bảng 6. Khoảng cách thực từ robot đến các vật mốc và vị trí thứ hai thực của robot Khoảng cách 1 Khoảng cách 2 Khoảng cách 3 Vị trí robot (mm) (mm) (mm) (mm; mm) 1270 940 420 [1200; 1200] Bảng 7. Kết quả định vị ở vị trí thứ hai STT Khoảng Khoảng Khoảng Khoảng Vị trí Sai số cách 1 cách 2 cách 3 cách 4 (mm; mm) (%) (mm) (mm) (mm) (mm) 1 1291.53 955.347 409.545 [1218.78; 1211] 2.5 2 1300.12 410.432 957.59 [1227.36; 1224.45] 4.3 3 1270.03 953.678 960.073 [1192.98; 1207.94] 1.2 4 951.043 419.342 923.293 [1193.15; 1204.48] 0.9 5 1303.43 958.14 956.538 [1229.14; 1277.78] 8.9 Average 3.6 V. Kết luận Bài báo trình bày phương pháp định vị robot trong không gian 2D sử dụng stereo camera. Phương pháp này cho ra kết quả phù hợp với các yêu cầu của định vị robot. Sử dụng stereo camera để thực hiện toàn bộ các tác vụ trong quá trình định vị làm cho hệ thống trở nên gọn gàng hơn, hơn nữa kết quả định vị không phụ thuộc vào phương trình động lực học của robot nên kết quả này có thể được dùng làm vị trí khởi tạo của hệ thống định vị tương đối thường được sử dụng trong lĩnh vực robot. Khoảng cách nhận dạng nằm trong khoảng bán kính 2m và phụ thuộc phần lớn vào tính chất của vật mốc được chọn trong hệ thống định vị. Do đó, bán kính định vị có thể được mở rộng bằng cách chọn vật mốc có đặc tính ít thay đổi theo khoảng cách. Sai số trung bình của hệ thống định vị là 4%. Tuy nhiên, sai số này có thể giảm khi chọn stereo camera có cấu hình tốt hơn, đặc biệt là độ phân giải của hình ảnh. Mặc dù định vị sử dụng hệ thống stereo camera có nhiều nhược điểm như thời gian tiêu tốn lớn, sự phụ thuộc nhiều vào cường độ ánh sáng và tính chất của vật mốc được sử dụng trong quá trình định vị, thế nhưng, ưu điểm lớn nhất của hệ thống là chi phí thấp nhưng vẫn đáp ứng được các yêu cầu định vị trong robotics. Giá thành của stereo camera Minoru không quá cao. Hơn nữa, phương pháp định vị này không được sử dụng thường xuyên nên nhược điểm về thời thời gian tiêu tốn lớn được khắc phục. TÀI LIỆU THAM KHẢO [1] Nourbakhsh, Introduction to Autonomous Mobile Robots. Ronald C. Arkin, 2004. [2] Comparative Study of Localization Techniques for Mobile Robots based on Indirect Kalman Filter. IEEE Computer Society, 2009. [3] Drumheller, Mobile Robot Localization Using Sonar. IEEE transactions on Pattern Analysis And Machine Intelligence, 1987. 9: p. 325-332.
19. [4] Joachim Horn, Localization of a Mobile Robot by Matching 3D-Laser-Range-Images and Predicted Sensor Images. IEEE, 1994: p. 345 - 350. [5] Carlos F. Marques, Vision-Based Self-Localization for Soccer Robots. IEEE, 2000. 2: p. 1193 - 1198 [6] Stephen Se, Jim Little, Vision-based Mobile Robot Localization And Mapping using Scale-Invariant Features. IEEE, 2001: p. 2051 - 2058 vol.2. [7] Theo Gevers*, Color-based object recognition. Pattern Recognition Society 32, 1998: p. 453—464. [8] Fukunaga, K., Introduction to Stastical Pattern Recognition Second Edition. Computer Science and Scientific Computing, 1990. [9] Argyle, Techniques for edge detection. Proceedings of the IEEE, 2005: p. 285 - 287. [10] Lowe, Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004. [11] Jen-Shiun Chiang, A Stereo Vision-Based Self-Localization System. IEEE Sensor Journal, 2013. 13. [12] Wenzheng Chi , W.Z., Jason Gui, Hongliang Ren, A Vision-based Mobile Robot Localization Method. International Conference on Robotics and Biomimetics 2013: p. 2703 - 2708. [13] Hui Zhang ; Shenyang Jianzhu Univ., S., China ; Lingtao Zhang ; Jing Dai, Landmark- Based Localization for Indoor Mobile Robots with Stereo Vision. Intelligent System Design and Engineering Application (ISDEA), 2012 Second International Conference, 6-7 Jan. 2012: p. 700 - 702. [14] Herath, Univ. of Technol., Sydney; Kodagoda, S. ; Dissanayake, G., Simultaneous Localisation and Mapping: A Stereo Vision Based Approach. Intelligent Robots and Systems, 2006 IEEE/RSJ International Conference, 2006: p. 922 - 927. [15] Kuen-Han Lin ; Dept. of Comput. Sci. & Inf. Eng., N.T.U., Taipei, Taiwan ; Chieh- Chih Wang, Stereo-based simultaneous localization, mapping and moving object tracking. Intelligent Robots and Systems (IROS), 2010 IEEE/RSJ International Conference, 2010: p. 3975 - 3980. [16] Lindeberg, Feature Detection with Automatic Scale Selection. Int. J. of Computer Vision, 1998. 30. [17] Nguyen Tan Nhu, Nguyen Thanh Hai, Nguyen Thi Luong, The method of Distance mesuarement using Stereo Camera. The 2nd International Conference on Green technology and sustainable development, 2014.
20. Thông tin liên hệ tác giả: Họ tên: Nguyễn Tấn Như Đơn vị: Khoa Điện – Điện Tử, Trường Đại Học Sư Phạm Kỹ Thuật TP. Hồ Chí Minh Điện thoại: +8498 3483098 Email: nhunt@hcmute.edu.vn Tp. Hồ Chí Minh, Ngày tháng năm Giảng viên hướng dẫn
21. BÀI BÁO KHOA HỌC THỰC HIỆN CÔNG BỐ THEO QUY CHẾ ĐÀO TẠO THẠC SỸ Bài báo khoa học của học viên có xác nhận và đề xuất cho đăng của Giảng viên hướng dẫn Bản tiếng Việt ©, TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH và TÁC GIẢ Bản quyền tác phẩm đã được bảo hộ bởi Luật xuất bản và Luật Sở hữu trí tuệ Việt Nam. Nghiêm cấm mọi hình thức xuất bản, sao chụp, phát tán nội dung khi chưa có sự đồng ý của tác giả và Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh. ĐỂ CÓ BÀI BÁO KHOA HỌC TỐT, CẦN CHUNG TAY BẢO VỆ TÁC QUYỀN! Thực hiện theo MTCL & KHTHMTCL Năm học 2016-2017 của Thư viện Trường Đại học Sư phạm Kỹ thuật Tp. Hồ Chí Minh.