Đồ án Nhận dạng vật thể 3D sử dụng cảm biến Kinect (Phần 1)

Nội dung text: Đồ án Nhận dạng vật thể 3D sử dụng cảm biến Kinect (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG NHẬN DẠNG VẬT THỂ 3D SỬ DỤNG CẢM BIẾN KINECT GVHD: Th.S NGUYỄN TẤN NHƯ SVTH: NGUYỄN MINH QUANG MSSV: 11141167 S K L 0 0 4 2 0 0 Tp. Hồ Chí Minh, tháng 2/2016
2. BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ ĐỀ TÀI: NHẬN DẠNG VẬT THỂ 3D SỬ DỤNG CẢM BIẾN KINECT GVHD: Th.S NGUYỄN TẤN NHƯ SVTH: NGUYỄN MINH QUANG LỚP: 111411DT2B MSSV: 11141167 Tp. Hồ Chí Minh - 2/2016
3. TRƯỜNG ĐH. SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP. HỒ CHÍ MINH ĐỘC LẬP - TỰ DO - HẠNH PHÚC KHOA ĐIỆN-ĐIỆN TỬ Tp. HCM, ngày 1 tháng 1 năm 2016 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Minh Quang MSSV: 11141167 Trương Trần Trung Hiếu MSSV: 11141383 Chuyên ngành: CNKT- Điện Tử Truyền Thông Mã ngành: 41 Hệđào tạo: Đại học chính quy Mã hệ: 1 Khóa: 2011 Lớp: 11141DT2B I. TÊNĐỀ TÀI: NHẬN DẠNG VẬT THỂ 3D SỬ DỤNG CẢM BIẾN KINECT II. NHIỆM VỤ 1. Các số liệu ban đầu: Nhiệm vụ của đề tài: 2. Nội dung thực hiện: III. NGÀY GIAO NHIỆM VỤ: 10/10/2015 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 1/01/2016 V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:Ths. Nguyễn Tấn Như CÁN BỘ HƯỚNG DẪN BM. ĐIỆN TỬ CÔNG NGHIỆP (Ký ghi rõ họ tên và học hàm học vị) i
4. TRƢỜNG ĐẠI HỌC SPKT TPHCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Khoa Điện - Điện Tử Độc lập - Tự do - Hạnh phúc Bộ Môn Điện Tử Công Nghiệp Tp. Hồ Chí Minh, ngày.1 tháng 1 năm 2016 LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP (Bản lịch trình này đƣợc đóng vào đồ án) Họ tên sinh viên 1: Nguyễn Minh Quang Lớp: 11141DT2B MSSV: 11141167 Họ tên sinh viên 2: Trương Trần Trung Hiếu Lớp: 11141DT2B MSSV: 11141383 Tên đề tài: NHẬN DẠNG VẬT THỂ 3D SỬ DỤNG CẢM BIẾN KINECT Xác nhận Tuần/ngày Nội dung GVHD Tuần 1 10/10/2015 Gặp GVHD , chọn đề tài Tuần 2 12/10 Cài đặt chƣơng trình sử dụng trong đề tài (ubuntu 14.02, ROS ) 14 -16/10 Tìm hiểu về ROS cấp độ 1( filesystem, stack, package,service, ) Tuần 3 21 -23/10 Tìm hiểu về ROS cấp độ 2 (Computation Graph, node, message, topic,Bags, ) Tuần 4 27 -30/10 Hoàn thành thuật toán cơ bản Tuần 5 2/11 Nghiên cứu về visuazilation (cloudviewer) 3/11 Nghiên cứu bộ lọc Passthrought, voxel_grid. 4/11 Nghiên cứu bộ lọc extract indices, remove outdier. 5/11 Nghiên cứu về thuật toán tìm mặt phẳng vector điểm Tuần 6 9/11 Cài đặt gói hổ trợ driver cho Kinect (OpenNI), chup ảnh vật mẫu 10 -11/11 Nghiên cứu tài liệu về hình học không gian 12/11 Tìm hiểu về điểm đặc trƣng (keypoint) ii
5. Tuần 7 16-17/11 Nghiên cứu về thuật toán tìm điểm đặc trƣng NARF 18/11 Nghiên cứu về thuật toán kdtree Tuần 8 23-24/11 Tìm hiểu về thuật toán mô tả SHOT 25/11 Tìm hiểu về thuật toán Hough 3D Grouping Tuần 9 2-3/12 Nghiên cứu thuật toán tách vật mẫu Cylinder, plannar , RSAC 4/12 Tìm hiểu về ma trận dịch chuyễn Tuần 10 11/12 Tiến hành chup ảnh và xử lý cắt lọc vật mẫu, thu thập vật mẫu 13/12 Tiến hành lọc và tìm mặt phẳng vector điểm Tuần 11 18/12Tiến hành viết luận văn (nội dung cơ sở lý thuyết) 19/12 Tiến hành tìm điểm mô tả điểm đặc trƣng Tuần 12 26/12 Tiến hành tìm điểm tƣơng đồng,ma trận dịch chuyển Tuần 13 Viết báo cáo Tuần 14 Chỉnh sửa báo cáo GV HƯỚNG DẪN (Ký và ghi rõ họ và tên) iii
6. LỜI CAM ĐOAN Chúng tôi – Nguyễn Minh Quang và Trương Trần Trung Hiếu cam đoan ĐATN là công trình nghiên cứu của chúng tôi dưới sự hướng dẫn của thạc sỹ Nguyễn Tấn Như Các kết quả công bố trong ĐATN là trung thực và không sao chép từ bất kỳ công trình nào khác. iv
7. LỜI CẢM ƠN Trong thời gian thực hiện đồ án tốt nghiệp, nhóm thực hiện đề tài đã nhận được nhiều sự giúp đỡ, đóng góp ý kiến và chỉ bảo nhiệt tình từ thầy cô và bạn bè. Nhóm thực hiện đề tài xin gửi lời cảm ơn chân thành đến toàn thể quý thầy cô trường Đại học Sƣ Phạm Kỹ Thuật Thành Phố Hồ Chí Minh, đặc biệt là quý thầy cô khoa Điện-Điện tử, những người đã trao dồi vốn kiến thức quý báo của mình cho nhóm thực hiện đề tài, giúp cho nhóm có được kiến thức cơ sở và chuyên môn vững vàng, cũng như tạo điều kiện giúp đỡ nhóm trong quá trình học tập, nó sẽ là hành trang quý báu để nhóm ứng dụng vào cuộc sống và công việc sau này. Đặc biệt nhóm thực hiện xin chân thành gửi lời cảm ơn thầy Nguyễn Tấn Nhƣ, người đã tận tình hướng dẫn, cung cấp tài liệu, giải pháp và tạo điều kiện thuận lợi nhất trong suốt quá trình nhóm thực hiện đề tài này. Nhóm thực hiện đề tài cũng xin cảm ơn các anh chị đã đi trước, những người bạn, người em, cũng như gia đình đã giúp đỡ, ủng hộ, động viên nhóm thực hiện đề tài.Đề tài tuy đã hoàn thành nhưng không tránh khỏi được những thiếu sót, nhóm thực hiện đề tài mong nhận được sự góp ý, phê bình, chỉ dẫn của quý thầy cô và các bạn. Một lần nữa nhóm xin chân thành cảm ơn quý thầy cô của trường, đặc biệt là thầy Nguyễn Tấn Nhƣ người đã tận tình hướng dẫn nhóm trong suốt quá trình thực hiện đề tài. Cuối cùng nhóm xin gửi lời chúc đến quý thầy cô cùng các bạn sinh viên của trường được dồi dào sức khỏe và thành công trong công việc. Nhóm thực hiện xin chân thành cảm ơn! Nhóm thực hiện đề tài Trương Trần Trung Hiếu - Nguyễn Minh Quang (Ký ghi rõ họ tên ) v
8. MỤC LỤC Trang bìa Nhiệm vụ đồ án i Lịch trình ii Cam đoan iii Lời cảm ơn iv Mục lục v Liệt kê hình vẽ vii Các từ viết tắt viii Tóm tắt ix CHƢƠNG 1. DẪN NHẬP 1 1.1. Đặt vấn đề 1 1.2 Lý do chọn đề tài 1 1.3. Nội dung nghiên cứu 2 1.4. Giới hạn 2 1.5. Bố cục 2 CHƢƠNG 2. CƠ SỞ LÝ THUYẾT 3 2.1 Tổng quan về Kinect 3 2.1.1 Giới thiệu về Kinect 3 2.1.2 Cấu tạo và nguyên lý hoạt động 4 2.2 Thuật toán Cylinder 7 2.3 Thuật toán Euclidean Segmentation 7 2.4 Thuật toán Normal 8 2.5 Bộ lọc Voxel-Grid 9 2.6 Thuật toán NARF 10 2.7 Thuật toán SHOT 11 2.8 Thuật toán Kdtree-FLANN 12 2.9 Thuật toán Hough 3D Grouping 13 vi
9. CHƢƠNG 3. PHƢƠNG PHÁP THỰC HIỆN 14 3. Sơ đồ khối hệ thống 14 3.1 Thu thập vật mẫu 14 3.2 Học vật mẫu 15 3.3 Nhận dạng vật mẫu 17 Bước 1: Tìm mặt phẳng vector điểm 17 Bước 2: Giãm mẫu 17 Bước 3: Tìm điểm đặc trưng 18 Bước 4: Tìm thuật toán mô tả điểm đặc trưng 18 Bước 5: Tìm các điểm tương đồng 19 Bước 6: Tìm ma trận dịch chuyển 19 CHƢƠNG 4. KẾT QUẢ VÀ THẢO LUẬN 21 4.1 Kết quả 21 4.2 Thảo luận 22 CHƢƠNG 5. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN. 24 5.1 Kết luận 24 5.2 Hướng phát triển 24 TÀI LIỆU THAM KHẢO PHU LỤC 25 vii
10. LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1: Hình ảnh về KinectXbox 360 3 Hình 2.2: Cấu tạo Kinect 4 Hình 2.3: Hình ảnh từ Camera RGB-D 4 Hình 2.4: Khoảng cách đo cảm biến 5 Hình 2.5: Vùng hoạt động cảm biến 5 Hình2.6: Sơ đồ khối cảm biến 6 Hình 2.7: Ảnh đám mây điểm cái ly được tách ra khỏi mặt bàn 7 Hình 2.8: Mô tả thuật toán Euclidean Segmentation 8 Hình 2.9: (a) ảnh đám mây điểm trước khi dùng Euclidean Segmentation. (b) ảnh đám mây điểm sau khi dùng Euclidean Segmentation 8 Hình 2.10: Vector nomal được tìm thấy 9 Hình 2.11: Mô tảVoxel_Grid 9 Hình 2.12: Điểm đặc trưng vật mẫu 11 Hình 2.13: Mô tả SHOT 12 Hình 2.14: Kd tree trong không gian 3D 13 Hình 2.15: Dịch chuyển các điểm tương đồng 13 Hình 3.1: Giải thuật nhân dạng 14 Hình 3.2: vật mẫu (hộp sữa) sau khi tách và lọc 14 Hình 3.3: Khung cảnh chứa vật mẫu 15 Hình 3.4: Vector định hướng của vật mẫu 15 Hình 3.5: Vật mẫu sau khi giảm mẫu 16 Hình 3.6: Keypoint của vật mẫu 16 Hình 3.7: Các bước nhận dạng vật mẫu 17 Hình 3.8: Vector định hướng của khung cảnh 17 Hình 3.9: Khung cảnh sau khi giảm mẫu 18 Hình 3.10: Keypoint của khung cảnh 18 Hình 3.11: vật mẩu sau khi được dịch chuyển 19 ix
11. Hình 3.12: Ma trận dịch chuyển R được tìm thấy 20 Hình 3.13: Ảnh đám mây điểm của vật mẫu được dịch chuyển tới vị trí của vật cần nhận dạng trong khung cảnh và đường nối giữa các điểm tương đồng sau khi nhân với ma trận dịch 20 Hình 4.1: Thu thập đám mây điểm của vật mẫu 21 Hình 4.2: Đám mây điểm của vật mẫu sau khi tách 21 Hình 4.3: Đám mây điểm của vật mẫu với các vật khác 22 Hình 4.4: Các điểm đặc trưng của vật mẫu và khung cảnh chứa vật mẫu 22 Hình 4.5: Đám mây điểm của vật mẫu được dịch chuyển tới vị trí của vật cần nhận dạng trong khung cảnh và đường nối giữa các điểm được dịch chuyễn 22 Hình 4.6: Các số liệu khi được thuật toán tìm ra 23 x
12. CÁC TỪ VIẾT TẮT NARF Normal Aligned Radial Feature SHOT Signature of Histograms of OrienTations xi
13. TÓM TẮT -Đề tài ứng dụng cảm biến KINECT để nhận dạng các vật thể 3D trong không gian như là cái chén, cái ly, quả bóng, Ưu điểm của đề tài so với các đề tài nhận dạng 2D khác là có thể nhận biết chính xác được một vật trong không gian so với ảnh của vật đó trong một tấm hình 2D. - Các bước thực hiện đề tài: 1- Tìm hiểu về cảm biến KINECT. 2- Nghiên cứu và cài đặt các chương trình được sử dụng trong đề tài. 3- Tìm hiểu về các thuật toán được sử dụng trong đề tài. 4- Sử dụng cảm biến KINECT để chụp hình các vật mẫu. 5- Xử lý cắt vật mẫu, loại bỏ các thành phần khác ngoài vật mẫu. 6- Chụp ảnh khung cảnh có chứa vật mẫu để nhận dạng. 7- Xử lý nhận dạng vật mẫu trong khung cảnh đã chụp. - Kết quả đạt được: Đã nhận dạng thành công các vật thể trong không gian (không gian đơn giản, ít nhiễu do ánh sáng) như cái ly, cái chai, ấm nước Đề tài này mang lại những ứng dụng thực tế trong việc nhận dạng vật chất hữu cơ ví dụ như con người hoặc vật thể. Nhiều nước trên thế giới đã thực hiện đề tài này theo nhiều hướng khác nhau như: Nhận dạng con người (trong sân bay, siêu thị ), nhận dạng cử chỉ bàn tay (ứng dụng trong các game đồ họa cao ), camera an ninh Và được ứng dụng nhiều trong việc phát hiện hoặc mô phổng các đặc điểm của vật thể, hoặc theo chuyễn động của con người ứng dụng trong việc xử lý đồ họa 3D, trong phim ảnh, xii
14. ĐỒ ÁN TỐT NGHIỆP 2016 Chƣơng 1 DẪN NHẬP 1.1 ĐẶT VẤN ĐỀ Đây là đề tài nhỏ trong ứng dụng điều khiển robot tự hành gấp vật thể như Hình 2.0, nhóm đã xây dựng khối nhận dạng vật thể 3D sử dụng cảm biến Kinect để xác định vị trí vật thể trong không gian, trong đó cảm biến Kinect sẽ thu thập dữ liệu hình ảnh từ cảm biến đến vật thể, thông qua các thuật toán xử lý ảnh xác định được vị trí của vật thể trong không gian. Hình 2.0: Mô hình robot 1.2 LÝ DO CHỌN ĐỀ TÀI Hiện nay, việc xây dựng các khối nhận dạng hình ảnh thường sử dụng các thiết bị chuyên biệt cho công việc phân tích hình ảnh như camera, webcam, cảm biến chuyển động kết hợp các thuật toán xử lý ảnh. Các phương pháp nhận dạng thông thường dựa vào sự tương đồng về màu sắc, tuy nhiên, có thể những vật có màu sắc tương tự nhau nhưng không cùng một vật thể hoặc các phần của cùng một đối tượng nhưng có màu khác nhau,do vậy gây khó khăn trong quá trình nhận dạng. Trong khi đó, với thông tin về độ sâu, các vật thể được phân biệt với nhau thông qua vị trí. Những điểm có khoảng cách gần nhau có xu hướng cùng một đối tượng mà không phân biệt màu sắc. Chỉ khi độ sâu giảm đột ngột như ở cạnh và ở một số phần nhỏ của đối tượng thì khi đó, hình ảnh trên bản đồ độ sâu mới có sự thay đổi. Từ những phân tích trên ta có thể thấy được những ưu điểm của bản đồ độ sâu và nó rất thích hợp để ứng dụng trong các đề tài nhận dạng cho robot tự hành. 1
15. ĐỒ ÁN TỐT NGHIỆP 2016 Xuất phát từ những yêu cầu đó, nhóm đã chọn đề tài nghiên cứu là: “ NHẬN DẠNG VẬT THỂ 3D SỬ DỤNG CẢM BIẾN KINECT”. 1.3 NỘI DUNG NGHIÊN CỨU Các bước thực hiện đề tài Tìm hiểu về cảm biến KINECT. Nghiên cứu và cài đặt các chương trình được sử dụng trong đề tài . Tìm hiểu về các thuật toán được sử dụng trong đề tài. Sử dụng cảm biến KINECT để chụp hình các vật mẫu. Xử lý cắt vật mẫu, loại bỏ các thành phần khác ngoài vật mẫu. Chụp ảnh khung cảnh có chứa vật mẫu để nhận dạng. Xử lý nhận dạng vật mẫu trong khung cảnh đã chụp. 1.4 GIỚI HẠN VÀ MỤC TIÊU ĐỀ TÀI Đề tài bị giới hạn bởi thời gian xử lý các thuật toán trung bình mất trung bình từ 5 -7 phút, nhiễu từ môi trường (ánh sáng, đồ vật xung quanh) ảnh hưởng đến kết quả. Mục tiêu đề tài đạt: Hiểu được cách kết nối, cài đặt và sử dụng phần mềm, cách hoạt động của cảm biến Kinect, các giải thuật xử lý ảnh. Nhận dạng thành công vật mẫu trong môi trường chứa nhiều vật mẫu. 1.5 BỐ CỤC ĐỀ TÀI Chƣơng 1: Dẫn nhập - Trong chương này, nhóm trình bày vài trò và những ứng dụng thực tiễn của đề tài trong lĩnh vực nhận dạng hình ảnh, các giới hạn, và nội dung nguyên cứu. Chƣơng 2: Cơ sở lý thuyết - Giới thiệu về các kiến thức lý thuyết cơ bản về camera Kinect, các thuật toán được sử dụng trong chương trình. Chƣơng 3: Phương pháp thực hiện 2
16. ĐỒ ÁN TỐT NGHIỆP 2016 - Trình bày sơ khối khối hệ thống. - Trình bày các bước thực hiện trong đề tài. Chƣơng 4:Kết quả và thảo luận - Giới thiệu các hình ảnh thực tế từ kết quả đề tài làm được. - Thảo luận các kết quả trong đề tài . Chƣơng 5: Kết luận và hướng phát triển - Đưa ra kết luận và hướng phát triển của đề tài. 3
17. ĐỒ ÁN TỐT NGHIỆP 2016 Chƣơng 2: CƠ SỞ LÝ THUYẾT 2.1 Kinect 2.1.1 Giới thiệu về Kinect Kinect là một thiết bị đầu vào,là cảm biến chuyển động do hãng Microsoft sản xuất dành cho Xbox 360 và máy tính Windows. Dựa trên một webcam kiểu add-on ngoại vi cho Xbox 360, nó cho phép người dùng điều khiển và tương tác với Xbox 360 mà không cần phải dùng đến một bộ điều khiển tay cầm, thông qua một giao diện người dùng tự nhiên bằng cử chỉ và lệnh nói. Thiết bị được giới thiệu vào tháng 11 năm 2010 như một phụ kiện của Xbox 360. Cảm biến chiều sâu (depth sensor) được sử dụng trong Kinect được phát triển bởi Zeev Zalevsky, Alexander Shpunt, Aviad Maizels và Javier Garcia, năm 2005. Kinect đã chính thức được công bố vào ngày 01 Tháng Sáu Năm 2009, dưới cái tên "Project Natal" ( Natal là tên một thành phố ở Brazil, nơi sinh của 1 giám đốc dự án này). Chức năng chính của Kinect là một công cụ để người dùng tương tác với Xbox 360 bằng cử chỉ và lệnh nói. Vì lý do này, các bộ cảm biến có khả năng thu thập dữ liệu ở độ phân giải 640x480 điểm ảnh. Với các dữ liệu chiều sâu, có thể lấy được một khung xương của người đứng phía trước của cảm biến. Và với bộ xương đó, nó có thể nhận biết được cử chỉ của người sử dụng. Hình 2.1 là hình giới thiệu về Kinect Xbox 360. Hình 2.1: Hình ảnh về Kinect Xbox 360 4
18. ĐỒ ÁN TỐT NGHIỆP 2016 2.1.2 Cấu tạo và nguyên lý hoạt động a. Cấu tạo Hình 2.2: Cấu tạo Kinect Hình 2.2 miêu tả cấu tạo bên trong Kinect bao gồm 1 camera RGB, cảm biến độ sâu , một dãy các microphone và 1 động cơ điều khiển góc nâng. - Camera RGB-D :Chức năng chính của camera là nhận biết 3 màu cơ bản là đỏ, xanh lá cây và xanh da trời (Red-Green-Blue). Quá trình chụp bao gồm việc chụp một ảnh màu (RGB) và thực hiện một phép đo độ sâu (D). Cảm biến hình ảnh kết hợp với cảm biến chiều sâu nằm ở gần nhau, cho phép sáp nhập bản đồ, cho ra hình ảnh 3D. Thông tin ảnh RGB-D được lưu trữ. Với kích cỡ 1280x960 pixel, tốc độ 12 khung hình/giây. Với kích cỡ 640x480 pixel, tốc độ chụp 30 khung hình/giây. Từ đây cho thấy,khi thiết lập độ phân giải thấp hơn thì tốc độ chụp và truyền hình ảnh là cao hơn. Hình 2.3: Hình ảnh từ Camera RGB-D 5
19. ĐỒ ÁN TỐT NGHIỆP 2016 - Cảm biến chiều sâu Bao gồm bộ phát hồng ngoại (Infrared light) và camera hồng ngoại (depth image CMOS). Kích cỡ ảnh là 640x480 pixel,tốc độ chụp 30 khung hình mỗi giây. Có 2 phạm vi độ sâu: + Phạm vi mặc định có sẵn trong cả hai bộ cảm biến Kinect cho Windows và các cảm biến Kinect cho Xbox 360. + Phạm vi gần là chỉ có trong cảm biến Kinect cho Windows. Hình 2.4: Khoảng cách đo cảm biến Để cảm biến hoạt động tốt nhất thì nên sử dụng khoảng cách từ 1,2m 3,5m. Hình 2.5: Vùng hoạt động cảm biến Vùng hoạt động của hệ thống là 43 độ dọc, 57 độ theo chiều ngang. Hoạt động: Ban đầu,máy phát tia hồng ngoại sẽ phát ra tia hồng ngoại trong vùng hoạt động của nó, nó sẽ tạo ra một cấu trúc các điểm sáng trên vật thể, thông qua phản 6
20. ĐỒ ÁN TỐT NGHIỆP 2016 chiếu về hình ảnh, camera hồng ngoại sẽ thu thập cấu trúc này, cho kết quả là một hình ảnh vật thể với những chiều sâu khác nhau. - Động cơ, máy đo gia tốc, micro + Động cơ : nằm ở đế của cảm biến Kinect. Nó có khả năng làm cho cảm biến hướng đầu lên trên cao và hạ xuống thấp. Với khả năng này sẽ giúp cho cảm biến có thể thu được hình ảnh cao hơn rất nhiều so với khi không có bộ động cơ. + Máy đo gia tốc: Kinect sử dụng nó để xác định người đứng trước, đứngsau trong khi đo. + Micro: bao gồm 4 micro nhỏ, hoạt động như nhau ở 16 bit với tốc độ lấy mẫu là 16kHz (số mẫu/giây). - Sử dụng chip PrimeSensor của Microsoft sản xuất. Phần mềm hỗ trợ : +OpenNI : được sử dụng phổ biến nhất. + OpenKinect : do hãng Microsoft sản xuất. +Microsoft Kinect dành cho hệ điều hành Windows. Hình 2.6: Sơ đồ khối cảm biến 7