Đồ án Ứng dụng camera 3D điều khiển và giám sát robot di động (Phần 1)

Nội dung text: Đồ án Ứng dụng camera 3D điều khiển và giám sát robot di động (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ÐIỆN – ÐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ ĐIỆN TỰ ĐỘNG ỨNG DỤNG CAMERA 3D ÐIỀU KHIỂN VÀ GIÁM SÁT ROBOT DI ÐỘNG GVHD: THS. PHẠM HOÀNG THÔNG SVTH: TRẦN ĐỨC NHÂN MSSV: 10118050 SVTH:LƯU DƯƠNG HOÀNG SANG MSSV: 10118060 SKL003120 Tp. Hồ Chí Minh, tháng 07/2014
2. NHẬN XÉT CỦA GIÁO VIÊN HƢỚNG DẪN Giáo viên hƣớng dẫn: Th.S. Phạm Hoàng Thông Sinh viên thực hiện: Trần Đức Nhân MSSV: 10118050 Lƣu Dƣơng Hoàng Sang MSSV: 10118060 Lớp: 101181B Ngành: Công Nghệ Điện Tự Động Tên đề tài : ỨNG DỤNG CAMERA 3D ĐIỀU KHIỂN VÀ GIÁM SÁT ROBOT DI ĐỘNG  Nhận xét của giáo viên hƣớng dẫn: Kết luận: Điểm xếp loại: Bằng số: Bằng chữ: Tp. Hồ Chí Minh, ngày tháng năm 2014 Giáo viên hƣớng dẫn i
3. NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Giáo viên phản biện: Sinh viên thực hiện: Trần Đức Nhân MSSV: 10118050 Lƣu Dƣơng Hoàng Sang MSSV: 10118060 Lớp: 101181B Ngành: Công Nghệ Điện Tự Động Tên đề tài: ỨNG DỤNG CAMERA 3D ĐIỀU KHIỂN VÀ GIÁM SÁT ROBOT DI ĐỘNG  Nhận xét của giáo viên phản biện: Kết luận: Điểm xếp loại: Bằng số: Bằng chữ: Tp. Hồ Chí Minh, ngày tháng năm 2014 Giáo viên phản biện ii
4. TRƢỜNG ĐH SƢ PHẠM KỸ THUẬT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TP. HỒ CHÍ MINH ĐỘC LẬP – TỰ DO – HẠNH PHÚC KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN: ĐIỀU KHIỂN TỰ ĐỘNG NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giáo viên hƣớng dẫn: ThS. Phạm Hoàng Thông Họ và tên sinh viên: Trần Đức Nhân MSSV:10118050 Lƣu Dƣơng Hoàng Sang MSSV:10118060 Lớp: 101181B Chuyên ngành: Công Nghệ Điện Tự Động Mã ngành: 118 Hệ: Đại học chính quy Niên khóa: 2010 – 2014 1.Tên đề tài: ỨNG DỤNG CAMERA 3D ĐIỀU KHIỂN VÀ GIÁM SÁT ROBOT DI ĐỘNG 2. Nhiệm vụ và nội dung: Từ mục đích chính, chế tạo hoàn thiện mô hình robot di động đƣợc điều khiển bằng vi điều khiển kết hợp tìm hiểu và ứng dụng về thị giác máy tính (xử lý ảnh), sử dụng thƣ viện lập trình có sẵn là OpenCV 2.4.9 với mục đích cụ thể là: Thiết kế, chế tạo mô hình xe. Viết chƣơng trình điều khiển cho mô hình hoạt động. Sử dụng vi điều khiển ARM,, thƣ viện có sẵn OpenCV 2.4.9. Xây dựng chƣơng trình giám sát điều khiển cho hệ thống bằng cách sử dụng chƣơng trình Microsoft Visual Studio 2012. 3. Giáo viên hƣớng dẫn: ThS. Phạm Hoàng Thông. 4. Ngày giao nhiệm vụ: 5. Ngày hoàn thành: Ngày . tháng năm 2014 Ngày tháng năm 2014 Giáo viên hƣớng dẫn Chủ nhiệm bộ môn iii
5. LỜI MỞ ĐẦU Khoa học kỹ thuật ngày càng phát triển mạnh mẽ.Một trong những thành tựu của sự phát triển đó là sự ra đời của công nghệ nhận dạng và xử lý ảnh.Sự xuất hiện của xử lý ảnh đã mang lại những bƣớc tiến vƣợt bậc mang tính cách mạng cho lĩnh vực khoa học kỹ thuật.Xử lý ảnh đã đƣa con ngƣời tiến sang một kỷ nguyên mới.Xử lý ảnh đang đƣợc phát triển và ứng dụng rộng rãi vào các lĩnh vực của đời sống và khoa học nhƣ : nhận diện biển số xe,chuẩn đoán bệnh trong y học,nhận dạng vân tay chấm công ở công sở,thám hiểm vũ trụ,khám phá đại dƣơng v.v Xử lý ảnh ra đời với mục tiêu đầu tiên là dành cho việc điều khiển robot,với mong muốn điều khiển robot dễ dàng và tiện lợi hơn giúp hạn chế tối đa những rủi do cho con ngƣời khi tham gia vào các lĩnh vực nguy hiểm. Robot là sản phẩm của trí tuệ nhân tạo.Sự phát triển của khoa học công nghệ dẫn đến việc các phƣơng pháp điều khiển robot cũng trở nên đa dạng và tinh vi hơn. Trong đó, việc tạo ra trí tuệ nhân tạo hay thị giác nhân tạo cho robot đang rất đƣợc coi trọng và phát triển.Các lĩnh vực đang ứng dụng robot nhƣ thám hiểm (địa hình khó khăn, nguy hiểm, không gian ), kiểm tra các khu vực độc hại với con ngƣời (phóng xạ, chất hóa học, bệnh dịch ), lĩnh vực quân sự (dò phá bom mìn, do thám, cứu hộ ) và các ứng dụng khác trong lĩnh vực công nghiệp, đời sống. Việc nghiên cứu, ứng dụng những gì đã học vào thực tế cuộc sống là một điều rất cần thiết trong vai trò làm chủ công nghệ hiện nay. Để góp phần tạo nền tảng vững chắc cho việc học tập, tìm hiểu sâu hơn kỹ thuật điều dùng xử lý ảnh, nhóm thực hiện đã lựa chọn nghiên cứu đề tài:“ ỨNG DỤNG CAMERA 3D ĐIỀU KHIỂN VÀ GIÁM SÁT ROBOT DI ĐỘNG ”. Nhóm thực hiện đề tài TRẦN ĐỨC NHÂN LƢU DƢƠNG HOÀNG SANG iv
6. LỜI CẢM ƠN Lời đầu tiên nhóm thực hiện xin gửi lời cảm ơn đến tất cả quý thầy cô giảng dạy tại trƣờng Đại Học Sƣ Phạm Kỹ Thuật Thành Phố Hồ Chí Minh, đặc biệt là quý thầy cô Khoa Điện-Điện Tử đã giảng dạy và cung cấp những kiến thức bổ ích cho nhóm trong suốt quá trình học tập tại trƣờng củng nhƣ trong quá trình đề cho nhóm thực hiện đồ án này. Nhóm xin gửi lời cảm ơn chân thành đến giáo viên hƣớng dẫn là thầy Phạm Hoàng Thông đã gợi ý đề tài,dìu dắt, hỗ trợ tài liệu và trang thiết bị, đồng thời tận tình hƣớng dẫn, giúp đỡ tạo mọi điều kiện thuận lợi cho nhóm trong suốt quá trình thực hiện đề tài. Nhóm cũng xin gửi lời cảm ơn đến thầy Nguyễn Minh Tâm, thầy Trƣơng Đình Nhơn và quý thầy cô giảng dạy tại xƣởng điện đã tận tình giúp đỡ và tạo điều kiện thuận lợi cho nhóm có cơ hội nghiên cứu và thực hành tại phòng thí nghiệm. Xin ghi nhận sự hỗ trợ nhiệt tình,đóng góp ý kiến quý báu của các thành viên lớp 10118.Sự thành công của đề tài ngoài sự nỗ lực của các thành viên trong nhóm còn nhờ vào sự hỗ trợ của thầy cô và bạn bè.Đặc biệt là sự quan tâm,động viên,khuyến khích từ gia đình.Nhóm thực hiện xin bày tỏ sự biết ơn sâu sắc. Dù đã nỗ lực hết sức nhƣng do còn hạn chế về kiến thức và kinh nghiệm nên đề tài sẽ còn những hạn chế mà nhóm chƣa nhận thấy đƣợc,rất mong nhận đƣợc sự góp ý chân thành của quý thầy cô,tất cả các anh chị và các bạn để đề tài đƣợc hoàn thiện hơn. Xin chân thành cảm ơn! Nhóm thực hiện đề tài Trần Đức Nhân Lƣu Dƣơng Hoàng Sang v
7. MỤC LỤC CHƢƠNG 1 :TỔNG QUAN 1 1.1 Đặt vấn đề 1 1.1 Mục tiêu đề tài 2 1.2 Giới hạn đề tài 2 1.3 Phƣơng pháp nghiên cứu 2 1.4 Nội dung đề tài 3 CHƢƠNG 2 :CƠ SỞ LÝ THUYẾT 4 2.1 Các mô hình ngoài thực tế 4 2.1.1 Tổng quan về thiết bị điều khiển bằng cử chỉ 4 2.1.2 Cấu trúc cơ bản của một xe điều khiển 6 2.1.3 Giới thiệu về thiết bị Camera 6 2.2 Giới thiệu về vi điều khiển 11 2.3 Động học Robot 12 2.4 Giới thiệu về thƣ viện OpenCV 13 2.5 Lý thuyết chung về thuật toán Cam-shift 16 2.6 Giao thứ UDP( User Datagram Protocol ) 21 CHƢƠNG 3 :THIẾT KẾ HỆ THỐNG 25 3.1 Yêu cầu và thiết kế mô hình Robot tự hành trong đồ án 25 3.1.1 Yêu cầu thiết kế mô hình 25 3.1.2 Yêu cầu thiết kế điều khiển giám sát 25 3.2 Vi điều khiển ARM 26 3.2.1 Giới thiệu vi điều khiển AVR Cortex-M3 26 3.2.2 Kiến trúc và tính năng vi điều khiển Cortex-M3 28 3.2.3 Đặc điểm vi điều khiển STM32F103C8T6 38 3.3 Nguồn cung cấp và Động cơ 40 3.4 IC điều khiển động cơ L298N 41 3.5 Bánh xe 42 3.6 Camera 43 3.7 Máy tính xử lý trung tâm 44 vi
8. 3.8 Mạch động lực 44 3.8.1 IC ổn áp 44 3.8.2 Opto 4N35 45 3.8.3 IC giao tiếp với máy tính FT232 (USB - UART) 46 3.8.4 Modem wifi 46 CHƢƠNG 4:THI CÔNG MÔ HÌNH VÀ THIẾT KẾ GIAO DIỆN 48 4.1 Thi công phần cứng 48 4.1.1 Khái quát về mô hình 48 4.1.2 Mạch điều khiển và mạch vi điều khiển 49 4.2 Thiết kế giao diện và điều khiển 52 4.2.1 Giới thiệu sơ lƣợc giao diện Visual Studio 2012 53 4.2.2 Kết hợp OpenCV vào Visual Studio 2012 54 4.2.3 Giới thiệu sơ lƣợc chƣơng trình Keil C uVision4 54 4.2.4 Thiết kế giao diện và điều khiển 55 4.2.5 Chƣơng trình điều khiển 55 CHƢƠNG 5 : KẾT QUẢ THỰC NGHIỆM 59 5.1 Kết quả thuật toán Camshift 59 5.2 Kết quả điều khiển 60 5.3 Giao diện điều khiển của Master và Slave 63 5.4 Kết nối và điều khiển giữa Master và Slave 64 CHƢƠNG 6 : KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 67 6.1 Tổng kết 67 6.2 Hƣớng phát triển 67 vii
9. DANH MỤC CÁC HÌNH Hình 1.1: Robot MIDbo 4 Hình 1.2: Robot Pops 4 Hình 1.3: Xe thám hiểm điều khiển từ xa 5 Hình 1.4: Robot Anphal 5 Hình 1.5: Cấu trúc cơ bản của xe điều khiển 6 Hình 1.6: Camera Kinect của hàng Microsoft 6 Hình 1.7 Nhận diện hành động game thủ và điều khiển nhân vật trong game 7 Hình 1.8 :Cấu tạo của Camera Kinect 8 Hình 1.9:Chiếc xe có khả năng nhận diện các món hàng 10 Hình 1.10: Điều khiển máy tính bằng cử chỉ 11 Hình 1.11: Điều khiển máy tính bằng cử chỉ 11 Hình 1.12 : Phân tích chuyển động của robot 12 Hình 1.13:Cấu trúc cơ sở của OpenCV 13 Hình 1.14: Không gian màu HSV 17 Hình 1.15: Chuyển đổi không gian màu 17 Hình 1.16: Biểu đồ xác định giá trị lớn nhất của hàm mật độ trong một khoảng bằng cách thay đổi 18 Hình 1.17: Kỹ thuật dịch chuyển cửa sổ tìm kiếm của mean-shift 18 Hình 1.18: Giải thuật Camshift theo vết đối tƣợng 20 Hình 1.19: Mô tả gói dữ liệu truyền theo giao thức UDP 21 Hình 3.1: Bộ vi điều khiển Cortex-M3 29 Hình 3.2: Bản đồ bộ nhớ 31 Hình 3.3: Hiệu suất tƣơng đối và kích thƣớc mã lệnh của ARM 32 Hình 3.4: Hệ thống theo vết Cortex-M3 37 H nh 3 5: Vi điều khiển STM32F103C8T6 38 H nh 3 6: Cấu trúc vi điều khiển STM32 39 Hình 3.7: Acquy WP5S-3B 40 Hình 3.8: Động cơ KM3448A-24VDC 40 Hình 3.9: Sơ đồ chân IC L298N 41 Hình 3.10: Sơ đồ khối IC L298N 42 Hình 3.11: Bánh xe dùng cho động cơ có bộ giảm tốc đƣờng kính 100mm . 42 viii
10. Hình 3.12: Bánh xe Omni 43 Hình 3.13: Camera 43 Hình 3.14 Dell Inspiron N4030 44 Hình 3.15: LM2576T-5 44 Hình 3.16 Sơ đồ mắc mạch 44 Hình 3.17: AMS1117-3.3 45 Hình 3.18: Opto 4N3 45 Hình 3.19 : FT232 46 Hình 3.20: Modem wifi TP-Link WR 740 46 Hình 4.1 : Sơ đồ các khối điều khiển 48 Hình 4.2 : Mô hình 49 Hình 4.3 : Cấu trúc bên trong 49 H nh 4 4 : Cụm nguồn cấp điệp cho mạch 50 Hình 4.5 : Sơ đồ nguyên lý cụm điều khiển 50 H nh 4.6: Sơ đồ nguyên lí cụm công suất 51 Hình 4.7 : Mạch điều khiển 51 Hình 4.8 : Sơ đồ nguyên lý mạch ARM 52 Hình 4.9 : Mạch ARM 52 Hình 4.10 : Giao diện Visual Studio 2012 53 Hình 4.11 : Giao diện chƣơng trình uVision4 54 Hình 4.12 : Giao diện điều khiển robot 55 Hình 4.13 :Lƣu đồ hoạt động của chƣơng trình điều khiển 57 Hình 4.14 Lƣu đồ điều khiển theo cử chỉ tay 58 Hình 5.1: Theo dõi vật có màu vàng 59 Hình 5.2: Theo dõi vật có màu đỏ. 59 Hình 5.3: Xác định các thông số vị trí của đồ vật 60 Hình 5.4: Điều khiển xe dừng 60 Hình 5.5: Điều khiển xe chạy tới 61 Hình 5.6: Điều khiển xe quay phải 61 Hình 5.7: Điều khiển xe chạy lùi 62 Hình 5.8: Điều khiển xe quay trái 62 Hình 5.9 : Giao diện điều khiển của Master 63 ix
11. Hình 5.10: Giao diện điều khiển của Slave 64 Hình 5.11: Hình ảnh thu đƣợc ở Master 64 Hình 5.12 :Hình ảnh thu đƣợc ở Slave 65 Hình 5.13 :Hình ảnh thu đƣợc khi đi lùi 65 Hình 5.14 :Hình ảnh thu đƣợc khi quay trái 66 Hình 5.15 : Hình ảnh thu đƣợc khi quay phải 66 x
12. DANH MỤC CÁC BẢNG Bảng 3 : So sánh giữa Camshift và Meanshift. 19 Bảng 3.1 : Thông số kỹ thuật động cơ KM3448A-24VDC 40 Bảng 3.2 Bảng thông số Modem wifi TP-Link WR 740 47 ảng 4.1: Bảng trạng thái hoạt động của robot 56 xi
13. DANH MỤC CÁC CHỮ VIẾT TẮT - OpenCV – Open Source Computer Vision Library. - Camshift – Continuously Adaptive Mean Shift. - CAN – Controller Area Network . - USB – Universal Serial Bus. - UART – Universal Asynchronous Reciver/Transmitter. - FIFO – First In First Out. - NMI – Non_Maskable Interrupt. - UDP - User Datagram Protocol. - LAN – Local area network. - WLAN – Wireless Local area network. - TCP/IP – Transmission Control Protocol/Internet Protocol. - SWD - Serial Wire Debug. - JTAG – Joint Test Action Group. - FET – Field Effect Transistor. - CPU – Central Processing Unit. - RAM – Random Acess Memory. - ALM – Application lifecycle management. xii
14. Đồ Án Tốt Nghiệp CHƢƠNG 1 :TỔNG QUAN 1.1 Đặt vấn đề Trong những năm gần đây những ứng dụng về trí tuệ nhân tạo ngày càng phát triển và đƣợc đánh giá cao.Một lĩnh vực đang đƣợc quan tâm của trí tuệ nhân tạo nhằm tạo ra ứng dụng thông minh,mang tính tri thức con ngƣời đó là nhận dạng,bám sát đối tƣợng.Với sự phát triển mạnh mẽ của công nghệ và nhu cầu của con ngƣời ngày càng cao.Một bài toán đƣợc đặt ra là: làm sao để điều khiển máy tính,robot hoặc các thiết bị giải trí bằng cử chỉ,hành động? Nhận dạng hình ảnh hoặc âm thanh là một trong những giải pháp tối ƣu.Và nhóm đã chọn giải pháp nhận dạng cử chỉ của bàn tay. Việc xử lý nhận dạng cử chỉ bàn tay trong điều khiển thuận lợi bằng cách phân vùng khoảng cách của bàn tay hoặc thậm chí là các ngón tay.Điều khiển bằng cử chỉ bàn tay có thể đáp ứng một cách nhanh và linh hoạt. Thị giác máy tính đã và đang rất phát triển. Khái niệm xử lý ảnh và thị giác máy (Computer vision) có liên quan đến nhiều ngành học và hƣớng nghiên cứu khác nhau. Với trình độ công nghệ tiến bộ hiện nay, các tập dữ liệu lớn nhƣ hình ảnh, các đoạn phim thì khái niệm kỹ thuật và thị giác máy càng đƣợc nhắc đến và nghiên cứu nhiều hơn.Thị giác máy tính bao gồm lý thuyết và các kỹ thuật liên quan nhằm mục đích tạo ra một hệ thống nhân tạo có thể tiếp nhận thông tin từ các ảnh thu đƣợc hoặc các tập dữ liệu đa chiều. Việc kết hợp thị giác máy tính với các công nghệ khác nhƣ công nghệ thông tin, truyền thông, điện tử, công nghệ tự động, cơ khí giúp cho chúng ta phát triển rất nhiều ứng dụng trong đời sống hằng ngày, cũng nhƣ trong khoa học, an ninh, quân sự Ngày nay, ứng dụng thị giác máy tính đã trở nên rất rộng lớn và đa dạng, len lỏi vào mọi lĩnh vực từ quân sự, khoa học, vũ trụ, cho đến y học, sản xuất và tự động hóa.Công nghệ xử lý ảnh bao gồm nhiều hƣớng nghiên cứu, một trong những hƣớng đó t m hiểu và xây dựng hệ thống bám theo mục tiêu di động bằng thuật toán xử lý ảnh của OpenCV. 1
15. Đồ Án Tốt Nghiệp 1.1 Mục tiêu đề tài Mục tiêu đề tài là nhằm thiết kế một robot di động có khả năng di chuyển theo cử chỉ của bàn tay, với cấu trúc đơn giản đồng thời điều khiển và giám sát thông qua màn hình camera từ robot truyền về. Vận dụng hiểu biết về thƣ viện OpenCV xây dựng thị giác và trí thông minh cho mô hình xe. Toàn bộ các thông số của quá trình điều khiển robot có thể đƣợc cài đặt và giám sát từ xa, giúp ngƣời giám sát có thể theo dõi và kịp thời xử lý nếu robot gặp bất cứ vấn đề nào. 1.2 Giới hạn đề tài Đề tài mô phỏng mô hình hoạt động của một robot hiện đang hoạt động trong một số lĩnh vực khoa học và quân sự. Việc giám sát và điều khiển chúng hoạt động trong không gian phòng thí nghiệm chứ không nghiên cứu cả một robot hoàn chỉnh ngoài thực tế. Trong phần thiết kế điều khiển,robot chỉ có thể di chuyển trên bề mặt phẳng bằng 2 động cơ DC.Mạch điều khiển đơn giản, dễ dàng lắp đặt và thay thế nếu có sự cố. Chƣơng trình giám sát đƣợc viết bằng Microsoft Visual Studio 2012 trên nền Windows Forms dễ quan sát, không quá phức tạp khi vận hành mô hình và có thể theo dõi đƣợc đƣờng đi của robot.Xe chỉ có thể di chuyển ổn định với các bề mặt phẳng và ít gập ghềnh. 1.3 Phƣơng pháp nghiên cứu -Dựa vào mô hình các ứng dụng xe đang hoạt động ngoài thực tế trong các lĩnh vực khác nhau,nhóm chế tạo ra một mô hình thu nhỏ và đơn giản phục vụ cho việc nghiên cứu. - Áp dụng những kiến thức đã đƣợc học ở trƣờng , các tài liệu giáo có sẵn và những tài liệu tìm kiếm trên mạng internet chế tạo mạch điều khiển phù hợp với thiết kế của robot. -Trong một phạm vi hoạt động cho phép, mô hình có thể vận hành tốt khi không có sự cố. Hai bánh xe có thể hoạt động tƣơng đối chính xác. -Chƣơng trình điều khiển giám sát có thể cho thấy đƣờng đi và những việc xảy ra phía trƣớc robot, thu thập hình ảnh, cảnh báo sự cố giúp cho ngƣời vận hành có thể quan sát và khắc phục kịp thời. - Đánh giá kết quả dựa trên quá trình thực nghiệm. 2
16. Đồ Án Tốt Nghiệp 1.4 Nội dung đề tài Phần còn lại của đề tài nhƣ sau : Chương 2 : Cơ sở lý thuyết Chƣơng này trình bày : Tổng quan về hoạt động của xe. Tính toán, trình bày yêu cầu thiết kế của hệ thống. Giới thiệu về OpenCV và thuật toán Histogram. Ứng dụng cụ thể trong một số lĩnh vực của robot. Chương 3: Mô tả về Robot Chƣơng này trình bày : Yêu cầu thiết kế phần cứng, lựa chọn thiết bị cho mô hình. Chi tiết thiết bị sử dụng trong mô hình, phƣơng pháp lựa chọn các thiết bị ngõ vào/ ra trong hệ thống. Sơ đồ kết nối phần cứng giúp ngƣời vận hành hiểu rõ về cấu trúc của toàn hệ thống. Chương 4 : Lưu đồ điều khiển và giám sát của Robot Chƣơng này trình bày : Trình bày lƣu đồ điều khiển. Phƣơng pháp sử dụng để theo dõi và nhận biết đối tƣợng. Trình bày về chƣơng trình giao diện điều khiển và giám sát của robot. Chương 5: Kết quả thực nghiệm Chƣơng này trình bày : Kết quả sau khi thiết kế, thi công mô hình. Kết quả kết hợp giữa mô hình và giao diện điều khiển giám sát. Chương 6: Kết luận và hướng phát triển Chƣơng này trình bày : Kết quả nhận đƣợc sau khi hoàn thành đề tài. Đƣa ra các phƣơng pháp phát triển và hoàn thiện về mô hình cũng nhƣ giao diện điều khiển giám sát nhằm tối ƣu hóa hệ thống trong tƣơng lai. 3
17. Đồ Án Tốt Nghiệp CHƢƠNG 2 :CƠ SỞ LÝ THUYẾT 2.1 Các mô hình ngoài thực tế 2.1.1 Tổng quan về thiết bị điều khiển bằng cử chỉ Trong tƣơng lai gần,thiết bị điều khiển bằng cử chỉ có thể đƣợc sử dụng trong việc điều khiển tivi không cần remote, phƣơng tiện di chuyển cho ngƣời tàn tật,ứng dụng giải trí. Sau đây là một số mô hình thực tế. Hình 1.1. Robot MIDbo. Hình 1.2 : Robot Pops. 4
18. Đồ Án Tốt Nghiệp Hình 1.3 : Xe thám hiểm điều khiển từ xa Hình 1.4: Anphal Robot 5
19. Đồ Án Tốt Nghiệp 2.1.2 Cấu trúc cơ bản của một xe điều khiển Bao gồm các phần nhƣ hình sau: Tín hiệu từ cảm biến, camera Bộ xử lý trung tâm Tín hiệu điều khiển Cơ cấu chấp hành Hình 1.5: Cấu trúc cơ bản của xe điều khiển 2.1.3 Giới thiệu về thiết bị Camera a) Sự ra đời và phát triển Kinect (hay còn biết với mã là Project Natal) là thiết bị thu nhận các cảm biến chuyển động, đƣợc phát triển bởi Microsoft. Thời gian đầu, Kinect là thiết bị chuyên dụng của hệ máy Xbox 360, phục vụ cho việc chơi game. Hình 1.6 : Camera Kinect của hàng Microsoft. Các mốc thời gian ra đời, phát triển của kinect và các thành phần liên quan: - 5/30/2007: Microsoft nung nấu ý tƣởng về một thiết bị dùng camera ghi nhận cử động điều khiển thay cho các thiết bị truyền thống. - 6/1/2009: Microsoft công bố “Project Natal” ở hội nghị thƣờng niên E3. 6
20. Đồ Án Tốt Nghiệp - 6/13/2010: Trong suốt hội nghị E3, đổi tên “Project Natal” thành Kinect, chính thức là thiết bị hỗ trợ cho Xbox 360. - 11/4/2010: Microsoft chính thức tung ra thị trƣờng Kinect; cũng từ đây, nhƣng kế hoạch phát triển driver nguồn mở cho Kinect của các tổ chức/hacker cũng bắt đầu thực hiện. - 11/10/2010: hacker trẻ tuổi Hector đã phát triển thành công driver cho Kinect. - 2/21/2011: Microsoft lên kế hoạch cho việc phát triển bộ SDK hỗ trợ cho Kinect. Kinect sử dụng webcam, thiết bị thu phát sóng hồng ngoại, và thiết bị thu nhận âm thanh để ghi nhận tín hiệu chuyển động của game thủ và nhận dạng các lệnh điều khiển thông qua giọng nói, giúp cho các game thủ tƣơng tác với Xbox 360 mà không cần chạm vào bất kì thiết bị điều khiển nào. Trong đó, game thủ có thể thao tác nhƣ thật. Hình 1.7. Nhận diện hành động game thủ và điều khiển nhân vật trong game. Kinect, hỗ trợ các chức năng tƣơng tác sau: - Ghi nhận chuyển động tay (hand gesture), bao gồm các hành động xoay vòng (circle), di chuyển tay (wave gesture), push, - Ghi nhận chuyển động toàn cơ thể (full body skeleton), xác định các vị trí chính của cơ thể nhƣ đầu, vai, cẳng tay, chân, - Điều khiển bằng giọng nói. - Nhận dạng số ngƣời đang chơi. 7
21. Đồ Án Tốt Nghiệp b) Những thành phần chính của Kinect Hình 1.8.Cấu tạo của Camera Kinect Các thành phần bên trong Kinect gồm có: bộ nhớ RAM, bộ cảm ứng Prime Sense PS1080-A2, quạt tản nhiệt, động cơ điều khiển góc ngẩng (Motorized Tilt), bộ gia tốc 3 trục, 4 microphone (Multi – Array Mic) và 3 camera: RGB camera, bộ cảm biến độ sâu (3D Depth Sensors). Các thông số kỹ thuật: - Khoảng cách hiệu quả: 0.8-3.5m. - RGB camera: độ phân giải 640 x 480, 30 frame/s, 32 bit màu. - Góc quay hiệu quả: 57º ngang, 43º dọc, ± 27º nghiêng. - Kết nối: USB 2.0 - Sensor: RGB& Depth - Audio: 4 microphones - Platfom: VS.NET 2010. - Middleware: SDK - Ngôn ngữ: C++,C# - OS: Win 7 - Dimensions: 1.5" x 7" x 1.9" c) Thƣ viện hỗ trợ Kinect Ngay khi mới ra đời, Kinect đã đƣợc quan tâm bởi rất nhiều nhà phát triển phần mềm, không chỉ trên mảng phát triển game cho Xbox mà còn trên mảng xử lý ảnh, 8
22. S K L 0 0 2 1 5 4