Luận văn Phát hiện và vẽ quỹ đạo chuyển ðộng trong xử lý ảnh dùng bộ lọc Kalman (Phần 1)

Nội dung text: Luận văn Phát hiện và vẽ quỹ đạo chuyển ðộng trong xử lý ảnh dùng bộ lọc Kalman (Phần 1)

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CÔNG LONG PHÁT HIỆN VÀ VẼ QUỸ ÐẠO CHUYỂN ÐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH : KỸ THUẬT ÐIỆN TỬ - 60520203 S K C0 0 5 2 2 5 Tp. Hồ Chí Minh, tháng 4/2017
2. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CÔNG LONG PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH: KỸ THUÂṬ ĐIỆN TỬ - 60 520203 Tp. Hồ Chí Minh, tháng 04 năm 2017
3. BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ BIỆN CÔNG LONG PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN NGÀNH: KỸ THUÂṬ ĐIỆN TỬ - 60 520203 Hướng dẫn khoa học: PGS. TS DƯƠNG HOÀI NGHĨA Tp. Hồ Chí Minh, tháng 04 năm 2017
4. LÝ LỊCH KHOA HỌC I. LÝ LỊCH SƠ LƯỢC: Họ & tên: Biện Công Long Giới tính: nam Ngày, tháng, năm sinh: 20/08/1982 Nơi sinh: Vĩnh Long Quê quán: xã Lộc Hòa, huyện Long Hồ, tỉnh Vĩnh Long. Dân tộc: kinh Chỗ ở riêng hoặc địa chỉ liên lạc: 95/7 ấp Phước Tân, xã Lộc Hòa, huyện Long Hồ, tỉnh Vĩnh Long. Điện thoại cơ quan: 0703.863126 Điện thoại nhà riêng:0703.957029 Fax: E-mail:longbc@vlute.edu.vn II. QUÁ TRÌNH ĐÀO TẠO: 1. Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ / đến / Nơi học (trường, thành phố): Ngành học: 2. Đại học: Hệ đào tạo: Chính quy Thời gian đào tạo từ 10/2000 đến 10/2004 Nơi học (trường, thành phố): Trường ĐH Cửu Long – thành phố Vĩnh Long. Ngành học: Kỹ thuật điện điện tử Tên đồ án, luận án hoặc môn thi tốt nghiệp: Nhận dạng giọng nói Ngày & nơi bảo vệ đồ án, luận án hoặc thi tốt nghiệp: 10/ 2004 tại trường ĐH Cửu Long Người hướng dẫn: Ths. Đoàn Hòa Minh 3. Thạc sĩ: Hệ đào tạo: Chính quy Thời gian đào tạo: từ 5/2014 đến 4/2017 Nơi học (trường, thành phố): Trường Đại học Sư phạm Kỹ thuật TP.HCM, TP.HCM. Ngành học: Kỹ thuật Điện tử Tên luận văn: Phát hiện và vẽ quỹ đạo chuyển động trong xử lý ảnh dùng bộ lọc Kalman. Ngày & nơi bảo vệ luận văn: 23/4/2017, tại Trường Đại học Sư phạm Kỹ thuật TP.HCM. Người hướng dẫn: PGS.TS Dương Hoài Nghĩa 4. Tiến sĩ: Hệ đào tạo: Thời gian đào tạo từ / đến / Tại (trường, viện, nước): Tên luận án: Người hướng dẫn: Ngày & nơi bảo vệ: 5. Trình độ ngoại ngữ (biết ngoại ngữ gì, mức độ): Tiếng Anh, tương đương B1 i
5. 6. Học vị, học hàm, chức vụ kỹ thuật được chính thức cấp; số bằng, ngày & nơi cấp: III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm Tháng 11/2004 Trung tâm thông tin và thẩm định giá Chuyên viên thẩm định giá đến 4/2007 miền nam Chi nhánh Vĩnh Long. Từ 5/2007 đến nay Trường ĐH SP KT Vĩnh Long Giảng dạy lý thuyết và thực hành ii
6. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Tp. Hồ Chí Minh, ngày 28 tháng 2 năm 2017 (Ký tên và ghi rõ họ tên) Biện Công Long iii
7. CẢM TẠ Trước tiên, xin gửi lời cảm ơn sâu sắc nhất đến thầy PGS TS. Dương Hoài Nghĩa, người đã tận tình hướng dẫn em trong suốt quá trình làm đề tài này. Em cũng xin tỏ lời cảm ơn sâu sắc đến quý thầy cô giáo đã giảng dạy em trong suốt khóa học cao học. Những kiến thức mà em nhận được trên giảng đường cao học sẽ là hành trang giúp em vững bước trong tương lai. Em xin cám ơn thầy TS. Nguyễn Thanh Hải đã dạy em môn xử lý ảnh và những đóng góp quý báo của thầy để em có thể hoàn thành báo cáo luận văn này. Xin gửi lời cảm ơn sâu sắc đến tất cả bạn bè và tập thể lớp Kỹ thuật điện tử khóa 14A, 15B những người luôn bên em trong suốt khóa học. Được hoàn thành trong thời gian hạn hẹp, luận văn này chắc chắn còn nhiều thiếu sót. Xin cảm ơn thầy cô, bạn bè đã có những ý kiến đóng góp chân thành cho nội dung của luận văn này để em tiếp tục đi sâu vào tìm hiểu và ứng dụng vào thực tiễn công tác. Biện Công Long Tp. Hồ Chí Minh, tháng 02 năm 2017 iv
8. TÓM TẮT Phát hiện các đối tượng chuyển động, theo dõi và vẽ quỹ đạo chuyển động là các công đoạn quan trọng của nhiều ứng dụng thị giác máy tính, bao gồm các hệ thống giám sát an ninh, điều khiển giao thông, điều khiển tự động Trong luận văn này, sự phát hiện các đối tượng chuyển động sử dụng thuật toán trừ nền dựa trên phương pháp Gaussian hỗn hợp, các hoạt động giám sát được dựa trên kết quả mặt nạ giám sát để loại bỏ nhiễu. Cuối cùng, phân tích Blob phát hiện nhóm các điểm ảnh được kết nối, tương ứng các đối tượng chuyển động. Sư ̣ liên kết các chuyển đôṇ g đươc̣ phát hiêṇ vào đường đi của đối tươṇ g được thưc̣ hiêṇ dựa trên sư ̣ chuyển động. Lọc Kalman được sử dụng để dư ̣ báo vị trí của đối tươṇ g trong mỗi khung ảnh và đô ̣tin câỵ được gán cho mỗi phát hiêṇ . Bước cuối cùng của luận văn là vẽ quỹ đạo chuyển động của các đối tượng từ tâm của các theo dõi đã được gán. Hướng dẫn khoa học: PGS TS. Dương Hoài Nghĩa Chức danh: Giảng viên v
9. ABSTRACT Detection of moving objects, tracking and drawing the trajectory of the moving objects are important components of many computer vision applications, including security monitoring systems, traffic control systems, automatic control systems In this thesis, the detection of moving objects uses a background subtraction algorithm based on Gaussian mixture models, monitoring operations are applied to the resulting foreground mask to eliminate noise. Finally, Blob analysis detects groups of connected pixels, which are likely to correspond to moving objects. The linking of the detected motion to the path of the object is made based on the motion. Kalman filtering is used to predict the location of the object in each frame and the reliability assigned to each detection. The final step of the thesis is to draw the trajectory of the objects from the center of the assigned tracks. Thesis Supervisor: Hoai Nghia Duong, PhD Title: Lecturer vi
10. MỤC LỤC TRANG Trang tựa Quyết định giao đề tài Quyết định đổi tên đề tài Lý lịch khoa học i Lời cam đoan iii Cảm tạ iv Tóm tắt v Mục lục vii Danh sách các chữ viết tắt xi Danh sách các hình xi Chương 1. TỔNG QUAN 1 1.1. Tổng quan về đề tài và các kết quả nghiên cứu trong, ngoài nước 1 1.2. Mục tiêu nghiên cứu 3 1.3. Nhiệm vụ và giới hạn của đề tài 3 1.3.1. Nhiệm vụ của đề tài 3 1.3.2. Giới hạn của đề tài 3 1.4. Phương pháp nghiên cứu 3 1.5. Ý nghĩa thực tiễn của luận văn 4 1.6. Cấu trúc của luận văn 4 Chương 2. CƠ SỞ LÝ THUYẾT 5 2.1. Tổng quan về hệ thống camera quan sát 5 2.1.1. Cấu tạo chung của hệ thống camera quan sát 5 2.1.1.1. Camera 5 2.1.1.2. Đầu ghi hình 5 2.1.1.3. Ổ cứng HDD 6 2.1.1.4. Dây nguồn và dây tín hiệu 6 vii
11. 2.1.2. Ứng dụng của hệ thống camera quan sát 6 2.1.3. Hoạt động của hệ thống camera quan sát 7 2.2. Các vấn đề liên quan đến ảnh số 7 2.2.1. Điểm ảnh 7 2.2.2. Mức xám của ảnh 7 2.2.3. Định nghĩa ảnh số 8 2.2.4. Quan hệ giữa các điểm ảnh 8 2.2.5. Phân loại ảnh số 10 2.2.6. Màu sắc 11 2.3. Các vấn đề liên quan đến video số 13 2.3.1. Cấu trúc của video 13 2.3.2. Ưu, nhược điểm của video số 14 2.3.3. Đối tượng video 14 2.3.4. Chuyển động của đối tượng video 15 2.3.5. Bộ lọc trung vị (Median Filter) 16 2.3.6. Bộ lọc hình thái (Morphology Filter) 17 2.3.7. Phân tích BLOB 18 2.4. Các vấn đề liên quan đến phát hiện và theo dõi đối tượng chuyển động trong video 20 2.4.1. Ngưỡng 20 2.4.2. Ước lượng chuyển động 21 2.4.3. Dự đoán vị trí của đối tượng trong tương lai 22 2.4.4. So khớp đối tượng 23 2.4.5. Theo dõi đối tượng 24 2.4.6. Hiện tượng che phủ 25 2.4.7. Cập nhật đối tượng 26 2.5. Bộ lọc Kalman 26 Chương 3. PHÁT HIỆN CHUYỂN ĐỘNG 29 viii
12. 3.1. Giới thiệu sơ đồ khối của quá trình phân tích video giám sát 29 3.2. Một số phương pháp phát hiện chuyển động 29 3.2.1. Phương pháp so sánh sự khác biệt 30 3.2.2. Phương pháp trừ nền 31 3.2.3. Phương pháp Gaussian hỗn hợp 35 3.3. Sơ đồ khối phát hiện chuyển động 37 3.4. Kết quả mô phỏng 37 3.4.1. Phát hiện chuyển động bằng phương pháp trừ nền với ảnh nền không chứa đối tượng chuyển động 37 3.4.2. Phát hiện chuyển động bằng phương pháp trừ nền với ảnh nền có chứa đối tượng chuyển động 40 3.4.3. Phát hiện đối tượng chuyển động sử dụng thuật toán trừ nền dựa trên phương pháp Gaussian hỗn hợp 41 Chương 4. THEO DÕI VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG 42 4.1. Giải thuật theo dõi và vẽ quỹ đạo chuyển động 42 4.2. Phân tích giải thuật 43 4.2.1 Khối rút trích mô hình đối tượng 43 4.2.2 So khớp đối tượng 44 4.2.3 Thêm mới đối tượng 45 4.2.4 Cập nhật đối tượng và tâm hiệu chỉnh 46 4.2.5 Ước lượng đối tượng hoặc loại bỏ đối tượng mất dấu 46 4.2.6 Dự đoán vị trí của đối tượng 47 4.2.7 Lưu tâm và vẽ quỹ đạo chuyển động 47 4.3. Vai trò của bộ lọc Kalman trong theo dõi và vẽ quỹ đạo chuyển động của đối tượng 47 4.4. Kết quả mô phỏng 49 4.4.1. Trong vùng quan sát của camera chỉ có một đối tượng chuyển động 50 4.4.2. Trong vùng quan sát của camera có nhiều đối tượng chuyển động không giao nhau 56 ix
13. 4.4.3. Trong vùng quan sát của camera có các đối tượng chuyển động bị che khuất hoặc giao nhau 63 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 68 5.1. Kết luận 68 5.2. Hướng phát triển 68 Tài liệu tham khảo 70 x
14. DANH SÁCH CÁC CHỮ VIẾT TẮT Chữ viết tắt Diễn giải CCTV Closed-circuit television – Truyền hình kép kín HDD Hard Disk Drive - Ổ đĩa cứng RGB Red Green Blue - Đỏ, xanh lá cây, xanh dương HSV Hue Saturation Value – Màu sắc, độ bảo hòa, giá trị BLOB Binary Large Object - Đối tượng nhị phân lớn xi
15. DANH SÁCH CÁC HÌNH Hình 2.1: Lân cận các điểm ảnh của tọa độ (x,y) 9 Hình 2.2: Mô hình màu RGB 12 Hình 2.3: Mô hình màu HSV 12 Hình 2.4: Mô hình cấu trúc của video 13 Hình 2.5: Chuỗi ảnh 14 Hình 2.6: Cách thức hoạt động của lọc trung vị 16 Hình 2.7: Minh họa hiệu ứng giãn nở của thao tác Hit 17 Hình 2.8: Minh họa hiệu ứng xói mòn của thao tác Fit 18 Hình 2.9: Ảnh đầu vào và ảnh đầu ra của thuật toán Grass – Fire 19 Hình 2.10: Vectơ dịch chuyển d 21 Hình 2.11: Minh họa thuật toán cập nhập vị trí khi hai đối tượng giao nhau 25 Hình 2.12: Chu trình bộ lọc Kalman 26 Hình 3.1: Sơ đồ khối của quá trình phân tích video giám sát 29 Hình 3.2: Minh họa kết quả so sánh sự khác biệt 31 Hình 3.3: Sơ đồ xử lý trong bộ phát hiện chuyển động bằng phương phát trừ nền 32 Hình 3.4: Bóng ma trong phương pháp trừ nền 35 Hình 3.5: Sơ đồ khối phát hiện chuyển động 37 xii
16. Hình 3.6: Phát hiện chuyển động bằng phương pháp trừ nền với kết quả với chưa được xử lý 38 Hình 3.7: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median với cửa sổ [5 5] và loại bỏ các vùng có kích thước nhỏ hơn 100 38 Hình 3.8: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median với cửa sổ [3 3] và loại bỏ các vùng có kích thước nhỏ hơn 500 39 Hình 3.9: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median với cửa sổ [3 3] và loại bỏ các vùng có kích thước nhỏ hơn 1000 39 Hình 3.10: Phát hiện chuyển động bằng phương pháp trừ nền sử dụng bộ lọc Median với cửa sổ [5 5] và loại bỏ các vùng có kích thước nhỏ hơn 1400 39 Hình 3.11: Phát hiện chuyển động bằng phương pháp trừ nền (nền có chứa đối tượng) sử dụng bộ lọc Median với cửa sổ [5 5] và loại bỏ các vùng có kích thước nhỏ hơn 1400 40 Hình 3.12: Phát hiện chuyển động sử dụng thuật toán trừ nền dựa trên phương pháp Gaussian hỗn hợp 41 Hình 4.1: Giải thuật theo dõi và vẽ quỹ đạo chuyển động 42 Hình 4.2: Ảnh thật và ảnh rút trích đối tượng khi chưa xuất hiện đối tượng chuyển động (khung hình thứ 4 của đoạn video motnguoi.avi) 50 Hình 4.3: Ảnh thật và ảnh rút trích đối tượng khi xuất hiện đối tượng chuyển động nhưng chưa được gán nhãn (khung hình thứ 38 của đoạn video motnguoi.avi) 51 Hình 4.4: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động (khung hình thứ 107 của đoạn video motnguoi.avi) 51 xiii
17. Hình 4.5: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động (khung hình thứ 328 của đoạn video motnguoi.avi) 52 Hình 4.6: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động (khung hình thứ 524 của đoạn video motnguoi.avi) 52 Hình 4.7: Ảnh thật và ảnh rút trích đối tượng của một đối tượng chuyển động (khung hình thứ 633 của đoạn video motnguoi.avi) 52 Hình 4.8: Ảnh thật và ảnh rút trích đối tượng khi đối tượng chuyển động ra khỏi vùng quan sát (khung hình thứ 784 của đoạn video motnguoi.avi) 53 Hình 4.9: Quỹ đạo chuyển động của một đối tượng trong đoạn video motnguoi.avi 55 Hình 4.10: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động không giao nhau (khung hình thứ 66 của đoạn video hainguoi.avi) 56 Hình 4.11: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động không giao nhau (khung hình thứ 231 của đoạn video hainguoi.avi) 57 Hình 4.12: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động không giao nhau (khung hình thứ 389 của đoạn video hainguoi.avi) 57 Hình 4.13: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động không giao nhau (khung hình thứ 545 của đoạn video hainguoi.avi) 57 Hình 4.14: Quỹ đạo chuyển động của hai đối tượng không giao nhau trong đoạn video hainguoi.avi 58 Hình 4.15: Ảnh thật và ảnh rút trích đối tượng của ba đối tượng chuyển động không giao nhau (khung hình thứ 40 của đoạn video banguoi.avi) 60 xiv
18. Hình 4.16: Ảnh thật và ảnh rút trích đối tượng của ba đối tượng chuyển động không giao nhau (khung hình thứ 125 của đoạn video banguoi.avi) 60 Hình 4.17: Ảnh thật và ảnh rút trích đối tượng của 3 đối tượng chuyển động không giao nhau (khung hình thứ 227 của đoạn video banguoi.avi) 60 Hình 4.18: Quỹ đạo chuyển động của ba đối tượng không giao nhau trong đoạn video banguoi.avi 61 Hình 4.19: Ảnh thật và ảnh rút trích đối tượng của người và xe chuyển động không giao nhau (khung hình thứ 220 của đoạn video nguoivaxe.avi) 62 Hình 4.20: Ảnh thật và ảnh rút trích đối tượng của người và xe chuyển động không giao nhau (khung hình thứ 303 của đoạn video nguoivaxe.avi) 62 Hình 4.21: Ảnh thật và ảnh rút trích đối tượng của người và xe chuyển động không giao nhau (khung hình thứ 452 của đoạn video nguoivaxe.avi) 62 Hình 4.22: Quỹ đạo chuyển động của người và xe trong đoạn video nguoivaxe.avi 63 Hình 4.23: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động vừa mới giao nhau (khung hình thứ 309 của đoạn video giaonhau.avi) 64 Hình 4.24: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động vừa mới giao nhau (khung hình thứ 449 của đoạn video giaonhau.avi) 64 Hình 4.25: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng chuyển động vừa mới giao nhau (khung hình thứ 629 của đoạn video giaonhau.avi) 64 Hình 4.26: Ảnh thật và ảnh rút trích đối tượng của hai đối tượng giao nhau hợp thành một đối tượng (khung hình thứ 470 của đoạn video giaonhau.avi) 65 xv
19. S K L 0 0 2 1 5 4