Phát hiện và vẽ quỹ đạo chuyển động trong xử lý ảnh dùng bộ lọc kalman

Nội dung text: Phát hiện và vẽ quỹ đạo chuyển động trong xử lý ảnh dùng bộ lọc kalman

1. PHÁT HIỆN VÀ VẼ QUỸ ĐẠO CHUYỂN ĐỘNG TRONG XỬ LÝ ẢNH DÙNG BỘ LỌC KALMAN PGS.TS. Dương Hoài Nghiã Giảng viên Trường Đại học Bách Khoa TPHCM Biện Công Long Học viên Cao học Trường Đại học Sư phạm Kỹ thuật TPHCM TÓM TẮT Phát hiện các đối tượng chuyển động, theo dõi và vẽ quỹ đạo chuyển động là các công đoạn quan trọng của nhiều ứng dụng thị giác máy tính, bao gồm các hệ thống giám sát an ninh, điều khiển giao thông, điều khiển tự động Sự phát hiện các đối tượng chuyển động sử dụng thuật toán trừ nền dựa trên phương pháp Gaussian hỗn hợp, các hoạt động giám sát được dựa trên kết quả mặt nạ giám sát để loại bỏ nhiễu. Cuối cùng, phân tích Blob phát hiện nhóm các điểm ảnh được kết nối, tương ứng các đối tượng chuyển động. Sư ̣ liên kết các chuyển đôṇ g đươc̣ phá t hiêṇ và o đườ ng đi của đối tươṇ g được thưc̣ hiêṇ dựa trên sư ̣ chuyển động. Lọc Kalman được sử dụng để dư ̣ bá o vị trí của đối tươṇ g trong mỗi khung ảnh và đô ̣ tin câỵ được gán cho môĩ phá t hiêṇ . Bước cuối cùng là vẽ quỹ đạo chuyển động của các đối tượng từ tâm của các theo dõi đã được gán. ABSTRACT Detection of moving objects, tracking and drawing the trajectory of the moving objects are important components of many computer vision applications, including security monitoring systems, traffic control systems, automatic control systems The detection of moving objects uses a background subtraction algorithm based on Gaussian mixture models, monitoring operations are applied to the resulting foreground mask to eliminate noise. Finally, Blob analysis detects groups of connected pixels, which are likely to correspond to moving objects. The linking of the detected motion to the path of the object is made based on the motion. Kalman filtering is used to predict the location of the object in each frame and the reliability assigned to each detection. The final step is to draw the trajectory of the objects from the center of the assigned tracks. I. Giới thiệu trong giám sát an ninh và nhiều lĩnh vực Ngày nay, khi năng lực tính toán của máy khác. Việc phân tích video giám sát về cơ tính phát triển thì việc phân tích các ảnh số bản bao gồm 3 bước chính: phát hiện, theo và video số đã được ứng dụng rộng rãi dõi và vẽ quỹ đạo chuyển động của các đối 1
2. tượng. Phát hiện chuyển động: trong thị II. Các phương pháp nghiên cứu giác máy tính là công việc phân đoạn ảnh Phát Vẽ quỹ để tách các đối tượng chuyển động ra khỏi Video hiện Theo đạo đầu chuyển dõi đối chuyển nền. Phát hiện chuyển động là hướng vào động tượng động nghiên cứu dành được rất nhiều sự quan Hình 1: Sơ đồ khối của quá trình phân tích tâm vì khả năng ứng dụng của nó. Phát hiện video giám sát. chuyển động sử dụng kỹ thuật trừ nền là phương pháp khá phổ biến và đã được A. Các phương pháp phát hiện nghiên cứu trong [1-6] và [9] . Phương chuyển động pháp Gaussian hỗn hợp dựa vào lý thuyết  Phương pháp trừ nền xác xuất để xây dựng mô hình nền dùng Gọi B(x,y) là ảnh nền, I(x,y) là ảnh hiện tại, trong phát hiện đối tượng chuyển động đã D(x,y) là độ khác biệt giữa ảnh nền và ảnh đươc̣ nghiên cứ u trong [2], [7] và [10]. hiện tại [9]. Theo dõi đối tượng: là ước lượng chuyển DxyBxyIxy(,)(,)(,) (1) động của đối tượng trong mặt phẳng ảnh Nếu nhiễu ít và không có sự thay đổi của khi nó chuyển động quanh cảnh, các chỉ số ánh sáng thì điểm có tọa độ (x,y) được xem đối tượng thích hợp được gán cho các đối là tĩnh nếu Dk(x,y) = 0 và ngược lại. Trong tượng được theo dõi qua các khung ảnh của trường hợp có nhiễu ta phải dùng ngưỡng video giám sát. Có nhiều phương pháp để hạn chế nhiễu [8]. được áp dụng để theo dõi đối tượng như: 1 nÕu D (x,y)T(x) Mean Shift, Cam Shift, bộ lọc Kalman đã M (x,y) k (2) k 0 kh¸c được nghiên cứu trong [1], [2], [3] và [6] trong đó bộ lọc Kalman được sử dụng phổ Với Mk(x,y) là mặt nạ chuyển động, điểm biến nhất. (x,y) được xem là chuyển động khi Mk(x,y) Vẽ quỹ đạo chuyển động: là lưu lại tâm của = 1 và đứng yên khi Mk(x,y) = 0. các đối tượng được theo dõi trong từng  Phương pháp Gaussian hỗn hợp khung ảnh của video giám sát, khi xử lý Stauffer và Grimson đã đề xuất cách tiếp xong toàn bộ video ta sẽ thu được quỹ đạo cận xác suất sử dụng mô hình Gaussian hỗn chuyển động để phân tích hành vi của hợp để xác định ảnh nền và đối tượng chúng. chuyển động [10]. Với mong muốn giúp các hệ thống giám sát Xác suất P của một đi ểm ảnh hiện tại được đạt hiệu quả cao hơn như chỉ rút trích các xác định như sau: đối tượng chuyển động trong từng ảnh mà K P(It ) i,t(It , i,t , i,t ) (3) (3.10) không cần quan tâm đến nền và cuối cùng i 1 là vẽ được quỹ đạo của các đối tượng Trong đó: It là điểm ảnh tại thời gian t; K là chuyển động cần quan tâm để ta có thể tổng số thành phần của hỗn hợp Gaussian phân tích hành vi của chúng và đây chính là được sử dụng; i,t là trọng số chỉ ra độ ảnh mục tiêu cần hướng tới của bài báo. hưởng của hàm Gaussian  thứ i tại thời 2
3. điểm t; µi,t là cường độ trung bình của Từ sơ đồ giải thuật trên, ta thấy rằng để có Gaussian thứ i tại thời điểm t; i,t là độ lệch thể theo dõi được đối tượng tác giả sử dụng chuẩn của Gaussian thứ i tại thời điểm t. bộ lọc Kalman để ước lượng trạng thái của Một điểm ảnh gọi là khớp với thành phần các đối tượng ở khung hình tiếp theo để so Gaussian thứ i tại thời điểm t khi khớp và hiệu chỉnh vị trí của đối tượng theo đo đạc thực tế. Hoạt động của bộ lọc I  2.5 . Nếu khớp thì các tham t i,t i,t Kalman được thể hiện như sau: số được cập nhật tnhư sau: i,t (1 )i,t 1 (4) i,t (1 )i,t 1 It (5) 2 2 2 Cập nhật theo Cập nhật theo  i,t (1 ) i,t 1 (I  ) (6) t i,t thời gian đo lường Nếu điểm ảnh không khớp với thành (Dự đoán) (Hiệu chỉnh) phần Gaussian thứ i tại thời điểm t thì các tham số được cập nhật như sau: Hình 3: Chu trình bộ lọc Kalman.  (1 ) i,t i,t 1 (7) Nhóm công thức cập nhật theo thời gian sẽ thực hiện các công việc sau: i,t i,t 1 (8) 2 2 Tìm ước lượng trạng thái tiền nghiệm:  i,t  i,t 1 (9) xˆ Axˆ Bu (10) B. Theo dõi và và quỹ đạo chuyển k k 1 k 1 động bằng bộ lọc Kalman Tính hiệp phương sai của ước lượng tiền nghiệm: Mặt nạ đối tượng T chuyển động Pk APk 1A Q (11) Nhóm công thức cập nhật theo đo lường Rút trích mô Dự đoán vị thực hiện các công việc sau: trí đối tượng hình đối tượng Tính độ lợi của bộ lọc Kalman: K P H T (HP H T R) 1 (12) So khớp đối tượng k k k Tìm ước lượng trạng thái hậu nghiệm dựa Danh Chuyển Một Chuyển sách các động thứ i chuyển động trên đo đạc quá trình thật sự: đối tượng không động thứ i thứ j đang theo khớp với khớp với không xˆk xˆk Kk (zk Hxˆk ) (13) dõi A một theo duy nhất được rỗng dõi thứ j một theo cập Tính hiệp phương sai của ước lượng hậu nào dõi thứ j nhật nghiệm: Pk (I K k H )Pk (14) Thêm mới đối tượng Cập nhật Ước lượng vào danh sách đối tượng đối tượng Mỗi đối tượng được theo dõi sẽ được bao và hiệu hoặc loại bỏ chỉnh tâm đối tượng quanh bởi hộp giới hạn và tâm của nó được xác định như sau: Lưu tâm và vẽ quỹ xxminax m đạo chuyển động xbb ; 2 Hình 2: Giải thuật theo dõi và vẽ quỹ đạo yymin m ax chuyển động [2] ybb ; (15) 2 3
4. Tâm đối tượng được xác định bằng công thức 1 N 1 N xxci  ; yyci  (16) N i 1 N i 1 III. Kết quả mô phỏng A. Kết quả Hình 8: Phát hiện và theo dõi chuyển động của người và xe. Hình 4: Phát hiện và theo dõi một đối tượng chuyển động. Hình 9: Quỹ đạo chuyển động của người và xe. Hình 5: Quỹ đạo chuyển động của một đối tượng. Hình 10: Phát hiện và theo dõi hai đối tượng chuyển động giao nhau. Hình 6: Phát hiện và theo dõi hai đối tượng chuyển động. Hình 11: Quỹ đạo chuyển động của hai đối tượng giao nhau. B. Nhận xét Từ hình 4 và hình 5, ta thấy bằng phương pháp Gaussian hỗn hợp dựa trên thuật toán trừ nền chương trình đã phát hiện được chính xác đối tượng chuyển động, bằng bộ Hình 7: Quỹ đạo chuyển động của hai đối lọc Kalman chương trình đã theo dõi được tượng. đối tượng trong suốt thời gian quan sát và 4
5. xác định được tâm của đối tượng trong từng cả các đối tượng được theo dõi trong vùng khung hình của video giám sát từ đó quan sát từ đó ta có thể phân tích hành vi chương trình đã vẽ được quỹ đạo chuyển của chúng. Tuy nhiên còn hạn chế bởi bóng động của đối tượng. Từ hình 6 đến hình 9 của đối tượng trong phát hiện đối tượng cho thấy, chương trình đã phát hiện, theo chuyển động nên gây ra hiện tượng giao dõi và vẽ quỹ đạo của đối tượng một cách nhau do bóng khi có nhiều đối tượng chính xác không phân biệt đối tượng là chuyển động gần nhau. Việc gán nhãn cho người hay xe cộ. Bằng cách sử dụng nhiều các đối tượng được tách ra từ các đối tượng màu khi vẽ quỹ đạo chuyển động ứng với giao nhau trước đó có thể bị nhầm lẫn nếu khoảng thời gian khác nhau đã giúp ta phân đối tượng thay đổi hướng đi hoặc kích biệt được điểm bắt đầu, điểm kết thúc của thước. Quỹ đạo chuyển động của đối tượng từng đối tượng, đồng thời trách được nhầm giao nhau khá phức tạp nên cần phân tích lẫn khi các đường quỹ đạo của đối tượng kỹ. cắt nhau nhưng thực tế chúng không gặp nhau do tại thời điểm đó các đường quỹ đạo Tài liệu tham khảo có màu khác nhau. Từ hình 10 và hình 11 1]. Nguyễn Thị Lan Hương, Phát hiện, cho thấy, trong trường hợp các đối tượng phân loại, theo dõi đối tượng chuyển động giao nhau chương trình vẫn phát hiện, theo trong hệ thống giám sát thông minh, Khóa dõi được đối tượng tương đối chính xác. luận tốt nghiệp đại học ngành Công nghệ Khi xảy ra giao nhau thì quỹ đạo chuyển thông tin, Trường đại học Công nghệ, năm động của các đối tượng sẽ bị gián đoạn 2006. trong suốt khoảng thời gian này đồng thời [2]. Phạm Bảo Quốc, Theo dõi đối tượng xuất hiện một số đoạn quỹ đạo nằm giữa chuyển động bằng phương pháp lọc tích các đường quỹ đạo trước đó tương ứng với hợp, Luận văn thạc sĩ ngành Công nghệ các vùng bị gián đoạn. thông tin, Trường đại học Công nghệ TP IV. Kết luận Hồ Chí Minh, năm 2014. Từ kết quả mô phỏng ta thấy rằng với điều [3]. Nguyễn Duy Nghĩa, Nghiên cứu kĩ kiện ánh sáng ít thay đổi chương trình sử thuật xử lí video số, ứng dụng vào theo vết dụng mô hình Gaussian hỗn hợp đã phát và phân loại đối tượng, Luận văn cử nhân hiện được tất cả các đối tượng chuyển động tin học, Đại học quốc gia TP. Hồ Chí Minh, (có kích thước lớn hơn một ngưỡng quy 2004. định) qua từng khung ảnh trong video do [4]. Deepak Kumar Panda, Motion camera tĩnh thu được và loại bỏ được nhiễu Detection, Object Classification and (có kích thước nhỏ). Sử dụng bộ lọc Tracking for Visual Surveillance Kalman để theo dõi chính xác các đối tượng Application, Department of Electronics and chuyển động cần quan tâm (có thời gian tồn Communiation Engineering National tại lớn hơn ngưỡng quy định) khi các đối Institute of Technology Rourkela Rourkela tượng này không bị che khuất hoặc giao 769 008, Odisha, India, pp 8 -66 , June 6, nhau. Vẽ được quỹ đạo chuyển động của tất 2012. 5
6. [5]. Himanshu Maharana, Dubasi Monika, Moving Object Based On Background Soumya Ranjan Sahoo, Video Object Subtraction, International Journal of Tracking Using Motion Estimation, Emerging Trends & Technology in Department of Electrical Engineering Computer Science (IJETTCS), June 2014. National Institute of Technology, Rourkela, [9]. Swantje Johnsen and Ashley Tews, May 2012. Real-time object tracking and classification [6]. LIU Ya, AI Haizou, XU Guangyou, using a static camera, Proceedings of IEEE Moving Object Detection and Tracking International Conference on Robotics and Based on Background Subtraction, Automation, workshop on People Detection Department of Computer Science and and Tracking, May 2009. Technology, Tsinghua University State Key [10]. Stauffer, Grimson, Adaptive Laboratory of Intelligent Technology and background mixture models for real-time Systems 2001. tracking, Computer Vision and Pattern [7]. Fatih Poriki and Oncel Tuzel, Human Recognition, 1999. IEEE Computer Society Body Tracking by Adaptive Background Conference on. (Vol. 2). IEEE, Sept 2001. Models and Mean-Shift Analysis, [11]. Elies Henar, Application of a Kalman Mitsubishi Research Laboratory, 2003. Filter with Augmented Measurement Model [8]. Mr. Mahesh C. Pawaska, Detection Of in Non-Invasive Cardiac Imaging, 2011. 6
7. BÀI BÁO KHOA HỌC THỰC HIỆN CÔNG BỐ THEO QUY CHẾ ĐÀO TẠO THẠC SỸ Bài báo khoa học của học viên có xác nhận và đề xuất cho đăng của Giảng viên hướng dẫn Bản tiếng Việt ©, TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH và TÁC GIẢ Bản quyền tác phẩm đã được bảo hộ bởi Luật xuất bản và Luật Sở hữu trí tuệ Việt Nam. Nghiêm cấm mọi hình thức xuất bản, sao chụp, phát tán nội dung khi chưa có sự đồng ý của tác giả và Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh. ĐỂ CÓ BÀI BÁO KHOA HỌC TỐT, CẦN CHUNG TAY BẢO VỆ TÁC QUYỀN! Thực hiện theo MTCL & KHTHMTCL Năm học 2017-2018 của Thư viện Trường Đại học Sư phạm Kỹ thuật Tp. Hồ Chí Minh.