Các khái niệm trong Học máy (Machine Learning)

Nội dung text: Các khái niệm trong Học máy (Machine Learning)

1. Các khái niệm trong Học máy (Machine Learning) (1) – Tổng quan Học máy(Machine Learning) là một ngành khoa học nghiên cứu các thuật toán cho phép máy tính có thể học được các khái niệm (concept). Phân loại:Có hai loại phương pháp học máy chính Phương pháp quy nạp: Máy học/phân biệt các khái niệm dựa trên dữ liệu đã thu thập được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và sẵn có. Phương pháp suy diễn: Máy học/phân biệt các khái niệm dựa vào các luật. Phương pháp này cho phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính. Hiện nay, các thuật toán đều cố gắng tận dụng được ưu điểm của hai phương pháp này. Các ngành khoa học liên quan: Lý thuyết thống kê:các kết quả trong xác suất thống kê là tiền đề cho rất nhiều phương pháp học máy. Đặc biệt, lý thuyết thống kê cho phép ước lượng sai số của các phương pháp học máy. Các phương pháp tính:các thuật toán học máy thường sử dụng các tính toán số thực/số nguyên trên dữ liệu rất lớn. Trong đó, các bài toán như: tối ưu có/không ràng buộc, giải phương trình tuyến tính v.v được sử dụng rất phổ biến. Khoa học máy tính:là cơ sở để thiết kế các thuật toán, đồng thời đánh giá thời gian chạy, bộ nhớ của các thuật toán học máy. Ứng dụng:Học máy có ứng dụng rộng khắp trong các ngành khoa học/sản xuất, đặc biệt những ngành cần phân tích khối lượng dữ liệu khổng lồ. Một số ứng dụng thường thấy (wikipedia): Xử lý ngôn ngữ tự nhiên (Natural Language Processing): xử lý văn bản, giao tiếp người – máy, Nhận dạng (Pattern Recognition): nhận dạng tiếng nói, chữ viết tay, vân tay, thị giác máy (Computer Vision) Tìm kiếm (Search Engine) Chẩn đoán trong y tế: phân tích ảnh X-quang, các hệ chuyên gia chẩn đoán tự động. Tin sinh học: phân loại chuỗi gene, quá trình hình thành gene/protein Vật lý: phân tích ảnh thiên văn, tác động giữa các hạt Phát hiện gian lận tài chính (financial fraud): gian lận thẻ tỉn dụng Phân tích thị trường chứng khoán (stock market analysis) Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo nên hệ thần kinh/bộ não của người máy. Các nhóm giải thuật học máy:
2. Học có giám sát:Máy tính được xem một số mẫu gồm đầu vào (input) và đầu ra (output) tương ứng trước. Sau khi học xong các mẫu này, máy tính quan sát một đầu vào mới và cho ra kết quả. Học không giám sát:Máy tính chỉ được xem các mẫu không có đầu ra, sau đó máy tính phải tự tìm cách phân loại các mẫu này và các mẫu mới. Học nửa giám sát:Một dạng lai giữa hai nhóm giải thuật trên. Học tăng cường:Máy tính đưa ra quyết định hành động (action) và nhận kết quả phản hồi(response/reward) từ môi trường (environment). Sau đó máy tính tìm cách chỉnh sửa cách ra quyết định hành động của mình. Các khái niệm trong Học máy (Machine Learning) (2) – Xác suất, công thức Bayes Định nghĩa ( - đại số): Cho tập , tập gọi là - đại số của nếu 1. Các phần tử của là các tập con của 2. Tập khác rỗng: 3. Tập đóng với phép hợp: . 4. Tập đóng với phép bù: Ví dụ: 1. Từ các tính chất, ta thấy - đại số luôn chứa tập rỗng và tập vũ trụ (vì ). 2. Nếu thì , , là các - đại số trên . Định nghĩa (độ đo): Cho và là - đại số trên . Hàm gọi là độ đo trên nếu 1. 2. 3. Nếu và không giao nhau từng đôi một ( ) thì Ta nói bộ là không gian đo được.
3. Định nghĩa (không gian mẫu, biến cố, xác suất): Không gian mẫu: Một tập khác rỗng gọi là không gian mẫu nếu các phần tử của nó có thể là kết quả của một phép thực nghiệm ngẫu nhiên. Ví dụ: 1. Có một hộp có gồm 10 viên bi bên trong, nhắm mắt lại chọn ngẫu nhiên 1 viên bi. Như vậy mỗi viên bi đều có thể là kết quả của phép thực nghiệm này, không gian mẫu là là số hiệu cuả từng viên bi. 2. Có 3 người, chọn ngẫu nhiên 1 người và hỏi người này có thích màu đỏ không? Không gian mẫu là . Nếu hỏi cả 3 người xem họ có thích màu đỏ không, lúc này không gian mẫu lại là , trong đó là thích, là không thích. Biến cố: Một - đại số của không gian mẫu gọi là tập các biến cố trên . Mỗi tập gọi là một biến cố. Khi thực nghiệm ngẫu nhiên cho kết quả thì với các biến cố mà , ta nói biến cố đã xảy ra. Ví dụ: 1. Xét hòm bi có 3 viên bi, và tập biến cố . Nếu ta nhấc được hòn bi số thì các biến cố đã xảy ra, còn các biến cố không xảy ra. 2. Nếu hỏi cả 3 người xem họ có thích màu đỏ không, không gian mẫu là . Biến cố “có đúng 2 người thích màu đỏ là” , biến cố “có ít nhất 1 người không thích màu đỏ” là . Xác suất: Xét một thực nghiệm ngẫu nhiên với không gian mẫu và tập các biến cố , ta nói độ đo trên là độ đo xác suất nếu (có thể suy ra ). Ví dụ: 1. Như vậy, xác suất theo định nghĩa trên chỉ đơn giản là một hàm (độ đo) trên tập các biến cố. Giá trị của hàm này trên từng biến cố có thể xác định bằng thực nghiệm hoặc qua chủ quan của chính ta. Ví dụ, nếu ta tung đồng xu 1000 lần, trong đó 495 lần được mặt ngửa, 505 lần được mặt sấp, ta hoàn toàn có thể gán . Tuy nhiên, “kinh nghiệm” bảo ta rằng, xác suất tung đồng xu ra hai mặt sấp ngửa nên bằng nhau thì “hợp lý” hơn và ta có thể “áp đặt” xác suất của
4. các biến cố này như sau: . Sau đây ta sẽ thấy, việc áp đặt giá trị xác suất ban đầu không ảnh hưởng lắm đến giá trị xác suất “thực sự”, ta có thể sử dụng công thức Bayes để tính lại các giá trị xác suất này sau khi quan sát được các kết quả thực nghiệm. 2. Để cho tiện, khi nói đến một thực nghiệm ngẫu nhiên, người ta ngầm hiểu là có một không gian mẫu , một tập các biến cố và một độ đo xác suất trên . Một số công thức xác suất: Công thức cộng: Người ta thường viết tắt Công thức DeMorgan: Xác suất điều kiện: Xác suất xảy ra biến cố khi biến cố đã xảy ra là Nhận xét: 1. Xác xuất xảy ra biến cố khi biến cố đã xảy ra là do . 2. Có thể hiểu xác suất có điều kiện khi đã biết biến cố xảy ra là xác suất được định nghĩa trên không gian mẫu mới , tập các biến cố . Vì thế, khi đã biết biến cố , có thể kiểm tra được xác suất có điều kiện thỏa mãn mọi điều kiện của một độ đo xác suất bình thường. Độc lập xác suất: Hai biến cố độc lập với nhau nếu . Nhận xét: 1. nên độc lập với nhau. 2. Vì nên nếu ta có . Nghĩa là biến cố đã xảy ra hay không không làm ảnh hưởng đến xác suất của biến cố .
5. Công thức Bayes: Cho biến cố và các biến cố sao cho 1. Các tập rời nhau từng đôi một 2. thì ta có công thức xác suất tổng và công thức Bayes Chứng minh: Rõ ràng Do rời nhau từng đôi một nên cũng rời nhau từng đôi một. Do là độ đo nên Ví dụ: 1. Giả sử trong một cộng đồng dân cư có một loại bệnh . Tỉ lệ số người mắc bệnh là . Để chẩn đoán bệnh này, người ta dùng xét nghiệm . Tuy nhiên, xét nghiệm không chính xác tuyệt đối, tỉ lệ chẩn đoán đúng với người có bệnh (true positive) là , trong khi đó, tỉ lệ chuẩn đoán sai với người không có bệnh (false positive) là . Giả sử một người được chuẩn đoán là có bệnh, hỏi xác suất để người này thực sự có bệnh là bao nhiêu? Giải: Gọi là biến cố “có bệnh”, là biến cố “không có bệnh”, là biến cố “chẩn đoán có bệnh”. Như vậy các biến cố thỏa mãn điều kiện của công thức cộng xác suất và công thức Bayes.
6. Như vậy, khi bị chẩn đoán có bệnh, người này có khả năng bị bệnh cao hơn tỉ lệ bình thường ( ), nhưng cũng chưa thể chắc chắn là người này bị bệnh, lí do là có thể chẩn đoán sai. Ví dụ này cũng cho thấy công thức Bayes cho phép chỉnh sửa lại xác suất khi quan sát được kết quả thực nghiệm. 2. Giả sử sau khi bị chẩn đoán có bệnh, người này tiếp tục đi chẩn đoán lần thứ 2, xác suất để chẩn đoán lần này cũng có bệnh là bao nhiêu? Giải: Gọi là biến cố “tiếp tục bị chẩn đoán có bệnh. Ta cần tính xác suất . Để tính công thức xác suất tổng ta phải giả sử 2 lần xét nghiệm hoàn toàn độc lập với nhau, bất kể người đó có bệnh hay không, khi đó Thế vào công thức trên ta được . Nghĩa là xác suất chẩn đoán có bệnh tăng lên rất nhiều so với lần chẩn đoán đầu tiên ( ). 3. Xác suất người này có bệnh sau khi cả hai lần chẩn đoán đều có bệnh là Tức là gần như chắc chắn người này có bệnh sau khi 2 lần chẩn đoán đều cho kết quả dương tính (positive).