GIẢI THUẬT tsvm CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN

Transcription

1 Kỷ yếu Hộ nghị Khoa học Quốc ga lần thứ IX Nghên cứu cơ bản và ứng dụng Công nghệ thông tn (FAIR'9) ; Cần Thơ, ngày 4-5/8/2016 DOI: /vap GIẢI THUẬT tsvm CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN Đỗ Thanh Nghị, Phạ Nguyên Khang, Trần Nguyễn Mnh Thư, Nguyễn Hữu Hòa Khoa CNTT-TT, Trường Đạ học Cần Thơ Khu 2, Đường 3/2, Xuân Khánh, Nnh Kều, TP. Cần Thơ dtngh@ct.ctu.edu.vn TÓM TẮT Trong bà vết này, chúng tô trình bày gả thuật tsvm cho phân lớp ph tuyến tập dữ lệu lớn. Gả thuật tsvm sử dụng áy học cây quyết định để phân hoạch nhanh tập dữ lệu lớn thành k phân vùng được gọ là nút lá. Chỉ những nút lá có nhãn (lớp) của các phần tử thuần nhất (gống nhau) được gả thuật tsvm gán nhãn tương ứng như gả thuật cây quyết định dùng để phân lớp. Vớ ỗ nút lá có nhãn các phần tử không thuần nhất, gả thuật tsvm huấn luyện ột ô hình SVM ph tuyến dùng để phân lớp dữ lệu cục bộ của nút lá. Vệc huấn luyện các ô hình SVM trên từng nút lá có nhãn không thuần nhất hoàn toàn độc lập vớ nhau, vì thế có thể được thực hện song song trên các áy tính ult-core. Kết quả thực nghệ trên các tập dữ lệu của UCI và 3 tập dữ lệu nhận dạng ký tự vết tay và tập dữ lệu phân lớp ảnh cho thấy gả thuật tsvm cho kết quả phân lớp nhanh, chính xác kh so sánh vớ gả thuật SVM chuẩn như LbSVM. Từ khóa Máy học véc-tơ hỗ trợ (SVM), ô hình áy học cục bộ, phân lớp ph tuyến tập dữ lệu lớn. I. GIỚI THIỆU Gả thuật cây quyết định [Brean et al., 1984], [Qunlan, 1993] và áy học véc-tơ hỗ trợ (Support Vector Machnes - SVM [Vapnk, 1995]) được cộng đồng khá phá tr thức và kha thác dữ lệu bình chọn là ha trong top 10 gả thuật kha thác dữ lệu phổ bến và hệu quả [Wu & Kuar, 2009]. Ưu để của ô hình cây quyết định là gả thuật huấn luyện đơn gản, nhanh, xử lý được cả dữ lệu rờ rạc và lên tục, luật quyết định rút trích từ ô hình cây quyết định dễ hểu vớ chuyên ga về dữ lệu. Trong kh đó, gả thuật áy học véc-tơ hỗ trợ sử dụng các hà hạt nhân (kernel functon), cung cấp các ô hình có độ chính xác rất cao cho các vấn đề phân lớp và hồ quy ph tuyến trong thực tế. Các ứng dụng thành công của SVM đã được công bố trong nhều lĩnh vực khác nhau như nhận dạng ặt ngườ, phân lớp văn bản và tn-snh học [Guyon, 1999]. Mặc dù có được những ưu để kể trên, gả thuật huấn luyện ột ô hình SVM có độ phức tạp cao so vớ gả thuật huấn luyện ô hình cây quyết định do phả gả bà toán quy hoạch toàn phương (quadratc prograng). Độ phức tạp tố thểu của gả thuật huấn luyện ô hình SVM là bậc 2 của số lượng phần tử dữ lệu [Platt, 1999]. Do đó, cần thết phả có những cả tến để gả thuật học SVM có thể xử lý được các tập dữ lệu vớ kích thước lớn. Trong bà vết, chúng tô đề xuất gả thuật ớ tsvm là gả thuật la của gả thuật cây quyết định và áy học SVM để tận dụng được ưu để của cả ha lớp gả thuật học này. Gả thuật tsvm có thể huấn luyện ô hình chính xác như gả thuật SVM gốc nhưng có độ phức tạp thấp hơn. Để đạt được cả ha ục têu này, gả thuật tsvm sử dụng áy học cây quyết định để phân hoạch nhanh tập dữ lệu lớn thành k phân vùng được gọ là nút lá. Các nút lá có nhãn (lớp) của các phần tử thuần nhất (gống nhau) được gán nhãn gống như gả thuật cây quyết định, sử dụng kh phân lớp. Vớ các nút lá có nhãn các phần tử không thuần nhất, gả thuật tsvm huấn luyện song song các ô hình SVM ph tuyến cục bộ, ỗ ô hình dùng để phân lớp dữ lệu cục bộ dữ lệu của nút lá. Kết quả thực nghệ trên các tập dữ lệu của UCI [Lchan, 2013] và 3 tập dữ lệu nhận dạng ký tự vết tay [Lecun et al., 1989], [Lecun et al., 1998], [van der Maaten, 2009] và tập dữ lệu phân lớp ảnh [Geusebroek et al., 2005] cho thấy gả thuật tsvm cho kết quả phân lớp nhanh, chính xác kh so sánh vớ gả thuật SVM chuẩn như LbSVM [Chang & Ln, 2011]. Phần còn lạ của bà vết được tổ chức như sau. Chúng tô sẽ trình bày tó tắt gả thuật áy học véc-tơ hỗ trợ trong phần 2. Gả thuật tsvm được trình bày trong phần 3. Kết quả thực nghệ sẽ được trình bày trong phần 4. Các nghên cứu lên quan được thảo luận trong phần 5 trước kh kết luận và hướng phát trển được trình bày trong phần 6. II. MÁY HỌC VÉC-TƠ HỖ TRỢ Xét ví dụ phân lớp nhị phân tuyến tính đơn gản được ô tả như hình 1, vớ phần tử x 1, x 2,, x trong không gan n chều (thuộc tính) vớ nhãn (lớp) của các phần tử tương ứng là y 1, y 2,, y có gá trị 1 (lớp dương) hoặc gá trị - 1 (lớp â). Gả thuật áy học SVM [Vapnk, 1995] tì sêu phẳng tố ưu (xác định bở véc-tơ pháp tuyến w và độ lệch của sêu phẳng vớ gốc toạ độ b) để tách dữ lệu ra 2 lớp. Máy học SVM tì sêu phẳng cách xa 2 lớp nhất (sêu phẳng tố ưu) dựa trên 2 sêu phẳng hỗ trợ song song của 2 lớp. Sêu phẳng hỗ trợ của lớp +1 (w.x b = +1) là sêu phẳng à các phần tử x p thuộc lớp y p = +1 nằ về phía bên phả của nó, tức là: w.x p b +1. Tương tự, sêu phẳng hỗ trợ của lớp -1 (w.x b = -1) là sêu phẳng à các phần tử x n thuộc lớp y n = -1 nằ về phía bên trá sêu phẳng hỗ trợ lớp -1, tức là: w.x n b -1. Những phần tử nằ ngược phía vớ sêu phẳng hỗ trợ được co như lỗ. Khoảng cách lỗ được bểu dễn bở z 0 (vớ x nằ đúng phía của sêu phẳng hỗ trợ của nó thì khoảng cách lỗ tương ứng z = 0, còn ngược lạ thì z > 0 là khoảng cách từ để x đến sêu phẳng hỗ trợ tương ứng của nó). Khoảng cách gữa 2 sêu phẳng hỗ trợ được gọ là lề = 2/ w, trong đó w là độ lớn (2-nor) của pháp véc-tơ w. Sêu phẳng tố ưu (nằ gữa 2 sêu phẳng hỗ trợ) cần tì phả thỏa 2 têu chí là cực đạ hóa lề (lề càng lớn, ô hình phân lớp càng an toàn) và cực tểu hóa lỗ. Vấn đề tì sêu phẳng tố ưu của gả thuật SVM dẫn đến vệc gả bà toán quy hoạch toàn phương (1):

2 Đỗ Thanh Nghị, Phạ Nguyên Khang, Trần Nguyễn Mnh Thư, Nguyễn Hữu Hòa 201 Hình 1. Phân lớp tuyến tính vớ áy học SVM n y y K x, x 1 ì ï í ï îï å y a = 0 =1 vớ ràng buộc: 0 a C " =1, 2,..., (1) tuyến tính K trong đó C là hằng số dương dùng để đều chỉnh độ lớn của lề và tổng khoảng cách lỗ; x, x x x. K x, x là hà nhân Gả bà toán quy hoạch toàn phương (1) thu được #SV phần tử x tương ứng vớ > 0, được gọ là các véc-tơ hỗ trợ. Chỉ cần #SV véc-tơ hỗ trợ này ta có thể dựng lạ được sêu phẳng phân lớp. Mô hình SVM thực hện phân lớp phần tử ớ x bằng (2): # SV predct ( x) sgn y K x, x b (2) 1 Máy học SVM có thể sử dụng các hà nhân khác nhau để gả quyết lớp các bà toán phân lớp ph tuyến [Crstann & Shawe-Taylor, 2000]. Để xử lý các vấn đề phân lớp ph tuyến, không cần bất kỳ thay đổ nào hơn từ gả thuật à chỉ cần thay thế hà nhân tuyến tính trong (1) và (2) bằng các hà nhân khác. Có 2 hà nhân ph tuyến phổ bến là: Hà đa thức bậc d: d K x, x x x 1 Hà cơ sở bán kính (Radal Basc Functon RBF): K x, x = e -g x -x 2 Mô hình áy học SVM cho kết quả cao, ổn định, chịu đựng nhễu tốt và phù hợp vớ các bà toán phân lớp, hồ quy. Nhều ứng thành công của SVM đã được công bố trong nhều lĩnh vực như nhận dạng ảnh, phân loạ văn bản và snh-tn học [Guyon, 1999]. Nghên cứu trong [Platt, 1998] chỉ ra rằng các gả thuật huấn luyện được đề xuất trong [Boser et al., 1992], [Chang & Ln, 2011], [Osuna et al., 1997], [Platt, 1998] có độ phức tạp tính toán lờ gả bà toán quy hoạch toàn phương (1) tố thểu là O( 2 ) trong đó là số lượng phần tử được dùng để huấn luyện. Đều này là cho gả thuật SVM không phù hợp vớ dữ lệu lớn. III. GIẢI THUẬT tsvm Hình 2 chỉ ra ô hình SVM ph tuyến toàn cục được huấn luyện bở LbSVM [Chang & Ln, 2011], sử dụng hà nhân RBF vớ tha số γ = 10 và hằng số C = 10 6 (dùng để dung hòa độ rộng lề và cực tểu lỗ).

3 202 GIẢI THUẬT tsvm CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN A. Huấn luyện ô hình tsvm Hình 2. Mô hình SVM toàn cục (hà nhân RBF vớ tha số γ = 10 và hằng số C = 10 6 ) Thay vì phả huấn luyện ô hình SVM toàn cục như đã thực hện bở các gả thuật SVM chuẩn có độ phức tạp tố thểu bậc 2 vớ phần tử của tập huấn luyện, chúng tô đề xuất gả thuật tsvm, xây dựng cây quyết định sử dụng các luật gán nhãn SVM cục bộ cho các nút lá có nhãn của các phần tử không thuần nhất (không cùng lớp). Quá trình huấn luyện ô hình phân lớp của gả thuật tsvm được thực hện qua 2 bước chính: tsvm sử dụng gả thuật áy học cây quyết định (C4.5 [Qunlan, 1993]) để phân hoạch tập dữ lệu có phần tử của tập huấn luyện thành k phân vùng (gọ là nút lá). Quá trình phân hoạch của gả thuật cây quyết định có thể sử dụng đều kện dừng sớ nếu phân vùng có chứa số phần tử nhỏ hơn gá trị ngưỡng nob thì không thực hện phân hoạch nữa à xe phân vùng đó là nút lá. Vớ các nút lá có chứa các phần tử có nhãn thuần nhất (cùng lớp) thì gả thuật gán nhãn cho nút lá được dùng kh phân lớp. Các nút lá có chứa các phần tử có nhãn không thuần nhất, gả thuật huấn luyện song song các ô hình SVM ph tuyến, ỗ ô hình để phân lớp cục bộ dữ lệu cho từng nút lá có nhãn không thuần nhất. Hình 3 trình bày ô hình phân lớp thu được từ gả thuật tsvm trên cùng tập dữ lệu sử dụng để huấn luyện ô hình SVM toàn cục đã thực hện trong hình 2. Trong ví dụ này, tsvm phân hoạch tập huấn luyện thành 5 nút lá sử dụng đều kện dừng sớ là nob = 7. Nút lá D 2 có chứa các phần tử cùng nhãn là hình vuông ( ) được gán nhãn là hình vuông ( ). Nút lá D 4 có chứa các phần tử cùng nhãn là hình chéo (x) nên được gán nhãn là hình chéo (x). Các nút lá D 1, D 3, D 5 đều chứa các phần tử có nhãn không thuần nhất, nên tsvm huấn luyện các ô hình SVM ph tuyến, lsvm 1, lsvm 3, lsvm 5 (θ chính là tha số hà nhân RBF γ = 10 và hằng số C = 10 6 ), ỗ ô hình lsvm phân lớp dữ lệu cục bộ của ột nút lá D không thuần nhất. B. Phân lớp phần tử ớ x bằng ô hình tsvm Mô hình tsvm thực hện phân lớp phần tử ớ x bằng cách đẩy x theo đường dẫn từ nút gốc đến nút lá. Nếu x đến nút lá có chứa các phần tử có nhãn thuần nhất thì nhãn của x là nhãn của nút lá. Nếu x đến nút lá có chứa các phần tử có nhãn không thuần nhất thì nhãn của x được dự đoán dựa vào ô hình SVM ph tuyến được huấn luyện để phân lớp cục bộ các dữ lệu huấn luyện trong nút lá đó. C. Phân tích hệu quả của gả thuật tsvm Gả sử tập dữ lệu huấn luyện có phần tử được tsvm phân hoạch thành k nút lá có kích thước bằng nhau là /k phần tử (hay nó cách khác nob = /k). 2 Huấn luyện ột ô hình SVM cục bộ cho từng nút lá có chứa /k phần tử có độ phức tạp là O. 2 k Chính vì vậy, độ phức tạp của quá trình huấn luyện song song k ô hình SVM cục bộ cho k nút lá của gả thuật 2 tsvm trên áy tính có P-core là: O O n ob. Pk P

4 Đỗ Thanh Nghị, Phạ Nguyên Khang, Trần Nguyễn Mnh Thư, Nguyễn Hữu Hòa 203 So vớ huấn luyện ô hình SVM toàn cục của các gả thuật SVM chuẩn, tsvm có độ phức tạp thấp hơn Pk P lần 1. n ob Hình 3. Mô hình tsvm sử dụng đều kện dừng sớ nob=7 (hà nhân RBF vớ tha số γ = 10 và hằng số C = 10 6 ) tsvm sử dụng tha số đều kện dừng sớ quá trình phân hoạch của cây quyết định nob để dung hòa gữa khả năng tổng quát hóa (độ chính xác kh dự đoán nhãn của phần tử ớ) và ch phí tính toán của gả thuật huấn luyện ô hình. Nếu nob được đặt quá nhỏ, kh so vớ ô hình SVM toàn cục, tsvm gả thờ gan huấn luyện rất lớn, thậ chí các nút lá hầu hết đều chứa các phần tử có nhãn thuần nhất (cây quyết định thông thường), tính tổng quát ô hình thấp, tsvm cho độ chính xác thấp kh phân lớp. 1 Chú ý rằng độ phức tạp tsvm ở đây chưa bao gồ độ phức tạp của quá trình phân hoạch tập dữ lệu huấn luyện của cây quyết định, tuy nhên do độ phức tạp của quá trình phân hoạch rất nhỏ so vớ độ phức tạp của vệc gả bà toán quy hoạch toàn phương của gả thuật SVM.

5 204 GIẢI THUẬT tsvm CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN Nếu nob được đặt quá lớn, kh so vớ ô hình SVM toàn cục, tsvm gả thờ gan huấn luyện không nhều, tuy nhên ô hình tsvm có tính tổng quát cao, tsvm cho độ chính xác cao kh phân lớp. Thậ chí nếu đặt nob = thì tsvm chính là ô hình SVM toàn cục. Đều này cho thấy được tha số nob trong tsvm cần được đặt đủ lớn (từ 200 đến 1000 [Bottou & Vapnk, 1992] tùy theo từng tập dữ lệu) để dung hòa được độ chính xác kh phân lớp và gả được độ phức tạp kh huấn luyện. A. Cà đặt chương trình IV. KẾT QUẢ THỰC NGHIỆM Chúng tô tến hành đánh gá hệu quả của gả thuật đề xuất tsvm cho bà toán phân lớp. Chúng tô đã cà đặt gả thuật tsvm bằng ngôn ngữ C/C++ sử dụng chương trình C4.5 [Qunlan, 1993], thư vện SVM chuẩn, LbSVM [Chang & Ln, 2011], thư vện OpenMP (gao dện lập trình song song C/C++ trên áy tính đa nhân sử dụng bộ nhớ cha sẻ). Chúng tô thực hện so sánh hệu quả phân lớp của gả thuật tsvm và LbSVM, dựa trên ha têu chí: độ chính xác phân lớp và thờ gan huấn luyện. Tất cả các thí nghệ được chạy trên áy tính cá nhân, cà hệ đều hành Lnux Fedora 20, bộ v xử lý Intel Core , 3.6 GHz, 4 nhân và bộ nhớ RAM 32 GB. B. Chuẩn bị tập dữ lệu Thí nghệ được thực hện trên 4 tập dữ lệu UCI [Lchan, 2013] và 3 bộ dữ lệu ký tự vết tay chuẩn ha bộ cũ: USPS [Lecun et al., 1989], MNIST [Lecun et al., 1998], ột bộ dữ lệu ký tự vết tay ớ [van der Maaten, 2009] và tập dữ lệu phân lớp ảnh [Geusebroek et al., 2005]. Bảng 1 trình bày ô tả của các tập dữ lệu thực nghệ. Ngh thức kể tra đánh gá được chỉ ra trong cột cuố của bảng. Dữ lệu đã được cha thành ha tập: huấn luyện (Trn) và kể tra (Tst). Chúng tô sử dụng tập huấn luyện để huấn luyện các ô hình SVM. Sau đó, sử dụng các ô hình phân lớp thu được để phân lớp dữ lệu trong tập kể tra. Bảng 1. Mô tả các tập dữ lệu thực nghệ ID Dataset Số phần tử Số thuộc tính Số lớp Ngh thức kể tra 1 Opt. Rec. of Handwrtten Dgts Trn Tst 2 Letter Trn Tst 3 Isolet Trn Tst 4 USPS Handwrtten Dgt Trn Tst 5 A New Benchark for HCR Trn Tst 6 MNIST Trn Tst 7 ALOI Trn Tst 8 Forest Cover Types Trn Tst C. Đều chỉnh tha số Chúng tô đề xuất sử dụng hà nhân RBF trong cả tsvm và LbSVM vì tính tổng quát và tính hệu quả của nó [Chang & Ln, 2011]. Chúng tô cũng đều chỉnh sêu tha số γ của hà nhân RBF và hằng số C (tha số dung hòa lỗ và độ rộng của lề SVM) để có được kết quả cao nhất. Hơn nữa gả thuật tsvm của chúng tô có sử dụng thê ột tha số đều kện dừng sớ quá trình phân hoạch của cây quyết định nob được đặt bằng 1000 phần tử (nhằ tạo ra ột sự dung hòa gữa độ chính xác của ô hình phân lớp và ch phí tính toán). Bảng 2 trình bày các sêu tha số được sử dụng cho tsvm và LbSVM. Bảng 2. Các tha số của tsvm và LbSVM ID Dataset C Mnob 1 Opt. Rec. of Handwrtten Dgts Letter Isolet USPS Handwrtten Dgt A New Benchark for HCR MNIST ALOI Forest Cover Types D. Kết quả phân lớp Kết quả phân lớp của LbSVM và tsvm trên 8 tập dữ lệu được cho trong bảng 3 và các hình 4, 5 và 6. Như ong đợ, gả thuật tsvm của chúng tô có thờ gan huấn luyện ngắn hơn nhều so vớ gả thuật LbSVM. Về têu chí độ chính xác phân lớp, gả thuật của chúng tô cho kết quả có thể so sánh được vớ gả thuật LbSVM.

6 Đỗ Thanh Nghị, Phạ Nguyên Khang, Trần Nguyễn Mnh Thư, Nguyễn Hữu Hòa 205 Bảng 3. So sánh hệu quả của các phương pháp theo độ chính xác (%) và thờ gan huấn luyện (gây) ID Dataset Độ chính xác (%) Thờ gan huấn luyện (gây) LbSVM tsvm LbSVM tsvm 1 Opt. Rec. of Handwrtten Dgts Letter Isolet USPS Handwrtten Dgt A New Benchark for HCR MNIST ALOI Forest Cover Types NA NA Hình 4. So sánh thờ gan huấn luyện của LbSVM và tsvm trên 5 tập dữ lệu nhỏ Vớ 5 tập dữ lệu nhỏ đầu tên, cả tến về ặt thờ gan của tsvm là không đáng kể. Tuy nhên vớ các tập dữ lệu lớn, tsvm tăng tốc đáng kể quá trình huấn luyện. Hình 5. So sánh thờ gan huấn luyện của LbSVM và tsvm trên 3 tập dữ lệu lớn

7 206 GIẢI THUẬT tsvm CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN Xét thờ gan huấn luyện ô hình phân lớp cho tập dữ lệu MNIST, gả thuật tsvm nhanh hơn LbSVM đến lần. Xét thờ gan huấn luyện ô hình phân lớp cho tập dữ lệu ảnh ALOI. Tập dữ lệu này rất đặc bệt do có số phần tử lớn và số lớp của đố tượng là 1000, nếu huấn luyện ô hình đa lớp bằng cách xây dựng ô hình phân lớp nhị phân cho từng cặp lớp như LbSVM thì cần đến ô hình nhị phân. Trong kh đó, tsvm đã phân hoạch tập huấn luyện có 1000 lớp thành các phân vùng con, ỗ phân vùng có số lớp ít hơn so vớ tập huấn luyện đầy đủ. Kết quả là gả thuật tsvm nhanh hơn LbSVM đến 80 lần. Đặc bệt, vớ tập dữ lệu Forest cover type (được xe như là tập dữ lệu khó đố vớ SVM ph tuyến [Yu et al., 2003], [Do & Poulet, 2004], LbSVM chạy đến 23 ngày vẫn chưa hoàn thành quá trình huấn luyện ô hình. Trong kh đó, tsvm thực hện huấn luyện trong gây (3 phút) và cho độ chính xác phân lớp là 96.73%. Hình 6. So sánh độ chính xác phân lớp của LbSVM và tsvm trên 8 tập dữ lệu V. CÁC NGHIÊN CỨU LIÊN QUAN Để cả tến vệc huấn luyện gả thuật áy học SVM cho các tập dữ lệu lớn, các công trình nghên cứu trong [Boser et al., 1992], [Chang & Ln, 2011], [Osuna et al., 1997], [Platt, 1998] đã cha bà toán quy hoạch toàn phương gốc thành các bà toán con để gả quyết. Nghên cứu của chúng tô lên quan đến các gả thuật huấn luyện ô hình phân lớp ph tuyến cục bộ. Nhó các gả thuật huấn luyện ô hình phân cấp cho vấn đề phân lớp, thực hện phân lớp qua 2 bước chính: go nhó tập dữ lệu huấn luyện thành k nhó (clusters); bước tếp theo là huấn luyện các ô hình phân lớp cục bộ cho từng nhó. Đề xuất của [Jacobs et al., 1991] sử dụng gả thuật cực đạ kỳ vọng (Expectaton-Maxzaton, EM [Depster et al., 1977]) để cha dữ lệu thành k nhó không tách rờ (ont clusters); và huấn luyện các ô hình ạng nơ-ron (Neural Network) để phân lớp dữ lệu cục bộ cho từng nhó. Nghên cứu của [Collobert et al., 2002] chỉ khác vớ nghên cứu của [Jacobs et al., 1991] là xây dựng k ô hình SVM [Vapnk, 1995] cục bộ. CSVM [Gu & Han, 2013] sử dụng gả thuật k-eans [MacQueen, 1967] để phân hoạch tập dữ lệu huấn luyện thành k nhó tách bệt; sau đó huấn luyện các ô hình SVM tuyến tính có trọng số từ các nhó dữ lệu. Nghên cứu gần nhất là gả thuật ksvm [Do, 2015] và krsvm [Do & Poulet, 2015] xây dựng song song k ô hình SVM ph tuyến cục bộ trên áy tính đa nhân, bộ nhớ cha sẻ, để phân lớp cục bộ k nhó, được phân hoạch từ tập dữ lệu huấn luyện vớ k-eans. DTSVM [Chang et al., 2010] sử dụng gả thuật học cây quyết định [Brean et al., 1984], [Qunlan, 1993] để phân hoạch tập dữ lệu huấn luyện thành các phân vùng tách rờ nhau và xây dựng các ô hình SVM cục bộ cho các phân vùng. Các gả thuật này đều nhằ cả tến tốc độ huấn luyện ô hình phân lớp. Nhó các nghên cứu sau đây thực hện huấn luyện ô hình phân lớp từ k láng gềng của phần tử ớ x kh phân lớp. Mô hình học của [Bottou & Vapnk, 1992] tì k láng gềng của phần tử ớ x, thực hện huấn luyện ô hình ạng nơ-ron để phân lớp k láng gềng này, dùng ô hình ạng nơ-ron cục bộ thu được để phân lớp phần tử x. [Vncent & Bengo, 2001] đề xuất gả thuật huấn luyện k sêu phẳng cục bộ (k-local hyperplane). Các nghên cứu khác về gả thuật SVM cục bộ sử dụng các chến lược khác nhau cho tì kế k láng gềng, bao gồ SVM-kNN [Zhang et al., 2006] sử dụng các độ đo khoảng cách khác nhau, ALH [Yang & Kecan, 2008] sử dụng khoảng cách có trọng số và chọn lọc các đặc trưng quan trọng, FaLK-SVM [Segata & Blanzer, 2010] tăng tốc quá trình tì k láng gềng sử dụng cây chỉ ục cover tree [Beygelzer et al., 2006].

8 Đỗ Thanh Nghị, Phạ Nguyên Khang, Trần Nguyễn Mnh Thư, Nguyễn Hữu Hòa 207 Nghên cứu và phân tích lý thuyết về các gả thuật huấn luyện ô hình phân lớp cục bộ được thảo luận trong [Bottou & Vapnk, 1992]. Nghên cứu chỉ ra có sự dung hòa gữa khả tăng tổng quát của ô hình phân lớp cục bộ và số phần tử được sử dụng để huấn luyện ột ô hình phân lớp cục bộ. Kích thước của tập dữ lệu cục bộ được dùng như ột tha số tự do bổ sung để đều khển tính cục bộ và khả năng tổng quát của ô hình phân lớp cục bộ. VI. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chúng tô vừa trình bày ột gả thuật ớ tsvm cho phép huấn luyện nhanh ô hình áy học véc-tơ hỗ trợ cục bộ để phân lớp dữ lệu ph tuyến chính xác cho các tập dữ lệu lớn. Gả thuật tsvm sử dụng áy học cây quyết định để phân hoạch nhanh tập dữ lệu lớn thành k nút lá. Vớ các nút lá có chứa các phần tử có nhãn không thuần nhất, gả thuật tsvm huấn luyện song song các ô hình SVM ph tuyến, ỗ ô hình để phân lớp cục bộ dữ lệu cho từng nút lá có nhãn không thuần nhất. Kết quả thực nghệ trên các tập dữ lệu của UCI và 3 tập dữ lệu nhận dạng ký tự vết tay và tập dữ lệu phân lớp ảnh cho thấy gả thuật tsvm cho kết quả phân lớp nhanh, chính xác kh so sánh vớ gả thuật SVM chuẩn như LbSVM. Một ví dụ về tính hệu quả của gả thuật tsvm là: thờ gan huấn luyện trên tập dữ lệu Forest Cover Types ( phần tử, 54 chều, 7 lớp) chỉ có gây và độ chính xác phân lớp tổng thể 96.73%. Trong thờ gan tớ, chúng tô dự định sẽ cung cấp thê các thực nghệ trên những tập dữ lệu lớn khác nữa và so sánh hệu quả của tsvm vớ các gả thuật học áy khác. Một trong những hướng phát trển của nghên cứu này trong tương la là cả tến độ chính xác phân lớp của tsvm. TÀI LIỆU THAM KHẢO [1] Beygelzer, A., Kakade, S., Langford, J.: Cover trees for nearest neghbor, n proc. of the 23rd ntl conf. on Machne learnng, pp , [2] Boser, B., Guyon, I., Vapnk, V., An tranng algorth for optal argn classfers, In proceedngs of 5th ACM Annual Workshop on Coputatonal Learnng Theory, pp , [3] Bottou, L., Vapnk, V., Local learnng algorths, Neural Coputaton 4(6): , [4] Brean, L., Fredan, J.H., Olshen, R. A. and Stone, C.: Classfcaton and Regresson Trees, Wadsworth Internatonal, [5] Chang, C. C., Ln, C. J., LIBSVM: a lbrary for support vector achnes, ACM Transactons on Intellgent Systes and Technology, vol. 2, no. 27, pp.1-27, [6] Chang, F., Guo, C. Y., Ln, X. R., Lu, C. J.: Tree decoposton for largescale SVM probles, Journal of Machne Learnng Research 11: , [7] Collobert, R., Bengo, S., Bengo, Y.: A parallel xture of SVMs for very large scale probles, Neural Coputaton 14(5): , [8] Crstann, N., Shawe-Taylor, J., An Introducton to Support Vector Machnes: And Other Kernel-based Learnng Methods, Cabrdge Unversty Press, New York, NY, USA, [9] Depster, A. P., Lard, N. M., Rubn, D. B.: Maxu lkelhood fro ncoplete data va the EM algorth, Journal of the royal statstcal socety, seres B, vol.39(1):1-38, 1977 [10] Do, T. N., Poulet, F.: Rando local SVMs for classfyng large datasets, n proc. of Intl Conf. on Future Data and Securty Engneerng 2015 (FDSE 2015), Sprnger, 2015, pp [11] Do, T. N.: Non-lnear classfcaton of assve datasets wth a parallel algorth of local support vector achnes, n Advanced Coputatonal Methods for Knowledge Engneerng Studes n Coputatonal Intellgence, Sprnger, 2015, pp [12] Geusebroek, J. M., Burghouts, G. J., Seulders, A. W. M.: The asterda lbrary of obect ages. Intl Journal Coputer Vson 61(1): , [13] Gu, Q., Han, J.: Clustered support vector achnes, n proc. of the Sxteenth Intl Conf. on Artfcal Intellgence and Statstcs, vol. 31, pp , [14] Guyon, I., Web page on sv applcatons, 1999, [15] Jacobs, R. A., Jordan, M. I., Nowlan, S. J., Hnton, G. E.: Adaptve xtures of local experts, Neural Coputaton vol.3(1):79-87, [16] LeCun, Y., Boser, B., Denker, J., Henderson, D., Howard, R., Hubbard, W., Jackel, L.: Backpropagaton appled to handwrtten zp code recognton. Neural Coputaton 1(4): , [17] LeCun, Y., Bottou, L., Bengo, Y., Haffner, P.: Gradent-based learnng appled to docuent recognton. Proceedngs of the IEEE 86(11): , [18] Lchan, M.: UCI achne learnng repostory, 2013, [19] MacQueen, J.: Soe ethods for classfcaton and analyss of ultvarate observatons, n proc. of 5th Berkeley Syposu on Matheatcal Statstcs and Probablty, Berkeley, Unversty of Calforna Press 1, pp , [20] Osuna, E., Freund, R., Gros, F., An proved tranng algorth for support vector achnes, Neural Networks for Sgnal Processng VII, J. Prncpe, L. Gle, N. Morgan, and E. Wlson Eds, pp , [21] Platt, J.: Sequental Mnal Optzaton: A Fast Algorth for Tranng Support Vector Machnes, Mcrosoft Research Techncal Report MSR-TR-98-14, [22] Qunlan, J. R.: C4.5: Progras for Machne Learnng, Morgan Kaufann, 1993.

9 208 GIẢI THUẬT tsvm CHO PHÂN LỚP PHI TUYẾN TẬP DỮ LIỆU LỚN [23] Segata, N., Blanzer, E.: Fast and scalable local kernel achnes, Journal Machne Learnng Research 11, pp , [24] Van der Maaten, L.: A new benchark dataset for handwrtten character recognton, 2009, Publcatons fles/characters.zp. [25] Vapnk, V.: The Nature of Statstcal Learnng Theory, Sprnger-Verlag, [26] Vncent, P., Bengo, Y.: K-local hyperplane and convex dstance nearest neghbor algorths, In Advances n Neural Inforaton Processng Systes, The MIT Press, pp , [27] Wu X. and Kuar V.: Top 10 Algorths n Data Mnng, Chapan & Hall/CRC, [28] Yang, T., Kecan, V.: Adaptve local hyperplane classfcaton, Neurocoputng vol.71(13-15): , [29] Yu, H., Yang, J., Han, J.: Classfyng large data sets usng SVMs wth herarchcal clusters, In proceedngs of the ACM SIGKDD Intl. Conf. on KDD, ACM, pp , [30] Zhang, H., Berg, A., Mare, M., Malk, J.: SVM-KNN: Dscrnatve nearest neghbor classfcaton for vsual category recognton, In IEEE Coputer Socety Conference on Coputer Vson and Pattern Recognton. Volue 2., pp , tsvm ALGORITHM FOR NON-LINEAR CLASSIFICATION OF VERY LARGE DATASETS Thanh Ngh Do, Nguyen Khang Pha, Mnh Thu Tran Nguyen, Huu Hoa Nguyen ABSTRACT In ths paper, we present the new support vector achnes algorth, called tsvm for effectvely non-lnear classfcaton of large datasets. The tsvm algorth perfors the tranng task of large datasets wth two an steps. The frst one s to partton the full dataset nto k ternal-nodes, and then the second one s to learn n parallel local SVM odels for classfyng purty ternal-nodes wth xture of labels. The nuercal test results on 4 datasets fro UCI repostory, 3 bencharks of handwrtten letters recognton and a color age collecton of one-thousand sall obects show that our tsvm algorth s effcent copared to the standard SVM (LbSVM) n ters of tranng te and accuracy for dealng wth large datasets.