如何利用一些小技巧實(shí)現SVM的增量式訓練

老樹(shù)發(fā)新芽SVM的增量式訓練

大家是不是以為我們的SVM篇就這樣結束了？nonono，對于這樣一位資深的老前輩來(lái)說(shuō)，寥寥幾篇怎能敘說(shuō)盡，換句話(huà)來(lái)說(shuō)，歷經(jīng)幾十年的歷練，還能屹立于ML之巔，必定擁有卓越的技術(shù)實(shí)力和深厚的專(zhuān)業(yè)底蘊。

不過(guò)，大家在用SVM時(shí)一定也注意到過(guò)SVM本身只支持單次訓練，要怎么解釋呢？意思就是說(shuō)我們在訓練一個(gè)SVM模型前，要事先指定好想要識別的類(lèi)別或是任務(wù)，這樣訓練好之后，模型就只能針對所指定的任務(wù)了。如果想要再添加新的需求，那不好意思了，需要再重新制定任務(wù)，并且這個(gè)任務(wù)必須包含老任務(wù)，不然SVM就會(huì )喜新厭舊了，只能完成新任務(wù)。

這樣一來(lái)是不是有點(diǎn)麻煩？有伙伴要問(wèn)了，我們CNN就能支持增量學(xué)習，你這SVM看起來(lái)還是不太行啊。那么為了給我們的SVM大佬正名，今天小編就給大家帶來(lái)一篇番外，利用一些小技巧實(shí)現SVM的增量式訓練。直接上代碼??！

繼續使用我們的鳶尾花數據集，不過(guò)這次我們做點(diǎn)特殊的。我們將其作為一個(gè)單分類(lèi)的數據集來(lái)使用，具體怎么做呢？讓我們一步步來(lái)看：

鳶尾花數據集一共有150組樣本，我們先選取前50組出來(lái)，訓練一個(gè)單分類(lèi)模型，目的是讓其只能夠識別一種樣本，代碼片段：

測試結果打?。?/p>

好的，接下來(lái)就是至關(guān)重要的一步了，我們知道SVM全稱(chēng)是支持向量機，那么其原理就是在訓練樣本重抽取一部分當作支持向量，即挑選出能夠代表全體數據的靈魂數據。換句話(huà)說(shuō)，這些支持向量本身就能代表當前類(lèi)別的所有數據，通過(guò)和支持向量間的對比即可認定新數據是否屬于同一類(lèi)別。那么好，我們要做的就是將這些支持向量提取出來(lái)，并將其與新數據拼接在一起作為新的訓練數據：

這里提前看一下支持向量，針對于第一個(gè)類(lèi)別，支持向量有4個(gè)：

繼續訓練，并測試：

?

?

測試結果：

再來(lái)看下新的支持向量：

可以看到，在第一次支持向量的基礎上，又增加了針對第二個(gè)類(lèi)別的。同時(shí)根據測試精度，可以看出，通過(guò)添加第一次訓練多得到的支持向量，而非將全體數據進(jìn)行二次訓練，能夠達到同樣的效果。也驗證了我們的猜測：支持向量本身其實(shí)就是數據集的代表，只將其作為訓練樣本，完全能夠替代全部數據。并以此為基礎實(shí)現SVM模型的增量式訓練。

審核編輯：黃飛

?