tensorflow - 在大量类上训练分类器时,SVM 非常慢
问题描述
我正在尝试在大量项目和类上训练 SVM 分类器,这变得非常非常慢。
首先,我从我的数据中提取了一个特征集,总体上是特定的 512 个特征,并将其放入 numpy 数组中。此数组中有 13k 项。它看起来像这样:
>>print(type(X_train))
<class 'numpy.ndarray'>
>>print(X_train)
[[ 0.01988654 -0.02607637 0.04691431 ... 0.11521499 0.03433102
0.01791015]
[-0.00058317 0.05720023 0.03854145 ... 0.07057668 0.09192026
0.01479562]
[ 0.01506544 0.05616265 0.01514515 ... 0.04981219 0.05810429
0.00232013]
...
此外,还有大约 4k 个不同的类别:
>> print(type(labels))
<class 'list'>
>> print(labels)
[0, 0, 0, 1, 1, 1, 1, 1, 2, 2, 2, 3, 3, 4, 4, 4, 4, 5, 5, ... ]
这是分类器:
import pickle
from thundersvmScikit import SVC
FILENAME = 'dataset.pickle'
with open(FILENAME, 'rb') as infile:
(X_train, labels) = pickle.load(infile)
clf = SVC(kernel='linear', probability=True)
clf.fit(X_train, labels)
大约 90 小时过去后(我正在使用 Thundersvm 形式的 sci-learn 套件的 GPU 实现)拟合操作仍在运行。考虑到在我的情况下它是一个非常小的数据集,我肯定需要更有效的东西,但我似乎没有取得任何好的成功。例如,我尝试过这种类型的 Keras 模型:
model = Sequential()
model.add(Dense(input_dim=512, units=100, activation='tanh'))
model.add(Dropout(0.2))
model.add(Dense(units=n_classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adadelta', metrics=['accuracy'])
model.fit(X_train, labels, epochs=500, batch_size=64, validation_split=0.1, shuffle=True)
我最终在训练阶段获得了相当不错的准确性:
Epoch 500/500
11988/11988 [==============================] - 1s 111us/step - loss: 2.1398 - acc: 0.8972 - val_loss: 9.5077 - val_acc: 0.0000e+00
然而,在实际测试期间,即使是在训练数据集中存在的数据上,我也得到了极低的准确度,预测基本上是随机的类:
Predictions (best probabilities):
0 class710015: 0.008
1 class715573: 0.007
2 class726619: 0.006
3 class726619: 0.010
4 class720439: 0.007
Accuracy: 0.000
请你能指出我正确的方向吗?我应该以某种方式调整 SVM 方法,还是应该针对此类问题切换到自定义 Keras 模型?如果是,我的模型可能存在什么问题?
非常感谢。
解决方案
推荐阅读
- python - 奇怪的 Python 日期比较行为
- c# - 目录和子目录路径不起作用
- wordpress - Wordpress 后端表单返回 JSON
- ms-word - INCLUDEPICTURE 字段中的相对路径有时会以某种方式更改为绝对路径
- java - 样本 obj=null; - 用法和含义
- sql - 存储过程测试
- r - 路径中带有德语特殊字符的 read_csv()
- swift - swift - 从 UIAlertController 操作中解除视图控制器可防止视图控制器取消初始化
- python - 烧瓶在 cmd 中显示响应但不在视图中
- vba - Access 2007 - 以编程方式多次运行报表