Un moyen de former une régression logistique consiste à utiliser la descente de gradient stochastique, avec laquelle scikit-learn offre une interface.
Ce que je voudrais faire est de prendre une scikit-learn de SGDClassifier et l' ont marqué le même comme la régression logistique ici . Cependant, je dois manquer certaines améliorations de l'apprentissage automatique, car mes scores ne sont pas équivalents.
Ceci est mon code actuel. Que manque-t-il sur le SGDClassifier qui lui permettrait de produire les mêmes résultats qu'une régression logistique?
from sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.linear_model import SGDClassifier
import numpy as np
import pandas as pd
from sklearn.cross_validation import KFold
from sklearn.metrics import accuracy_score
# Note that the iris dataset is available in sklearn by default.
# This data is also conveniently preprocessed.
iris = datasets.load_iris()
X = iris["data"]
Y = iris["target"]
numFolds = 10
kf = KFold(len(X), numFolds, shuffle=True)
# These are "Class objects". For each Class, find the AUC through
# 10 fold cross validation.
Models = [LogisticRegression, SGDClassifier]
params = [{}, {"loss": "log", "penalty": "l2"}]
for param, Model in zip(params, Models):
total = 0
for train_indices, test_indices in kf:
train_X = X[train_indices, :]; train_Y = Y[train_indices]
test_X = X[test_indices, :]; test_Y = Y[test_indices]
reg = Model(**param)
reg.fit(train_X, train_Y)
predictions = reg.predict(test_X)
total += accuracy_score(test_Y, predictions)
accuracy = total / numFolds
print "Accuracy score of {0}: {1}".format(Model.__name__, accuracy)
Ma sortie:
Accuracy score of LogisticRegression: 0.946666666667
Accuracy score of SGDClassifier: 0.76
3
Une question et une observation: dans quelle mesure votre précision de SGD est-elle stable sur des cycles répétés? les deux algorithmes ne sont pas équivalents et ne produiront pas nécessairement la même précision compte tenu des mêmes données. Pratiquement, vous pouvez essayer de changer les époques et / ou le taux d'apprentissage pour SGD. Au-delà, vous pouvez essayer de normaliser les fonctionnalités de SGD.
—
image_doctor
Donc, je n'ai pas testé le SGD sur des cycles répétés parce que ce qui précède utilise une validation croisée 10 fois; cela me suffisait.
—
hlin117
Pouvez-vous m'expliquer pourquoi ces algorithmes ne sont pas équivalents? Si je regarde le SGDClassifier ici, il mentionne "La perte" log "donne une régression logistique, un classificateur probabiliste." Je pense qu'il y a une lacune dans mes connaissances en apprentissage automatique.
—
hlin117
Sans une étude détaillée des implémentations, je ne pense pas pouvoir expliquer pourquoi elles ne sont pas équivalentes, mais un bon indice qu'elles ne sont pas équivalentes est que les résultats pour chaque méthode sont significativement différents. Je suppose que cela a à voir avec les propriétés de convergence des méthodes d'estimation utilisées dans chacune.
—
image_doctor
Ces algorithmes sont différents car la régression logistique utilise une descente en gradient alors que la descente en gradient stochastique utilise une descente en gradient stochastique. La convergence des premiers sera plus efficace et donnera de meilleurs résultats. Cependant, à mesure que la taille de l'ensemble de données augmente, SGDC devrait approcher la précision de la régression logistique. Les paramètres de GD signifient des choses différentes de celles des paramètres de SGD, vous devriez donc essayer de les ajuster légèrement. Je suggérerais de jouer un peu avec les taux d'apprentissage (décroissants) de SGD pour essayer d'obtenir une meilleure convergence car elle peut être un peu débordante.
—
AN6U5