Comment obtenir des prédictions avec Predict_Generator sur la diffusion en continu de données de test dans Keras?

Dans le blog Keras sur la formation des convnets à partir de zéro , le code affiche uniquement le réseau fonctionnant sur les données de formation et de validation. Qu'en est-il des données de test? Les données de validation sont-elles les mêmes que les données de test (je pense que non). S'il y avait un dossier de test distinct sur des lignes similaires à celles des dossiers de train et de validation, comment obtenir une matrice de confusion pour les données de test. Je sais que nous devons utiliser scikit learn ou un autre package pour ce faire, mais comment puis-je obtenir quelque chose dans le sens des probabilités de classe pour les données de test? J'espère l'utiliser pour la matrice de confusion.

Pour obtenir une matrice de confusion à partir des données de test, vous devez passer par deux étapes:

1. Faire des prédictions pour les données de test

Par exemple, utilisez model.predict_generatorpour prédire les 2000 premières probabilités du générateur de test.

generator = datagen.flow_from_directory(
        'data/test',
        target_size=(150, 150),
        batch_size=16,
        class_mode=None,  # only data, no labels
        shuffle=False)  # keep data in same order as labels

probabilities = model.predict_generator(generator, 2000)

2. Calculez la matrice de confusion sur la base des prédictions d'étiquette

Par exemple, comparez les probabilités avec le cas où il y a respectivement 1000 chats et 1000 chiens.

from sklearn.metrics import confusion_matrix

y_true = np.array([0] * 1000 + [1] * 1000)
y_pred = probabilities > 0.5

confusion_matrix(y_true, y_pred)

Remarque supplémentaire sur les données de test et de validation

La documentation Keras utilise trois ensembles de données différents: les données d'apprentissage, les données de validation et les données de test. Les données d'apprentissage sont utilisées pour optimiser les paramètres du modèle. Les données de validation sont utilisées pour faire des choix sur les méta-paramètres, par exemple le nombre d'époques. Après avoir optimisé un modèle avec des méta-paramètres optimaux, les données de test sont utilisées pour obtenir une estimation juste des performances du modèle.

Voici un code que j'ai essayé et travaillé pour moi:

pred= model.predict_generator(validation_generator, nb_validation_samples // batch_size)
predicted_class_indices=np.argmax(pred,axis=1)
labels = (validation_generator.class_indices)
labels2 = dict((v,k) for k,v in labels.items())
predictions = [labels[k] for k in predicted_class_indices]
print(predicted_class_indices)
print (labels)
print (predictions)

Vous pouvez ensuite utiliser:

print (confusion matrix(predicted_class_indices,labels)

Assurez-vous que vous utilisez shuffle=Falsedans votre générateur de test (dans mon cas, c'est un générateur de validation) et réinitialisez-le en utilisant validation_generator.reset()avant de faire vos prédictions.

Pour la matrice de confusion, vous devez utiliser le package sklearn. Je ne pense pas que Keras puisse fournir une matrice de confusion. Pour prédire des valeurs sur l'ensemble de test, il suffit d'appeler la méthode model.predict () pour générer des prédictions pour l'ensemble de test. Le type de valeurs de sortie dépend de votre type de modèle, c'est-à-dire discret ou probabilités.