Je travaille sur la reconnaissance vocale avec Tensorflow et je prévois de former LSTM NN avec un ensemble de données d'ondes massives. En raison des gains de performances, je prévois d'utiliser des tfrecords. Il existe plusieurs exemples sur Internet (Inception par exemple) où les fichiers tfrecords sont divisés en fragments. Ma question est: quel est l'avantage d'avoir le fichier tfrecords en fragments? Y a-t-il un gain de performances supplémentaire de cette division?
.shuffle()
n'est pas une solution idéale si vous avez un gros fichier tfrecord. La sortie mélangée est quelque peu liée à l'ordre d'origine si vous n'utilisez pas une grande taille de tampon. Je pense que pré-mélanger les données avant de les enregistrer sur tfrecord ou de les diviser en fragments est nécessaire lorsque vous avez un grand ensemble de données.