Que signifie un «vecteur» dans un modèle de Markov caché?

Je sais qu'un modèle de Markov caché (HMM) est utilisé dans la reconnaissance vocale et je le comprends dans une certaine mesure. Cependant, ce que je ne sais pas, c'est comment l'entrée (la parole) est "transformée" en un vecteur qui sera ensuite utilisé dans HMM.

Comment obtenir un vecteur à partir d'une entrée sonore? Ce vecteur est-il lisible par un humain?

La façon dont la reconnaissance vocale est effectuée avec HTK (ou tout autre outil) est en quelque sorte similaire à la façon dont la reconnaissance vocale est effectuée dans le cerveau. Lorsque vous entendez un mot, vous le décomposez instantanément en ses téléphones constituants , puis comparez les téléphones avec un "modèle" mental interne des téléphones . Ces «modèles» sont construits au fil des années d'écoute de la parole et vous permettent de faire la distinction entre des phrases au son similaire comme «Comment détruire une belle plage» et «Comment reconnaître la parole». La reconnaissance vocale avec HTK ou tout autre schéma basé sur un modèle fonctionne de manière similaire. Voici, en quelques étapes, comment procéder:

1. Vous prenez le signal vocal d'entrée et le convertissez en une représentation vectorielle caractéristique.
2. Prenez un grand nombre de phrases et effectuez l'étape 1 sur chacune d'elles.
3. Utilisez les vecteurs de fonctionnalité de l'étape 2 pour créer un modèle statistique pour chacun des téléphones / mots dans les phrases (il existe un nombre limité de téléphones / mots par rapport à un nombre infini de façons de les dire - afin de réduire les inconnues en modélisant ).
4. Lorsqu'un nouveau mot arrive, divisez-le en téléphones et comparez avec chacun des modèles connus. La séquence de téléphones avec la probabilité la plus élevée gagne!

Toutes les étapes ci-dessus sont essentielles à la réussite de toute tâche de reconnaissance vocale. En décomposant un son en son vecteur caractéristique, vous le placez dans un espace modèle, lui donnant une représentation qui le rend plus adapté à la création d'un modèle que d'autres représentations (par exemple, la représentation temps-amplitude). La plupart de ces représentations se situent dans la fréquence ou le domaine temps-fréquence. L'une des représentations les plus populaires est le MFCC (Mel Frequency Cepstral Coefficient). D'une certaine manière, cette technique imite la réponse auditive humaine avec un ensemble de filtres. Un signal d'entrée est décomposé avec cet ensemble de filtres qui ont un espacement logarithmique de leurs fréquences centrales. Les coefficients MFCC d'une phrase (par exemple) sont ensuite utilisés pour modéliser chacun des téléphones dont la phrase est composée. Par exemple, considérez,

Phrase: HI. Description phonétique: hh aa ey
Lorsque vous introduisez les coefficients MFCC dans HTK, il associe les coefficients MFCC d'une partie de la phrase avec hh, une autre avec aa et ainsi de suite. Lorsque cela se répète plusieurs fois, les modèles de téléphones commencent à se former.

HTK utilise l'outil HCopypour convertir une phrase d'entrée en sa représentation vectorielle d'entités. Il existe également de nombreuses «saveurs» dans les MFCC (représentations E_D_A ou E_D_A_Z). Ce serait une bonne idée de lire la documentation pour HCopydans le htkbook.

Les coefficients MFCC sont écrits dans un fichier avec extension .mfcpar HTK. Il n'est pas possible de lire ce fichier en utilisant l'un des éditeurs de texte car (je pense) les coefficients sont écrits en binaire. Vous pouvez essayer de lire les fichiers avec C.

HTH.

Chaque vague peut être décomposée en addition de nombreuses autres vagues. En utilisant une transformée de Fourier, vous pouvez analyser une onde dans ses composantes de fréquence. L'amplitude de ces composantes fréquentielles peut alors être utilisée comme vecteur. Voici la documentation sur la classe Sphinx qui fait cela et voici une bonne explication visuelle de la transformation de Fourier.