Prédiction de sujet utilisant l'allocation de Dirichlet latente

J'ai utilisé LDA sur un corpus de documents et trouvé quelques sujets. La sortie de mon code est deux matrices contenant des probabilités; l'une des probabilités doc-topic et l'autre probabilités word-topic. Mais je ne sais pas comment utiliser ces résultats pour prédire le sujet d'un nouveau document. J'utilise l'échantillonnage Gibbs. Est-ce que quelqu'un sait comment? Merci

J'essaierais de «replier». Il s'agit de prendre un nouveau document, de l'ajouter au corpus, puis d'exécuter l'échantillonnage de Gibbs uniquement sur les mots de ce nouveau document , en conservant les affectations de sujet des anciens documents. Cela converge généralement rapidement (peut-être 5-10-20 itérations), et vous n'avez pas besoin d'échantillonner votre ancien corpus, donc il fonctionne également rapidement. À la fin, vous aurez l'attribution de rubrique pour chaque mot du nouveau document. Cela vous donnera la répartition des sujets dans ce document.

Dans votre échantillonneur Gibbs, vous avez probablement quelque chose de similaire au code suivant:

// This will initialize the matrices of counts, N_tw (topic-word matrix) and N_dt (document-topic matrix)
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Assign current token to a random topic, updating the count matrices
    end
end

// This will do the Gibbs sampling
for doc = 1 to N_Documents
    for token = 1 to N_Tokens_In_Document
       Compute probability of current token being assigned to each topic
       Sample a topic from this distribution
       Assign the token to the new topic, updating the count matrices
    end
end

Le repliement est le même, sauf que vous commencez par les matrices existantes, que vous y ajoutez les jetons du nouveau document et que vous effectuez l'échantillonnage uniquement pour les nouveaux jetons. C'est à dire:

Start with the N_tw and N_dt matrices from the previous step

// This will update the count matrices for folding-in
for token = 1 to N_Tokens_In_New_Document
   Assign current token to a random topic, updating the count matrices
end

// This will do the folding-in by Gibbs sampling
for token = 1 to N_Tokens_In_New_Document
   Compute probability of current token being assigned to each topic
   Sample a topic from this distribution
   Assign the token to the new topic, updating the count matrices
end

$p^i_w$$w$$i$$j$$w_j$