Incrémental IDF (Inverse Document Frequency)

Dans une application d'exploration de texte, une approche simple consiste à utiliser l' heuristique pour créer des vecteurs sous forme de représentations compactes et clairsemées des documents. C'est très bien pour le réglage par lots, où l'ensemble du corpus est connu a priori, car l' nécessite l'ensemble du corpus $tf-idf$ $idf$

i d f (t) = \log \frac{| D |}{| {d : t \in d} |}

$\mathrm{idf}(t) = \log \frac{|D|}{|\{d: t \in d\}|}$

où est un terme, est un document, est le corpus de documents et (non illustré) est le dictionnaire. $t$ $d$ $D$ $T$

Cependant, de nouveaux documents sont généralement reçus au fil du temps. Une option consiste à continuer à utiliser l' existant jusqu'à ce qu'un certain nombre de nouveaux documents soient reçus et à le recalculer. Cependant, cela semble plutôt inefficace. Quelqu'un connaît-il un schéma de mise à jour incrémentielle qui (éventuellement environ) converge vers la valeur si toutes les données ont été vues à l'avance? Ou bien existe-t-il une autre mesure qui capture la même notion mais qui peut être calculée de manière incrémentale? $idf$

Il y a également une question connexe de savoir si l' reste une bonne mesure dans le temps. Étant donné que l'idf capture la notion de fréquence des mots du corpus, il est concevable que des documents plus anciens dans le corpus (par exemple, que mon corpus comprend plus de 100 ans d'articles de revues), car les fréquences de différents mots changent au fil du temps. Dans ce cas, il peut être judicieux de jeter les documents plus anciens lorsque de nouveaux arrivent, en utilisant en fait une fenêtre coulissante . En théorie, on pourrait également stocker tous les vecteurs précédents au fur et à mesure que de nouveaux vecteurs sont calculés, puis si nous voulions récupérer des documents de 1920 à 1930 par exemple, nous pourrions utiliser les $idf$ $idf$ $idf$ $idf$ calculé à partir des documents de cette plage de dates. Cette approche a-t-elle un sens?

Edit: Il y a une question distincte mais connexe sur le dictionnaire . À mesure que le temps évolue, de nouveaux termes de dictionnaire n'apparaîtront pas auparavant, donc devra croître, et donc la longueur du vecteur . Il semble que cela ne serait pas un problème, car des zéros pourraient être ajoutés aux anciens vecteurs . $T$ $|T|$ $idf$ $idf$

time-series text-mining

— tdc
source

question stupide: C'est un problème de stocker le dénominateur pour chaque t? Comment le rapport de | t | à | d | ressemble (en général)?

— steffen

i d f (t)

$idf(t)$

t

$t$

t

$t$

| T |

$|T|$

J'ai compris l'équation. Ma question était: Si le stockage du dictionnaire ne pose aucun problème, alors: Au lieu de stocker | T | idfs on stocke | T | dénominateurs (de l'équation) + nombre de documents. La mise à jour incrémentielle ne pose alors aucun problème et idf est calculé à la volée. J'ai le sentiment d'avoir oublié quelque chose.

— steffen

d^{*}

$d^*$

d : t \in d

${d:t \in d}$

t : t \in d^{*}

${t:t \in d^*}$

précisément. Si cela est possible?

— steffen

$z$

$z(t) = |\{d:t\in d\}|$

$d^*$

$z^*(t) = z(t) + \left\{ \begin{array}{ll} 1 & \mbox{if}\; {t\in d^*} \\ 0 & \mbox{otherwise} \end{array} \right.$

$tf-idf$ $idf$

De même, pour supprimer un ancien document, nous décrémentons le numérateur de la même manière.

$tf$ $tf-idf$ $tf-idf$

$idf$ $z$ $z$ $idf$ $tf$

— tdc
source