Comment représenter une variable illimitée sous forme de nombre entre 0 et 1

Je veux représenter une variable sous la forme d'un nombre compris entre 0 et 1. La variable est un entier non négatif sans limite inhérente. Je mappe 0 à 0, mais que puis-je mapper à 1 ou à des nombres entre 0 et 1?

Je pourrais utiliser l'historique de cette variable pour fournir les limites. Cela signifierait que je dois retraiter les anciennes statistiques si le maximum augmente. Dois-je le faire ou y a-t-il d'autres astuces à connaître?

Une astuce très courante pour le faire (par exemple, dans la modélisation connexionniste) consiste à utiliser la tangente hyperbolique tanh comme «fonction d'écrasement». Elle ajuste automatiquement tous les nombres dans l'intervalle entre -1 et 1. Ce qui dans votre cas restreint la plage de 0 à 1. Dans ret matlabvous l'obtenez via tanh().

Une autre fonction d'écrasement est la fonction logistique (merci à Simon pour le nom), fournie par , qui restreint la plage de 0 à 1 (avec 0 mappé à. 5). Vous devrez donc multiplier le résultat par 2 et soustraire 1 pour adapter vos données dans l'intervalle entre 0 et 1.$f(x) = 1 / (1 + e ^{-x} )$

Voici un code R simple qui trace les deux fonctions (tanh en rouge, logistique en bleu) afin que vous puissiez voir comment les deux écrasent:

x <- seq(0,20,0.001)
plot(x,tanh(x),pch=".", col="red", ylab="y")
points(x,(1 / (1 + exp(-x)))*2-1, pch=".",col="blue")

Comme souvent, ma première question allait être « pourquoi voulez-vous faire cela», alors j'ai vu que vous avez déjà répondu à cela dans les commentaires à la question: « Je mesure le contenu à travers de nombreuses dimensions différentes et je veux être capable de faire des comparaisons en termes de pertinence d'un élément de contenu donné. En outre, je souhaite afficher des valeurs explicatives et faciles à comprendre dans ces dimensions. "

Il n'y a aucune raison de normaliser les données afin que le max soit 1 et le min soit zéro pour y parvenir, et mon avis est que ce serait une mauvaise idée en général . Les valeurs max ou min pourraient très facilement être des valeurs aberrantes non représentatives de la répartition de la population. La remarque de séparation @osknows sur l' utilisation des scores est une bien meilleure idée$z$ . scores (ou scores standard) normalisent chaque variable en utilisant son écart type plutôt que sa plage. L'écart type est moins influencé par les valeurs aberrantes. Pour utiliser$z$$z$-les scores, il est préférable que chaque variable ait une distribution à peu près normale, ou au moins une distribution à peu près symétrique (c'est-à-dire qu'elle ne soit pas gravement asymétrique) mais si nécessaire, vous pouvez d'abord appliquer une transformation de données appropriée afin d'y parvenir; quelle transformation utiliser pourrait être déterminée en trouvant la transformation de Box – Cox la mieux adaptée .

Toute fonction sigmoïde fonctionnera:

• La moitié supérieure de la fonction logistique (multiplier par 2, soustraire 1)
• La fonction d'erreur
• tanh, comme suggéré par Henrik.

En plus des bonnes suggestions de Henrik et Simon Byrne, vous pouvez utiliser f (x) = x / (x + 1). À titre de comparaison, la fonction logistique va exagérer les différences à mesure que x augmente. Autrement dit, la différence entre f (x) et f (x + 1) sera plus grande avec la fonction logistique qu'avec f (x) = x / (x + 1). Vous pouvez ou non vouloir cet effet.

Mon article précédent a une méthode pour classer entre 0 et 1. Conseils sur la corrélation d'entrée du classificateur

Cependant, le classement que j'ai utilisé, Tmin / Tmax utilise l'échantillon min / max mais vous pouvez trouver la population min / max plus appropriée. Recherchez également les scores z

Pour ajouter aux autres réponses suggérant pnorm ...

Pour une méthode potentiellement optimale de sélection des paramètres, je suggère cette approximation pour pnorm.

1.0/(1.0+exp(-1.69897*(x-mean(x))/sd(x)))

Il s'agit essentiellement de la normalisation Softmax.

Pnorm de référence dans un pincement

Il existe deux façons d'implémenter cela que j'utilise couramment. Je travaille toujours avec des données en temps réel, donc cela suppose une entrée continue. Voici un pseudo-code:

Utilisation d'un minmax entraînable:

define function peak:
    // keeps the highest value it has received

define function trough:
    // keeps the lowest value it has received

define function calibrate:
    // toggles whether peak() and trough() are receiving values or not

define function scale:
    // maps input range [trough.value() to peak.value()] to [0.0 to 1.0]

Cette fonction nécessite soit que vous effectuiez une phase de formation initiale (en utilisant calibrate()) soit que vous vous entraîniez à certains intervalles ou selon certaines conditions. Par exemple, imaginez une fonction comme celle-ci:

define function outBounds (val, thresh):
    if val > (thresh*peak.value()) || val < (trough.value() / thresh):
        calibrate()

le pic et le creux ne reçoivent normalement pas de valeurs, mais s'ils outBounds()reçoivent une valeur qui est plus de 1,5 fois le pic actuel ou moins que le creux actuel divisé par 1,5, alors calibrate()est appelé, ce qui permet à la fonction de se recalibrer automatiquement.

Utilisation d'un minmax historique:

var arrayLength = 1000
var histArray[arrayLength]

define historyArray(f):
    histArray.pushFront(f) //adds f to the beginning of the array

define max(array):
    // finds maximum element in histArray[]
    return max

define min(array):
    // finds minimum element in histArray[]
    return min

define function scale:
    // maps input range [min(histArray) to max(histArray)] to [0.0 to 1.0]

main()
historyArray(histArray)
scale(min(histArray), max(histArray), histArray[0])
// histArray[0] is the current element

Une option très simple consiste à diviser chaque nombre de vos données par le plus grand nombre de vos données. Si vous avez beaucoup de petits nombres et quelques très grands, cela pourrait ne pas bien transmettre l'information. Mais c'est relativement facile; si vous pensez que des informations significatives sont perdues lorsque vous représentez graphiquement les données comme ceci, vous pouvez essayer l'une des techniques les plus sophistiquées que d'autres ont suggérées.