Pour deux distributions discrètes et , l'entropie croisée est définie comme
Je me demande pourquoi ce serait une mesure intuitive de la distance entre deux distributions de probabilité?
Je vois que est l'entropie de , qui mesure la "surprise" de . est la mesure qui remplace en partie par . Je ne comprends toujours pas le sens intuitif de la définition.