Pourquoi les gens aiment-ils les données fluides?

10

Je dois utiliser le noyau exponentiel carré (SE) pour la régression du processus gaussien. Les avantages de ce noyau sont: 1) simple: seulement 3 hyperparamètres; 2) lisse: ce noyau est gaussien.

Pourquoi les gens aiment-ils tant la «douceur»? Je sais que le noyau gaussien est infiniment différentiable, mais est-ce si important? (Veuillez me faire savoir s'il existe d'autres raisons pour lesquelles le noyau SE est si populaire.)

PS: On m'a dit que la plupart des signaux dans le monde réel (sans bruit) sont lisses , il est donc raisonnable d'utiliser des noyaux lisses pour les modéliser. Quelqu'un pourrait-il m'aider à comprendre ce concept?

machine-learning

— kakanana
source

4

Posez-vous la question psychologique de savoir pourquoi les gens aiment la douceur ou la question statistique de savoir pourquoi les fonctions lisses sont meilleures statistiquement?

— John

@John Merci pour votre commentaire. Je faisais référence à la deuxième question dans votre message et en plus, je veux confirmer pourquoi la plupart des signaux dans le monde réel sont fluides

— kakanana

15

" Natura non facit saltus " est un vieux principe de philosophie. En outre, la beauté et l'harmonie sont de tels principes. Un autre principe philosophique qui a un impact sur les statistiques est la pensée qualitative: traditionnellement, nous ne pensons pas à la taille des effets, mais à la présence ou non d'un effet. Cela a permis de tester des hypothèses. Les estimateurs sont trop précis pour votre perception de la nature. Prenez-le tel quel.

La statistique doit servir la perception humaine. Les points de discontinuité ne sont donc pas appréciés. On se demanderait immédiatement: pourquoi est-ce exactement là une discontinuité? En particulier dans l'estimation de la densité, ces points de discontinuité sont principalement dus à la nature non asymptotique des données réelles. Mais vous ne voulez pas en savoir plus sur votre échantillon fini, mais sur le fait naturel sous-jacent. Si vous croyez que cette nature ne saute pas, alors vous avez besoin d'estimateurs lisses.

D'un strict point de vue mathématique, il n'y a guère de raison à cela. De plus, depuis que Leibniz et Newton ont connu des phénomènes naturels qui ne sont pas lisses. Parlez au spécialiste des sciences naturelles pour lequel vous travaillez. Remettez en question sa vision de la fluidité / discontinuité, puis faites ce que vous avez tous les deux décidé d'être le plus utile pour sa compréhension.

— Horst Grünbusch
source

2

Il y a deux autres raisons d'ordre pratique. La première est que les fonctions analytiques sont beaucoup plus faciles à utiliser mathématiquement, et donc prouver des théorèmes sur vos algorithmes et leur donner une base plus solide.

Le second est la sensibilité. Supposons que vous ayez un apprenant machine dont la sortie présente une discontinuité à . Vous obtiendriez alors des résultats très différents pour et , mais ce n'est pas grave car nous l'avons rendu discontinu. Maintenant, si vous entraînez votre modèle avec des données légèrement différentes ( ), où le bruit aléatoire est juste un tout petit peu différent, la discontinuité sera désormais à , probablement très proche de , mais pas tout à fait, et maintenant , pour certaines valeurs de , a une valeur très différente pour et pour $M$ $x=x_0$ $x_0 - \epsilon$ $x_0 + \epsilon$ $\tilde M$ $\tilde x_0$ $x_0$ $\epsilon$ $x_0 + \epsilon$ $M$ $\tilde M$ .

— Davidmh
source

1

Il existe de nombreuses motivations, selon le problème. Mais l'idée est la même: ajouter des connaissances a priori sur certains problèmes pour parvenir à une meilleure solution et faire face à la complexité. Une autre façon de le dire est: la sélection du modèle. Voici un bel exemple sur la sélection des modèles .

Une autre idée, profondément liée à celle-ci, consiste à trouver une mesure de similitude des échantillons de données (il existe différents termes qui se rapportent à cette idée: cartographies topographiques, métrique de distance, apprentissage multiple, ...).

Prenons maintenant un exemple pratique: la reconnaissance optique de caractères. Si vous prenez l'image d'un personnage, vous vous attendriez à ce que le classificateur gère les invariances: si vous faites pivoter, déplacez ou redimensionnez l'image, il devrait être capable de la détecter. De plus, si vous appliquez légèrement une modification à l'entrée, vous vous attendez à ce que la réponse / le comportement de votre classificateur varient également légèrement, car les deux échantillons (l'original et le modifié sont très similaires). C'est là que l'application de la douceur entre en jeu.

Il existe une multitude d'articles traitant de cette idée, mais celle-ci (invariance de transformation dans la reconnaissance des formes, distance tangente et propagation tangente, Simard et al.) Illustre ces idées en détail

— jpmuc
source