Statistiques et Big Data

2

Quand utiliser les méthodes de régularisation pour la régression?

Dans quelles circonstances faut-il envisager d'utiliser des méthodes de régularisation (régression de crête, de lasso ou de moindre angle) au lieu de MCO? Au cas où cela aiderait à orienter la discussion, mon intérêt principal est d'améliorer la précision prédictive.

83 regression least-squares lasso ridge-regression fused-lasso

7

Biais et variance dans la validation croisée avec un pli en K par rapport à un pli

Comment différentes méthodes de validation croisée se comparent-elles en termes de variance et de biais du modèle? Ma question est en partie motivée par ce fil: nombre optimal de plis en validation croisée de: est leave-one-out CV toujours le meilleur choix? KKKK. La réponse suggérée ici suggère que les modèles …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Centile vs quantile vs quartile

Quelle est la différence entre les trois termes ci-dessous? percentile quantile quartile

83 descriptive-statistics quantiles median percentage

14

Pourquoi les statistiques robustes (et résistantes) n'ont-elles pas remplacé les techniques classiques?

Lors de la résolution de problèmes métiers à l'aide de données, il est courant qu'au moins une hypothèse clé selon laquelle les statistiques classiques sous-goupilles sont invalides est invalide. La plupart du temps, personne ne se soucie de vérifier ces hypothèses pour ne jamais le savoir. Par exemple, le fait …

82 model-selection nonparametric outliers robust philosophical

8

La ligne de meilleur ajustement ne ressemble pas à un bon ajustement. Pourquoi?

Regardez ce graphique Excel: La ligne du meilleur ajustement du «bon sens» apparaîtrait comme une ligne presque verticale au centre des points (modifiée à la main en rouge). Cependant, la ligne de tendance linéaire décidée par Excel est la ligne noire diagonale indiquée. Pourquoi Excel a-t-il produit quelque chose qui …

82 regression excel intuition

2

fonction d'activation tanh vs fonction d'activation sigmoïde

La fonction d'activation de tanh est: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Où , la fonction sigmoïde, est définie comme suit: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Des questions: Est-ce vraiment important d'utiliser ces deux fonctions d'activation (tanh vs sigma)? Quelle fonction …

82 machine-learning neural-networks optimization cost-maximization

3

Qu'est-ce que le lasso dans l'analyse de régression?

Je cherche une définition non technique du lasso et de son utilisation.

82 regression lasso regularization shrinkage

5

Que signifie une "solution en forme fermée"?

J'ai souvent rencontré le terme "solution de forme fermée". Que signifie une solution sous forme fermée? Comment détermine-t-on si une solution proche existe pour un problème donné? En recherchant en ligne, j'ai trouvé des informations, mais rien dans le cadre de l'élaboration d'un modèle / solution statistique ou probabiliste. Je …

82 regression machine-learning probability terminology stochastic-processes

2

Le théorème de Bayes modifié de XKCD: un peu raisonnable?

Je sais que cela provient d'une bande dessinée célèbre pour tirer parti de certaines tendances analytiques , mais cela semble plutôt raisonnable après quelques minutes d'observation. Quelqu'un peut-il m'expliquer ce que fait ce " théorème de Bayes modifié "?

81 bayesian hierarchical-bayesian

4

Quelle est la différence entre les modèles zéro-gonflés et les haies?

Je me demande s’il existe une différence nette entre les distributions (modèles) à gonflement nul et les distributions (modèles) à seuil de passage à zéro? Les termes apparaissent assez souvent dans la littérature et je suppose qu'ils ne sont pas les mêmes, mais pourriez-vous m'expliquer la différence en termes simples?

81 zero-inflation

3

Un échantillon non équilibré est-il important lors de la régression logistique?

Bon, je pense donc avoir un échantillon assez décent, en tenant compte de la règle empirique de 20: 1: un échantillon assez volumineux (N = 374) pour un total de 7 variables prédictives candidates. Mon problème est le suivant: quel que soit le jeu de variables de prédiction que j'utilise, …

81 regression logistic sample-size unbalanced-classes

10

Comprendre intuitivement la «variance»

Quel est le moyen le plus simple et le plus simple d’expliquer le concept de variance à une personne? Qu'est-ce que cela signifie intuitivement? Si on doit expliquer cela à leur enfant, comment s'y prendrait-on? C’est un concept que j’ai du mal à articuler - en particulier lorsque l’on fait …

81 distributions variance standard-deviation inference intuition

6

Existe-t-il des exemples où les intervalles crédibles bayésiens sont évidemment inférieurs aux intervalles de confiance fréquentistes

Une question récente sur la différence entre la confiance et les intervalles crédibles m'a amené à relire l'article d'Edwin Jaynes sur ce sujet: Jaynes, ET, 1976. «Intervalles de confiance vs intervalles bayésiens», dans Fondements de la théorie de la probabilité, de l'inférence statistique et des théories statistiques de la science, …

81 bayesian confidence-interval

6

Différence entre les intervalles de confiance et les intervalles de prédiction

Pour un intervalle de prédiction en régression linéaire vous utilisez encore E [ Y | x ] = ^ ß 0 + β 1 x pour générer l'intervalle. Vous l'utilisez également pour générer un intervalle de confiance de E [ Y | x 0 ] . Quelle est la différence …

80 regression confidence-interval predictive-models prediction-interval

9

En ce qui concerne les valeurs p, pourquoi 1% et 5%? Pourquoi pas 6% ou 10%?

En ce qui concerne les valeurs p , je me demande pourquoi % et % semblent être la norme absolue . Pourquoi pas d'autres valeurs, comme % ou %?111555"statistical significance"666101010 Y a-t-il une raison mathématique fondamentale à cela, ou s'agit-il simplement d'une convention largement répandue?

80 hypothesis-testing statistical-significance p-value history