Statistiques et Big Data

1

LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \; Mais souvent, j'ai vu que l'estimateur Lasso peut s'écrire β^n(λ)=argminβ{12n∥y−Xβ∥22+λ∥β∥1}β^n(λ)=arg⁡minβ{12n‖y−Xβ‖22+λ‖β‖1} \hat{\beta}_n(\lambda) = \displaystyle\arg \min_{\beta} \{\frac {1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \} Ma question est, sont l'équivalent? D'où vient le terme 12n12n\frac {1}{2n} ? Le lien entre les …

9 lasso

1

Sélection des priorités en fonction de l'erreur de mesure

Comment calculez-vous l'a priori approprié si vous avez l'erreur de mesure d'un instrument? Ce paragraphe est tiré du livre de Cressie "Statistiques pour les données spatio-temporelles": Il arrive souvent que certaines informations préalables soient disponibles concernant la variance des erreurs de mesure, ce qui permet de spécifier un modèle de …

9 bayesian standard-error error prior measurement-error

2

Comment ce graphique «États-Unis de Reddit» est-il créé?

Voici un graphique de p. 202 du Dataclysm de Christian Rudder , bien qu'il ait été fait par James Dowdell. Il illustre les relations entre les 200 principaux sous-mariages, qui sont des domaines d'intérêt sur reddit.com où les utilisateurs peuvent soumettre des liens, des commentaires et des votes. Ils sont …

9 clustering data-visualization

1

Informations de Fisher observées en cours de transformation

D'après "In All Lik vraisemblance: modélisation statistique et inférence utilisant la vraisemblance" de Y. Pawitan, la probabilité d'une re-paramétrisation θ↦g(θ)=ψθ↦g(θ)=ψ\theta\mapsto g(\theta)=\psi est définie comme L∗(ψ)=max{θ:g(θ)=ψ}L(θ)L∗(ψ)=max{θ:g(θ)=ψ}L(θ) L^*(\psi)=\max_{\{\theta:g(\theta)=\psi\}} L(\theta) sorte que si ggg est un- à un, puis L∗(ψ)=L(g−1(ψ))L∗(ψ)=L(g−1(ψ))L^*(\psi)=L(g^{-1}(\psi)) (p. 45). J'essaie de montrer l'exercice 2.20 qui déclare que si θθ\theta est …

9 mathematical-statistics inference likelihood fisher-information

1

Estimer le nombre de balles en sélectionnant successivement une balle et en la marquant

Disons que j'ai N balles dans un sac. Lors de mon premier tirage, je marque la balle et la replace dans le sac. Lors de mon deuxième tirage, si je prends une balle marquée, je la remets dans le sac. Cependant, si je prends une balle non marquée, je la …

9 probability estimation population combinatorics capture-mark-recapture

1

Le binôme négatif n'est-il pas exprimable comme dans la famille exponentielle s'il y a 2 inconnues?

J'ai eu un devoir pour exprimer la distribution binomiale négative comme une famille exponentielle de distributions étant donné que le paramètre de dispersion était une constante connue. C'était assez facile, mais je me demandais pourquoi ils exigeraient que nous maintenions ce paramètre fixe. J'ai trouvé que je ne pouvais pas …

9 self-study mathematical-statistics negative-binomial proof exponential-family

1

Tests de permutation: critères pour choisir une statistique de test

J'utilise régulièrement des tests de permutation et j'adore leur simplicité. J'ai beaucoup appris du livre "Resampling methods" de Good, dans lequel l'auteur semble assez créatif dans son choix de statistiques de test à travers les exemples. De plus, cet article donne l'impression qu'il existe une grande liberté de choisir une …

9 hypothesis-testing permutation-test

1

Régression avec un échantillon de très petite taille

Je veux exécuter une régression avec 4 à 5 variables explicatives, mais je n'ai que 15 observations. Ne pouvant supposer que ces variables sont normalement distribuées, existe-t-il une méthode de régression non paramétrique ou toute autre méthode de régression valide?

9 regression small-sample

2

Comment évaluer la qualité de l'ajustement pour les fonctions de survie

Je suis un nouveau venu dans l'analyse de survie, même si j'ai quelques connaissances en classification et régression. Pour la régression, nous avons des statistiques MSE et R au carré. Mais comment pouvons-nous dire que le modèle de survie A est supérieur au modèle de survie B en plus d'une …

9 regression survival goodness-of-fit cart rpart

1

Méthode d'enquête sur les problèmes personnels

Un de mes amis statisticien m'a parlé d'une technique intéressante utilisée pour obtenir des réponses honnêtes à des enquêtes portant sur des questions sensibles. Je me souviens de l'essentiel de la méthode, mais je me demande si quelqu'un connaît les détails et si elle est référencée n'importe où. L'histoire était …

9 categorical-data survey

4

Quelle est l'utilité de Minitab dans le monde réel? [fermé]

Fermé . Cette question est basée sur l'opinion . Il n'accepte pas actuellement les réponses. Vous souhaitez améliorer cette question? Mettez à jour la question afin d'y répondre avec des faits et des citations en modifiant ce message . Fermé il y a 5 ans . Je suis actuellement étudiante …

9 sas minitab

2

Comment prouver que l'hypothèse multiple est correcte?

Dans l'apprentissage automatique, il est souvent supposé qu'un ensemble de données repose sur un collecteur lisse de faible dimension (l'hypothèse du collecteur), mais existe-t-il un moyen de prouver que, en supposant que certaines conditions sont remplies, l'ensemble de données est en effet (approximativement) généré à partir d'un collecteur lisse de …

9 machine-learning dimensionality-reduction manifold-learning

3

Test pour distinguer les données périodiques des données presque périodiques

Supposons que j'ai une fonction inconnue fff avec le domaine , que je connais pour remplir certaines conditions raisonnables comme la continuité. Je connais les valeurs exactes de (car les données proviennent d'une simulation) à certains points d'échantillonnage équidistants t_i = t_0 + iΔt avec i∈ \ {1,…, n \} …

9 time-series hypothesis-testing exact-test

2

Résumer visuellement un désordre de segments de ligne dirigés

J'ai un ensemble de données de millions de segments de ligne dirigée. Les segments de ligne sont séquentiels - c'est une variable climatique (chaleur sensible), avec des valeurs observées et simulées à intervalles d'une demi-heure. J'essaie de rechercher des modèles dans la façon dont la simulation fonctionne. Je regarde un …

9 descriptive-statistics vector-fields data-visualization

4

Calcul de la précision des prévisions

Nous utilisons STL (implémentation R) pour prévoir les données de séries chronologiques. Chaque jour, nous exécutons des prévisions quotidiennes. Nous aimerions comparer les valeurs prévues aux valeurs réelles et identifier l'écart moyen. Par exemple, nous avons effectué des prévisions pour demain et obtenu des points de prévisions, nous aimerions comparer …

9 time-series forecasting accuracy