Question d'entrevue de Data Scientist: Régression linéaire faible et que feriez-vous

J'ai fait face à une question d'entrevue pour un emploi où l'intervieweur m'a demandé de supposer que votre est très faible (entre 5 et 10%) pour un modèle d'élasticité-prix. Comment résoudriez-vous cette question?$R^2$

Je ne pouvais penser à rien d'autre que le fait que je ferai des diagnostics de régression pour voir ce qui s'est mal passé ou si une méthode non linéaire devrait être appliquée. D'une certaine manière, je pense que l'intervieweur n'était pas satisfait de ma réponse. Y a-t-il autre chose qui est fait dans un tel scénario pour adapter un modèle et l'utiliser pour la prédiction du niveau de production malgré un faible ?$R^2$

Edit : À un stade ultérieur, ils m'ont donné les données pour modéliser le problème lors de l'entretien et j'ai essayé d'ajouter des variables décalées, l'impact du prix des concurrents, des variables factices pour voir si cela faisait une différence. est passé à 17,6 pour cent et ses performances sur l'échantillon à retenir étaient médiocres. Personnellement, je pense qu'il est contraire à l'éthique de mettre un tel modèle de prédiction dans un environnement réel car cela donnera des résultats erronés et entraînera la perte de clients (imaginez utiliser la recommandation de prix d'un tel modèle sur les revenus de votre entreprise!). Y a-t-il autre chose qui est fait dans de tels scénarios qui est trop évident que tout le monde doit savoir? Quelque chose que je ne connais pas, que je serais tenté de dire «une balle d'argent»?$R^2$

Aussi, imaginons qu'après l'ajout de la variable exogène s'améliore encore de 2%, que peut-on faire dans ce scénario? Faut-il abandonner le projet de modélisation ou il y a encore un peu d'espoir de développer un modèle de qualité de production qui soit indiqué par les performances sur l'échantillon retenu?$R^2$

Edit2 : J'ai posté cette question sur le forum economics.stackexchange.com pour comprendre ce problème du point de vue de l'économie

Et si nous regardions le problème sous cet angle. L'élasticité-prix est la relation entre la demande et le prix d'un produit.

Lorsque le r-carré dans cette situation est faible, nous pourrions alors impliquer que la relation entre le prix et la demande pour ce produit particulier n'est pas forte.

D'un point de vue tarifaire, cela pourrait signifier que vous avez trouvé un produit pour lequel vous pouvez fixer un prix arbitrairement sans impact important sur la demande OU que la demande est assez erratique malgré des prix différenciés.

Si vous regardez les produits Veblen , ce sont des exemples où l'élasticité est inverse. À mesure que les prix augmentent, la demande augmente.

Si par contre le r-carré est faible, cela pourrait simplement signifier une catégorie de produit dont le prix est relativement peu important en matière de demande. Du haut de ma tête, un médicament contre le cancer pourrait être quelque chose qui pourrait adhérer à cette propriété. Lorsque l'importance du médicament l'emporte sur le prix qu'il commande et ne peut montrer aucun changement dans la demande.

Et en conclusion, je suppose que l'intention de l'intervieweur aurait pu être de juger si vous saviez ce que signifiait l'implication d'un carré bas au lieu de trouver comment construire un meilleur modèle avec un carré plus élevé.

Je ne suis pas sûr de ce que l'intervieweur recherchait, mais face à un modèle peu performant, ce sont les choses que je considère et une réponse que j'aimerais entendre en tant qu'enquêteur (interviewant depuis quelques années maintenant).

1. Obtenir plus de données : cela peut ne pas toujours aider, mais il y a peu de choses qui peuvent vous aider à évaluer les effets de cette solution:

   • Exécutez le modèle avec différentes tailles d'échantillon - si les résultats s'améliorent avec plus de données, il est raisonnable de supposer que l'obtention de plus de données continuera d'améliorer les performances du modèle.
   • Rapport fonctionnalités / échantillon - après avoir sélectionné les fonctionnalités, essayez de comprendre si vous avez suffisamment d'échantillons pour chaque valeur de fonctionnalité. Voir une question répondue à ce sujet .
   • Valeurs cibles manquantes - l'élasticité peut ne pas se comporter de manière similaire entre différentes fourchettes de prix. Dans une situation où vous échantillonnez les données est biaisée vers une plage spécifique, il y a de fortes chances que vous ne puissiez pas généraliser (par exemple, 90% des échantillons sont pour des prix entre 0-10 et les 10% restants sont pour des prix entre 1000-10000). Il existe d'autres moyens de résoudre ce problème que d'obtenir plus de données (divisez la formation du modèle, n'utilisez pas de régression).

2. Meilleure ingénierie des fonctionnalités : si vous avez suffisamment de données et que vous connaissez le deep-learning, alors celui-ci n'est peut-être pas pertinent. Si vous ne répondez pas aux critères mentionnés, concentrez vos efforts sur celui-ci. Dans les modèles de comportement des utilisateurs, il existe de nombreuses relations que notre intuition humaine est mieux comprise qu'un modèle formé par machine.
   Comme dans votre cas, où vous avez conçu tellement de fonctionnalités et amélioré les performances du modèle. Cette étape est sujette à des erreurs car elle implique généralement du code basé sur la logique (If Elses / Formules mathématiques).

3. Meilleure sélection de modèle : comme vous l'avez suggéré, un modèle non linéaire fonctionnera peut-être mieux. Vos données sont-elles homogènes? Avez-vous des raisons de croire que les caractéristiques croisées expliqueront mieux l'élasticité-prix? (saisonnalité * prix concurrent).

4. Réglage des hyperparamètres : les hyperparamètres du modèle de recherche de grille (+ résultats de validation croisée) sont une bonne pratique, mais d'après mon expérience, cela améliore rarement considérablement les performances (sûrement pas de 5% à 90%).

Il y a plus de choses qui peuvent être faites, mais ces points sont assez génériques.

En plus de ce que suggèrent @DaFanat et @Arun, je voudrais ajouter qu'une inspection visuelle pourrait aider.

Par exemple, il peut arriver que certaines valeurs aberrantes aient un impact sur votre . Ayant travaillé sur des problèmes de gestion des revenus, j'ai dû constamment rechercher des points influents . Très souvent, les valeurs aberrantes étaient associées à des événements ponctuels spécifiques tels que des campagnes promotionnelles, des remises, etc.$R^2$