Questions marquées «yarn»

Apache Spark: le nombre de cœurs par rapport au nombre d'exécuteurs

J'essaie de comprendre la relation entre le nombre de cœurs et le nombre d'exécuteurs lors de l'exécution d'un travail Spark sur YARN. L'environnement de test est le suivant: Nombre de nœuds de données: 3 Spécifications de la machine du nœud de données: CPU: Core i7-4790 (nombre de cœurs: 4, nombre …

195 hadoop apache-spark yarn

Application en cours d'exécution Spark Kill

J'ai une application Spark en cours d'exécution où elle occupe tous les cœurs où mes autres applications ne recevront aucune ressource. J'ai fait quelques recherches rapides et les gens ont suggéré d'utiliser YARN kill ou / bin / spark-class pour tuer la commande. Cependant, j'utilise la version CDH et / …

101 apache-spark yarn pyspark

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.

Licensed under cc by-sa 3.0 with attribution required.