Questions marquées «apache-spark»

J'ai construit Spark 1.4 à partir du maître de développement GH, et la construction s'est bien déroulée. Mais quand je fais un, bin/pysparkj'obtiens la version Python 2.7.9. Comment puis-je changer cela?

91 python  python-3.x  apache-spark 

Je ne peux pas exécuter un sparktravail simple dans Scala IDE(projet Maven spark) installé surWindows 7 La dépendance du noyau Spark a été ajoutée. val conf = new SparkConf().setAppName("DemoDF").setMaster("local") val sc = new SparkContext(conf) val logData = sc.textFile("File.txt") logData.count() Erreur: 16/02/26 18:29:33 INFO SparkContext: Created broadcast 0 from textFile at …

91 eclipse  scala  apache-spark 

Y a-t-il des dépendances entre Spark et Hadoop ? Sinon, y a-t-il des fonctionnalités qui me manqueront lorsque j'exécuterai Spark sans Hadoop ?

91 hadoop  amazon-s3  apache-spark  mapreduce  mesos 

J'utilise pyspark (Python 2.7.9 / Spark 1.3.1) et j'ai un Dataframe GroupObject dont j'ai besoin pour filtrer et trier dans l'ordre décroissant. Essayer d'y parvenir via ce morceau de code. group_by_dataframe.count().filter("`count` >= 10").sort('count', ascending=False) Mais cela génère l'erreur suivante. sort() got an unexpected keyword argument 'ascending'

88 python  apache-spark  dataframe  pyspark  apache-spark-sql 

J'ai essayé de démarrer spark 1.6.0 (spark-1.6.0-bin-hadoop2.4) sur Mac OS Yosemite 10.10.5 en utilisant "./bin/spark-shell". Il a l'erreur ci-dessous. J'ai également essayé d'installer différentes versions de Spark mais toutes ont la même erreur. C'est la deuxième fois que j'exécute Spark. Ma précédente exécution fonctionne bien. log4j:WARN No appenders could be …

87 apache-spark 

Depuis mon interface utilisateur Spark. Que signifie ignoré?

87 apache-spark  rdd 

J'utilise spark 1.4.0-rc2 pour pouvoir utiliser python 3 avec spark. Si j'ajoute export PYSPARK_PYTHON=python3à mon fichier .bashrc, je peux exécuter spark de manière interactive avec python 3. Cependant, si je veux exécuter un programme autonome en mode local, j'obtiens une erreur: Exception: Python in worker has different version 3.4 than …

87 apache-spark  pyspark 

Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question pour qu'elle se concentre sur un seul problème en modifiant ce post . Fermé il y a 4 jours . Je suis allé à un entretien …

20 apache-spark  apache-kafka  stream-processing 

Utilisation de spark 2.4.4 fonctionnant en mode cluster YARN avec le planificateur spark FIFO. Je soumets plusieurs opérations de trame de données spark (c'est-à-dire l'écriture de données dans S3) à l'aide d'un exécuteur de pool de threads avec un nombre variable de threads. Cela fonctionne très bien si j'ai ~ …

17 apache-spark 

Pour comparer les performances de Spark lors de l'utilisation de Python et Scala, j'ai créé le même travail dans les deux langues et comparé le runtime. Je m'attendais à ce que les deux travaux prennent à peu près la même quantité de temps, mais le travail Python a pris seulement …

16 python  scala  apache-spark  pyspark 

Quel serait le moyen le plus efficace d'insérer des millions d'enregistrements, par exemple 50 millions d'une trame de données Spark dans des tables Postgres. J'ai fait cela de spark à MSSQL dans le passé en utilisant l' option de copie en bloc et de taille de lot qui a également …

16 postgresql  apache-spark  pyspark  apache-spark-sql  bigdata 

J'ai installé OpenJDK 13.0.1 et python 3.8 et spark 2.4.4. Les instructions pour tester l'installation consistent à exécuter. \ Bin \ pyspark à partir de la racine de l'installation spark. Je ne sais pas si j'ai raté une étape de l'installation de spark, comme la définition d'une variable d'environnement, mais …

16 apache-spark  pyspark 

J'ai récemment commencé à obtenir un tas d'erreurs sur un certain nombre de pysparktravaux exécutés sur des clusters EMR. Les erros sont java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at …

12 pandas  apache-spark  pyspark  pyarrow 

J'explore le comportement de Spark en joignant une table à elle-même. J'utilise Databricks. Mon scénario fictif est: Lire une table externe en tant que trame de données A (les fichiers sous-jacents sont au format delta) Définissez la trame de données B comme trame de données A avec seulement certaines colonnes …

10 apache-spark  pyspark  bigdata  azure-databricks  delta-lake 

J'ai affaire à un Pandas DataFrame assez volumineux - mon ensemble de données ressemble à une dfconfiguration suivante : import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 …

9 python  pandas  apache-spark  parallel-processing  dask