La programmation scala

14

Scala: écrire une chaîne dans un fichier en une seule instruction

Pour lire des fichiers dans Scala, il existe Source.fromFile("file.txt").mkString Existe-t-il un moyen équivalent et concis d'écrire une chaîne dans un fichier? La plupart des langues prennent en charge quelque chose comme ça. Mon préféré est Groovy: def f = new File("file.txt") // Read def s = f.text // Write f.text …

144 scala scala-2.9

5

Quelle est la différence entre == et .equals dans Scala?

Quelle est la différence entre ==et .equals()dans Scala, et quand utiliser lequel? L'implémentation est-elle la même qu'en Java? EDIT: La question connexe parle de cas spécifiques de AnyVal. Le cas le plus général est Any.

144 scala equality scala-java-interop

15

Comment désactiver la journalisation INFO dans Spark?

J'ai installé Spark à l'aide du guide AWS EC2 et je peux lancer le programme correctement en utilisant le bin/pysparkscript pour accéder à l'invite Spark et je peux également effectuer le démarrage rapide avec succès. Cependant, je ne peux pas pour la vie de moi comprendre comment arrêter toute la …

144 python scala apache-spark hadoop pyspark

8

Comment sélectionner la première ligne de chaque groupe?

J'ai un DataFrame généré comme suit: df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) Les résultats ressemblent à: +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| …

143 sql scala apache-spark dataframe apache-spark-sql

3

Différence entre Array et List dans scala

Dans quels cas je devrais utiliser Array (Buffer) et List (Buffer). La seule différence que je connais est que les tableaux ne sont pas variables et que les listes sont covariantes. Mais qu'en est-il des performances et de certaines autres caractéristiques?

142 arrays list scala scala-collections

14

Spark - charger le fichier CSV en tant que DataFrame?

Je voudrais lire un CSV dans Spark et le convertir en DataFrame et le stocker en HDFS avec df.registerTempTable("table_name") J'ai essayé: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erreur que j'ai obtenue: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, …

142 scala apache-spark hadoop apache-spark-sql hdfs

11

Comment convertir un objet rdd en dataframe dans Spark

Comment puis-je convertir un RDD ( org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]) en Dataframe org.apache.spark.sql.DataFrame. J'ai converti un dataframe en rdd en utilisant .rdd. Après l'avoir traité, je veux le remettre dans le dataframe. Comment puis-je faire ceci ?

139 scala apache-spark apache-spark-sql rdd

1

L'indentation de classe de cas d'IntelliJ Scala Plugin est absurde

Lorsqu'une classe de cas a de nombreux champs et que leurs noms sont longs, il est souvent judicieux d'écrire chaque champ dans chaque ligne comme: case class Person ( name: String, age: Int ) Cela ressemble à la structdéfinition C / C ++ et est totalement lisible même lorsque la …

138 scala intellij-idea indentation case-class

2

Avantages et inconvénients de l'utilisation de sbt vs maven dans le projet Scala [fermé]

Dans l'état actuel des choses, cette question ne convient pas à notre format de questions-réponses. Nous nous attendons à ce que les réponses soient étayées par des faits, des références ou une expertise, mais cette question suscitera probablement un débat, des arguments, un sondage ou une discussion approfondie. Si vous …

138 scala maven sbt

5

Comment accéder aux ressources de test dans Scala?

J'ai un fichier data.xmldans src/test/resources/. Comment puis-je lire ce fichier dans un nouveau FileReaderdans mon test data.scalaensrc/test/scala/ ?

137 scala sbt

9

Quelle est la meilleure façon de trier inverse dans scala?

Quelle est la meilleure façon de faire un tri inverse dans scala? J'imagine que ce qui suit est un peu lent. list.sortBy(_.size).reverse Existe-t-il un moyen pratique d'utiliser sortBy mais d'obtenir un tri inversé? Je préfère ne pas utiliser sortWith.

137 scala

6

Comment trier par colonne dans l'ordre décroissant dans Spark SQL?

J'ai essayé df.orderBy("col1").show(10)mais il a trié par ordre croissant. df.sort("col1").show(10)trie également par ordre décroissant. J'ai regardé stackoverflow et les réponses que j'ai trouvées étaient toutes obsolètes ou renvoyées à des RDD . J'aimerais utiliser le dataframe natif dans spark.

137 scala apache-spark apache-spark-sql

1

Flux vs vues vs itérateurs

Quelles sont les différences entre les flux, les vues (SeqView) et les itérateurs dans scala? Voici ma compréhension: Ce sont toutes des listes paresseuses. Les flux mettent en cache les valeurs. Les itérateurs ne peuvent être utilisés qu'une seule fois? Vous ne pouvez pas revenir au début et évaluer à …

136 scala scala-collections

5

Comment quitter scala 2.11.0 REPL?

Dans la dernière version de scala (2.10.3) REPL, je peux taper exitpour quitter REPL. Cependant, dans Scala 2.11.0 cela ne fonctionne pas. $ scala Welcome to Scala version 2.11.0 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51). Type in expressions to have them evaluated. Type :help for more information. scala> exit …

136 scala scala-2.11

5

Surcharge du constructeur Scala?

Comment fournir des constructeurs surchargés dans Scala?

135 scala

Questions marquées «scala»