Questions marquées «bigdata»

Écriture de plus de 50 millions de Pyspark df vers PostgresSQL, meilleure approche efficace

Quel serait le moyen le plus efficace d'insérer des millions d'enregistrements, par exemple 50 millions d'une trame de données Spark dans des tables Postgres. J'ai fait cela de spark à MSSQL dans le passé en utilisant l' option de copie en bloc et de taille de lot qui a également …

16 postgresql apache-spark pyspark apache-spark-sql bigdata

Utiliser R pour résoudre le jeu Lucky 26

J'essaie de montrer à mon fils comment le codage peut être utilisé pour résoudre un problème posé par un jeu et voir comment R gère les mégadonnées. Le jeu en question s'appelle "Lucky 26". Dans ce jeu, les numéros (1-12 sans doublons) sont positionnés sur 12 points sur une étoile …

15 r bigdata permutation

Apache Spark: impact du repartitionnement, du tri et de la mise en cache sur une jointure

J'explore le comportement de Spark en joignant une table à elle-même. J'utilise Databricks. Mon scénario fictif est: Lire une table externe en tant que trame de données A (les fichiers sous-jacents sont au format delta) Définissez la trame de données B comme trame de données A avec seulement certaines colonnes …

10 apache-spark pyspark bigdata azure-databricks delta-lake

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.

Licensed under cc by-sa 3.0 with attribution required.