Questions marquées «pandas»

J'ai une énorme trame de données avec de nombreuses colonnes, dont beaucoup sont de type datetime.datetime. Le problème est que beaucoup ont également des types mixtes, y compris par exemple des datetime.datetimevaleurs et des Nonevaleurs (et potentiellement d'autres valeurs invalides): 0 2017-07-06 00:00:00 1 2018-02-27 21:30:05 2 2017-04-12 00:00:00 3 …

14 python  pandas 

Je suis tellement confus avec différentes méthodes d'indexation utilisées ilocdans les pandas. Disons que j'essaie de convertir un Dataframe 1-d en un Dataframe 2-d. J'ai d'abord le Dataframe 1-d suivant a_array = [1,2,3,4,5,6,7,8] a_df = pd.DataFrame(a_array).T Et je vais convertir cela en un Dataframe 2D avec la taille de 2x4. …

13 python  pandas  dataframe 

J'ai créé un dictionnaire de données pandas: d[k] = pd.DataFrame(data=data[i]) Je suppose donc que d[k]c'est une trame de données pandas correcte. alors for k in d.keys(): d[k].to_excel (file_name) Ensuite, j'ai l'erreur: TypeError: got invalid input value of type <class 'xml.etree.ElementTree.Element'>, expected string or Element J'utilise Python 3.7, pandas 0.25.3. Mise …

13 python  pandas  export-to-excel 

J'ai un DataFrame pandas de la forme: id start_time sequence_no value 0 71 2018-10-17 20:12:43+00:00 114428 3 1 71 2018-10-17 20:12:43+00:00 114429 3 2 71 2018-10-17 20:12:43+00:00 114431 79 3 71 2019-11-06 00:51:14+00:00 216009 100 4 71 2019-11-06 00:51:14+00:00 216011 150 5 71 2019-11-06 00:51:14+00:00 216013 180 6 92 2019-12-01 …

13 python  pandas  numpy  dataframe 

Énoncé du problème Je recherche un moyen efficace de générer des produits cartésiens binaires complets (tableaux avec toutes les combinaisons de Vrai et Faux avec un certain nombre de colonnes), filtrés par certaines conditions exclusives. Par exemple, pour trois colonnes / bits, n=3nous aurions le tableau complet df_combs = pd.DataFrame(itertools.product(*([[True, …

12 python  pandas  dataframe 

J'ai récemment commencé à obtenir un tas d'erreurs sur un certain nombre de pysparktravaux exécutés sur des clusters EMR. Les erros sont java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58) at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132) at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181) at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized(ArrowReader.java:172) at org.apache.arrow.vector.ipc.ArrowReader.getVectorSchemaRoot(ArrowReader.java:65) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:162) at org.apache.spark.sql.execution.python.ArrowPythonRunner$$anon$1.read(ArrowPythonRunner.scala:122) at org.apache.spark.api.python.BasePythonRunner$ReaderIterator.hasNext(PythonRunner.scala:406) at org.apache.spark.InterruptibleIterator.hasNext(InterruptibleIterator.scala:37) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec$$anon$2.<init>(ArrowEvalPythonExec.scala:98) at org.apache.spark.sql.execution.python.ArrowEvalPythonExec.evaluate(ArrowEvalPythonExec.scala:96) at …

12 pandas  apache-spark  pyspark  pyarrow 

Disons que j'ai le dataframe suivant (une colonne d'entiers et une colonne avec une liste d'entiers) ... ID Found_IDs 0 12345 [15443, 15533, 3433] 1 15533 [2234, 16608, 12002, 7654] 2 6789 [43322, 876544, 36789] Et aussi une liste séparée d'ID ... bad_ids = [15533, 876544, 36789, 11111] Compte tenu …

11 python  python-3.x  pandas  dataframe 

j'ai un dataframe avec chaque ligne ayant une valeur de liste. id list_of_value 0 ['a','b','c'] 1 ['d','b','c'] 2 ['a','b','c'] 3 ['a','b','c'] je dois faire un calcul d'un score avec une ligne et contre toutes les autres lignes Par exemple: Step 1: Take value of id 0: ['a','b','c'], Step 2: find …

11 python  pandas  numpy 

J'ai une trame de données comme celle-ci: ORDER_NO 2401 2504 2600 2020020 2019-12-04 2019-12-10 2019-12-12 2020024 2019-12-25 NaN 2019-12-20 2020034 NaN NaN 2019-12-20 2020020 2019-12-12 2019-12-15 2019-12-18 Je crée du XML à partir de la trame de données ci-dessus. Je veux supprimer la valeur nulle remplie dans le XML. Mon …

11 python-3.x  pandas  loops  dataframe  itertools 

J'ai un tel DataFrame: df = pd.DataFrame(data={ 'col0': [11, 22,1, 5] 'col1': ['aa:a:aaa', 'a:a', 'a', 'a:aa:a:aaa'], 'col2': ["foo", "foo", "foobar", "bar"], 'col3': [True, False, True, False], 'col4': ['elo', 'foo', 'bar', 'dupa']}) Je veux obtenir la longueur de la liste après la division sur ":" dans col1, puis je veux écraser …

11 python  pandas  apply 

J'essaie de diviser une colonne à l'aide d'expressions régulières, mais je n'arrive pas à obtenir le fractionnement correctement. J'essaie de prendre tous les CAPS de fin et de les déplacer dans une colonne distincte. Je reçois donc tous les CAPS qui sont soit 2-4 CAPS d'affilée. Cependant, il ne quitte …

11 python  regex  pandas 

J'ai un fichier txt avec des données dans ce format. Les 3 premières lignes se répètent encore et encore. name=1 grade=A class=B name=2 grade=D class=A Je voudrais sortir les données sous forme de tableau, par exemple: name | grade | class 1 | A | B 2 | D | …

11 python  pandas  dataframe 

J'ai une base de données pandas en tant que telle: parent child parent_level child_level A B 0 1 B C 1 2 B D 1 2 X Y 0 2 X D 0 2 Y Z 2 3 Cela représente un arbre qui ressemble à ceci A X / / …

11 python  pandas 

Je travaille avec un DataFrame ayant la structure suivante: import pandas as pd df = pd.DataFrame({'group':[1,1,1,2,2,2,2,3,3,3], 'brand':['A','B','X','C','D','X','X','E','F','X']}) print(df) group brand 0 1 A 1 1 B 2 1 X 3 2 C 4 2 D 5 2 X 6 2 X 7 3 E 8 3 F 9 3 X …

10 python  pandas  dataframe 

J'ai des données de série temporelle. Génération de données date_rng = pd.date_range('2019-01-01', freq='s', periods=400) df = pd.DataFrame(np.random.lognormal(.005, .5,size=(len(date_rng), 3)), columns=['data1', 'data2', 'data3'], index= date_rng) s = df['data1'] Je veux créer une ligne en zig-zag reliant entre les maxima locaux et les minima locaux, qui satisfait la condition selon laquelle sur …

10 python  pandas  time-series  technical-indicator