Questions marquées «airflow-scheduler»

1
Le planificateur de flux d'air ne démarre pas avec l'exécuteur Kubernetes
J'utilise en utilisant https://github.com/helm/charts/tree/master/stable/airflow helm chart et en construisant une puckle/docker-airflowimage v1.10.8 avec kubernetes installé dessus et en utilisant cette image dans le graphique helm, mais je continue à obtenir File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb …

1
Comment déclencher une tâche Airflow uniquement lorsque de nouvelles partitions / données sont disponibles dans la table AWS athena en utilisant DAG en python?
J'ai un scénario comme ci-dessous: Déclenchez a Task 1et Task 2uniquement lorsque de nouvelles données sont disponibles pour eux dans la table source (Athena). Le déclenchement de Task1 et Task2 devrait se produire lors d'une nouvelle partition de données dans une journée. Déclencher Task 3uniquement à la fin Task 1etTask …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.