Apache Airflow Εξηγείται: Ένας Φιλικός προς τους Αρχάριους Οδηγός

Εισαγωγή

Οι σύγχρονες εταιρείες που βασίζονται σε δεδομένα εξαρτώνται όλες από ροές δεδομένων που ανακτούν, μετασχηματίζουν, εμπλουτίζουν και μεταφέρουν πληροφορίες από μια τοποθεσία σε άλλη. Αυτές οι ροές δεδομένων μπορεί να περιλαμβάνουν πολλά βήματα (εξαγωγή των ακατέργαστων δεδομένων, καθαρισμός τους, εκπαίδευση μοντέλων μηχανικής μάθησης, δημιουργία dashboards κ.λπ.). Επιπλέον, πρέπει να εκτελούνται με πολύ συγκεκριμένη σειρά. Τα εργαλεία ορχήστρωσης ροής εργασίας, όπως το Apache Airflow, βοηθούν να διασφαλιστεί ότι όλα αυτά τα βήματα εκτελούνται τη σωστή στιγμή και με τη σωστή σειρά. Επίσης, καθιστούν τις ροές δεδομένων εύκολες στη παρακολούθηση και στη διαχείριση.

Το Airflow δημιουργήθηκε στο Airbnb το 2014 και έχει γίνει μία από τις πιο δημοφιλείς πλατφόρμες ανοιχτού κώδικα για τον συντονισμό ροών εργασίας. Χρησιμοποιείται από χιλιάδες οργανισμούς για την αυτοματοποίηση και παρακολούθηση παρτίδων δεδομένων. Σε αυτό το άρθρο, εξηγούμε το Apache Airflow από τα βασικά. Τα θέματα που θα καλύψουμε περιλαμβάνουν:

• Τι είναι το Airflow, τι κάνει και γιατί το χρησιμοποιούν οι ομάδες δεδομένων.
• Οι βασικές έννοιες και τα στοιχεία του Airflow, και πώς συνδέονται μεταξύ τους.
• Πώς ορίζονται οι ροές εργασίας ως Κατευθυνόμενα Ακυκλικά Διαγράμματα (DAGs) και μια παρουσίαση μιας απλής DAG σε δράση.
• Συνηθισμένα σενάρια χρήσης όπως ETL/ELT, MLOps και άλλα.

Ελπίζουμε ότι αυτό θα είναι μια πρακτική, βασισμένη σε παραδείγματα εισαγωγή στο Apache Airflow για μηχανικούς, φοιτητές και ομάδες που ξεκινούν με την ορχήστρωση ροών εργασίας.

Κύρια Συμπεράσματα

• Το Apache Airflow είναι μια πλατφόρμα ορχήστρωσης εργασιών βασισμένη σε Python που διαχειρίζεται, προγραμματίζει και παρακολουθεί πολύπλοκες ροές δεδομένων χρησιμοποιώντας DAGs (Κατευθυνόμενα Ακυκλικά Γραφήματα).
• Τα DAG καθορίζουν εργασίες και τις εξαρτήσεις τους, επιτρέποντας στο Airflow να εκτελεί κάθε βήμα με τη σωστή σειρά με ενσωματωμένες επαναλήψεις, καταγραφή και παρατηρησιμότητα.
• Η αρχιτεκτονική του Airflow (Scheduler, Executor, Worker, Metadata DB, Web UI) επιτρέπει την κλιμακούμενη, κατανεμημένη εκτέλεση και την παρακολούθηση σε πραγματικό χρόνο των pipelines.
• Το Airflow ξεχωρίζει σε ροές εργασιών παρτίδας όπως εργασίες ETL/ELT, pipelines εκπαίδευσης ML, ελέγχους ποιότητας δεδομένων και προγραμματισμένες αναλύσεις — αλλά δεν είναι ιδανικό για εργασίες σε πραγματικό χρόνο ή πολύ υψηλής συχνότητας.
• Εναλλακτικές όπως οι Prefect, Dagster, Luigi, Argo Workflows και Mage AI μπορεί να είναι πιο κατάλληλες ανάλογα με τις ανάγκες, όπως οι ροές εργασίας με βάση γεγονότα, η εκτέλεση με εγγενή υποστήριξη Kubernetes ή οι σύγχρονες διεπαφές φιλικές προς τον προγραμματιστή.

Τι Είναι το Apache Airflow;

Το Apache Airflow είναι ένα ανοιχτού κώδικα σύστημα για τη δημιουργία, τον προγραμματισμό και την παρακολούθηση ροών εργασιών. Μια ροή εργασιών στο Airflow είναι ένα DAG (κατευθυνόμενο ακυκλικό γράφημα), το οποίο αποτελείται από μια σειρά εργασιών με σαφώς καθορισμένες σχέσεις (εξαρτήσεις) και χωρίς κύκλους (μια εργασία δεν μπορεί να επαναληφθεί σε προηγούμενο στάδιο). Η βασική φιλοσοφία του Airflow είναι «διαμόρφωση ως κώδικας», οπότε αντί να χρησιμοποιείτε ένα περιβάλλον εργασίας με διεπαφή drag-and-drop, δημιουργείτε σενάρια Python για να αντιπροσωπεύσουν τις ροές εργασιών. Αυτή η προσέγγιση παρέχει σημαντική ευελιξία στους μηχανικούς: μπορείτε να συνδεθείτε σχεδόν με οποιαδήποτε τεχνολογία μέσω των operators και των βιβλιοθηκών Python του Airflow. Επιπλέον, μπορείτε να εφαρμόσετε τις βέλτιστες πρακτικές μηχανικής λογισμικού (έλεγχος εκδόσεων, δοκιμές, κ.λπ.) στους ορισμούς των pipelines σας.

Γιατί έχει σημασία η ορχήστρωση ροής εργασιών;

Το βασικό σημείο είναι ότι συχνά έχετε πολλαπλά βήματα σε οποιαδήποτε ροή εργασιών δεδομένων που πρέπει να εκτελούνται με σειρά. Ένα απλό παράδειγμα είναι η ροή ETL (Εξαγωγή/Μετασχηματισμός/Φόρτωση). Οι ροές εργασιών μπορούν γρήγορα να γίνουν πιο περίπλοκες καθώς προσθέτετε περισσότερες εργασίες, εξαρτήσεις, διακλαδώσεις κ.λπ., και επίσης χρειάζεται να εκτελούνται σε τακτά χρονικά διαστήματα. Η χειροκίνητη παρέμβαση ή τα απλά εργαλεία προγραμματισμού συχνά καθίστανται ανεπαρκή σε αυτές τις περιπτώσεις. Το Airflow επιλύει αυτό το πρόβλημα λειτουργώντας ως κεντρικός συντονιστής. Διαθέτει έναν κατευθυνόμενο και ακεκλυμένο γράφο (DAG) εργασιών (κόμβοι) με εξαρτήσεις (άκρα). Γνωρίζει πότε να εκτελεί ποια εργασία (περιμένοντας να ολοκληρωθούν οι ανάντη εξαρτήσεις πριν τη λειτουργία), συμπεριλαμβανομένου του προγραμματισμού (εκτέλεση σε περιοδικά διαστήματα), της διαχείρισης σφαλμάτων (αυτόματες επαναλήψεις, ειδοποιήσεις) και της καταγραφής.

Αν θεωρήσουμε όλη τη διαδικασία των δεδομένων σαν μια συνταγή, τότε κάθε επιμέρους εργασία είναι ένα υποβήμα (κοπή, βράσιμο, σερβίρισμα, κλπ.). Το Airflow είναι σαν ο μάγειρας της κουζίνας που γνωρίζει τις συνταγές και παρακολουθεί όλα τα διαφορετικά υποβήματα που συμβαίνουν σε κάθε κουζίνα, διασφαλίζοντας ότι όλα συμβαίνουν με τη σωστή σειρά και τη σωστή στιγμή.

Χωρίς ορχήστρωση της ροής εργασιών, μπορεί να έχετε όλους τους μάγειρες και τα υλικά, αλλά δεν είναι συντονισμένοι. Το Airflow παρέχει αυτόν τον συντονισμό, επιτρέποντας την παραγωγή του επιθυμητού «πιάτου» (εκτέλεση ροής εργασιών).

Γιατί οι ομάδες δεδομένων χρησιμοποιούν το Airflow;

Το Airflow έχει γίνει δημοφιλές μεταξύ των μηχανικών δεδομένων, των μηχανικών μηχανικής μάθησης και των ομάδων DevOps επειδή καλύπτει πολλές ανάγκες πολύπλοκων ροών δεδομένων. Ακολουθούν μερικοί σημαντικοί λόγοι για τους οποίους οι ομάδες επιλέγουν το Airflow:

• Οργάνωση Σύνθετων Ροών Εργασίας & Εξαρτήσεων: Το Airflow σχεδιάστηκε για ροές εργασίας με μεγάλο αριθμό αλληλεξαρτώμενων βημάτων. Το Airflow καθιστά εύκολο να δηλωθούν οι απαιτήσεις για upstream και downstream, εξασφαλίζοντας ότι οι εργασίες εκτελούνται με τη σωστή σειρά. Εάν η εργασία C εξαρτάται από τις εργασίες A και B, ο προγραμματιστής του Airflow γνωρίζει αυτές τις σχέσεις και θα διασφαλίσει ότι οι A και B θα εκτελεστούν (ενδεχομένως παράλληλα) πριν εκτελεστεί η C. Το Airflow μπορεί να διαχειριστεί σύνθετες εξαρτήσεις, λογική διακλάδωσης κ.λπ.
• Κεντρικός Προγραμματισμός (Cron σε Υπερβολικό Βαθμό): Παρέχει έναν προγραμματιστή που σας επιτρέπει να εκτελείτε εργασίες σε ένα συγκεκριμένο χρονοδιάγραμμα. Μπορείτε να ορίσετε δεκάδες ή εκατοντάδες pipelines που ενεργοποιούν εργασίες σε διαφορετικές χρονικές στιγμές (ανά ώρα, ημερησίως, μηνιαίως) χρησιμοποιώντας τον προγραμματιστή του Airflow. Το Airflow κατανοεί τις σχέσεις μεταξύ των εργασιών. Μπορεί να προγραμματίζει και να ενεργοποιεί έξυπνα τις εργασίες για εκτέλεση. Ο κεντρικός προγραμματιστής σας απαλλάσσει από την ανάγκη να γράφετε διαφορετικά σενάρια σε διαφορετικούς διακομιστές.

• Κλιμακωσιμότητα και Κατανεμημένη Εκτέλεση: Το Airflow μπορεί επίσης να κλιμακωθεί με τις ροές εργασίας σας. Μπορεί να ρυθμιστεί ώστε να εκτελεί εργασίες παράλληλα σε πολλαπλές διαδικασίες ή μηχανές εργασίας. Παρέχει επίσης πολλαπλούς εκτελεστές (που θα συζητηθούν αργότερα σε αυτό το άρθρο) οι οποίοι μπορούν να εκτελούν εργασίες σε κατανεμημένα συστήματα όπως το Celery ή το Kubernetes σε έναν συστάδα κόμβων. Αυτό σημαίνει ότι μπορείτε να παραλληλοποιήσετε βαριές εργασίες (επεξεργασία μεγάλων δεδομένων) και να έχετε πολλαπλές ροές εργασίας να τρέχουν ταυτόχρονα.
• Παρακολούθηση, Καταγραφή και Ειδοποιήσεις: Διαθέτει μια πλούσια διαδικτυακή διεπαφή χρήστη που παρέχει ορατότητα σε πραγματικό χρόνο στις ροές εργασίας σας. Μπορείτε να δείτε ποιες εργασίες έχουν ολοκληρωθεί με επιτυχία και ποιες έχουν αποτύχει, καθώς και να δείτε την έξοδο καταγραφής για κάθε εργασία. Μπορείτε ακόμη να ενεργοποιήσετε χειροκίνητα ή να επαναλάβετε εργασίες μέσω της διαδικτυακής διεπαφής.

Βασικά Στοιχεία του Airflow

Παρακάτω είναι μια σύντομη επισκόπηση των βασικών δομικών στοιχείων του Apache Airflow. Χρησιμοποιήστε αυτόν τον πίνακα ως γρήγορη αναφορά για να κατανοήσετε τι είναι το κάθε στοιχείο και τι κάνει.

Πώς Λειτουργεί το Airflow (Αρχιτεκτονική)

Ακολουθεί μια βήμα προς βήμα επισκόπηση του πώς το Airflow επεξεργάζεται μια ροή εργασίας (DAG):

• Δημιουργία του DAG: Ο δημιουργός του DAG γράφει ένα σενάριο Python που ορίζει ένα DAG. Αυτό το σενάριο περιλαμβάνει στοιχεία όπως το πρόγραμμα εκτέλεσης (π.χ., «εκτέλεση καθημερινά στις 9 π.μ.») ή ρυθμίσεις χειροκίνητης εκκίνησης. Περιέχει επίσης τους ορισμούς των εργασιών (μέσω operators ή συναρτήσεων @task), καθώς και τις εξαρτήσεις των εργασιών (π.χ., task1 >> task2 (το task2 περιμένει να ολοκληρωθεί το task1)). Το αρχείο Python αποθηκεύεται στο φάκελο DAGs του Airflow για να βρεθεί από το Airflow. Το Airflow θα διαβάζει (αναλύει) αυτό το αρχείο περιοδικά για να φορτώσει τον ορισμό του DAG.
• Προγραμματισμός και Ανάλυση DAG: Ο Προγραμματιστής του Airflow είναι μια διαδικασία που εκτελείται συνεχώς στο παρασκήνιο. Ελέγχει αν κάθε DAG θα πρέπει να εκτελεστεί βάσει του προγράμματος ή των ενεργοποιήσεών του. Για παράδειγμα, ένα DAG με πρόγραμμα “ημερήσιο” μπορεί να αναγνωριστεί από τον προγραμματιστή, και να παρατηρηθεί ότι πρέπει να προγραμματιστεί μια νέα εκτέλεση τα μεσάνυχτα. Ο Προγραμματιστής του Airflow ελέγχει επίσης αν οι εργασίες μέσα στα DAG είναι έτοιμες για εκτέλεση – που σημαίνει ότι όλες οι εξαρτήσεις τους έχουν ολοκληρωθεί και η προγραμματισμένη τους ώρα (λογική ημερομηνία) έχει φτάσει.
• Εκτέλεση Εργασιών: Κάθε εργασία που πρέπει να εκτελεστεί παραδίδεται στον Εκτελεστή από τον Προγραμματιστή. Ο Εκτελεστής αποφασίζει πού και πώς θα εκτελεστεί η εργασία. Μπορεί να εκτελεστεί τοπικά ή να σταλεί σε μία ουρά εργασίας. Σε μια κατανεμημένη αρχιτεκτονική, η εργασία θα προστεθεί σε μια ουρά και στη συνέχεια θα επιλεγεί από διαδικασίες Εργατών που εκτελούν τις εργασίες.
• Ενημέρωση Κατάστασης & Διαχείριση Σφαλμάτων: Κάθε εκτέλεση εργασίας αναφέρει την κατάστασή της (επιτυχία, αποτυχία, κ.λπ.) στον προγραμματιστή καθώς ολοκληρώνεται, και ο προγραμματιστής ενημερώνει τη βάση δεδομένων μεταδεδομένων με την κατάσταση της εργασίας.
  Η παρακολούθηση κατάστασης είναι που επιτρέπει στον προγραμματιστή να γνωρίζει τι πρέπει να κάνει στη συνέχεια – για παράδειγμα, αν η Εργασία Α έχει ολοκληρωθεί με επιτυχία, γνωρίζει ότι μπορεί τώρα να προγραμματίσει την Εργασία Β, ή αν η Εργασία Α απέτυχε αλλά υπάρχουν διαθέσιμες προσπάθειες επανάληψης, προγραμματίζει μια επανάληψη, ή αν απέτυχε χωρίς διαθέσιμες επαναλήψεις, σημειώνει την εκτέλεση του DAG ως αποτυχημένη. Αν μια εργασία αποτύχει, το Airflow διαθέτει λογική για αυτόματη επανάληψη της εργασίας αν έχει ρυθμιστεί για επαναλήψεις. Αν συνεχίσει να αποτυγχάνει μετά τις επαναλήψεις, το Airflow μπορεί να ειδοποιήσει για τις αποτυχίες (να στείλει email ή μήνυμα στο Slack, κ.λπ.). Όλα αυτά μπορούν να ρυθμιστούν ως μέρος των παραμέτρων του DAG ή της εργασίας (για παράδειγμα, αριθμός επαναλήψεων, καθυστέρηση επαναλήψεων, email για αποστολή ειδοποίησης).
• Παρακολούθηση και Παρέμβαση: Το Airflow Web UI παρέχει μια ζωντανή διεπαφή της παραπάνω διαδικασίας. Μπορείτε να δείτε μια εκτέλεση DAG να εμφανίζεται (για παράδειγμα, μια νέα γραμμή στην προβολή δέντρου για μια εκτέλεση της σημερινής ημέρας) και να παρακολουθείτε την αλλαγή των καταστάσεων των εργασιών καθώς προχωρούν. Η προβολή Γραφήματος απεικονίζει τις εργασίες του DAG και δείχνει ποιες έχουν ολοκληρωθεί ή έχουν παρουσιαστεί σφάλματα.
• Καθαρισμός και Επόμενη Εκτέλεση: Όταν ολοκληρωθεί μια εκτέλεση DAG (όλες οι εργασίες έχουν ολοκληρωθεί επιτυχώς ή έχουν παραλειφθεί/αποτύχει), το Airflow προχωρά στην επόμενη προγραμματισμένη εκτέλεση. Όλα τα μεταδεδομένα σχετικά με τις προηγούμενες εκτελέσεις παραμένουν στη βάση δεδομένων και μπορείτε πάντα να ελέγξετε το ιστορικό. Ο προγραμματιστής θα συνεχίσει να ενεργοποιεί νέες εκτελέσεις σύμφωνα με το πρόγραμμα ή χειροκίνητα. Αυτή η διαδικασία επαναλαμβάνεται μέχρι να τερματιστεί η διαδικασία Airflow.

Κατανόηση των DAGs στο Airflow

Ένα DAG στο Airflow καθορίζει το χρονοδιάγραμμα, καθώς και τις εργασίες και τις εξαρτήσεις που απαιτούνται για την εκτέλεση μιας ροής εργασίας. Ένα DAG δεν χρειάζεται να γνωρίζει τι περιέχει κάθε εργασία· χρειάζεται μόνο να καθορίσει πότε και με ποια σειρά πρέπει να εκτελεστούν.

Καθήκοντα, χειριστές και αισθητήρες

Οι εργασίες είναι οι βασικές μονάδες εργασίας στο Airflow. Στο Airflow, οι εργασίες είναι στιγμιότυπα χειριστών (operators), οι οποίοι είναι πρότυπα για προκαθορισμένες ενέργειες. Το Airflow παρέχεται με μια ποικιλία βασικών χειριστών. Ο BashOperator σας επιτρέπει να εκτελείτε εντολές κελύφους (shell), και ο PythonOperator σας επιτρέπει να καλείτε συναρτήσεις Python. Το Airflow παρέχει επίσης ένα διακοσμητή @task, που σας επιτρέπει να μετατρέψετε μια κανονική συνάρτηση Python σε εργασία.

Εκτός από τους χειριστές, το Airflow παρέχει αισθητήρες. Οι αισθητήρες είναι εργασίες που περιμένουν να πληρωθεί μια συνθήκη ή να συμβεί ένα γεγονός πριν επιτύχουν. Μπορούν να χρησιμοποιηθούν για πράγματα όπως το να περιμένουν να εμφανιστεί ένα αρχείο ή να γεμίσει ένας πίνακας.

Εξαρτήσεις εργασιών

Για να δηλώσετε εξαρτήσεις μεταξύ των εργασιών, χρησιμοποιείτε τους τελεστές >> και << (συνιστάται) ή μεθόδους όπως set_upstream και set_downstream. Είναι επίσης δυνατή η αλυσίδωση εργασιών, η δημιουργία διασταυρούμενων εξαρτήσεων downstream και ακόμη και η δυναμική δημιουργία λιστών εργασιών. Ένα DAG χωρίς οποιεσδήποτε εξαρτήσεις θα ήταν απλώς ένα ανεξάρτητο σύνολο εργασιών.

Καλές πρακτικές για το σχεδιασμό DAG

Ο πίνακας παρακάτω παρουσιάζει μερικές οδηγίες που πρέπει να έχετε υπόψη κατά το σχεδιασμό των DAGs.

Παράδειγμα: Ένα Απλό DAG Airflow

Τίποτα δεν εδραιώνει τις έννοιες καλύτερα από ένα παράδειγμα. Ας δούμε ένα απλό παράδειγμα κώδικα DAG στο Airflow και ας εξηγήσουμε τα μέρη του. Αυτό το παράδειγμα θα δημιουργήσει μια μικρή ροή εργασίας με δύο εργασίες σε σειρά:

from datetime import datetime
from airflow import DAG
from airflow.operators.bash import BashOperator

# Define the DAG and its schedule
with DAG(
    dag_id="example_dag",
    description="A simple example DAG",
    start_date=datetime(2025, 1, 1),
    schedule_interval="@daily",  # runs daily
    catchup=False
) as dag:
    # Task 1: Print current date
    task1 = BashOperator(
        task_id="print_date",
        bash_command="date"
    )
    # Task 2: Echo a message
    task2 = BashOperator(
        task_id="echo_hello",
        bash_command="echo 'Hello, Airflow!'"
    )
    # Define dependency: task1 must run before task2
    task1 >> task2

Ας αναλύσουμε τι συμβαίνει εδώ:

• εισαγάγετε τις απαραίτητες κλάσεις DAG (για να ορίσετε το DAG) και BashOperator (για να εκτελείτε εντολές shell/bash σε εργασίες). Επίσης, εισάγουμε το datetime για να καθορίσουμε την ημερομηνία έναρξης του DAG.
• Δημιουργούμε ένα αντικείμενο DAG με έναν διαχειριστή περιβάλλοντος (with DAG(…) as dag:). Δώστε στο DAG ένα μοναδικό ID «example_dag» (πρέπει να είναι μοναδικό σε ένα περιβάλλον Airflow), μια περιγραφή (προαιρετικά, για να βοηθά τους ανθρώπους να διαβάζουν), ένα start_date, και ένα schedule_interval. Εδώ, ορίζουμε ένα προεπιλεγμένο schedule_interval (@daily) και start_date=datetime(2025,1,1). Έχουμε επίσης ορίσει catchup=False για να αποτρέψουμε την αναδρομική εκτέλεση των τυχόν χαμένων εκτελέσεων μεταξύ του start_date και σήμερα (θέλουμε να εκτελείται μόνο από τώρα και μετά, καθημερινά). Ολόκληρο αυτό το μπλοκ δημιουργεί ένα DAG που το Airflow θα γνωρίζει για καθημερινή εκτέλεση στην αρχή της ημέρας.
• Στη συνέχεια ορίζουμε δύο εργασίες στο πλαίσιο του DAG:
• task1 ορίζεται χρησιμοποιώντας τον BashOperator για την εκτέλεση μιας εντολής bash (date). task_id είναι “print_date” και θα χρησιμοποιηθεί για να αναγνωριστεί αυτή η εργασία στο UI και στα αρχεία καταγραφής. Όταν εκτελείται, αυτή η εργασία απλώς θα εκτυπώνει την τρέχουσα ημερομηνία/ώρα (στα αρχεία καταγραφής της εργασίας).
• task2 επίσης χρησιμοποιεί έναν BashOperator με task_id=“echo_hello”, και command=echo ‘Hello, Airflow!’. Αυτό θα τυπώσει ένα ωραίο μήνυμα. Αυτά τα tasks προς το παρόν είναι απλώς ορισμένα, δεν έχουν συνδεθεί ακόμη.
• Η τελευταία γραμμή (task1 >> task2) προσδιορίζει μια εξάρτηση (ροή): το task1 ρέει στο task2. Αυτό σημαίνει ότι το task1 θα εκτελεστεί και θα ολοκληρωθεί επιτυχώς πριν το task2 μπορέσει να εξεταστεί για προγραμματισμό εκτέλεσης. Γραφικά, στο διάγραμμα DAG, θα υπάρχει ένα βέλος που δείχνει από το task1 προς το task2.

Μερικά πράγματα που πρέπει να σημειωθούν σε αυτό το παράδειγμα:

• Χρησιμοποιήσαμε μόνο τον BashOperator για απλότητα, αλλά θα μπορούσαμε να είχαμε χρησιμοποιήσει ένα DAG με διάφορους τύπους operators. Θα μπορούσαμε να έχουμε έναν PythonOperator για να καλέσουμε μια συνάρτηση Python, ή έναν SimpleHttpOperator για να στείλουμε αίτημα σε ένα API, και ούτω καθεξής.
• Το μοτίβο με το DAG(…) ως dag είναι ένα κοινό ιδίωμα για τη δημιουργία μιας παρουσίας DAG. Όλες οι εργασίες που δημιουργούνται μέσα σε αυτό συνδέονται αυτόματα με εκείνο το DAG.
• catchup=False είναι μια παράμετρος που χρησιμοποιείται σε πολλά DAGs με μια ημερομηνία έναρξης στο παρελθόν, όταν δεν θέλετε να εκτελεστεί για όλες τις προηγούμενες ημερομηνίες. Αν αφήναμε το catchup=True (η προεπιλογή) και σήμερα ήταν 10 Ιανουαρίου 2025, το Airflow θα προσπαθούσε να εκτελέσει το DAG για τις 1, 2, 3 Ιανουαρίου … έως τις 10 Ιανουαρίου, αναπληρώνοντας αυτές τις χαμένες ημέρες. Εδώ το απενεργοποιήσαμε για απλότητα.
• Αυτό το παράδειγμα χρησιμοποιεί τη σχετική διαδρομή εισαγωγής για τον BashOperator. Στο Airflow 2, πολλοί από τους operators μεταφέρθηκαν κάτω από το airflow.providers. Αυτό το παράδειγμα γράφτηκε με την υπόθεση ότι αυτοί οι providers είναι εγκατεστημένοι (ο BashOperator βρίσκεται στον βασικό πυρήνα του Airflow).

Αυτό το απλό παράδειγμα μπορεί να επεκταθεί εύκολα – μπορείς να προσθέσεις επιπλέον εργασίες (ίσως να κάνεις μια κλήση API, στη συνέχεια να φορτώσεις τα αποτελέσματα σε μια βάση δεδομένων και μετά να στείλεις μια ειδοποίηση). Μπορείς επίσης να προσθέσεις πιο σύνθετη λογική (όπως διακλάδωση – το Airflow υποστηρίζει διακλάδωση τύπου if/else χρησιμοποιώντας τον BranchOperator, για παράδειγμα).

Καθώς τα DAG σας μεγαλώνουν, το UI και η καταγραφή του Airflow γίνονται ανεκτίμητα για να καταλάβετε τι συμβαίνει. Σε αυτό το παράδειγμα, το αρχείο καταγραφής για το print_date θα περιείχε την ημερομηνία του συστήματος που εκτυπώθηκε, και το αρχείο καταγραφής για το echo_hello θα περιείχε «Hello, Airflow!». Αν το print_date απέτυχε (ίσως δεν μπορούσε να βρει την εντολή date, σε ένα υποθετικό σενάριο), τότε το echo_hello δεν θα εκτελούνταν ποτέ (λόγω της εξάρτησης), και η εκτέλεση του DAG θα χαρακτηριζόταν ως αποτυχημένη. Μπορείτε στη συνέχεια να ελέγξετε το αρχείο καταγραφής, να διορθώσετε το πρόβλημα και να επανεκτελέσετε αυτή την εργασία ή όλο το DAG.

Συνήθεις Χρήσεις του Airflow

Παρακάτω παρατίθεται μια δομημένη σύνοψη των κοινών περιπτώσεων χρήσης του Apache Airflow. Ο πίνακας υπογραμμίζει τι περιλαμβάνει κάθε περίπτωση χρήσης και πώς το Airflow προσθέτει αξία σε αυτό το πλαίσιο.

Πότε να Μην Χρησιμοποιείτε το Airflow

Αν και το Airflow είναι ισχυρό, δεν είναι το κατάλληλο εργαλείο για κάθε κατάσταση. Η κατανόηση των περιορισμών του σας βοηθά να επιλέξετε τη σωστή προσέγγιση ορχήστρωσης:

• Εργασίες σε Πραγματικό Χρόνο ή Ροή: Το Airflow είναι προσανατολισμένο σε παρτίδες με σαφώς καθορισμένη έναρξη και λήξη. Δεν είναι κατάλληλο για μακροχρόνιες, ενεργοποιούμενες από γεγονότα ή ροής εργασίες. Αν εισάγετε συνεχείς ροές γεγονότων (κλικ χρηστών, αισθητήρες IoT κ.λπ.) και χρειάζεται να τις επεξεργαστείτε με πολύ χαμηλή καθυστέρηση σε πραγματικό χρόνο, το Airflow δεν είναι η καλύτερη επιλογή.
• Υψηλή Συχνότητα ή Πολλές Μικρές Εργασίες: Αυτό είναι ένα ακόμα παράδειγμα όπου το Airflow μπορεί να μην λειτουργεί, ή τουλάχιστον όχι αποτελεσματικά. Οι εργασίες του Airflow έχουν κάποιο επιπλέον κόστος (στην παρακολούθηση της βάσης δεδομένων, κ.λπ.), οπότε αν χρειάζεται να ενεργοποιείτε κάτι κάθε λίγα δευτερόλεπτα ή έχετε χιλιάδες μικρές εργασίες, το Airflow μπορεί να μην κλιμακωθεί καλά.
• Αμιγώς Ροές Εργασίας που Εξαρτώνται από Γεγονότα: Αυτό είναι παρόμοιο με τη χρήση ροής δεδομένων (streaming), αλλά για κάτι που θα πρέπει να ενεργοποιείται από ένα γεγονός. „Όποτε συμβαίνει το γεγονός Χ, κάνε Υ” είναι μια απολύτως έγκυρη περίπτωση χρήσης για το Airflow, αλλά αν το μόνο που θα πρέπει να την ενεργοποιεί είναι ένα γεγονός (π.χ., „όποτε φτάνει ένα αρχείο σε έναν κάδο S3, κάνε Χ”), τότε το Airflow δεν είναι η πιο ελαφριά λύση εδώ. Το Airflow γενικά χρησιμοποιεί αισθητήρες (Sensors) (π.χ. S3KeySensor) για να „ανιχνεύει” την παρουσία αρχείων/γεγονότων. Οι αισθητήρες έχουν μειονεκτήματα καθώς βασίζονται σε polling. Τα προβλήματα με τους αισθητήρες περιλαμβάνουν την ενεργοποίηση από υπάρχοντα αρχεία και την πιθανή έλλειψη άμεσης απόκρισης σε γεγονότα (π.χ., κάνουν polling σε τακτά διαστήματα).

Εν συντομία, το Airflow είναι κατάλληλο για ροές εργασίας που είναι περιοδικές, βασισμένες σε παρτίδες ή πολύπλοκες για να οριστούν και να διαχειριστούν. Ίσως να μην είναι κατάλληλο αν η περίπτωση χρήσης σας απαιτεί επεξεργασία σε πραγματικό χρόνο ή συνεχή επεξεργασία, εξαιρετικά συχνές εργασίες ή πολύ απλές ροές εργασίας που δεν χρειάζονται το επιπλέον βάρος του Airflow. Αν συμβαίνει αυτό, ίσως να θέλετε να εξερευνήσετε άλλες επιλογές ή να απλοποιήσετε τη λύση σας.

Εναλλακτικές λύσεις για το Airflow

Ο χώρος ορχήστρωσης ροής εργασιών έχει εκτοξευθεί τα τελευταία χρόνια, και ενώ το Airflow είναι ηγέτης, υπάρχουν διάφορα εναλλακτικά εργαλεία που αξίζει να γνωρίζετε:

Το Airflow δεν είναι η μόνη επιλογή που υπάρχει, και η καλύτερη επιλογή εξαρτάται από την περίπτωσή σας. Τα Luigi, Prefect και Dagster αναφέρονται συνήθως ως οι κύριες άλλες ανοιχτού κώδικα επιλογές στον ίδιο τομέα (οργανωτές ροής εργασιών βασισμένοι σε Python). Αν βρίσκετε το παλιομοδίτικο UI του Airflow ή άλλους περιορισμούς του ενοχλητικούς, θα πρέπει να εξετάσετε το ενδεχόμενο να αξιολογήσετε αυτά τα εργαλεία. Το Prefect προσπαθεί να είναι ένα «καλύτερο» ή «απλούστερο» Airflow, το Dagster προσπαθεί να είναι ένας πιο «δομημένος» οργανωτής με έμφαση στα δεδομένα, και το Luigi είναι ένας πιο απλός προκάτοχος του Airflow. Από την άλλη, αν η περίπτωση σας αποκλίνει σημαντικά (π.χ. ροή δεδομένων σε πραγματικό χρόνο ή πλήρως σύννεφο-έτοιμη), μπορεί να μην χρησιμοποιήσετε καθόλου το Airflow και να εξετάσετε απευθείας πλατφόρμες ροής δεδομένων ή διαχειριζόμενες υπηρεσίες ορχήστρωσης.

Τελικές Σκέψεις

Το Apache Airflow είναι μια ανοιχτού κώδικα πλατφόρμα για τον συντονισμό σύνθετων υπολογιστικών ροών εργασίας και σωληνώσεων επεξεργασίας δεδομένων. Αρχικά αναπτύχθηκε στην Airbnb, έχει αποκτήσει σημαντική δημοτικότητα στις κοινότητες μηχανικής δεδομένων και μηχανικής μάθησης. Τα στοιχεία του Airflow περιλαμβάνουν έναν προγραμματιστή εργασιών, έναν εκτελεστή, εργαζόμενους, μια βάση δεδομένων μεταδεδομένων και ένα web-based περιβάλλον χρήστη. Αυτό επιτρέπει στις ομάδες να εκτελούν και να διατηρούν εύκολα ETL, MLOps και υποδομές παραγωγής. Η αφηρημένη αναπαράσταση DAG (Κατευθυνόμενος Ακυκλικός Διάγραμμα) του Airflow επιτρέπει να διατηρούνται οι ροές εργασίας σαφείς, ελέγξιμες και συντηρήσιμες με την πάροδο του χρόνου. Το οικοσύστημα της πλατφόρμας με operators και providers που έχουν δημιουργηθεί από την κοινότητα απλοποιεί επίσης τον συντονισμό ροών εργασίας που εξαρτώνται από οποιαδήποτε τεχνολογία ή εργαλείο.

Δεν είναι όμως μια λύση που ταιριάζει σε όλους. Λειτουργεί καλύτερα με batch ή micro‑batch pipelines, και οι χρήστες πρέπει να είναι άνετοι με την Python. Για streaming ή εργασίες υψηλής συχνότητας, υπάρχουν άλλες λύσεις πιο κατάλληλες από το Airflow. Για data scientists ή ομάδες που προτιμούν να γράφουν δηλωτικά pipelines, αξίζει να εξετάσουν εναλλακτικά εργαλεία αντί του Airflow.

Το Airflow εξακολουθεί να αναπτύσσεται ενεργά, και νέες λειτουργίες προστίθενται με την πάροδο του χρόνου, όπως ο προγραμματισμός βάσει γεγονότων, τα σύνολα δεδομένων και τα assets. Οι έννοιες και οι βέλτιστες πρακτικές που παρουσιάζονται σε αυτόν τον οδηγό θα πρέπει να σας βοηθήσουν, ανεξάρτητα από το υπόβαθρό σας, να κατανοήσετε πώς λειτουργεί ο συντονισμός ροών εργασίας και πότε θα πρέπει (ή όχι) να χρησιμοποιείται το Airflow. Ελπίζουμε ότι αυτό θα λειτουργήσει ως ένα πρώτο βήμα για περαιτέρω εξερεύνηση αυτού του πλούσιου κόσμου.

Αναφορές

• Apache Airflow
• Τι είναι το Airflow;
• Apache Airflow: Περιοχές Χρήσης, Αρχιτεκτονική και 6 Συμβουλές για Επιτυχία
• Εισαγωγή για Αρχάριους στο Airflow με Docker — Σωληνώσεις Δεδομένων στο Cloud (I)
• 8 Εναλλακτικές του Airflow - Περιστατικά Χρήσης
• Επισκόπηση Αρχιτεκτονικής
• Προγραμματιστής

Ευχαριστούμε που μάθατε με την Κοινότητα του Linux-Console.net.