Apache Airflow是一个开源的工作流管理平台,用于管理数据管道并自动化ETL(抽取、转换、加载)等流程。它使用基于Python的有向无环图(DAG)来调度和执行任务,同时简化所有必要依赖的管理,以确保执行无误。本指南在Ubuntu 24.04上安装Apache Airflow,在Nginx和Let's Encrypt后面配置安全环境,并使用示例DAG测试部署。
Apache Airflow可作为Python包,通过Pip等包管理器安装。
![]()
1. 更新服务器的软件包索引:
sudo apt update
2. 查看可用的Python版本:
python3 --version
输出应类似于:
Python 3.12.3
如果服务器上没有Python,请安装:
sudo apt install python3
3. 安装python3-venv虚拟环境模块和PostgreSQL开发库:
sudo apt install python3-venv libpq-dev -y
4. 创建新的虚拟环境,例如airflow_env:
python3 -m venv airflow_env
5. 激活airflow_env虚拟环境:
source ~/airflow_env/bin/activate
验证shell提示符是否变为airflow_env虚拟环境:
(airflow_env) linuxuser@example:~$
6. 使用Pip安装Apache Airflow,并指定PostgreSQL支持:
pip install "apache-airflow[postgres]"
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.