中国景德镇瓷器网：Airflow Dag可视化治理编辑工具Airflow Console

Airflow Console: https://github.com/Ryan-Miao/airflow-console

Apache Airflow扩展组件, 可以辅助天生dag, 并存储到git堆栈.

Airflow提供了基于python语法的dag义务治理,我们可以定制义务内容 和义务依赖. 但对于许多数据剖析职员来说,操作照样过于庞大. 期望可以 通过简朴的页面设置去治理dag. 即本项目提供了一个dag可视化设置治理方案.

若何使用

一些观点

DAG: Airflow原生的dag， 多个义务依赖组成的有向无环图， 一个义务依赖链。

Ext Dag: DAG扩展， DAG天生模板，通过页面设置Ext Dag可以一键天生DAG python设置。

Ext Dag Category: Airflow原生不提供分类的观点，但Console我们扩展了分类功效, 我们建立差别Dag模板可以分属于差别的DAG分类。

Ext Dag Task: Ext Dag的义务，真正义务的封装体，分为Operator和Sensor, 可以组装成Ext Dag.

1.建立营业分类.

我们的调剂义务可以凭据营业举行分类. 首先建立我们的营业类型.

2.建立dag

3.建立义务

点击task按钮进入task列表, 再点击add添加一个义务.

添加bash义务

添加hive sql义务

添加hive出库到mysql义务, 对应的插件为hive_to_rdbms_operator

4.设置义务依赖关系

Airflow提供了义务上下游依赖的治理方案,详细就是使用python的 >> 语法

a >> b 示意a的{{ds}}的义务执行完毕才可以执行b.

点击更新按钮保留依赖关系.

5.天生dag.py剧本

点击提交按钮, 天生python剧本预览.

确认没有问题后, 提交就可以将dag保留的git堆栈. Airflow那里准时拉取git更新即可.

内陆启动

通过docker-airflow

启动airflow, 露出pg端口和webserver端口, docker-compose.yml

cd doc
docker-compose up

启动后接见localhost:8090即airflow初始化完成.

1. 修改本项目db

修改application-dev.yml中DataSource的url host为localhost.

1. 导入db

将schema.sql导入pg.

1. 启动本项目

接见localhost:8081/api 即swagger地址.

1. 启动web

,

www.px111.net

欢迎进入平心在线官网（原诚信在线、阳光在线）。平心在线官网www.px111.net开放平心在线会员登录网址、平心在线代理后台网址、平心在线APP下载、平心在线电脑客户端下载、平心在线企业邮局等业务。