中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console

admin 3个月前 (07-30) 科技 39 0

Airflow Console: https://github.com/Ryan-Miao/airflow-console

Apache Airflow扩展组件, 可以辅助天生dag, 并存储到git堆栈.

Airflow提供了基于python语法的dag义务治理,我们可以定制义务内容 和义务依赖. 但对于许多数据剖析职员来说,操作照样过于庞大. 期望可以 通过简朴的页面设置去治理dag. 即本项目提供了一个dag可视化设置治理方案.

若何使用

一些观点

DAG: Airflow原生的dag, 多个义务依赖组成的有向无环图, 一个义务依赖链。

Ext Dag: DAG扩展, DAG天生模板,通过页面设置Ext Dag可以一键天生DAG python设置。

Ext Dag Category: Airflow原生不提供分类的观点,但Console我们扩展了分类功效, 我们建立差别Dag模板可以分属于差别的DAG分类。

Ext Dag Task: Ext Dag的义务,真正义务的封装体,分为Operator和Sensor, 可以组装成Ext Dag.

1.建立营业分类.

我们的调剂义务可以凭据营业举行分类. 首先建立我们的营业类型.

2.建立dag

3.建立义务

点击task按钮进入task列表, 再点击add添加一个义务.

添加bash义务 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第1张

添加hive sql义务 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第2张

添加hive出库到mysql义务, 对应的插件为hive_to_rdbms_operator 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第3张

4.设置义务依赖关系

Airflow提供了义务上下游依赖的治理方案,详细就是使用python的 >> 语法

a >> b 示意a的{{ds}}的义务执行完毕才可以执行b.

中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第4张

点击更新按钮保留依赖关系.

5.天生dag.py剧本

点击提交按钮, 天生python剧本预览. 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第5张

确认没有问题后, 提交就可以将dag保留的git堆栈. Airflow那里准时拉取git更新即可.

中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第6张

内陆启动

通过docker-airflow

启动airflow, 露出pg端口和webserver端口, docker-compose.yml

cd doc
docker-compose up

启动后接见localhost:8090即airflow初始化完成.

  1. 修改本项目db

修改application-dev.yml中DataSource的url host为localhost.

  1. 导入db

将schema.sql导入pg.

  1. 启动本项目

接见localhost:8081/api 即swagger地址.

  1. 启动web
,

www.px111.net

欢迎进入平心在线官网(原诚信在线、阳光在线)。平心在线官网www.px111.net开放平心在线会员登录网址、平心在线代理后台网址、平心在线APP下载、平心在线电脑客户端下载、平心在线企业邮局等业务。

Allbet声明:该文看法仅代表作者自己,与本平台无关。转载请注明:中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console

网友评论

  • (*)

最新评论

文章归档

站点信息

  • 文章总数:668
  • 页面总数:0
  • 分类总数:8
  • 标签总数:1076
  • 评论总数:245
  • 浏览总数:14718