中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console

admin 2个月前 (07-15) 科技 363 3

Airflow Console: https://github.com/Ryan-Miao/airflow-console

Apache Airflow扩展组件, 可以辅助天生dag, 并存储到git堆栈.

Airflow提供了基于python语法的dag义务治理,我们可以定制义务内容 和义务依赖. 但对于许多数据剖析职员来说,操作照样过于庞大. 期望可以 通过简朴的页面设置去治理dag. 即本项目提供了一个dag可视化设置治理方案.

若何使用

一些观点

DAG: Airflow原生的dag, 多个义务依赖组成的有向无环图, 一个义务依赖链。

Ext Dag: DAG扩展, DAG天生模板,通过页面设置Ext Dag可以一键天生DAG python设置。

Ext Dag Category: Airflow原生不提供分类的观点,但Console我们扩展了分类功效, 我们建立差别Dag模板可以分属于差别的DAG分类。

Ext Dag Task: Ext Dag的义务,真正义务的封装体,分为Operator和Sensor, 可以组装成Ext Dag.

1.建立营业分类.

我们的调剂义务可以凭据营业举行分类. 首先建立我们的营业类型.

2.建立dag

3.建立义务

点击task按钮进入task列表, 再点击add添加一个义务.

添加bash义务 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第1张

添加hive sql义务 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第2张

添加hive出库到mysql义务, 对应的插件为hive_to_rdbms_operator 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第3张

4.设置义务依赖关系

Airflow提供了义务上下游依赖的治理方案,详细就是使用python的 >> 语法

a >> b 示意a的{{ds}}的义务执行完毕才可以执行b.

中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第4张

点击更新按钮保留依赖关系.

5.天生dag.py剧本

点击提交按钮, 天生python剧本预览. 中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第5张

确认没有问题后, 提交就可以将dag保留的git堆栈. Airflow那里准时拉取git更新即可.

中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console 第6张

内陆启动

通过docker-airflow

启动airflow, 露出pg端口和webserver端口, docker-compose.yml

cd doc
docker-compose up

启动后接见localhost:8090即airflow初始化完成.

  1. 修改本项目db

修改application-dev.yml中DataSource的url host为localhost.

  1. 导入db

将schema.sql导入pg.

  1. 启动本项目

接见localhost:8081/api 即swagger地址.

  1. 启动web
,

www.px111.net

欢迎进入平心在线官网(原诚信在线、阳光在线)。平心在线官网www.px111.net开放平心在线会员登录网址、平心在线代理后台网址、平心在线APP下载、平心在线电脑客户端下载、平心在线企业邮局等业务。

Allbet声明:该文看法仅代表作者自己,与本平台无关。转载请注明:中国景德镇瓷器网:Airflow Dag可视化治理编辑工具Airflow Console

网友评论

  • (*)

最新评论

  • 电银付APP安装教程 2021-02-21 00:01:47 回复

    申博Sunbet www.006yb.com是Sunbet申博公司指定亚洲官方直营现金网,官方授权,老品牌信誉有保障.Sunbet携手上海市申博机械科技有限公司欢迎您加入我们。感觉粉丝很庞大呀

    2
  • 皇冠app怎么下载 2021-07-15 00:03:25 回复

    2017年后再举行两年一度的亚锦赛,而香港亦曾在2002年起举办4届赛事。东莞今早相对湿度高达百分之85,男将周汉聂在潮湿天气下跑出2小时2920秒,以第12名成为首位完赛的香港跑手。他坦言对成绩感到不满,并指在中段感到难以发力:「25公里后觉得好辛苦,感到脚很难发力,亦有想过『跳车』,但最后都坚持完成了。」" data-reactid="80">东莞继2017年后再举行两年一度的亚锦赛,而香港亦曾在2002年起举办4届赛事。东莞今早相对湿度高达百分之85,男将周汉聂在潮湿天气下跑出2小时2920秒,以第12名成为首位完赛的香港跑手。他坦言对成绩感到不满,并指在中段感到难以发力:「25公里后觉得好辛苦,感到脚很难发力,亦有想过『跳车』,但最后都坚持完成了。」我都看十遍了

    3

站点信息

  • 文章总数:1843
  • 页面总数:0
  • 分类总数:8
  • 标签总数:1690
  • 评论总数:2538
  • 浏览总数:212798