当前在线人数14732
首页 - 分类讨论区 - 电脑网络 - 葵花宝典版 -阅读文章
未名交友
[更多]
[更多]
文章阅读:Re: 更好整合 kubernete 和 airflow
[同主题阅读] [版面: 葵花宝典] [作者:shuaide] , 2019年11月05日21:01:31
shuaide
进入未名形象秀
我的博客
[上篇] [下篇] [同主题上篇] [同主题下篇]

发信人: shuaide (卖火柴的小女孩), 信区: Programming
标  题: Re: 更好整合 kubernete 和 airflow
发信站: BBS 未名空间站 (Tue Nov  5 21:01:31 2019, 美东)

我不清楚你说的event time在batch job 里面是指什么。

现在50个batch job相互形成一个dag, 必须考虑先跑哪个,后跑哪个

但是同一个job的不同dependents,如果相互之间不依赖的话,可以同时跑。我想知道
,kubernetes或者airflow能不能利用这一点,做到同时跑。不然的话,要是airflow只
做DAG,把50个job送上kubernetes之后是一个一个地跑,那我写的resource manager就
比他们牛了




【 在 rhett (白瑞得) 的大作中提到: 】
: batch job 如果event time 比较齐整, 不需要考虑 upsert case, 用airflow都没什
: 么问题
: airflow 有对k8s的operator,你可以借鉴
: https://kubernetes.io/blog/2018/06/28/airflow-on-kubernetes-part-1-a-
: different-kind-of-operator/



--
※ 来源:·WWW 未名空间站 网址:mitbbs.com 移动:在应用商店搜索未名空间·[FROM: 2601:196:4701:b]

[上篇] [下篇] [同主题上篇] [同主题下篇]
[转寄] [转贴] [回信给作者] [修改文章] [删除文章] [同主题阅读] [从此处展开] [返回版面] [快速返回] [收藏] [举报]
 
回复文章
标题:
内 容:

未名交友
将您的链接放在这儿

友情链接


 

Site Map - Contact Us - Terms and Conditions - Privacy Policy

版权所有,未名空间(mitbbs.com),since 1996