搜索

DolphinScheduler


发布时间: 2022-11-24 18:09:05    浏览次数:10 次

DolphinScheduler

功能介绍
    文档:https://dolphinscheduler.apache.org/en-us/docs/latest/user_doc/guide/metrics/metrics.html
    租户:worker.properties   worker.tentant.auto.create=true  /
        /自动创建用户,启动worker必须有免密运行sudo
    告警租管理:包含多种告警实例
    告警实例:配置多种告警消息,微信,邮件等
    worker分组管理:同一个worker可以属于多个分组的
    环境管理:export hadoop_home=/opt/hadoop/......环境变量信息
        可以配置worker组、选择一个合适环境的组
    令牌认证:通过API访问DolphinScheduler的时候
工作流
    工作流定义:定义工作流。工作流实例:工作流历史运行的记录。
    任务实例:一个工作流里面有多个任务实例,可以看日志。
工作流定义
    优先级:起作用的时候是worker资源不足的时候。
    资源:上传的资源中心的作用
    工作流级别超时告警和单个节点的超时告警
    运行的时候:必须先上线。下线状态不能运行,上线状态不能编辑。
    失败策略:继续,失败。节点失败了,并行任务应该是继续还是失败。
参数
    本地参数:针对单个任务有效的参数
    全局参数:针对整个工作流有效的参数
    自定义参数:dt(参数名称) IN(给当前任务流传递参数) OUT(给下游任务流传递参数)
        使用自定义参数 ${dt} IN VARCHAR ${YYYYMMDD}   工作流保存的时候可以设置全局变量
    给下游传递传输:(仅支持:Shell、SQL、Procedure)  
        上一个节点  echo '${setValue(bb=20200601)}'   自定义参数 bb OUT  
    参数优先级:本地参数>上游任务传递参数>全局参数    上有参数相同的时候:下游优先使用非空+完成时间最早的参数
    内置参数:${system.biz.date}定时时间前一天yyyyMMdd  ${system.biz.curdate}定时时间yyyyMMdd  
        ${system.datetime}定时时间yyyyMMddHHmmss
        日期格式:$[yyyyMMddHHmmss]分解和组合    $[add_mouths(yyyyMMddHHmmss,-3)]前三月   
        $[yyyyMMddHHmmss-5]前五天   $[HHmmss-5/24]前五个小时    $[HHmmss-5/24/60]前五分钟
文件资源
    默认会放在hdfs上,资源中心创建资源以后,就可以在固定节点上使用该资源
    直接使用资源的名称就可以。资源叫data.sh  代码里面就直接  sh data.sh 选中资源即可
#

 

免责声明 DolphinScheduler,资源类别:文本, 浏览次数:10 次, 文件大小:-- , 由本站蜘蛛搜索收录2022-11-24 06:09:05。此页面由程序自动采集,只作交流和学习使用,本站不储存任何资源文件,如有侵权内容请联系我们举报删除, 感谢您对本站的支持。 原文链接:https://www.cnblogs.com/wuxiaolong4/p/16809782.html