ChunJun 通用配置详解

配置文件结构详解

一个完整的 ChunJun 任务脚本配置包含 content， setting 两个部分。content 用于配置任务的输入源与输出源，其中包含 reader，writer。而 setting 则配置任务整体的环境设定，其中包含 speed，errorLimit，metricPluginConf，restore，log，dirty。总体结构如下所示：

{
  "job": {
    "content": [
      {
        "reader": {},
        "writer": {}
      }
    ],
    "setting": {
      "speed": {},
      "errorLimit": {},
      "metricPluginConf": {},
      "restore": {},
      "log": {},
      "dirty": {}
    }
  }
}

Content 配置

Reader

reader 用于配置数据的输入源，即数据从何而来。具体配置如下所示：

"reader" : {
  "name" : "xxreader",
  "parameter" : {
        ......
  }
}

Writer

"writer" : {
  "name" : "xxwriter",
  "parameter" : {
        ......
  }
}

Setting 配置

speed

speed 用于配置任务并发数及速率限制。具体配置如下所示：

"speed" : {
  "channel": 1,
  "readerChannel": -1,
  "writerChannel": -1,
  "bytes": 0,
  "rebalance" : true
}

ErrorLimit

errorLimit 用于配置任务运行时数据读取写入的出错控制。具体配置如下所示：

"errorLimit" : {
  "record": 100,
  "percentage": 10.0
}

MetricPluginConf

metricPluginConf 用于配置 chunjun 指标相关信息。

目前只应用于 Jdbc 插件中，在作业结束时将 StartLocation 和 EndLocation 指标发送到指定数据源中。

目前支持 Prometheus 和 Mysql。具体配置如下所示：

Prometheus

promethusReporter 依赖 pushGateway 和普罗米修斯交互

"metricPluginConf" : {
  "pluginName": "promethus"
}

普罗米修斯的相关配置信息需要配置在 flink 的配置文件中

metrics.reporter.promgateway.host: 127.0.0.1
metrics.reporter.promgateway.port: 9091
metrics.reporter.promgateway.jobName: testjob
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: false

Mysql

要求目标表存在至少两个 String 字段，metric_name 和 metric_value，分别记录指标名和指标值

"metricPluginConf" : {
  "pluginName": "promethus"
  "pluginProp": {
    "jdbcUrl":"",
      "database":"",
      "table":"",
      "username":"",
      "password":"",
      "properties":{
    }
  }
}

Restore

restore 用于配置同步任务类型（离线同步、实时采集）和断点续传功能。具体配置如下所示：

"restore" : {
  "isStream" : false,
  "isRestore" : false,
  "restoreColumnName" : "",
  "restoreColumnIndex" : 0
}

Log

log 用于配置 ChunJun 中定义的插件日志的保存与记录。具体配置如下所示：

"log" : {
  "isLogger": false,
  "level" : "info",
  "path" : "/tmp/dtstack/chunjun/",
  "pattern":""
}