com.alibaba.datax.common.util.Configuration.remove()方法的使用及代码示例

x33g5p2x  于2022-01-18 转载在 其他  
字(5.8k)|赞(0)|评价(0)|浏览(190)

本文整理了Java中com.alibaba.datax.common.util.Configuration.remove()方法的一些代码示例,展示了Configuration.remove()的具体用法。这些代码示例主要来源于Github/Stackoverflow/Maven等平台,是从一些精选项目中提取出来的代码,具有较强的参考意义,能在一定程度帮忙到你。Configuration.remove()方法的具体详情如下:
包路径:com.alibaba.datax.common.util.Configuration
类名称:Configuration
方法名:remove

Configuration.remove介绍

[英]删除path对应的值,如果path不存在,将抛出异常。
[中]删除路径对应的值,如果路径不存在,将抛出异常。

代码示例

代码示例来源:origin: ECNU-1X/DataX-Masking

taskGroupTemplate.remove(CoreConstant.DATAX_JOB_CONTENT);

代码示例来源:origin: ECNU-1X/DataX-Masking

public static List<Configuration> doSplit(Configuration originalSliceConfig,
                     int adviceNumber) {
  boolean isTableMode = originalSliceConfig.getBool(Constant.IS_TABLE_MODE).booleanValue();
  int tableNumber = originalSliceConfig.getInt(Constant.TABLE_NUMBER_MARK);
  if (isTableMode && tableNumber == 1) {
    //需要先把内层的 table,connection 先放到外层
    String table = originalSliceConfig.getString(String.format("%s[0].%s[0]", Constant.CONN_MARK, Key.TABLE)).trim();
    originalSliceConfig.set(Key.TABLE, table);
    //注意:这里的 jdbcUrl 不是从数组中获取的,因为之前的  master init 方法已经进行过预处理
    String jdbcUrl = originalSliceConfig.getString(String.format("%s[0].%s", Constant.CONN_MARK, Key.JDBC_URL)).trim();
    originalSliceConfig.set(Key.JDBC_URL, DataBaseType.DRDS.appendJDBCSuffixForReader(jdbcUrl));
    originalSliceConfig.remove(Constant.CONN_MARK);
    return doDrdsReaderSplit(originalSliceConfig);
  } else {
    throw DataXException.asDataXException(DBUtilErrorCode.CONF_ERROR, "您的配置信息中的表(table)的配置有误. 因为Drdsreader 只需要读取一张逻辑表,后台会通过DRDS Proxy自动获取实际对应物理表的数据. 请检查您的配置并作出修改.");
  }
}

代码示例来源:origin: ECNU-1X/DataX-Masking

SecretUtil.decrypt((String) value, decryptKey, method));
config.addSecretKeyPath(newKey);
config.remove(key);

代码示例来源:origin: ECNU-1X/DataX-Masking

+ lastPathKey;
configuration.set(newPath, tempEncrptedData);
configuration.remove(path);

代码示例来源:origin: ECNU-1X/DataX-Masking

eachColumnConfig.remove(Constant.RANDOM);

代码示例来源:origin: ECNU-1X/DataX-Masking

&& userConfiguredColumns.size() > 0) {
  LOG.warn("您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 column. 如果您不想看到这条提醒,请移除您源头表中配置中的 column.");
  originalConfig.remove(Key.COLUMN);
if (StringUtils.isNotBlank(where)) {
  LOG.warn("您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 where. 如果您不想看到这条提醒,请移除您源头表中配置中的 where.");
  originalConfig.remove(Key.WHERE);
if (StringUtils.isNotBlank(splitPk)) {
  LOG.warn("您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 splitPk. 如果您不想看到这条提醒,请移除您源头表中配置中的 splitPk.");
  originalConfig.remove(Key.SPLIT_PK);

代码示例来源:origin: ECNU-1X/DataX-Masking

@Override
public void prepare() {
  if(Constant.LOADMODE.equalsIgnoreCase(this.writeMode)) {
    //导数据到odps表中
    this.odpsWriterJobProxy.prepare();
  } else {
    // 实时表模式非分库分表
    String adsTable = this.originalConfig.getString(Key.ADS_TABLE);
    List<String> preSqls = this.originalConfig.getList(Key.PRE_SQL,
        String.class);
    List<String> renderedPreSqls = WriterUtil.renderPreOrPostSqls(
        preSqls, adsTable);
    if (null != renderedPreSqls && !renderedPreSqls.isEmpty()) {
      // 说明有 preSql 配置,则此处删除掉
      this.originalConfig.remove(Key.PRE_SQL);
      Connection preConn = AdsUtil.getAdsConnect(this.originalConfig);
      LOG.info("Begin to execute preSqls:[{}]. context info:{}.",
          StringUtils.join(renderedPreSqls, ";"),
          this.originalConfig.getString(Key.ADS_URL));
      WriterUtil.executeSqls(preConn, renderedPreSqls,
          this.originalConfig.getString(Key.ADS_URL),
          DataBaseType.ADS);
      DBUtil.closeDBResources(null, null, preConn);
    }
  }
}

代码示例来源:origin: ECNU-1X/DataX-Masking

preSqls, table);
originalConfig.remove(Constant.CONN_MARK);
if (null != renderedPreSqls && !renderedPreSqls.isEmpty()) {
  originalConfig.remove(Key.PRE_SQL);

代码示例来源:origin: ECNU-1X/DataX-Masking

@Override
public void post() {
  if(Constant.LOADMODE.equalsIgnoreCase(this.writeMode)) {
    loadAdsData(odpsAdsHelper, this.odpsTransTableName, null);
    this.odpsWriterJobProxy.post();
  } else {
    // 实时表模式非分库分表
    String adsTable = this.originalConfig.getString(Key.ADS_TABLE);
    List<String> postSqls = this.originalConfig.getList(
        Key.POST_SQL, String.class);
    List<String> renderedPostSqls = WriterUtil.renderPreOrPostSqls(
        postSqls, adsTable);
    if (null != renderedPostSqls && !renderedPostSqls.isEmpty()) {
      // 说明有 preSql 配置,则此处删除掉
      this.originalConfig.remove(Key.POST_SQL);
      Connection postConn = AdsUtil.getAdsConnect(this.originalConfig);
      LOG.info(
          "Begin to execute postSqls:[{}]. context info:{}.",
          StringUtils.join(renderedPostSqls, ";"),
          this.originalConfig.getString(Key.ADS_URL));
      WriterUtil.executeSqls(postConn, renderedPostSqls,
          this.originalConfig.getString(Key.ADS_URL),
          DataBaseType.ADS);
      DBUtil.closeDBResources(null, null, postConn);
    }
  }
}

代码示例来源:origin: ECNU-1X/DataX-Masking

if (null != splitPk) {
  LOG.warn("由于您读取数据库是drds, 所以您不需要配置 splitPk. 如果您不想看到这条提醒,请移除您源头表中配置的 splitPk.");
  this.originalConfig.remove(Key.SPLIT_PK);

代码示例来源:origin: ECNU-1X/DataX-Masking

public void post(Configuration originalConfig) {
  int tableNumber = originalConfig.getInt(Constant.TABLE_NUMBER_MARK);
  if (tableNumber == 1) {
    String username = originalConfig.getString(Key.USERNAME);
    String password = originalConfig.getString(Key.PASSWORD);
    // 已经由 prepare 进行了appendJDBCSuffix处理
    String jdbcUrl = originalConfig.getString(Key.JDBC_URL);
    String table = originalConfig.getString(Key.TABLE);
    List<String> postSqls = originalConfig.getList(Key.POST_SQL,
        String.class);
    List<String> renderedPostSqls = WriterUtil.renderPreOrPostSqls(
        postSqls, table);
    if (null != renderedPostSqls && !renderedPostSqls.isEmpty()) {
      // 说明有 postSql 配置,则此处删除掉
      originalConfig.remove(Key.POST_SQL);
      Connection conn = DBUtil.getConnection(this.dataBaseType,
          jdbcUrl, username, password);
      LOG.info(
          "Begin to execute postSqls:[{}]. context info:{}.",
          StringUtils.join(renderedPostSqls, ";"), jdbcUrl);
      WriterUtil.executeSqls(conn, renderedPostSqls, jdbcUrl, dataBaseType);
      DBUtil.closeDBResources(null, null, conn);
    }
  }
}

代码示例来源:origin: ECNU-1X/DataX-Masking

sliceConfig.remove(Constant.CONN_MARK);

代码示例来源:origin: ECNU-1X/DataX-Masking

sliceConfig.set(Key.JDBC_URL, jdbcUrl);
sliceConfig.remove(Constant.CONN_MARK);

相关文章