本文整理了Java中com.alibaba.datax.common.util.Configuration.remove()
方法的一些代码示例,展示了Configuration.remove()
的具体用法。这些代码示例主要来源于Github
/Stackoverflow
/Maven
等平台,是从一些精选项目中提取出来的代码,具有较强的参考意义,能在一定程度帮忙到你。Configuration.remove()
方法的具体详情如下:
包路径:com.alibaba.datax.common.util.Configuration
类名称:Configuration
方法名:remove
[英]删除path对应的值,如果path不存在,将抛出异常。
[中]删除路径对应的值,如果路径不存在,将抛出异常。
代码示例来源:origin: ECNU-1X/DataX-Masking
taskGroupTemplate.remove(CoreConstant.DATAX_JOB_CONTENT);
代码示例来源:origin: ECNU-1X/DataX-Masking
public static List<Configuration> doSplit(Configuration originalSliceConfig,
int adviceNumber) {
boolean isTableMode = originalSliceConfig.getBool(Constant.IS_TABLE_MODE).booleanValue();
int tableNumber = originalSliceConfig.getInt(Constant.TABLE_NUMBER_MARK);
if (isTableMode && tableNumber == 1) {
//需要先把内层的 table,connection 先放到外层
String table = originalSliceConfig.getString(String.format("%s[0].%s[0]", Constant.CONN_MARK, Key.TABLE)).trim();
originalSliceConfig.set(Key.TABLE, table);
//注意:这里的 jdbcUrl 不是从数组中获取的,因为之前的 master init 方法已经进行过预处理
String jdbcUrl = originalSliceConfig.getString(String.format("%s[0].%s", Constant.CONN_MARK, Key.JDBC_URL)).trim();
originalSliceConfig.set(Key.JDBC_URL, DataBaseType.DRDS.appendJDBCSuffixForReader(jdbcUrl));
originalSliceConfig.remove(Constant.CONN_MARK);
return doDrdsReaderSplit(originalSliceConfig);
} else {
throw DataXException.asDataXException(DBUtilErrorCode.CONF_ERROR, "您的配置信息中的表(table)的配置有误. 因为Drdsreader 只需要读取一张逻辑表,后台会通过DRDS Proxy自动获取实际对应物理表的数据. 请检查您的配置并作出修改.");
}
}
代码示例来源:origin: ECNU-1X/DataX-Masking
SecretUtil.decrypt((String) value, decryptKey, method));
config.addSecretKeyPath(newKey);
config.remove(key);
代码示例来源:origin: ECNU-1X/DataX-Masking
+ lastPathKey;
configuration.set(newPath, tempEncrptedData);
configuration.remove(path);
代码示例来源:origin: ECNU-1X/DataX-Masking
eachColumnConfig.remove(Constant.RANDOM);
代码示例来源:origin: ECNU-1X/DataX-Masking
&& userConfiguredColumns.size() > 0) {
LOG.warn("您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 column. 如果您不想看到这条提醒,请移除您源头表中配置中的 column.");
originalConfig.remove(Key.COLUMN);
if (StringUtils.isNotBlank(where)) {
LOG.warn("您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 where. 如果您不想看到这条提醒,请移除您源头表中配置中的 where.");
originalConfig.remove(Key.WHERE);
if (StringUtils.isNotBlank(splitPk)) {
LOG.warn("您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 splitPk. 如果您不想看到这条提醒,请移除您源头表中配置中的 splitPk.");
originalConfig.remove(Key.SPLIT_PK);
代码示例来源:origin: ECNU-1X/DataX-Masking
@Override
public void prepare() {
if(Constant.LOADMODE.equalsIgnoreCase(this.writeMode)) {
//导数据到odps表中
this.odpsWriterJobProxy.prepare();
} else {
// 实时表模式非分库分表
String adsTable = this.originalConfig.getString(Key.ADS_TABLE);
List<String> preSqls = this.originalConfig.getList(Key.PRE_SQL,
String.class);
List<String> renderedPreSqls = WriterUtil.renderPreOrPostSqls(
preSqls, adsTable);
if (null != renderedPreSqls && !renderedPreSqls.isEmpty()) {
// 说明有 preSql 配置,则此处删除掉
this.originalConfig.remove(Key.PRE_SQL);
Connection preConn = AdsUtil.getAdsConnect(this.originalConfig);
LOG.info("Begin to execute preSqls:[{}]. context info:{}.",
StringUtils.join(renderedPreSqls, ";"),
this.originalConfig.getString(Key.ADS_URL));
WriterUtil.executeSqls(preConn, renderedPreSqls,
this.originalConfig.getString(Key.ADS_URL),
DataBaseType.ADS);
DBUtil.closeDBResources(null, null, preConn);
}
}
}
代码示例来源:origin: ECNU-1X/DataX-Masking
preSqls, table);
originalConfig.remove(Constant.CONN_MARK);
if (null != renderedPreSqls && !renderedPreSqls.isEmpty()) {
originalConfig.remove(Key.PRE_SQL);
代码示例来源:origin: ECNU-1X/DataX-Masking
@Override
public void post() {
if(Constant.LOADMODE.equalsIgnoreCase(this.writeMode)) {
loadAdsData(odpsAdsHelper, this.odpsTransTableName, null);
this.odpsWriterJobProxy.post();
} else {
// 实时表模式非分库分表
String adsTable = this.originalConfig.getString(Key.ADS_TABLE);
List<String> postSqls = this.originalConfig.getList(
Key.POST_SQL, String.class);
List<String> renderedPostSqls = WriterUtil.renderPreOrPostSqls(
postSqls, adsTable);
if (null != renderedPostSqls && !renderedPostSqls.isEmpty()) {
// 说明有 preSql 配置,则此处删除掉
this.originalConfig.remove(Key.POST_SQL);
Connection postConn = AdsUtil.getAdsConnect(this.originalConfig);
LOG.info(
"Begin to execute postSqls:[{}]. context info:{}.",
StringUtils.join(renderedPostSqls, ";"),
this.originalConfig.getString(Key.ADS_URL));
WriterUtil.executeSqls(postConn, renderedPostSqls,
this.originalConfig.getString(Key.ADS_URL),
DataBaseType.ADS);
DBUtil.closeDBResources(null, null, postConn);
}
}
}
代码示例来源:origin: ECNU-1X/DataX-Masking
if (null != splitPk) {
LOG.warn("由于您读取数据库是drds, 所以您不需要配置 splitPk. 如果您不想看到这条提醒,请移除您源头表中配置的 splitPk.");
this.originalConfig.remove(Key.SPLIT_PK);
代码示例来源:origin: ECNU-1X/DataX-Masking
public void post(Configuration originalConfig) {
int tableNumber = originalConfig.getInt(Constant.TABLE_NUMBER_MARK);
if (tableNumber == 1) {
String username = originalConfig.getString(Key.USERNAME);
String password = originalConfig.getString(Key.PASSWORD);
// 已经由 prepare 进行了appendJDBCSuffix处理
String jdbcUrl = originalConfig.getString(Key.JDBC_URL);
String table = originalConfig.getString(Key.TABLE);
List<String> postSqls = originalConfig.getList(Key.POST_SQL,
String.class);
List<String> renderedPostSqls = WriterUtil.renderPreOrPostSqls(
postSqls, table);
if (null != renderedPostSqls && !renderedPostSqls.isEmpty()) {
// 说明有 postSql 配置,则此处删除掉
originalConfig.remove(Key.POST_SQL);
Connection conn = DBUtil.getConnection(this.dataBaseType,
jdbcUrl, username, password);
LOG.info(
"Begin to execute postSqls:[{}]. context info:{}.",
StringUtils.join(renderedPostSqls, ";"), jdbcUrl);
WriterUtil.executeSqls(conn, renderedPostSqls, jdbcUrl, dataBaseType);
DBUtil.closeDBResources(null, null, conn);
}
}
}
代码示例来源:origin: ECNU-1X/DataX-Masking
sliceConfig.remove(Constant.CONN_MARK);
代码示例来源:origin: ECNU-1X/DataX-Masking
sliceConfig.set(Key.JDBC_URL, jdbcUrl);
sliceConfig.remove(Constant.CONN_MARK);
内容来源于网络,如有侵权,请联系作者删除!