我有带方括号的日期**[2014-11-08 06:27:00.0],并希望将其删除。
预计产出为2014-11-08 06:27:00.0**
val conf = new SparkConf(true)
.set("spark.cassandra.connection.host", "127.0.0.1").setAppName("CasteDate").setMaster("local[*]")
.set("spark.cassandra.connection.port", "9042")
.set("spark.driver.allowMultipleContexts", "true")
.set("spark.streaming.receiver.writeAheadLog.enable", "true")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(1))
val csc=new CassandraSQLContext(sc)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
var input: SimpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.S")
input.setTimeZone(TimeZone.getTimeZone("GMT"))
var dia: SimpleDateFormat = new SimpleDateFormat("dd")
var mes: SimpleDateFormat = new SimpleDateFormat("MM")
var ano: SimpleDateFormat = new SimpleDateFormat("yyyy")
var horas: SimpleDateFormat = new SimpleDateFormat("HH")
var minutos: SimpleDateFormat = new SimpleDateFormat("mm")
val data=csc.sql("SELECT timecol from smartgrids.analyzer_temp").collect()
import sqlContext.implicits._
val result = data.map(row => {
val day = dia.format(input.parse(row.toString()))
val month = mes.format(input.parse(row.toString()))
val year = ano.format(input.parse(row.toString()))
val hour = horas.format(input.parse(row.toString()))
val minute = minutos.format(input.parse(row.toString()))
})
val collection = sc.parallelize(Seq(("day", 2), ("month", 2), ("year", 4), ("hour", 2), ("minute", 2)))
collection.saveToCassandra("features", "datepart", SomeColumns("day", "month", "year", "hour", "minute"))
sc.stop()
执行此代码后,我收到错误:
java.text.ParseException: Unparseable date: "[2015-08-20 21:01:00.0]"
at java.text.DateFormat.parse(DateFormat.java:366)
我认为这个错误是因为日期有方括号,所以,我想删除它。
3条答案
按热度按时间6ovsh4lw1#
可以使用
.replaceAll
和正则表达式删除不需要的字符。会移除字串的左右方括号。
9rygscc12#
解决方案如下:
我测试过了,它很有效。
输入日期:
输出:
nhaq1z213#
dataset.select您使用的是Spark 2.0,则collect将打印为字符串数组