apache flink als,ids为long而不是int

t5fffqht  于 2021-06-25  发布在  Flink
关注(0)|答案(1)|浏览(352)

我正在flink 1.1.3版中尝试als代码,使用:

mvn archetype:generate                             \
    -DarchetypeGroupId=org.apache.flink            \
    -DarchetypeArtifactId=flink-quickstart-scala   \
    -DarchetypeVersion=1.1.3                       \
    -DgroupId=org.apache.flink.quickstart          \
    -DartifactId=flink-scala-project               \
    -Dversion=0.1                                  \
    -Dpackage=org.apache.flink.quickstart          \
    -DinteractiveMode=false

我遵循中的示例代码:https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/libs/ml/als.html 并更改了数据集中long的int值

val env = ExecutionEnvironment.getExecutionEnvironment
val csvInput: DataSet[(Long, Long, Double)] = env.readCsvFile[(Long, Long, Double)]("tmp-contactos.csv")

// Setup the ALS learner
val als = ALS()
  .setIterations(10)
  .setNumFactors(10)
  .setBlocks(100)

// Set the other parameters via a parameter map
val parameters = ParameterMap()
  .add(ALS.Lambda, 0.9)
  .add(ALS.Seed, 42L)

// Calculate the factorization
als.fit(csvInput, parameters)

但它在运行时抛出:

Exception in thread "main" java.lang.RuntimeException: There is no FitOperation defined for org.apache.flink.ml.recommendation.ALS which trains on a DataSet[(Long, Int, Double)]
at org.apache.flink.ml.pipeline.Estimator$$anon$4.fit(Estimator.scala:85)
at org.apache.flink.ml.pipeline.Estimator$class.fit(Estimator.scala:55)
at org.apache.flink.ml.recommendation.ALS.fit(ALS.scala:122)
at org.apache.flink.quickstart.BatchJob$.main(BatchJob.scala:119)
at org.apache.flink.quickstart.BatchJob.main(BatchJob.scala)

可以用long代替int吗??
我在0.9版本中搜索并找到了这个,但在1.1.13中没有:
https://issues.apache.org/jira/browse/flink-2211

lnlaulya

lnlaulya1#

到目前为止,它还没有得到官方的支持,但我已经创建了一个分支,在那里我修复了这个限制。你可以试试这个分支。我会把它贡献给Flink,这样下次它就会成为师父的一部分。

相关问题