scala – Mllib依赖错误

我正在尝试使用Mllib构建一个非常简单的scala独立应用程序,但是当尝试打破程序时会收到以下错误:

Object Mllib is not a member of package org.apache.spark

然后,我意识到我必须添加Mllib作为依赖关系如下:

version := "1"
scalaVersion :="2.10.4"

libraryDependencies ++= Seq(
"org.apache.spark"  %% "spark-core"              % "1.1.0",
"org.apache.spark"  %% "spark-mllib"             % "1.1.0"
)

但是,在这里我有一个错误说:

未解决依赖性spark-core_2.10.4; 1.1.1:未找到

所以我不得不修改它

“org.apache.spark”%“spark-core_2.10”%“1.1.1”,

但是还有一个错误说:

未解决依赖性spark-mllib; 1.1.1:未找到

任何人都知道如何在.sbt文件中添加Mllib的依赖关系?

最佳答案
@lmm指出,您可以将库包含为:

libraryDependencies = Seq(
  “org.apache.spark”%“spark-core_2.10”%“1.1.0”,
  “org.apache.spark”%“spark-mllib_2.10”%“1.1.0”
  )

在sbt %%中包含scala版本,您正在使用Scala版本2.10.4构建,而Spark工件通常以2.10版本发布.

应该注意的是,如果要组装一个程序集jar来部署应用程序,则可能希望标记spark-core,例如.

libraryDependencies = Seq(
  “org.apache.spark”%“spark-core_2.10”%“1.1.0”%“提供”,
  “org.apache.spark”%“spark-mllib_2.10”%“1.1.0”
  )

因为火花核心包将会在执行器的路径上.

转载注明原文:scala – Mllib依赖错误 - 代码日志