首页 > spark1.2.0在yarn-client模式下找不到spark-assembly-1.2.0-hadoop2.2.0.jar

spark1.2.0在yarn-client模式下找不到spark-assembly-1.2.0-hadoop2.2.0.jar

下载的spark 1.2.0源码,使用命令

mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

编译,运行spark-shell时正常。但是在运行spark-shell --master yarn-client时会报错误:

diagnostics: Application application_1420611218803_0002 failed 2 times due to AM Container for appattempt_1420611218803_0002_000002 exited with  exitCode: -1000 due to: java.io.FileNotFoundException: File file:/home/hadoop/Applications/spark-1.2.0/assembly/target/scala-2.10/spark-assembly-1.2.0-hadoop2.2.0.jar does not exist
.Failing this attempt.. Failing the application.

我查了一下该文件,的确存在且目录正确。
我的spark-env.sh文件只设置了HADOOP_CONF_DIR变量。以前安装过spark 1.1.0且也是只设置了该变量,集群运行正常。
我试着添加SPARK_JAR等参数,没有效果。
请问可能是哪些地方出现了问题?


1、下载spark代码的时候直接下载预编译版本的,如下:
在下拉匡中选择一个预编译版本。

2、下载source code以后,再编译

具体方法你可以再百度下


好吧,是我粗心了。
就是HADOOP_CONF_DIR路径设置错误。Hadoop程序放在了/home/hadoop/Applications/...下,路径设置为$HOME/hadoop/Applications/...,关键是我的$HOME=/home/hadoop。问题就在这。

这几天这个问题没少折腾,刚刚又把spark重新编译了一遍,花了我一个多小时。这再次提醒我,细心很重要。

【热门文章】
【热门文章】