首页 > 没有hdfs,spark不能集群方式跑是吧?

没有hdfs,spark不能集群方式跑是吧?

可以读本地文件,但是只能spark本地模式运行计算这个从本地读的数据,是吧?


可以脱离HDFS计算pi


spark并不依赖于hdfs。
spark的数据来源有很多,最常见的是kafka。
spark是一种分布式内存数据计算模式,建立在RDD数据模型之上。


可以的,你说的这个问题首先要明确你所谓的集群跑的意思是什么
如果你指的是 spark on yarn 这种集群模式,那么是需要hdfs的。
但是,你如果指的是一个standalone集群,他的数据承载并不是必须hdfs的,本地的文件系统即可,但是在任务运行的时候,要求,每个executor访问的路径下,都有你的那份数据。即如果你以PC1为driver提交任务处理/root/data/下的数据,那么假设你的集群拥有PC1,PC2,PC3的话,要求,PC2,PC3的/root/data/下也有相同的数据


spark有三种模式,单机模式可以供学习使用,通过spark-shell直接启动即可


现在下载1.6 pre-build版可以直接在本地运行。

【热门文章】
【热门文章】