首页 > spark standalone 模式下 怎么配置hadoop

spark standalone 模式下 怎么配置hadoop

spark standalone 模式已经跑起来了一个集群,一台master 两台slave

这个时候怎么配置hadoop,看了一下官网都是hadoop-yarn模式配置,求指教,是说hadoop也要配置为standalone模式么?


如果你这里的hadoop指的是hdfs,zookeeper等基础的话,直接配就行了,装好hdfs,zookeeper即可,不明白你说的配置hadoop具体指的是什么


Hadoop2.x其实就是yarn,资源管理平台了。spark on yarn是将spark运行在yarn上,资源分配回收由yarn自动管理。我想你所说的用Hadoop指的只是用hdfs,Hadoop和spark各自集群搭好,可以用zk进行ha。spark直接操作hdfs就可以了。

【热门文章】
【热门文章】