用python做spark开发
IDE用pycharm,在pycharm中加断点debug的时候,会跳转到对应python的spark部分实现。
但是我想看看scala的源码,scala原生源码和python的实现部分源码,有什么不同?
对spark运行调度和内核的实现是否一样?对学习的理解有什么差别?
pyspark 其实底层就是 scala,只是写了一些接口封装一下,建议看一眼源码,,
用python做spark开发
IDE用pycharm,在pycharm中加断点debug的时候,会跳转到对应python的spark部分实现。
但是我想看看scala的源码,scala原生源码和python的实现部分源码,有什么不同?
对spark运行调度和内核的实现是否一样?对学习的理解有什么差别?
pyspark 其实底层就是 scala,只是写了一些接口封装一下,建议看一眼源码,,