Apache Spark 互动版

在线工具推荐: Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器

Spark Shell

Spark Shell提供一个简单的方式来学习Spark框架的API,同时也是一个可以用于交互数据分析的强大 工具。我们在本课程中使用Spark Shell的Scala版本。

在Spark目录中运行下面命令启动Spark Shell:

$ cd ~/spark
$ ./bin/spark-shell

在一堆balabala的提示信息后,我们看到了Spark-Shell的提示符:

scala>

Spark-Shell是一个REPL解释器,我们输入Scala表达式后,按回车就可以看到执行结果。

比如,要看Spark的版本,在提示符下输入:

scala> sc.version
res2: String = 1.1.0

执行的结果反馈总是以 变量名: 类型 = 值 的形式显示。在上面的结果中,可以看到,执行的结果被放入一个 临时变量res2中,类型是String,值是1.1.0 。

Spark Shell有Scala和Python两个版本。

看看你的Spark的版本是多少?