Spark Shell
Spark Shell提供一个简单的方式来学习Spark框架的API,同时也是一个可以用于交互数据分析的强大 工具。我们在本课程中使用Spark Shell的Scala版本。
在Spark目录中运行下面命令启动Spark Shell:
$ cd ~/spark $ ./bin/spark-shell
在一堆balabala的提示信息后,我们看到了Spark-Shell的提示符:
scala>
Spark-Shell是一个REPL解释器,我们输入Scala表达式后,按回车就可以看到执行结果。
比如,要看Spark的版本,在提示符下输入:
scala> sc.version res2: String = 1.1.0
执行的结果反馈总是以 变量名: 类型 = 值 的形式显示。在上面的结果中,可以看到,执行的结果被放入一个 临时变量res2中,类型是String,值是1.1.0 。
Spark Shell有Scala和Python两个版本。
看看你的Spark的版本是多少?