sample : 采样

采样变换根据给定的随机种子，从RDD中随机地按指定比例选一部分记录，创建新的RDD。采样变换 在机器学习中可用于进行交叉验证。

语法

def sample(withReplacement: Boolean, fraction: Double, seed: Long = Utils.random.nextLong): RDD[T]

参数

• withReplacement : Boolean , True表示进行替换采样，False表示进行非替换采样
• fraction : Double, 在0~1之间的一个浮点值，表示要采样的记录在全体记录中的比例
• seed ：随机种子

示例

下面的示例从原RDD中随机选择20%的记录，构造一个新的RDD，然后返回新RDD的记录数：

scala> textFile.sample(true,0.2).count()
res12: Long = 26

使用RDD的sample方法获得一个采样RDD！