[spark]用idea写一个scala程序统计虚拟机里面的一个文件有几个a几个b？

Question

package org.example
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
/* org.example.SimpleApp.scala */

object SimpleApp{
def main(arg:Array[String]) {
val logFile = "file:///usr/local/spark/README.md"
val conf = new SparkConf().setAppName("Simple Application").setMaster("local")
val sc = new SparkContext(conf)
val logData = sc.textFile(logFile, 2).cache
val numAs = logData.filter(line => line.contains("a")).count()
val numBs = logData.filter(line => line.contains("b")).count()
println("Lines with a: %s,Lines with b: %s".format(numAs, numBs))
sc.stop()
}
}

Answer 1

下面是一个用Scala和Spark实现的统计虚拟机中文件中a和b数量的程序：
```scala
import org.apache.spark._
import org.apache.spark.SparkContext._
import org.apache.log4j._
object FileCharacterCount {
def main(args: Array[String]) {
Logger.getLogger("org").setLevel(Level.ERROR)
// 初始化SparkContext
val conf = new SparkConf().setAppName("FileCharacterCount").setMaster("local")
val sc = new SparkContext(conf)
// 读取文件并进行处理
val file = sc.textFile("path/to/your/file")
val aCount = file.flatMap(line => line.toCharArray()).filter(c => c == 'a').count()
val bCount = file.flatMap(line => line.toCharArray()).filter(c => c == 'b').count()
// 输出结果
println(s"文件中共有 $aCount 个 a 和 $bCount 个 b.")
}
}
```
在这个程序中，我们首先创建了一个`SparkConf`对象，指定了应用程序的名称和运行模式。然后，我们使用该配置对象初始化了一个`SparkContext`对象。接下来，我们使用`textFile`方法从指定路径读取了文件，并使用`flatMap`方法将每一行转换为一个字符数组。然后，我们使用`filter`方法过滤出所有的'a'和'b'字符，并使用`count`方法统计它们的数量。最后，我们打印出结果。
请注意，您需要将程序中的`path/to/your/file`替换为您要处理的文件的实际路径。