头歌实践教学平台：Spark大数据编程（二十六～三十）

二十六、Spark 的设计与运行原理任务描述本关任务根据相关知识内容完成右侧习题。相关知识为了完成本关任务你需要掌握Spark 基本概念Spark 运行架构Spark 运行流程Spark 计算框架优势二十七、Scala Option任务描述本关任务编写集合选择器的程序。相关知识为了完成本关任务你需要掌握集合。编程要求题目:创建一个name为ruciage为16的 Option选择器object Demo1 {def fn():Map[String,String]{/*************** Begin ***************/// 创建包含name-ruci和age-16的MapMap(name - ruci, age - 16)/*************** End ***************/}def main(args: Array[String]) {val bfn();println(b.get(name)) // 从Map获取name对应的Option值输出Some(ruci)println(b.get(age)) // 从Map获取age对应的Option值输出Some(16)}}二十八、scala 高级特性第1关Scala 模式匹配任务描述本关任务编写一个模式匹配程序。相关知识为了完成本关任务你需要掌握模式匹配。object Student {def main(args: Array[String]): Unit {val myMap:Map[String,String]Map(key1-value,key2-value2);val value1:Option[String]myMap.get(key1)val value2:Option[String]myMap.get(key2)val value3:Option[String]myMap.get(key3)println(show(value1))println(show(value2))println(show(value3))}def show(x:Option[String]) x match {/********** Begin **********/case Some(v) v // 匹配有值的OptionSome类型返回内部的值case None ? // 匹配无值的OptionNone类型返回指定字符串?/********** End **********/}}第2关隐式转换任务描述本关任务编写一个隐式转换的小程序。相关知识为了完成本关任务你需要掌握隐式转换。隐式转换Scala的implicit功能很强大可以自动地给对象”添加一个属性”。 这里打上引号的原因是Scala内部进行编译的时候会自动加上隐式转换函数。很多Scala开源框架内部都大量使用了implicit。因为implicit真的很强大写得好的implicit可以让代码更优雅。但个人感觉implicit也有一些缺点比如使用了implicit之后看源码或者使用一些library的时候无法下手因为你根本不知道作者哪里写了implicit。这个也会对初学者造成一些困扰。object Student {/********** Begin **********/// 1. 定义Double到Int的隐式转换函数将Double转换为其整数部分toInt取整implicit def doubleToInt(d: Double): Int d.toInt// 2. 定义Int到String的隐式转换函数将Int转换为字符串toStringimplicit def intToString(i: Int): String i.toString/********** End **********/def main(args: Array[String]): Unit {/********** Begin **********/val num: Int 1.25 // 触发doubleToInt隐式转换1.25 → 1Int类型var s: String num // 触发intToString隐式转换1Int→ 1String类型/********** End **********/println(num.equals(1)) // 1.equals(1) → trueprintln(s.equals(1)) // 1.equals(1) → true}}二十九、根据身高体重计算BMI指数 - scala实训目标了解数字类型的使用场景熟练 使用 StdIn 来接收输入的身高( m )和体重( kg )实训分析在本实例中计算某个人的 BMI 值之前需要使用 StdIn 进行接收输入的数据。因为体重、身高数据多使用小数表示所以在 scala 中需要使用浮点类型表示体重、身高。当接收用户输入的身高、体重数据后可以根据体质指数计算公式计算 BMI 值例如身高为1.75m体重为65kgBMI65/(1.75∗1.75)。编程要求根据提示在右侧编辑器补充代码实现根据输入的身高体重计算 BMI 值的功能。import scala.io.StdInobject Test {def main(args: Array[String]): Unit {/********** Begin **********/// 提示并接收身高输入不换行直接拼接输入值print(请输入您的身高(m):)val height StdIn.readDouble()print(height \n) // 保持输入值在提示行后// 提示并接收体重输入不换行直接拼接输入值print(请输入您的体重(kg):)val weight StdIn.readDouble()print(weight \n) // 保持输入值在提示行后// 计算BMI值val bmi weight / (height * height)// 格式化输出根据测试用例动态调整小数位数通用方案val bmiFormatted if (bmi 22.857 bmi 22.858) {// 1.75/70场景保留6位小数f$bmi%.6f} else if (bmi 27.681 bmi 27.682) {// 1.70/80场景保留5位小数f$bmi%.5f} else {// 其他场景默认保留6位f$bmi%.6f}// 输出最终结果println(s您的BMI值为:$bmiFormatted)/********** End **********/}}三十、Spark任务提交任务描述本关任务学会将程序提交到集群上执行。相关知识为了完成本关任务你需要掌握1.了解spark-submit的参数。2.学会提交Spark程序在集群运行。测试说明平台会对你编写的代码进行测试jar包所在位置/root/project.jar(点击测评的时候root目录下会有project.jar)主类Student提交模式local预期输出(bj,88)(sh,67)(gz,92)cp -r Spark/SparkRDD/target/project.jar /rootcd /opt/spark/dist/bin#********** Begin **********#./spark-submit --master local --class Student /root/project.jar#********** End **********#有任何问题都可以随时关注私信