深圳大数据培训学校：spark开发调优
深圳大数据培训">大数据培训学校哪里好？到千锋教育学习就很好。
Spark性能优化的头一步，就是要在开发Spark作业的过程中注意和应用一些性能优化的基本原则。开发调优，就是要让大家了解以下一些Spark基本开发原则，包括：RDD lineage设计、算子的合理使用、特殊操作的优化等。在开发过程中，时时刻刻都应该注意以上原则，并将这些原则根据具体的业务以及实际的应用场景，灵活地运用到自己的Spark作业中。
原则一：避免创建重复的RDD
通常来说，我们在开发一个Spark作业时，首先是基于某个数据源(比如Hive表或HDFS文件)创建一个初始的RDD;接着对这个RDD执行某个算子操作，然后得到下一个RDD;以此类推，循环往复，直到计算出我们需要的结果。在这个过程中，多个RDD会通过不同的算子操作(比如map、reduce等)串起来，这个“RDD串”，就是RDD lineage，也就是“RDD的血缘关系链”。
我们在开发过程中要注意：对于同一份数据，只应该创建一个RDD，不能创建多个RDD来代表同一份数据。
原则二：尽可能复用同一个RDD
除了要避免在开发过程中对一份完全相同的数据创建多个RDD之外，在对不同的数据执行算子操作时还要尽可能地复用一个RDD，这样可以尽可能地减少RDD的数量，从而尽可能减少算子执行的次数。
原则三：对多次使用的RDD进行持久化
当你在Spark代码中多次对一个RDD做了算子操作后，恭喜，你已经实现Spark作业头一步的优化了，也就是尽可能复用RDD。此时就该在这个基础之上，进行第二步优化了，也就是要确保对一个RDD执行多次算子操作时，这个RDD本身仅仅被计算一次。
Spark中对于一个RDD执行多次算子的默认原理是这样的：每次你对一个RDD执行一个算子操作时，都会重新从源头处计算一遍，计算出那个RDD来，然后再对这个RDD执行你的算子操作。这种方式的性能是很差的。因此对于这种情况，我们的建议是：对多次使用的RDD进行持久化。
原则四：尽量避免使用shuffle类算子
如果有可能的话，要尽量避免使用shuffle类算子。因为Spark作业运行过程中，消耗性能的地方就是shuffle过程。shuffle过程，简单来说，就是将分布在集群中多个节点上的同一个key，拉取到同一个节点上，进行聚合或join等操作。比如reduceByKey、join等算子，都会触发shuffle操作。
原则五：使用map-side预聚合的shuffle操作
如果因为业务需要，一定要使用shuffle操作，无法用map类的算子来替代，那么尽量使用可以map-side预聚合的算子。
原则六：广播大变量
有时在开发过程中，会遇到需要在算子函数中使用外部变量的场景(尤其是大变量，比如100M以上的大集合)，那么此时就应该使用Spark的广播(Broadcast)功能来提升性能。
以上就是千锋深圳大数据培训">大数据培训学校老师的经验总结，希望每一位同学都能在大数据技术上精益求精！
联系千锋
校区地址：深圳市宝安区宝安大道5010号深圳西部硅谷B座A区605
课程咨询QQ：1494648730
课程咨询电话/微信：13371496642
招生学科：深圳Java培训、深圳Web培训（深圳HTML5培训）、深圳UI设计培训、深圳Python培训、深圳软件测试培训、深圳大数据培训、深圳云计算培训（深圳Linux培训）、深圳物联网培训（深圳嵌入式培训）
