Spark优化之三：Kryo序列化
2024-04-11 01:30:20
Spark默认采用Java的序列化器，这里建议采用Kryo序列化提高性能。实测性能最高甚至提高一倍。
Spark之所以不默认使用Kryo序列化，可能的原因是需要对类进行注册。
Java程序中注册很简单：
SparkConf conf = new SparkConf().setAppName(appName);
conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
conf.registerKryoClasses(new Class[]{YOUR_SPARK_CLASS.class});
最新文章
- mysql的事务处理
- rsync+inotify实时同步环境部署记录
- cocos2d回忆
- T430 Windows 8 的USB3.0无法识别
- Python程序的混淆和加密
- IOS-day01_OC中类的创建以及使用
- JDK1.5新特性(七)……Annotations
- 【Usaco2008 Mar】土地购买
- Windows Azure功能更新：Oracle软件正式登陆Azure了
- 项目实战2.2—nginx 反向代理负载均衡、动静分离和缓存的实现
- 42028: Assignment 1 – Autumn 2019
- grid-layout
- [转]Docker php extensions gd
- .NET 中的 async/await 异步编程
- android开发(42) 使用andorid操作蓝牙打印机
- uva 1658 Admiral - 费用流
- Django基础必备三神装（HttpResponse、render,、redirect）
- （转）MapReduce Design Patterns（chapter 3 （part 2））（六）
- Current thread must be set to single thread apartment (STA) mode before OLE,当前线程不在单线程单元中，因此无法实例化 ActiveX 控件“8856f961-340a-11d0-a96b-00c04fd705a2”。
- hzau 1208 Color Circle（dfs）