Error

ERROR TaskSetManager: Total size of serialized results of 8113 tasks (1131.0 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

ERROR TaskSetManager: Total size of serialized results of 8114 tasks (1131.1 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

ERROR TaskSetManager: Total size of serialized results of 8115 tasks (1131.2 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

ERROR TaskSetManager: Total size of serialized results of 8116 tasks (1131.3 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)

Cause

  • caused by actions like RDD’s collect() that send big chunk of data to the driver（不一定是因为RDD的问题哦~）

Solution

  • set by SparkConf: conf.set("spark.driver.maxResultSize", "3g")
  • set by spark-defaults.conf: spark.driver.maxResultSize 3g
  • set when calling spark-submit: --conf spark.driver.maxResultSize=3g

最新文章

  1. 如何设置SharePoint 2013 的根网站集下的“更改此术语的目标页面”
  2. Android Bitmap转换WebPng图片导致损坏的分析及解决方案
  3. js之滚动置顶效果
  4. Servlet 的认识
  5. 动态时间归整/规整/弯曲(Dynamic time warping,DTW)
  6. Redis系列-远程连接redis并给redis加锁
  7. 20160421javaweb之上传下载小案例---网盘
  8. Part 4：表单和类视图--Django从入门到精通系列教程
  9. 程序员50题（JS版本）（九）
  10. 将OrCAD Capture CIS的设计文件（.dsn）导入到PADS Logic VX.2.3
  11. js的短路
  12. Kafka win10下启动
  13. IntelliJ IDEA 中自动生成 serialVersionUID 的方法
  14. Numpy np.array 相关常用操作学习笔记
  15. java面试基础题------》Java 中List、Set、Map异同点
  16. Vue Checkbox全选和选中的方法
  17. 【转】EF Code First 学习笔记:约定配置
  18. [转]opengl入门例题（读取bmp图片，并显示）
  19. apache提示没有设置 max-age or expires解决办法
  20. 20165324 《网络对抗技术》week1 Kali的安装与配置

热门文章

  1. 阿里云windows 2012服务器部署java web程序教程
  2. MySQL存储过程动态SQL语句的生成
  3. webservices接口 file "/axis2-web/listsingleservice.jsp" not found 问题解决
  4. cron(CronTrigger)表达式用法
  5. C# List<T> 合并、去重、查找
  6. django学习记录
  7. 使用ActionFilterAttribute进行重定向注意事项
  8. rman恢复报ORA-27039
  9. SQLite文件查看工具DB Browser for SQLite
  10. 分布式消息总线，基于.NET Socket Tcp的发布-订阅框架之离线支持，附代码下载