hadoop2.6.0理论：hdfs、yarn、mapreduce的架构
2024-04-11 22:55:38
HDFS2的架构：负责数据的分布式存储
主从结构
主节点，可以有2个: namenode
从节点，有很多个: datanode
namenode负责：
接收用户操作请求，是用户操作的入口
维护文件系统的目录结构，称作命名空间
datanode负责：存储文件
Yarn的架构：资源的调度和管理平台
主从结构
主节点，可以有2个: ResourceManager
从节点，有很多个: NodeManager
ResourceManager负责：
集群资源的分配与调度
MapReduce、Storm、Spark等应用，必须实现ApplicationMaster接口，才能被RM管理
NodeManager负责：
单节点资源的管理
MapRedece的架构：依赖磁盘io的批处理计算模型
主从结构
主节点，只有一个: MRAppMaster
MRAppMaster负责：
接收客户提交的计算任务
把计算任务分给TaskTrackers执行，即任务调度
监控TaskTracker的执行情况
最新文章
- 二分+最短路判定 BZOJ 2709: [Violet 1]迷宫花园
- Jsp页显示时间标签JSTL标签 <fmt:formatDate/> 实例大全
- HDU 4857 Couple doubi（找循环节）
- BX2001: IE 支持使用 window.clipboardData 访问系统剪贴板，Chrome 和 Safari 中存在类似的 Clipboard 对象但尚未实现，Firefox 和 Opera 不支持这类对象
- 动态修改 NodeJS 程序中的变量值
- Codeforces 364
- IO笔记
- 关于GC进行垃圾回收的时机
- IOS如何延长LaunchScreen.xib启动画面
- xcode UIImageView创建、图片加载、 音频文件播放、 延迟调用
- Oracle 重建索引脚本
- c#游戏进程杀手
- 1068. Find More Coins (30)
- IIC详解
- ExpandableListView使用(三)-ScrollView嵌套ExpandableListView，列表显示不全
- 什么是 maven的uber-jar
- dockerfile 镜像 指定虚拟机的内存
- iOS - Action Extension
- jq 自定义标注小组件 $.widget
- python recv()是什么