Hadoop学习记录（2）|HDFS shell命令|体系结构
HDFS的shell
调用文件系统（FS）shell命令使用hadoop fs的形式
所有的FS shell命令使用URI路径作为参数。
URI格式是scheme://authority/path。HDFS的scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
例如：/parent/child可以表示成hdfs://namenode:namenodePort/parent/child，或者更简单的/parent/child（假设配置文件是namenode:namenodePort）
HDFS fs命令
-help [cmd] //显示命令的帮助信息
-ls(r) <path> //显示当前目录下所有文件
-du(s) <path> //显示目录中所有文件大小
-count[-q] <path> //显示目录中文件数量
-mv <src> <dst> //移动多个文件到目标目录
[root@h1 conf]# hadoop fs -cp /tmp/
-cp <src> <dst> //复制多个文件到目标目录，不能用通配符，否则指向本地磁盘。
cp: File does not exist: /tmp/hadoop-root-datanode.pid
cp: File does not exist: /tmp/hadoop-root-jobtracker.pid
cp: File does not exist: /tmp/hadoop-root-namenode.pid
cp: File does not exist: /tmp/hadoop-root-secondarynamenode.pid
cp: File does not exist: /tmp/hadoop-root-tasktracker.pid
cp: File does not exist: /tmp/hsperfdata_root
cp: File does not exist: /tmp/Jetty_0_0_0_0_50030_job_yn7qmk
cp: File does not exist: /tmp/Jetty_0_0_0_0_50060_task cp: File does not exist: /tmp/Jetty_0_0_0_0_50070_hdfs cp: File does not exist: /tmp/Jetty_0_0_0_0_50075_datanode cp: File does not exist: /tmp/Jetty_0_0_0_0_50090_secondary
cp: File does not exist: /tmp/ssh-pyNDMS3249
-rm(r) //删除文件(夹)
-put <localsrc> <dst> //本地文件复制到hdfs
-copyFromLocal //同put
-moveFromLocal //从本地文件移动到hdfs
-get [-ignoreCrc] <src> <localdst> //复制文件到本地，可以忽略crc校验
-getmerge <src> <localdst> //将源目录中的所有文件排序合并到一个文件中
-cat <src> //在终端显示文件内容
-text <src> //在终端显示文件内容
-copyToLocal [-ignoreCrc] <src> <localdst> //复制到本地
-moveToLocal <src> <localdst> 提示is not implemented yet 没有实现这个功能。
-mkdir <path> //创建文件夹
-touchz <path> //创建一个空文件
HDFS体系结构
Namenode
是整个文件系统的管理节点，它维护者整个文件系统的文件目录树，文件或目录的原信息和每个文件对应的数据块列表，并接收用户的操作请求。
文件包括：
fsimage：元数据镜像文件，存储某一时段。namnode内存元数据信息
dfs.name.dir 参数可以配置多个目录，保存多份。
<property>
<name>dfs.name.dir</name>
<value>${hadoop.tmp.dir}/dfs/name,/data/dfs/name</value>
<description>Determines where on the local filesystem the DFS name node
should store the name table(fsimage). If this is a comma-delimited list
of directories then the name table is replicated in all of the
directories, for redundancy. </description>
</property>
edits：操作日志文件
保存事务性日志，如果上传成功了保存在里面，没上传成功信息将删除。
如何转移到fsimage呢？通过secondaryNameNode来完成的。
定期进行合并保存到fsimage，时间记录在fstime中。
fstime：保存最近一次chackpoint的时间
<property>
<name>fs.checkpoint.period</name>
<value>3600</value>
<description>The number of seconds between two periodic checkpoints.
</description>
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
<description>The size of the current edit log (in bytes) that triggers
a periodic checkpoint even if the fs.checkpoint.period hasn't expired.
</description>
</property>
DataNode
提供真实文件数据的存储服务
以文件块的形式存储，默认大小64M。
<property>
<name>dfs.block.size</name>
<value>67108864</value>
<description>The default block size for new files.</description>
</property>
不同于普通文件系统的是，HDFS中如果一个文件小于数据块大小，并不占用整个数据块存储空间，而是以实际的数据大小存储。
Replication，多副本，默认3个
<property>
<name>dfs.replication</name>
<value>3</value>
<description>Default block replication.
The actual number of replications can be specified when the file is created.
The default is used if replication is not specified in create time.
</description>
</property>
SecondaryNameNode
HA的一个解决方案，不支持热备，2.0版本支持。
执行过程：从Namenode上下载元数据信息（fsimage,edits），在本地保存并将其推送到Namenode，同时重置Namenode的edits。
默认安装在Namenode节点上，不安全！生成环境配置为独立服务器。
设置$HADOOP_HOME/conf/master中设置！
最新文章
- clearInterval,setInterval,clearTimeout,setTimeout
- 设置MySQL自动增长从某个指定的数开始
- 关于php语言的使用！ ------php语言与JavaScript的使用 方法是相似
- 防篡改php文件校验程序
- 基于AgileEAS.NET企业应用平台实现基于SOA架构的应用整合方案-开篇
- 记录android学习、开发过程温故知新
- Ansj分词双数组Trie树实现与arrays.dic词典格式
- YUV像素和ycbcr
- Eclipse使用技巧总结（二）
- hdu 2067 兔子板
- gulp 安装步骤
- Excel教程(5) - 日期与时间函数
- c语言_头文件
- IDEA插件和快捷设置
- php 日历代码
- vi命令复制粘贴
- EC20指令测试
- 通俗易懂的php多线程解决方案
- Mybatis笔记三：全局配置文件
- EasyUI扩展——自定义列排序匹配字段