（0）前言：

（1）PSP表格：

PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 30 40
• Estimate • 估计这个任务需要多少时间 30 40
Development 开发 1070 1300
• Analysis • 需求分析 (包括学习新技术) 150 200
• Design Spec • 生成设计文档 50 60
• Design Review • 设计复审 30 20
• Coding Standard • 代码规范 (为目前的开发制定合适的规范) 40 20
• Design • 具体设计 200 50
• Coding • 具体编码 360 330
• Code Review • 代码复审 40 360
• Test • 测试（自我测试，修改代码，提交修改） 200 260
Reporting 报告 110 120
• Test Repor • 测试报告 50 60
• Size Measurement • 计算工作量 30 25
• Postmortem & Process Improvement Plan • 事后总结, 并提出过程改进计划 30 35
合计 1210 1460

（2）解题思路描述：

  • 刚拿到题目后，我发现本题只是要求我们实现一个控制台程序，通过命令行参数传入一个文本后，将文本进行解析，分析出文本里的字符数，单词数，有效行数等内容。总体而已，这个程序的基本功能并不是很难。

    -由于我对于java的学习比较浅显，现在已经忘的差不多了，所以我用了c++,思路有很多。编程其实并不难，同一个问题有多种实现方法，并且大问题很容易可以拆成小问题，分块解决。
  • 例如这题我想了两个思路，一个是先把文件预处理，可以利用fread把文件读取成字符串，之后按照特定的分割符可以利用类似split函数，判断合法的单词，统计字符数。另一个思路是利用ifstream文件流读出txt文件的内容，之后用getline按行读出文件，并且vector存储单词，并且用map按字典序存储单词。

不过存在两个问题：

  • 1.用map储存有一个问题，就是map只能按特定的key值存储单词，并不能在此基础上按单词出现的频率排序，因此我用multimap多重映射对单词再次排序,如此一来就可以按单词频率按字典序排序。
  • 2.我以前没有用过通过命令行参数传入一个文件名，因此我学习了一下ifstream怎么读取输出文件。

（3）设计实现过程：

  • 本项目我采用类进行接口封装，关于类的说明与接口的函数在stdafx.h文件里，关于接口的详细代码内容在stdafx.cpp文件里。

    -对于本作业，主要我设计了两个类，一个类是Word类用于进行词频分析以及存储词频分析的结果.另一个类File是用于进行文件的异常测试。

Word类包含了5个函数：

   Word();//用于初始化

   int Countcharacters(char *argv);//用于统计字符数

   int Countlines(char *argv);//用于统计空白行

   int Countwords(char *argv);//用于统计单词数

   vector<pair<string,int>> Counttop10(char *argv);//统计词频前十的单词

File类包含了2个函数：

   File();//用于初始化

   int FileTest(char *argv[]);//用于文件异常测试

模块分析：

  • Countcharacters函数是用于统计字符数的，主要是根据题意，遍历一次文件里的字符串，判断字符是否是在0到127，属于Ascill码的范围。
  • Countlines函数是用于统计空白行，在分析这个功能的时候，需要先理解什么是空白字符串，主要包括tab，空格跟回车三种，只要按行读取，判断该行内是否存在除这三者以外的字符，就可以判断是否是空白行。
  • Countwords函数用于统计单词数，我主要是先通过大小写转化，把合法单词所可能用的字符大小写转化，之后用ans作为标记，判断是否存在开头为4个连续的字母的单词，若存在合法单词，则用map进行存储。
  • Counttop10用于统计词频前十的单词，属于这次词频分析作业里的核心函数，同样是找出合法单词用map按字典序存储，多重映射的multimap,将key设为单词的词频，按词频进行字典序排序，由于map要求key值唯一，而multimap可以多重映射，因此我使用multimap进行排序，最后用vector和pair存储词频前十的单词。核心代码见(5)

（4）性能分析及改进：

测试文件input.txt内容：

vasdvs

bsbsdb.vasdvs

;casv[vdav/vv

vas.vsv+v

casvsa2000

 casvsa1998

as*casvsa2001

123acasv;;;;;

12sav

	vasdvs

vdv++

12sav;;fas

b

测试文件结果：

characters: 130

words: 9

lines: 13

<vasdvs>: 3

<bsbsdb>: 1

<casv>: 1

<casvsa1998>: 1

<casvsa2000>: 1

<casvsa2001>: 1

<vdav>: 1

  • 我将这个文件循环测试了10000次，性能分析结果如图：

  • 从图可以看出Countwords函数占了接近35%的时间，Counttop10占了快20%的时间，总耗时28s,由于我一开始是在执行Countwords过程中，顺便用map存储合法单词，由于题目要求是要三个独立的接口，因此我在调用Counttop10函数时是先执行了一次Countwords函数。因此我把两个进行拆分，做出改进。

  • 改进后Countwords函数只用于统计单词个数，Counttop10则是先自行遍历一次文件，查找合法单词后，进行后续操作，改进后性能分析结果如图：

  • 改进结果，时间减少了3s，Countwords占用时间大幅度减少。

（5）项目关键代码：

Counttop10函数：

vector<pair<string, int>> Word::Counttop10(char *argv)

{

	//利用多重映射的multimap,将单词按词频字典序排序，之后用vector存储前十的单词

	mapword.clear();                            //先对原本的map初始化

	map<string, int>::iterator iter;         //迭代器

	multimap<int, string> mapint;

	multimap<int, string>::iterator iter2;

	string name, word;

	long ans, num, i, j, wordpos;

	vector<pair<string, int>> top10;

	ifstream Fileread;                            //读出文件

	Fileread.open(argv, std::ios::in);

	if (Fileread.fail())                             //异常检测

	{

		printf("file isn't exist\n");

		return top10;

	}

	while (!Fileread.eof())

	{

		getline(Fileread, name);        //按行读取文件

		ans = 0; wordpos = 0;

		num = name.size();

		for (i = 0; i<num; i++)

		{

			if (65 <= name[i] && name[i] <= 90)name[i] += 32;//大小写转化

                        //判断是否为合法单词

			if (97 <= name[i] && name[i] <= 122)

			{

				ans++;

				continue;

			}

			if ('0' <= name[i] && name[i] <= '9')

			{

				if (ans >= 4)

				{

					continue;

				}

				else

				{

					for (j = i; j<num; j++)

					{

						if ('0' <= name[j] && name[j] <= '9')

							continue;

						else if (('a' <= name[j] && name[j] <= 'z') || ('A' <= name[j] && name[j] <= 'Z'))

							continue;

						else

						{

                                                        //寻找下一个合法单词的开头

							while (j<num)

							{

								if (('a' <= name[j + 1] && name[j + 1] <= 'z') || ('A' <= name[j + 1] && name[j + 1] <= 'Z'))

								{

									wordpos = j + 1;

									break;

								}

								else

									j++;

							} //寻找下一个单词的开头

							i = j;

							break;

						}

					}	//寻找下一个分隔符

					if (j == num)

					{

						break;

					}	//寻找不到下一个分隔符

					ans = 0;

				}

			}

			else

			{

				if (ans >= 4)

				{

					//添加单词

					word = name.substr(wordpos, i - wordpos);

					iter = mapword.find(string(word));

					if (iter != mapword.end())

						iter->second += 1;

					else

						mapword.insert(pair<string, int>(word, 1));

					//	cout<<"word:"<<word<<endl;

				}//获取单词

				while (i<num)

				{

					if (('a' <= name[i + 1] && name[i + 1] <= 'z') || ('A' <= name[i + 1] && name[i + 1] <= 'Z'))

					{

						wordpos = i + 1;

						break;

					}

					else

						i++;

				}  //寻找下一个合法单词的开头

				ans = 0;

			}

		}

                //防止该行以合法单词结尾

		if (ans >= 4)

		{

			word = name.substr(wordpos, i - wordpos);

			iter = mapword.find(string(word));

			if (iter != mapword.end())

				iter->second += 1;

			else

			{

				mapword.insert(pair<string, int>(word, 1));

			}

		}

	}

	num = 0;

	iter = mapword.begin();

	for (; iter != mapword.end(); iter++)

	{

		mapint.insert(pair<int, string>(-iter->second, iter->first));

	}

	for (iter2 = mapint.begin(); iter2 != mapint.end(); iter2++)

	{

		num++;

		top10.push_back(make_pair(iter2->second.c_str(), -(iter2->first)));

		if (num == 10)

			break;

	}

	Fileread.close();

	return top10;    //返回一个vector

}

（6）单元测试：

本次作业共设置了10个单元测试点，分别用于测试：

  • 测试空白文件
  • 测验没有命令行参数
  • 测试文件不存在
  • 测试单词数字开头的情况
  • 测试大小写单词是否能识别
  • 测试空白行是否识别
  • 测试Countlines函数
  • 测试Countwords函数
  • 测试Countcharacters函数
  • 测试Counttop10函数

单元测试结果：

代码测试覆盖率：



其中stdafx.cpp覆盖率较低的原因是写了一些文件异常处理的代码，如下图：

（7）异常处理：

  • 针对异常处理我主要设置了三种情况，一种是命令行无参数，一种是命令行有多个参数，一种是命令行参数地址错误
  • FileTest(char *argv[]);//用于文件异常测试
int File::FileTest(char *argv[])

{

	if (argv[1] == NULL)

	{

		printf("no file\n");

		return 0;

	}

	if (argv[2] != NULL)

	{

		printf("too much\n");

		return 0;

	}

	fstream Fileread;

	Fileread.open(argv[1], std::ios::in);

	if (Fileread.fail())

	{

		printf("file isn't exist\n");

		return 0;

        }

	Fileread.close();

	return 1;

}

（8）项目小节及个人感想：

  • 本实验我是用c++写的，可能由于参加过acm，学习过一些算法的知识，实现代码的基本功能对我并不是很困难，主要难点在于我以前没用使用过vs，对于vs的功能基本上是属于一知半解的，因此我大部分的时候是学习vs的功能。原本接口的封装我是想采用dll封装，后面因为时间原因，临时换回了class封装，感觉这次在代码改进上做的不够，原本想文件预处理，Word再预处理后直接存储ifstream 的指针，这样再后面调用其他函数时，就可以节省一些开销，不过尝试没用成功，准备等之后有时间再查查fstream文件流的详细原理，看看这个方法是否可行再进行尝试。

最新文章

  1. 【Quartz】配置最简单的集群
  2. iOS 图形处理 Core Graphics Quartz2D 教程
  3. DES加密 java与.net可以相互加密解密的方法
  4. 使用batch insert解决MySQL的insert吞吐量问题
  5. sql server 查询性能最差的sql语句
  6. eclipse下使用API操作HDFS
  7. 查询语句，按照时间排序，取前N条
  8. Pythonchallenge一起来闯关
  9. node.async.auto
  10. mysql 存储过程的应用
  11. sha256
  12. UWP 调用系统拍照程序
  13. Java的多态浅谈
  14. 产生 unmerge path git
  15. 自定义控件详解（六）：Paint 画笔MaskFilter过滤
  16. webservlce 的各个属性
  17. 微信小程序--getLocation需要在app.json中声明permission字段
  18. python3 读取文件跳过文件第一行内容
  19. 在 OC 中调用 Swift 代码
  20. C#WinForm应用程序中嵌入ECharts图表

热门文章

  1. react notes
  2. asp.net Core MVC + form validation + ajax form 笔记
  3. LeetCode--155--最小栈
  4. Please, another Queries on Array? CodeForces - 1114F (线段树,欧拉函数)
  5. The requested URL /phpmyadmin was not found on this server.
  6. spring boot 基础篇 -- 自带图片服务器
  7. windows下进程与线程剖析
  8. CoderForce 140C-New Year Snowmen(贪心)
  9. Intel DAAL AI加速 ——传统决策树和随机森林
  10. 线程正常终止pthread_exit,pthread_join，pthread_kill，pthread_cancel，sigwait，sigaddset