第二次结对作业

我是来自18级计算机系软件工程的赵泽阳，学号211803388，平时的户外活动基本和我没什么瓜葛（一些学校组织的活动除外），对我来说，宅在宿舍也许是最舒适的放松之地吧。平时会看一些课外的书籍，看些古装电视剧和电影，有时候也会打打游戏。

学号：211808332他是邱建杰，和我同班一个同学，平时喜欢研究一些匪夷所思的东西，着实不知道他在想啥哈哈哈。通过大一下的转专业让本没有任何交集的两人彼此相互认识，并通过了解得知在同一个省而且离得还挺近，一场意外的相遇让两个人的命运就这样悄然联系在了一起，慢慢地彼此熟悉成为了好朋友。

这次再次结对想必一定会更加的默契，效率也会相对提高！！！

(1).这次结对的感受:

赵泽阳：这次的结对作业可以说学到了很多，从原本对爬虫一无所知的我，通过两天对爬虫教程的了解，也是学了个模模糊糊，其中的原理还不是很理解，也是询问了对爬虫认知比较多的同学才得以有个大致的了解，以及对这次程序的编码，通过学习班课资源的爬虫教程，与冰炜同学的交流和参考代码知道了获取cookie的方法，发送请求，响应爬取信息，以及组装请求组头等一些重要知识点，收获满满！！！

邱建杰：通过第二次结队作业，我深刻感受到了自己能力的不足，在我和赵泽阳同学的合作下第二次的结队作业，终于完美完成加，非常希望能跟他再次合作，让我感受到了团队的魅力，软件工程uml让我学习到了很多很多的东西，我会更加努力的。

这次的项目需求分析和具体实现思路：

【1】:通过获取cookie模拟登陆，进入活动页面获取html信息。

【2】:通过获取的html信息统计每个学生的课堂完成部分的总经验值。

【3】：分别对每个url爬取存入html。

【4】：最后统计分数，和最高分，最低分，平均分，存入txt文件中。

由于是初学爬虫教程，所遇到的问题还是不少的，但经过两天的学习终是弄懂了不少。

【1】：首先就是解析html保存本地，分析页面代码。

依据html中课堂完成部分的class，来获得某个页面的url

Elements es2 = element1.getElementsByAttributeValue("class", "interaction-row");

for (Element element2 : es2) {

if (element2.toString().contains("课堂完成部分")) {

//获得课堂完成活动页面的URL

String url = element2.attr("data-url");

} } }

【2】：开始考虑的时候仅仅只考虑到了同学们已经参与课堂完成部分的经验值的提取，并没有考虑最终经验值为0（学生未参与这种情况的存在）导致开始的统计可能存在一些偏差。