前面讲到将每篇文章的URL写入Item,但是每个url的长度是不同的，
可以在Item中设置一个字段怎样使得每个URL的长度相同，这就需要对每个URL进行md5
运算，使得长度统一，再加入到设定的Item字段中
从项目的根目录下新建一个文件夹，把所有能用到的自定义方法写入，，命名为util
并从util下新建一个common.py文件
写入以下：
1 import hashlib 2 def get_md5(url): 3 if isinstance(url,str): 4 url = url.encode("utf-8") 5 m = hashlib.md5() 6 m.update(url) 7 return m.hexdigest()
转换编码的讲解
python3中所有字符都是Unicode编码，而md5则是对UTF-8的编码进行运算，不难理解
计算在cpu中进行，而在内存中存储的应该是utf-8编码的，为了节省内存嘛，而在python2中则不存在这种情况，因为python3中将所有的字符都以Unicode
进行编码，所有python3则不会出现乱码问题
最后从jobbole.py中引入该方法，并写入Item这个字段
from ArticalSpider.util.common import get_md5 artical_item["url_object_id"] = get_md5(response.url)
至此，所有的Item字段都添加完毕，剩下的就是写入数据库了