Python学习笔记之简单爬虫

导语 所谓的爬虫就是通过代码的方式,抓取网站上的你想要的任何信息,比如你在网上看见很多有意思的图片,如果不会爬虫的话,我是不是的一张张另存下来,如果会了爬虫,就能悄无声息 的吧图片下载下来,慢慢欣赏。

  现阶段我们利用urllib模块,去做最简单的爬虫,因为比较简单,所以直接看代码就行。主要知识就是通过urllib模块的各个函数加上正则表达式去完成。
 

  1. #encoding:utf-8 
  2.  
  3. import re 
  4. import urllib 
  5.  
  6. #利用urllib的urlopen()函数打开一个url地址 
  7. #并读取所有的html代码, 
  8. def gethtml(url): 
  9.     content=urllib.urlopen(url) 
  10.     html=content.read() 
  11.     return html 
  12.  
  13.  
  14. #根据正则表达式去匹配符合规则的内容 
  15. def geturls(html): 
  16.     r=r'data-src="(http://.*?)"' 
  17.     alllist=re.findall(r,html) 
  18.     return alllist 
  19.  
  20. #利用urlretrieve()下载文件 
  21. def download(list): 
  22.     x=0 
  23.     for li in list: 
  24.         x=x+1 
  25.         urllib.urlretrieve(li,"%s.jpg"%x) 
  26.  
  27. if  __name__ == '__main__'
  28.     #内涵段子 
  29.     url = "http://neihanshequ.com/pic/" 
  30.     #获取网页源码 
  31.     html = gethtml(url) 
  32.     #根据一定规则过滤出想要的内容 
  33.     list = geturls(html) 
  34.     #下载图片 
  35.     download(list) 
  36.  
  37.     print list 
http://www.aseoe.com/ true Python学习笔记之简单爬虫 http://www.aseoe.com/show-18-1109-1.html report 1961.5 所谓的爬虫就是通过代码的方式,抓取网站上的你想要的任何信息,比如你在网上看见很多有意思的图片,如果不会爬虫的话,我是不是的一张张另存下来,如果会了爬虫,就能悄无声息 的吧图片下载下来,慢慢欣赏。
TAG:爬虫 Python
本站欢迎任何形式的转载,但请务必注明出处,尊重他人劳动成果
转载请注明: 文章转载自:爱思资源网 http://www.aseoe.com/show-18-1109-1.html

[前端插件推荐] Plugin

1 2 3 4
  • jQuery实现逐字逐句显示插件l-by-l.min.js
  • jQuery带方向感知的鼠标滑过图片边框特效插件
  • jQuery HotKeys监听键盘按下事件keydown插件
  • 响应式无限轮播jQuery旋转木马插件
响应式无限轮播jQuery旋转木马插件
web前端开发
爱思资源网 Copyright 2012-2014 Www.Aseoe.Com All rights reserved.(晋ICP备13001436号-1)