#导入urlopen函数fromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#打印标题print(title)看看结果:
这样就搞定了,成功提取出百度首页的标题。
如果我想要下载百度首页logo图片呢?
第一步先获取该网页所有图片标签和url,这个可以使用BeautifulSoup的findAll方法,它可以提取包含在标签里的信息。
一般来说,HTML里所有图片信息会在“img”标签里,所以我们通过findAll("img")就可以获取到所有图片的信息了。
#导入urlopenfromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#使用find_all函数获取所有图片的信息pic_info=obj.find_all(\u0026#39;img\u0026#39;)#分别打印每个图片的信息foriinpic_info:print(i)看看结果:
打印出了所有图片的属性,包括class(元素类名)、src(链接地址)、长宽高等。
其中有百度首页logo的图片,该图片的class(元素类名)是index-logo-src。
可以看到图片的链接地址在src这个属性里,我们要获取图片链接地址:
#导入urlopenfromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#只提取logo图片的信息logo_pic_info=obj.find_all(\u0026#39;img\u0026#39;,class_="index-logo-src")#提取logo图片的链接logo_url="https:"+logo_pic_info#打印链接print(logo_url)结果:
获取地址后,就可以用urllib.urlretrieve函数下载logo图片了
#导入urlopenfromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#导入urlretrieve函数,用于下载图片fromurllib.requestimporturlretrieve#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#只提取logo图片的信息logo_pic_info=obj.find_all(\u0026#39;img\u0026#39;,class_="index-logo-src")#提取logo图片的链接logo_url="https:"+logo_pic_info#使用urlretrieve下载图片urlretrieve(logo_url,\u0026#39;logo.png\u0026#39;)最终图片保存在\u0026#39;logo.png\u0026#39;
六、结语
本文用爬取百度首页标题和logo图片的案例,讲解了python爬虫的基本原理以及相关python库的使用,这是比较初级的爬虫知识,还有很多优秀的python爬虫库和框架等待后续去学习。
当然,掌握本文讲的知识点,你就已经入门python爬虫了。加油吧,少年!
5、赶紧行动吧!疫情特殊时期,很多人在家闲着,趁这个机会学习python爬虫,上班后也能继续学习python大法。
推荐阅读
-
-
-
白小白的衣橱|Polo衫配拼色裙,二八比例好吸睛,刘诗诗生娃后恢复挺好
-
「我的第一部5G手机」高集成度“三明治”结构!Redmi K30 Pro内部器件排布图公布
-
-
拽拽的少年|继新雅阁后新款轿跑也终于亮相,会比新雅阁强吗?,本田发飙了
-
河北|【行走自贸区】河北自贸区正定片区驶上改革发展快车道
-
-
-
为什么现在的人不喜欢用网线,反而更爱用光纤来传输呢?涨知识了
-
-
-
搞笑大喇叭|和女同事一起边聊边走回出租屋,开心一笑:上完夜班
-
|有别于Copue且超越SUV,探岳X挑起一汽-大众高端化大旗
-
-
车威|兼具硬派与时尚风格,本质仍是城市SUV,哈弗大狗前瞻
-
昆明南■中国铁路成都局:2020年2月7日至19日部分列车采取停运
-
科技数码迷网友的点评才是亮点,赵明晒北京办公室新装备
-
-