搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 ) _爬虫

html = requests.get(url,headers= headers).text#获取内容etree.HTML(str(html)).xpath(“”//article[@class = 'article']//p//text()')

获取数据之后将其组装成sql语句，以便直接插入到数据库中。

sql = " sql_insert = 'insert into information (`type`, url,author,title,content,postTime,addtime,`unique`) values (%s,%s,%s,%s,%s,%s,%s,%s)'"

通过pymysql获取mysql的连接信息执行sql语句

conn = pymysql.connect(host=“xxxxxxx”, port=3306, user="xxxx", passwd="xxxxxx", db="news", charset="utf8")cursor = conn.cursor()cursor.execute(sql_insert)完整代码请转我的csdn连接！

搜狐新闻小爬虫，解析数据接口并插入mysql数据库( 二 )

推荐阅读

时尚丽人风行|色彩搭配总是在踩雷？值得一看的三点心机想不美都难，回头率爆表

父母在彩礼嫁妆上总是出尔反尔让我难做，该咋办

剧院等演出场所限流提至50%-剧院等演出场所恢复第三版

人民日报客户端广东频道|格兰仕筹划部分要约收购惠而浦（中国）

一个爱炫耀的男人值得考虑交往吗

散布武汉汛情虚假信息，2名网民被警方依法处理

华为荣耀|双11大屏手机推荐：荣耀这款手机性价比高，各项性能都很出色！

赵丽颖|收视女王转型三部曲：《知否》人生哲学神剧《楚乔传》结局最虐

首都机场▲22岁女孩刚结婚一个多月跳湖自杀，母亲称女儿婚前有很多追求者

苹果自研高端基带曝光：支持5G毫米波

趣事知多D|太羡慕番禺人！打卡南村人气第一西餐，云顶餐吧很适合约会聚餐

「试管婴儿」当初那个爱上28岁小鲜肉的老太太，不顾一切做试管婴儿，如今怎么样了？

月经血突然变黑？月经发黑是什么原因

国防部,军事|国防部通报，有重要信号

怎样合理布置餐客区

像素之源|戴安娜王妃的“鸟笼面纱帽”造型神秘高贵，朦胧美很高级

采采搞笑段子| 爆笑囧图，超市遇见一位令我心疼的男人…

【什么是旧粗布】什么是旧粗布

农村即将消失的老物件，如今成值钱老古董，第3个最贵能卖60万

贾母和宝玉是什么关系贾母想让宝玉娶谁