Data Analytics：COVID-19¶
采集“武汉市新冠肺炎疫情动态”信息¶
内容提纲¶
1. 网络爬虫基本原理¶
2. 爬取“武汉新冠肺炎疫情动态”数据¶
1. 网络爬虫基本原理¶
网络爬虫基本原理：HTTP请求方法（本页参考W3Cschool相关内容）¶
- 根据HTTP标准，HTTP请求可以使用多种请求方法。
- HTTP1.0定义了三种请求方法： GET, POST 和 HEAD方法。
- HTTP1.1新增了五种请求方法：OPTIONS, PUT, DELETE, TR
| 序号 | 方法 | 描述 |
|---|---|---|
| 1 | GET | 请求指定的页面信息，并返回实体主体。 |
| 2 | HEAD | 类似于get请求，只不过返回的响应中没有具体的内容，用于获取报头 |
| 3 | POST | 向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 |
| 4 | PUT | 从客户端向服务器传送的数据取代指定的文档的内容。 |
| 5 | DELETE | 请求服务器删除指定的页面。 |
| 6 | CONNECT | HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。 |
| 7 | OPTIONS | 允许客户端查看服务器的性能。 |
| 8 | TRACE | 回显服务器收到的请求，主要用于测试或诊断。 |
网络爬虫基本原理：HTTP状态码分类（本页参考W3Cschool相关内容）¶
HTTP状态码由三个十进制数字组成，第一个十进制数字定义了状态码的类型，后两个数字没有分类的作用。HTTP状态码共分为5种类型：
| 分类 | 分类描述 |
|---|---|
| 1** | 信息，服务器收到请求，需要请求者继续执行操作 |
| 2** | 成功，操作被成功接收并处理 |
| 3** | 重定向，需要进一步的操作以完成请求 |
| 4** | 客户端错误，请求包含语法错误或无法完成请求 |
| 5** | 服务器错误，服务器在处理请求的过程中发生了错误 |
HTTP状态码的详细描述请参考：HTTP状态码列表
采集网络数据的步骤¶
| 步骤 | 工具 | |
|---|---|---|
| 1 | 爬取目标网页 | requests |
| 2 | 提取有用信息 | BeautifulSoup, re |
| 3 | 保存数据 | csv, txt, json |
- 采集网络数据：手动采集vs计算机程序采集
- 学习网络爬虫：上帝视角vs探索者视角
正则表达式¶
本页内容取自Jake Vander Plas的 Whirlwind Tour of Python；相关资料可从GitHub获取。Python正则表达式的完整介绍请参考技术文档。
| Character | Description | Character | Description | |
|---|---|---|---|---|
"\d" |
Match any digit | "\D" |
Match any non-digit | |
"\s" |
Match any whitespace | "\S" |
Match any non-whitespace | |
"\w" |
Match any alphanumeric char | "\W" |
Match any non-alphanumeric char |
| Character | Description | Example |
|---|---|---|
? |
Match zero or one repetitions of preceding | "ab?" matches "a" or "ab" |
* |
Match zero or more repetitions of preceding | "ab*" matches "a", "ab", "abb", "abbb"... |
+ |
Match one or more repetitions of preceding | "ab+" matches "ab", "abb", "abbb"... but not "a" |
{n} |
Match n repetitions of preeeding |
"ab{2}" matches "abb" |
{m,n} |
Match between m and n repetitions of preceding |
"ab{2,3}" matches "abb" or "abbb" |
2. 爬取“武汉新冠肺炎疫情动态”数据¶
假设我们已经拥有所有“武汉新冠肺炎疫情动态”页面的标题和链接(保存在“wh_announce_page_url.csv”文件中)
读取“wh_announce_page_url.csv”¶
In [1]:
import csv
titleList=[]
urlList=[]
with open('wh_announce_page_url.csv') as csvfile:
reader = csv.DictReader(csvfile)
for row in reader:
titleList.append(row['title'])
urlList.append(row['urls'])
print(row['title'],row['urls'])
In [2]:
import requests
from bs4 import BeautifulSoup
headers={'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Mobile Safari/537.36'}
r=requests.get(urlList[0],headers=headers)
soup=BeautifulSoup(r.text,'html.parser')
有用的数据¶
| 分类 | 分类描述 |
|---|---|
| 报告时间（date） | 报告时间（date） |
| 新增数据 | 新增确诊数据（new_confirmed） |
| 新增出院数据（new_released） | |
| 新增死亡（new_death） | |
| 新增疑似（new_suspected） | |
| 累计数据 | 累计确诊（all_confirmed） |
| 各区累计确诊（confirmed_ja,jh,qk,hy,wc,qs,hs,dxh,cd,jx,hp,xz,hn） | |
| 累计出院（released） | |
| 累计死亡（death） | |
| 现有确诊（confirmed） | |
| 现有危重（extreme） | |
| 现有重症（severe） | |
| 现有疑似（suspected） | |
| 门诊接诊数据 | 发热（fever） |
| 首诊（initial） | |
| 核酸检测数据（pcr） |
- 数据属性
- 新增数据：当日0-24时
- 累计数据：截止当日24时
- 发热门诊数据：前日18时至当日18时
- 核酸检测数据：当日检测量
- 数据统计口径变更
- 3月5日前：按行政区统计
- 从3月5日起：按现住址统计，同时增加“东湖开发区”和“东湖风景区”两个统计区域
分析/探索：爬取3月4日数据¶
In [3]:
print(titleList[1],':',urlList[1])
用requests爬取网页“武汉市新冠肺炎疫情动态（2020年3月4日）”¶
第一次尝试
In [4]:
import requests
url=urlList[1]
r=requests.get(url)
In [5]:
print(r)
print(r.text)
- 第二次尝试：添加headers信息
In [6]:
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
r=requests.get(url,headers=headers)
In [7]:
print(r)
print(r.text)
用BeautifulSoup解析html文件¶
In [8]:
from bs4 import BeautifulSoup
soup=BeautifulSoup(r.text,'html.parser')
In [9]:
soup
Out[9]:
使用正则表达式（re）提取有用的信息¶
采集新增数据
In [10]:
import re
content=soup.p.get_text()
In [11]:
content
Out[11]:
In [12]:
result=re.findall('(\d+)例',content)
In [13]:
result
Out[13]:
采集累计数据
In [14]:
content=soup.p.next_sibling.get_text()
In [15]:
print(content)
In [16]:
result=re.findall('(\d+)例',content)
In [17]:
print(result)
In [18]:
result=re.findall('(\d+)人',content)
In [19]:
print(result)
发热门诊数据
In [20]:
content=soup.p.next_sibling.next_sibling.get_text()
In [21]:
print(content)
In [22]:
result=re.findall('(\d+)人',content)
In [23]:
print(result)
In [24]:
result.pop(1)
print(result)
采集urlList里所有网页的信息¶
In [25]:
import csv
item=['date','new_confirmed','new_released','new_death','new_suspected','all_confirmed',
'ja','jh','qk','hy','wc','qs','hs','dxh','cd','jx','hp','xz','hn','suspected',
'released','death','confirmed','extreme','severe','fever','initial','pcr']
with open('covid-19-wh-daily.csv','w',newline='') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(item)
for url in urlList:
# 报告日期
item=[titleList[urlList.index(url)][12:-1]]
r=requests.get(url,headers=headers)
soup=BeautifulSoup(r.text,'html.parser')
# 新增数据
content=soup.p.get_text()
item+=re.findall('(\d+)例',content)
# 累计数据
content=soup.p.next_sibling.get_text()
item+=re.findall('(\d+)例',content)
item+=re.findall('(\d+)人',content)
# 门诊接诊数据
content=soup.p.next_sibling.next_sibling.get_text()
result=re.findall('(\d+)人',content)
result.pop(1)
item+=result
writer.writerow(item)
问题：如何获得所有“武汉新冠肺炎疫情动态”页面的标题和链接？¶
>>爬取html文件(requests)¶
>>解析html文件(BeautifulSoup)¶
>>提取有用信息(BeautifulSoup,re)¶
>>保存信息(csv)¶
