Python 爬虫 – 提取数据到Pandas DataFrame

Pandas 是一个开放源码、BSD许可的库,为Python编程语言提供高性能、易于使用的数据结构和数据分析工具。把抓取到的数据存储到Pandas DataFrame中,可以进一步对数据进行分析,是一种常见做法。

本章例子,将从豆瓣网站上抓取北美电影排行榜,并放进DataFrame中。

抓取网页数据

豆瓣网站上的北美电影排行榜网址,北美电影排行榜在右下边栏。

import requests
from bs4 import BeautifulSoup

page = requests.get("https://movie.douban.com/chart")
soup = BeautifulSoup(page.content, 'html.parser')

titles_tags = soup.select("ul#listCont1 > li a")
titles = [(pt.get_text()).strip() for pt in titles_tags]
print(titles)

revenue_tags = soup.select("ul#listCont1 > li span")
revenues = [(pt.get_text()).strip() for pt in revenue_tags]
print(revenues)

输出

['速度与激情:特别行动', '在黑暗中讲述的恐怖故事', '狮子王', '爱探险的朵拉:消失的黄金城', '好莱坞往事', '我在雨中等你', '地狱厨房', '蜘蛛侠:英雄远征', '玩具总动员4', '带来灵魂:电影']

['2540万', '2080万', '2000万', '1700万', '1160万', '810万', '551万', '530万', '440万', '230万']

提取到Pandas DataFrame

调用DataFrame类构造方法,并传入每个项列表:

import pandas as pd

movie_rank = pd.DataFrame({
    "title": titles,
    "revenue": revenues
})

movie_rank

输出

           title revenue
0     速度与激情:特别行动   2540万
1    在黑暗中讲述的恐怖故事   2080万
2            狮子王   2000万
3  爱探险的朵拉:消失的黄金城   1700万
4          好莱坞往事   1160万
5         我在雨中等你    810万
6           地狱厨房    551万
7       蜘蛛侠:英雄远征    530万
8         玩具总动员4    440万
9        带来灵魂:电影    230万

使用Pandas DataFrame就可以对数据进行进一步分析了,例如:

movie_rank.describe()

输出

       title revenue
count     10      10
unique    10      10
top      狮子王   2540万
freq       1       1

关于Pandas,想进一步了解,可参考Pandas 教程



浙ICP备17015664号 浙公网安备 33011002012336号 联系我们 网站地图  
@2019 qikegu.com 版权所有,禁止转载