零基础学Python网络爬虫案例实战全流程详解（入门与提高篇） 下载 pdf 百度网盘 epub 免费 2025 电子书 mobi 在线

在大数据时代的今天，无论是产品开始还是精准化营销越来越离不开大数据的支持，如何从浩瀚的网络中获取自己想要的大数据？这就需要网络爬虫，而是世界上80%的爬虫都是基于Python开发出来的，所以python爬虫技术是大数据挖掘、分析与可视化的基础。

本书面向零基础读者，从如何合法使用爬虫和Python编辑环境的安装开始到不同类型爬虫程序的开发都进行了详尽的讲解，从Python基础语法到Requests库、正则表达式、Scrapy框架、Beautiful Soup一个都不少。同时在相关地方也讲解了部分数据挖掘和数据分析的基础内容。

前言

本书学习资源

第1章　Python基础

1.1　Python快速上手13

1.1.1　安装Python13

1.1.2　编写个Python程序15

1.1.3　PyCharm的安装与使用16

1.1.4　Jupyter Notebook的使用27

1.2　Python语法基础知识34

1.2.1　变量、行、缩进与注释34

1.2.2　数据类型：数字与字符串36

1.2.3　数据类型：列表与字典、元组与集合38

1.2.4　运算符44

1.3　Python语句46

1.3.1　if条件语句46

1.3.2　for循环语句47

1.3.3　while循环语句49

1.3.4　try/except异常处理语句50

1.4　函数与库50

1.4.1　函数的定义与调用51

1.4.2　函数的返回值与变量的作用域52

1.4.3　常用内置函数介绍54

1.4.4　库的导入与安装57

★ 课后习题61

第2章　爬虫步：获取网页源代码

2.1　爬虫核心库1：Requests库62

2.1.1　如何查看网页源代码62

2.1.2　用Requests库获取网页源代码：百度新闻66

2.1.3　Requests库的“软肋”70

2.2　爬虫核心库2：Selenium库71

2.2.1　模拟浏览器及Selenium库的安装71

2.2.2　用Selenium库获取网页源代码： 财经股票信息74

2.3　网页结构分析76

2.3.1　网页结构基础76

2.3.2　网页结构进阶76

★ 课后习题82

第3章　爬虫第二步：数据解析与提取

3.1　用正则表达式解析和提取数据83

3.1.1　正则表达式基础1：findall()函数83

3.1.2　正则表达式基础2：非贪婪匹配之“(.*?)”85

3.1.3　正则表达式基础3：非贪婪匹配之“.*?”88

3.1.4　正则表达式基础4：自动考虑换行的修饰符re.S90

3.1.5　正则表达式基础5：知识点补充91

3.1.6　案例实战：提取百度新闻的标题、网址、日期和来源93

3.2　用BeautifulSoup库解析和提取数据98

3.2.1　解析特定标签的网页元素98

3.2.2　解析特定属性的网页元素100

3.2.3　提取标签中的网址101

3.2.4　案例实战： 新闻标题和网址爬取102

3.3　百度新闻爬取进阶探索107

3.3.1　批量爬取多家公司的新闻107

3.3.2　将爬取结果保存为文本文件108

3.3.3　异常处理及24小时不间断爬取111

3.3.4　批量爬取多页内容113

3.4　证券日报网爬取实战116

3.4.1　用正则表达式爬取116

3.4.2　用BeautifulSoup库爬取120

3.5　中证网爬取实战121

3.6　 爬取实战125

3.7　上海证券交易所上市公司PDF文件下载128

3.7.1　用Requests库下载文件的基本方法128

3.7.2　初步尝试下载上海证券交易所上市公司PDF文件130

3.8　豆瓣电影Top 250排行榜海报图片下载131

3.8.1　爬取单页131

3.8.2　爬取多页134

★ 课后习题136

第4章　爬虫神器Selenium库深度讲解

4.1　Selenium库进阶知识137

4.2　 财经股票行情数据爬取142

4.2.1　用Selenium库爬取股票行情数据142

4.2.2　用 财经API爬取股票行情数据144

4.3　东方财富网数据爬取149

4.3.1　上市公司股吧帖子爬取149

4.3.2　上市公司新闻爬取150

4.3.3　上市公司研报PDF文件下载154

4.4　上海证券交易所问询函信息爬取及PDF文件下载160

4.4.1　批量下载单个页面上的PDF文件161

4.4.2　批量下载多个页面上的PDF文件163

4.4.3　汇总问询函信息并导出为Excel工作簿166

4.5　银行间拆借利率爬取167

4.6　雪球股票 信息爬取173

4.7　商品评价信息爬取175

4.7.1　用Selenium库爬取175

4.7.2　用Requests库爬取179

4.8　淘宝天猫商品销量数据爬取183

4.9　Selenium库趣味案例：网页自动投票186

★ 课后习题188

第5章　数据处理与可视化

5.1　数据清洗与优化技巧189

5.1.1　常用的数据清洗手段及日期格式的统一 189

5.1.2　文本内容过滤—剔除噪声数据190

5.1.3　数据乱码问题处理195

5.1.4　数据爬后处理之舆情评分198

5.2　数据可视化分析—词云图绘制200

5.2.1　用jieba库实现中文分词200

5.2.2　用wordcloud库绘制词云图204

5.2.3　案例实战： 词云图绘制208

★ 课后习题211

第6章　数据结构化与数据存储

6.1　数据结构化神器—pandas库212

6.1.1　用read_html()函数快速爬取网页表格数据212

6.1.2　pandas库在爬虫领域的核心代码知识214

6.2　 财经—资产负债表获取225

6.3　百度新闻—文本数据结构化229

6.3.1　将单家公司的新闻导出为Excel工作簿229

6.3.2　将多家公司的新闻导出为Excel工作簿230

6.4　百度爱企查—股权穿透研究231

6.4.1　单层股权结构爬取232

6.4.2　多层股权结构爬取235

6.5　天天基金网—股票型基金信息爬取237

6.5.1　爬取基金信息表格238

6.5.2　爬取基金的详情页面网址239

6.6　集思录—可转债信息

暂无相关内容，正在全力查找中

暂无出版社相关信息，正在全力查找中！

暂无相关书籍摘录，正在全力查找中！

在线阅读地址：零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）在线阅读

在线听书地址：零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）在线收听

在线购买地址：零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）在线购买

暂无原文赏析，正在全力查找中！

前言

前言

笔者编写的《Python金融大数据挖掘与分析全流程详解》于2019年出版面市后，陆续有不少读者表示对该书的爬虫部分非常感兴趣，想做进一步的学习。笔者由此萌生了一个想法：专门针对Python爬虫技术编写一套书籍，在保留之前核心内容的基础上，新增更多实战案例，方便读者在练中学，并体会Python爬虫在实战中的应用。

书稿编写完成后，为了更好地满足不同水平读者的需求，方便他们根据自身情况更灵活地学习，笔者决定将书稿分为两册出版：册为《零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）》，主要针对编程零基础的读者；第二册为《零基础学Python网络爬虫案例实战全流程详解（高级进阶篇）》，主要针对有一定Python爬虫编程基础并且需要进阶提高的读者。

本书为《零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）》，分8章讲解了Python爬虫的基础知识和技能，帮助零基础的读者快速入门并熟练使用爬虫。

第1章从Python开发环境的安装与配置讲起，循序渐进地过渡到Python的基础语法知识，包括变量、数据类型、语句、函数与库等，让新手读者能够自己输入简单的代码并使其运行起来。

任何爬虫任务的起点都是获取网页源代码。第2章讲解了Python爬虫中用于获取网页源代码的两个核心库—Requests库和Selenium库，并简单介绍了网页结构和HTML标签的知识，为第3章学习数据的解析与提取做好铺垫。

获取网页源代码后，接着需要从中解析与提取数据。第3章讲解了Python爬虫中解析与提取数据的两种核心方法—正则表达式和BeautifulSoup库，并通过丰富的案例进行实战演练，包括百度新闻、证券日报网、中证网、 的数据爬取，以及上海证券交易所PDF文件和豆瓣电影海报图片的下载等。

讲解完Python爬虫的基础知识和基本技能，第4章进一步深入讲解爬虫神器Selenium库，并通过案例讲解了商业实战中常用的大量进阶爬虫技术，案例包括 财经股票行情数据爬取、东方财富网（股吧、新闻、研报）相关数据爬取、上海证券交易所问询函信息爬取及PDF文件下载、银行间拆借利率爬取、雪球股票 信息爬取、商品评价信息爬取、淘宝天猫商品销量数据爬取、网页自动投票等。

第5章讲解爬虫数据的处理与可视化，包括数据清洗、文本内容过滤、乱码问题处理、舆情评分、中文分词、词云图绘制等，让读者可以对获取的数据进行深入的整理与挖掘。

第6章讲解爬虫数据结构化与数据存储。首先介绍了爬虫数据结构化神器pandas库，并通过多个案例进行实战演练，包括 财经资产负债表获取、百度新闻文本数据结构化、百度爱企查股权穿透研究、天天基金网股票型基金信息爬取、集思录可转债信息爬取、东方财富网券商研报信息爬取等。然后介绍了用于存储和管理数据的MySQL数据库，以及如何通过Python在MySQL数据库中读写数据。

第7章讲解如何运用多线程和多进程技术提高爬虫效率，重点分析了线程和进程的概念、多线程和多进程的逻辑，并通过百度新闻的多线程和多进程爬取进行实战演练。

在爬虫任务中 让人烦恼的就是遇到网站的反爬机制，因此，第8章讲解了应对反爬机制的常用手段—IP代理的原理和使用方法，并以爬取 公众号文章为例对IP代理进行了实战演练。

本书对于编程零基础的读者来说非常友好，从Python基础到爬虫原理再到实战应用，循序渐进地帮助读者打好基础。对于有一定Python爬虫基础的读者，本书也针对实战中常见的疑点和难点提供了解决技巧。

读者如果想进一步学习反爬机制应对、手机App内容爬取、爬虫框架、爬虫云服务器部署等技术，可以阅读《零基础学Python网络爬虫案例实战全流程详解（高级进阶篇）》。

由于笔者水平有限，书中难免有不足之处，恳请广大读者批评指正。读者除了可扫描封底上的二维码关注公众号获取资讯以外，也可通过“本书学习资源”中列出的方法与我们交流。

编　者

2021年5月