08Python原生爬虫教程最简单的爬虫案例开发

　　前面的学习中我们已经简单了解了一些爬虫所需的知识，这节课我们就来做一个小爬虫来实践下我们前面所学习的知识，这节课我们会爬取慕课网首页所有的课程名称：1。爬取慕课网首页所有课程名称
　　我们第一个爬虫程序，是来爬取慕课网的首页的所有课程信息的名字。下面的代码锁使用到的技术有的我们并没有涉及到，后面的学习中我们会一一讲解。这里只是让大家对爬虫程序有个大概的了解，熟悉最基本的爬虫流程，以及对爬虫处理有一个粗略的印象，同时，也是激发大家学习的热情，让大家对爬虫不仅停留在理论上，也可以实际操作去加深印象。1。1建立imoocSpider。py文件
　　爬虫文件的命名一定要准确，爬虫爬取的是哪一个网站就用哪一个网站来进行命名，这样以后我们写的爬虫越来越多会方便管理。
　　文件创建好之后首先导入requests第三方库和页面解析工具BeautifulSoup：importrequestsrequests库，用来发送网络请求frombs4importBeautifulSoup一个解析库，用来解析网页结构
　　Tips：BeautifulSoup我们在后面会讲到，这里只是先用一下。1。2定义网址变量
　　定义网址变量url，url中存储的是我们要爬取的网站，这个小爬虫中我们要爬取的网站是：https：www。imooc。com。urlhttps：www。imooc。com慕课网首页地址1。3创建请求头部
　　创建请求头部，因为服务器会分辨请求的是浏览器或者是爬虫，如果是爬虫的话会直接断开请求，导致请求失败。为了不让我们的爬虫暴露，所以要给它加上一层伪装，这样服务器就会认为是浏览器在请求了：headers｛UserAgent：Mozilla5。0（MIntelMacOSX10115）AppleWebKit537。36（KHTML，likeGecko）Chrome51。0。2704。79Safari537。36｝请求头部1。4发起请求
　　使用requests库中的get方法来进行请求：rrequests。get（url，headersheaders）发送请求1。5解析请求结果
　　因为请求的结果是HTML格式的，所以我们使用BeautifulSoup来解析我们的请求结果：bsBeautifulSoup（r。text，html。parser）解析网页
　　在返回的请求结果中，我们想要的数据都是在h3标签中包裹着，所以我们使用BeautifulSoup查找返回结果中所有的h3标签并剥离，存储在变量moocclasses中。moocclassesbs。findall（h3，classcoursecardname）定位课程信息1。6解析数据
　　将每一个h3标签中的课程名称剥离，并存储在classlist这个列表中去，最后将课程信息存入到文本文件中：classlist〔〕foriinrange（len（moocclasses））：titlemoocclasses〔i〕。text。strip（）classlist。append（课程名称：｛｝。format（title））格式化课程信息withopen（moocclasses。txt，a）asf：将课程信息写入文本文件中fortextinclasslist：f。write（text）1。7最终代码
　　下面就是我们这个小爬虫的最终代码：
　　实例演示importrequestsrequests库，用来发送网络请求frombs4importBeautifulSoup这是一个解析库，用来解析网页urlhttps：www。imooc。com慕课网首页地址headers｛UserAgent：Mozilla5。0（MIntelMacOSX10115）AppleWebKit537。36（KHTML，likeGecko）Chrome51。0。2704。79Safari537。36｝请求头部rrequests。get（url，headersheaders）发送请求bsBeautifulSoup（r。text，html。parser）解析网页moocclassesbs。findall（h3，classcoursecardname）定位课程信息classlist〔〕foriinrange（len（moocclasses））：titlemoocclasses〔i〕。text。strip（）classlist。append（课程名称：｛｝。format（title））格式化课程信息withopen（moocclasses。txt，a）asf：将课程信息写入文本文件中fortextinclasslist：f。write（text）
　　上面的程序，就是一个最简单的一个爬虫程序。最后，我们格式化输出的样式，使得输出格式为课程名称慕课网课程名称的样式，最后把结果保存到一个TXT文件里面。最后我们打开TXT文件看一下效果：
　　如下图所示：
　　Tips：一般在正式的爬虫开发中我们不会把数据存储到文件中去，而是会存储到数据库中，这样才能最大限度的保证数据不会丢失。2。小结
　　本小节，通过运用BeautifulSoup以及Requests实现了一个最简单的爬虫程序，关于它们的学习，我们会在后面的章节进行详细论述。这个小程序，只是向大家演示一个最基本的爬虫的工作流程。细心的同学肯定会发现，我们的代码量并不是很多，就轻松实现了一个简单的爬取工作。其实，正式因为使用Python编写爬虫程序的简单方便，才使得Python语言成为了写爬虫程序的首选。