Python编程网页爬虫工具集介绍

Question

如题所述

Answer 1

【导语】对于一个软件工程开发项目来说，一定是从获取数据开始的。不管文本怎么处理，机器学习和数据发掘，都需求数据，除了通过一些途径购买或许下载的专业数据外，常常需求咱们自己着手爬数据，爬虫就显得格外重要，那么Python编程网页爬虫东西集有哪些呢?下面就来给大家一一介绍一下。

1、 Beautiful Soup

客观的说，Beautifu Soup不完满是一套爬虫东西，需求协作urllib运用，而是一套HTML / XML数据分析，清洗和获取东西。

2、Scrapy

Scrapy相Scrapy, a fast high-level screen scraping and web crawling framework
for
Python.信不少同学都有耳闻，课程图谱中的许多课程都是依托Scrapy抓去的，这方面的介绍文章有许多，引荐大牛pluskid早年的一篇文章：《Scrapy
轻松定制网络爬虫》，历久弥新。

3、 Python-Goose

Goose最早是用Java写得，后来用Scala重写，是一个Scala项目。Python-Goose用Python重写，依靠了Beautiful
Soup。给定一个文章的URL, 获取文章的标题和内容很便利，用起来非常nice。

以上就是Python编程网页爬虫工具集介绍，希望对于进行Python编程的大家能有所帮助，当然Python编程学习不止需要进行工具学习，还有很多的编程知识，也需要好好学起来哦，加油!

Answer 2

网络
urllib-网络库(stdlib)。
requests-网络库。
grab–网络库(基于pycurl)。
pycurl–网络库(绑定libcurl)。
urllib3–PythonHTTP库，安全连接池、支持文件post、可用性高。
httplib2–网络库。
RoboBrowser–一个简单的、极具Python风格的Python库，无需独立的浏览器即可浏览网页。
MechanicalSoup-一个与网站自动交互Python库。
mechanize-有状态、可编程的Web浏览库。
socket–底层网络接口(stdlib)。
UnirestforPython–Unirest是一套可用于多种语言的轻量级的HTTP库。
hyper–Python的HTTP/2客户端。
PySocks–SocksiPy更新并积极维护的版本，包括错误修复和一些其他的特征。作为socket模块的直接替换。
异步
treq–类似于requests的API(基于twisted)。
aiohttp–asyncio的HTTP客户端/服务器(PEP-3156)。
网络爬虫框架
功能齐全的爬虫
grab–网络爬虫框架(基于pycurl/multicur)。
scrapy–网络爬虫框架(基于twisted)，不支持Python3。
pyspider–一个强大的爬虫系统。
cola–一个分布式爬虫框架。
其他
portia–基于Scrapy的可视化爬虫。
restkit–Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象。
demiurge–基于PyQuery的爬虫微框架。
HTML/XML解析器
通用
lxml–C语言编写高效HTML/XML处理库。支持XPath。
cssselect–解析DOM树和CSS选择器。
pyquery–解析DOM树和jQuery选择器。
BeautifulSoup–低效HTML/XML处理库，纯Python实现。
html5lib–根据WHATWG规范生成HTML/XML文档的DOM。该规范被用在现在所有的浏览器上。
feedparser–解析RSS/ATOMfeeds。
MarkupSafe–为XML/HTML/XHTML提供了安全转义的字符串。
xmltodict–一个可以让你在处理XML时感觉像在处理JSON一样的Python模块。
xhtml2pdf–将HTML/CSS转换为PDF。
untangle–轻松实现将XML文件转换为Python对象。
清理
Bleach–清理HTML(需要html5lib)。
sanitize–为混乱的数据世界带来清明。
文本处理
用于解析和操作简单文本的库。本回答被网友采纳