2022年04月05日
有一些同学在写爬虫的时候，过于依赖 Selenium，觉得只要使用模拟浏览器，在不被网站屏蔽的情况下，就可以爬到任何内容。
今天我们不讨论字体反爬虫和 CSS 反爬虫这两种情况。我们来看一段非常简单的网页。这个网页只有一个HTML 文件，不加载特殊字体，不加载 CSS 文件。
这个网页的奇怪之处在哪里呢?我们试一试使用 XPath Helper 来提取网页上面的红色文字，发现XPath 竟然无法找到这段文字，如下图所示：
然后我们使用 Selenium 来试一试：
Selenium果然
2022年04月05日
大家好，我是杯酒先生，这是我第一次写这种分享项目的文章，可能很水，很不全面，而且肯定存在说错的地方，希望大家可以评论里加以指点，不胜感激!
一、前言
网络爬虫(又称为网页蜘蛛，网络机器人)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。------百度百科
说人话就是，爬虫是用来海量规则化获取数据，然后进行处理和运用，在大数据、金融、机器学习等等方面都是必须的支撑条件之一。
目前在一线城市中，爬虫的岗位薪资待遇都是比较客观
2022年04月05日
小伙伴们好，我是鸟哥，今日给各位聊一聊爬虫。
爬虫伪装的真谛便是用编码仿真人的真正实际操作，由于网站制作出去是因为让他人浏览的，把握爬虫的伪装方法，可以让进一步提高大家爬虫的通过率。
融合自己的工作经验，给大伙儿介紹5种爬虫伪装的方法，并把编码模板献上，期待可以对你有一定的协助。
1.浏览器伪装
由于网络服务器可以很草率的鉴别出浏览的由来浏览器，以requests要求为例子，默认设置header头数据信息中沒有浏览器信息，在与浏览器互动时真是便是“裸跑”，因此我们可以添