百度会不会偶尔用不包含‘Baiduspider’的ua字符串访问网站？

beck · 发表于 2023-2-14 01:24:44

比如根据UserAgent字符串判断是否是百度的爬虫。

那百度会不会偶尔不使用真实的UserAgent字符串伪装成正常用户来判断网页在非蜘蛛爬取的情况下展示的结果是否一致呢？

zixi · 发表于 2023-2-14 01:46:14

会，所以有莫名其妙的非bot的ip跑来访问你不存在的网页，那要么是腾讯的要么是百度的
不过一般叫他们临时蜘蛛（就字面意思，真是临时工）

beck · 发表于 2023-2-14 01:51:55

zixi 发表于 2023-2-14 01:46
会，所以有莫名其妙的非bot的ip跑来访问你不存在的网页，那要么是腾讯的要么是百度的
不过一般叫他们临时蜘 ...

那会有来路referer吗？
比如通过网站内的一个链接访问网站内的另一个页面，referer是否包含前一个页面的网址。
如果不是，那是不是所有访问都是直接访问并且无referer的？这样的话针对站内一个链接到另一个链接就可以根据referer判断。

zixi · 发表于 2023-2-14 01:55:54

本帖最后由 zixi 于 2023-2-14 01:56 编辑

beck 发表于 2023-2-14 01:51
那会有来路referer吗？
比如通过网站内的一个链接访问网站内的另一个页面，referer是否包含前一个页面的 ...

判断不了的，有的临时蜘蛛有ua标识也有refer为baidu.com，但有的就是普通ua普通refer或者空refer，只是他的ip是被标记为蜘蛛。所以不建议搞bot作弊，一抓一个准。。。还有传言说用了百度的APP或者从百度搜到的网页，会不定时被临时蜘蛛光顾（目前腾讯QQ和微信确认存在这种现象，通过QQ访问网站后，30分钟内必有腾讯蜘蛛来爬内容，并有概率触发临时蜘蛛。百度未证实）

		自动登录	找回密码
密码			注册