首页>>老刘专栏
PS:70周年的国庆假期,前4天在过夏天,5号之后直接进入冬季的节奏!还好准备的足够周全,温差过大容易感冒,希望大佬们多注意防寒保暖~!言归正传,下面我们进入今天的正题吧。
搜索引擎们用spider来爬(抓)取网络信息,查找和索引新的资讯内容并且提供给访客搜索和查找,这是当前互联网搜索引擎的通用方式。
加入一个网站想要在百度或者谷歌等常用的搜索引擎当中查找到您的网页内容,那么如此一来就需要了解一定的SEO知识,作为"免费流量"的一种,这是非常具有性价比的推广方式。 不过对于网站本身来讲,搜索引擎用来模拟抓取的spierd(即常说的搜索蜘蛛)与实际用户访问到网站的活动方式是有显著区别的。比如真人来点击访问你的页面,很大可能会耗费一定的时间去阅读入口页面,他们也可能会浏览更多资讯,当他们愿意在网站上点击更多的链接的时候,很可能是对这个网站很有兴趣,接下来他们会产生其他的操作,比如把喜欢的网页添加到浏览器收藏夹或者推荐给其他网友等等。
对于百度搜索引擎来说,用户黏性(页面停留时间是重要的参考因素)是早期网站评级的重要参考因素之一,这样一来就有些投机的黑帽SEO使用软件或者其他方式模拟用户访问网站的情况,来侧面增加目标网站的搜索引擎排位,即便现在也依然会有这样的操作!所谓的快排就是其中较为出名的一种,点此查看之前的文章:「为啥快排这么火,怎么看待SEO快速排名及其操作机制?」
spider机器人拜访你的网站,主要的任务是要抓取你网站的上的内容,所以它们最可能从首页开始,它们轻松的的找出网站的每一个连结一个接著一个,直到发现全部的内容。
所以一个搜寻引擎机器人访客,可能潜在影响数百个使用者资源,就算没有上千个访客在你的网站上,一个资源使用到极限的网站,最后可能会让网站停止运作,如果只允许真是用户访问拜访的话,这是可以避免的,并且设定只有想要的的搜索spider机器人可以进入你的网站,比如我只想要百度spider爬虫的访问,这就可以直接在robots.txt里设置,如此可以减少服务器的压力,节约更多资源。
如何控制spider机器人?
绝大多数的守规矩的爬虫机器人,是会跟随一个标准化的robots.txt规则文件,如果你需要进一步的了解,如何阻挡搜寻机器人检索你的网站,你可以观看这篇文章「超详细robots.txt使用方法大全和禁止目录收录及指定页面」或者「robots.txt和nofollow的实际效果有什么不同?」
当然不幸的是,不是全部的搜索引擎蜘蛛机器人都会顺从robots.txt规则,早期360和百度都要这种传闻,具体真假有待商榷,但这种事情宁可信其有,防小人不防君子。在这种情况下,最好的方式就是学习使用.htaccess或者限制ip段等方式来控制访问。.htaccess是在服务器中的隐藏文件,它可以控制网页与其他工具之间存取的权限,有机会咱们再详细讨论,这里简单给出一个预告。
如果你想一次阻挡多个User-Agent,你可以设计编辑以下代码:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(Baiduspider|HTTrack|Yandex).*$ [NC]
RewriteRule .* – [F,L]
或者你也可以使用BrowserMatchNoCase 指令,代码如下仅供参考:
BrowserMatchNoCase “Baiduspider” bots
BrowserMatchNoCase “HTTrack” bots
BrowserMatchNoCase “Yandex” bots
Order Allow,Deny
Allow from ALL
Deny from env=bots
- 上一篇: 如何显示ftp里面的隐藏文件
- 下一篇: 2.0来袭!《烽火算法2.0近期升级公告》
猜你喜欢
- 2024-02-23 提高小红书运营效率的6个工具
- 2022-11-10 【官方文档】百度搜索网站被黑防范指南
- 2022-11-03 【干货必备】百度搜索优质内容指南
- 2022-08-01 百度隐藏“快照”功能:原因未知-百度快照没了?
- 2022-06-20 浅析“百度搜索基础信息设置规范”!
- 2022-06-15 SEO尴尬,有排名,没流量,没咨询,怎么办?
- 搜索
-
- 2024-03-14 刷量成风,广告主损失惨重?该被重视了!
- 2024-03-06 代理投的好,还需要招自己的优化师吗?
- 2024-02-23 提高小红书运营效率的6个工具
- 2024-02-23 千川投放百宝书:2万字详解,一篇全掌握!
- 2024-02-20 年后求职15个关键面试问题,助优化师脱颖···
- 2024-01-31 不行就去做销售吧!
- 2024-01-09 合格的优化师,需具备这6项思维能力!
- 2023-12-28 25个金句文案句式,直接套!
- 2023-12-05 做私域必备的10个朋友圈黄金模板
- 2023-12-05 15个爆款短视频文案技巧,看完立马用!
- 2023-11-27 浅析:《百度搜索优质内容解读》,当下百度···
- 2023-11-21 10年老兵看搜索广告的过去、现在和未来
- 2019-11-01 Origin DNS error:使用百···
- 2020-06-20 “401 - 未授权: 由于凭据无效,访···
- 2020-12-01 一级域名好还是二级域名好?
- 2020-10-13 百度抓取诊断工具一直抓取失败怎么办?
- 2019-12-09 域名解析后,网站返回状态码511应对方法
- 2020-04-10 百度下拉框怎么刷?刷百度下拉框软件原理及···
- 2019-08-12 网站出现“403,服务器上文件或目录拒绝···
- 2021-04-13 html/txt文件中文用浏览器打开有乱···
- 2020-09-03 element.style样式的修改
- 2021-01-06 百度移动端的搜索结果上线“踩顶”功能,对···
- 2019-11-06 正确打开.db数据库文件的两种方式,避免···
- 2020-10-20 UC神马搜索怎么做快速排名优化
- 2021-04-13 html/txt文件中文用浏览器打开有乱···
- 2019-05-28 低成本网站有什么缺陷?你对此了解多少?
- 2019-12-10 网站排名一直不断下跌是何缘故?
- 2019-04-10 DEDE内容页调用栏目的SEO标题、描述···
- 2019-07-24 为什么我的网站作弊被降权惩罚,而其他人同···
- 2020-06-16 网站域名icp备案对seo是否有影响,做···
- 2023-07-13 小红书、视频号、抖音流量算法机制,建议收···
- 2019-10-09 百度惊雷算法从1.0到2.0的两年,快排···
- 2022-06-28 没事不要免费帮助别人
- 2019-02-17 亲测可用!使用.Htaccess文件实现···
- 2021-04-07 如何只使用CSS提升页面渲染速度
- 2019-07-25 「百度站长平台投诉技巧」搜索资源平台反馈···
- 热门标签
-
- 401错误
- 401未授权
- 语义效应
- 话术技巧
- 百度
- 谷歌
- pagerank算法
- 算法原理
- tab切换
- 选项卡滑动切换
- 达克效应
- 认知局限
- 交流分享
- webp转GIF
- webp格式转GIF动图
- webp to gif
- 锚定效应
- 百度快排
- 快速排名
- SEO快排
- SEO快速排名
- 万词霸屏
- SEO优化
- 按天计费系统
- 搜索推广模式对比
- 合肥seo
- seo公司
- 合肥优化公司
- 选择seo公司
- SEO优化师
- seo工资
- 互联网黑话
- 2019it黑话
- 百度熊掌号
- 网站被k
- 收录消失
- 网页劫持
- 灰色样式
- 百度公告
- seo外包
- 外包公司
- seo职业发展
- seo计费系统
- FTP
- ftp隐藏文件
- 301重定向
- 首选域名
- 301跳转
- seo改版
- 网站改版周期
- seo前景
- seo发展
- 2019冬至
- 冬至
- spider爬虫
- 在家办公
- 伪静态
- 纯静态
- seo友好度
- 企业主
- 网站改版
- seo部署
- 中文搜索
- 头条搜索
- 中文搜索引擎起源和发展
- seo高手
- seo套路
- 头条权重
- 私域流量
- seo内容
- 优质内容
- 百度小程序
- 小程序
- 百度算法
- 算法更新
- 网站排名波动
- 网站惩罚
- seo误区
- 友情链接
- 被惩罚链接
- seo策略
- seo平衡
- seo和可访问性
- seoer
- 提升seo价值
- 黑帽SEO
- 刷快排
- seo专家
- seo思维塑造
- 屏蔽右键
- 禁止右键
- 禁止查看源代码
- 重复内容
- 重复页面
- 互联网名词
- it专属名词
- 360算法
- 后羿算法
- SEO