首页>>SEM推广
在做SEO的过程中,你是否遇到这样一种问题:服务器访问CPU使用率几乎100%,而且页面加载速度特别慢,貌似被DDOS攻击一样。
经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取,这对于一个小网站来讲,可能是灭顶之灾。
因此,我们在做网站优化的时候,就需要针对特定蜘蛛有选择的引导。
那么,如何与恶意“蜘蛛”暗度陈仓?
根据以往SEO经验分享,下面将通过如下内容阐述:
1、搜索引擎爬虫
对于国内的小伙伴,我们都知道在做SEO的过程中,我们面对的最常见的爬虫就是搜索引擎的爬虫,比如:百度蜘蛛,同时,还会面临各种搜索引擎的蜘蛛,比如:
①360Spider、SogouSpider、Bytespider
②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot
③其他爬虫
如何你没有刻意的配置你的robots.txt文件的话,理论上,你的目标页面是都可以抓取与爬行的,但对于一些中小网站,它偶尔会严重浪费自己的服务器资源。
这个时候我们就需要做出有选择性的合理引导,特别是一些比较尴尬的问题,比如:你希望谷歌降低对网站爬行,而又不能完全屏蔽,你可能需要一些小技巧,比如:针对特定爬虫的访问,反馈不同的文章列表:
①控制更新频率的列表
②反馈大量重复性,内容农场的页面
③善意的“蜘蛛陷阱”比如:Flash
④如何对方SEO管理平台,可以调整抓取评论,适当调整一下
虽然,这样的策略,很可能造成页面信誉度受损,但这是我能想到,针对这些不希望经常爬行,而又需要保持爬行的蜘蛛,合理控制抓取的一个相对“有效”的方法。
2、链接分析爬虫
从目前来看,一个SEO外链分析管理工具,每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。
针对一些资源密集型的站点,每天可能爬行成千上万次,这样的爬虫屡见不鲜。
如果你不想自身的网站参与其中,最简单的策略就是在robots协议中,全封闭这样的爬虫。
3、内容采集爬虫
但当我们面对一些恶意的内容采集爬虫而言,就相对的尴尬,对方往往是采用“隐身”的状态,比如:模拟知名搜索引擎蜘蛛的名称。
针对这样的问题,我们只能手动的判断去审查一下对方的庐山真面,比如:利用IP泛解析命令,去判断一下,它到底是不是真的。
①Linux平台:hostip
②Widows平台:nslookupIP
从而去判断对方的解析地址,是否为对应的搜索引擎域名。
4、蜘蛛池爬虫
目前市面上有很多人做百度蜘蛛池,它主要的目的是辅助更多的页面做百度快速收录,但由于一些任意下载的蜘蛛池程序设计的不规范化。
没有做到合理的针对不同蜘蛛的爬行与限定,往往导致服务器资源被大量占用,很容易被服务商关停服务器。
如果你试图利用这个策略,提升自己页面收录,那么,你可能需要多加注意。(但我们并不推荐)
【总结】SEO工作是一个细节性的工作,每个策略都影响着整站的运营状态,而上述内容只是浅析,适用于中小站长,仅供参考!
- 上一篇: 警惕wap手机站被黑!及时备份、检查才是王道
- 下一篇: 为何SEO预估排名很难,又该怎样做?
猜你喜欢
- 2024-02-23 提高小红书运营效率的6个工具
- 2022-11-10 【官方文档】百度搜索网站被黑防范指南
- 2022-11-03 【干货必备】百度搜索优质内容指南
- 2022-08-01 百度隐藏“快照”功能:原因未知-百度快照没了?
- 2022-06-20 浅析“百度搜索基础信息设置规范”!
- 2022-06-15 SEO尴尬,有排名,没流量,没咨询,怎么办?
- 搜索
-
- 2024-03-14 刷量成风,广告主损失惨重?该被重视了!
- 2024-03-06 代理投的好,还需要招自己的优化师吗?
- 2024-02-23 提高小红书运营效率的6个工具
- 2024-02-23 千川投放百宝书:2万字详解,一篇全掌握!
- 2024-02-20 年后求职15个关键面试问题,助优化师脱颖···
- 2024-01-31 不行就去做销售吧!
- 2024-01-09 合格的优化师,需具备这6项思维能力!
- 2023-12-28 25个金句文案句式,直接套!
- 2023-12-05 做私域必备的10个朋友圈黄金模板
- 2023-12-05 15个爆款短视频文案技巧,看完立马用!
- 2023-11-27 浅析:《百度搜索优质内容解读》,当下百度···
- 2023-11-21 10年老兵看搜索广告的过去、现在和未来
- 2019-11-01 Origin DNS error:使用百···
- 2020-06-20 “401 - 未授权: 由于凭据无效,访···
- 2020-12-01 一级域名好还是二级域名好?
- 2020-10-13 百度抓取诊断工具一直抓取失败怎么办?
- 2019-12-09 域名解析后,网站返回状态码511应对方法
- 2020-04-10 百度下拉框怎么刷?刷百度下拉框软件原理及···
- 2019-08-12 网站出现“403,服务器上文件或目录拒绝···
- 2021-04-13 html/txt文件中文用浏览器打开有乱···
- 2020-09-03 element.style样式的修改
- 2021-01-06 百度移动端的搜索结果上线“踩顶”功能,对···
- 2019-11-06 正确打开.db数据库文件的两种方式,避免···
- 2020-10-20 UC神马搜索怎么做快速排名优化
- 2019-11-15 网站SEO相关性提权法操作点
- 2019-02-18 site查收录,首页不在第一位的原因和恢···
- 2021-02-19 4个小众Chrome插件,最后一个爽到爆···
- 2019-12-30 SEO技术党都在迷恋的黑帽seo
- 2019-03-20 网站个别关键词排名消失是什么原因,怎么解···
- 2020-07-08 做为一个SEO专员接手一个网站该怎么进行···
- 2019-08-12 移动端站点设计:营销型网站的手机站怎么合···
- 2021-01-07 织梦新闻列表从第二篇开始调用的解决方法
- 2021-05-20 SEO排名,4月-5月,暴涨暴跌,怎么回···
- 2023-02-03 流量运营的核心精华,又何止1000种方法
- 2020-07-02 SEO快排怎么通过模拟点击发包做百度排名···
- 2019-08-28 关键词中数字用中文或阿拉伯数字,百度搜索···
- 热门标签
-
- 百度下拉框
- 刷百度下拉
- UC神马
- 百度提权
- 整站提权
- SEO发包技术
- 百度漏洞
- 快速排名
- 关键词飘红
- 百度飘红
- 飘红
- 百度快排
- 快排
- seo骗局
- seo快排
- 发包优化
- 黑帽发包技术
- 站点子链
- 点击率
- 网站排名
- 点击对seo的影响
- TF-IDF算法
- seo负面
- 口碑营销
- 沙盒期
- 底层库
- 底层索引库
- 百度推广封杀SEO
- 竞价封杀优化
- 马太效应
- SEO对策
- 搜索排序
- seo排序
- seo要点
- seo工具
- 整合营销
- 网络营销
- seo写作
- seo编辑
- seo标题
- 分区域算法
- seo关键词
- 排名清零
- 排名波动
- 收录消失
- 网页原创度
- 内容质量
- wap网站
- 快照劫持
- seo工作
- seo执行
- 多网站SEO
- 多站点策略
- 黑帽seo
- seo服务
- seo专家
- 网络推广
- 2019算法
- 百度算法
- 算法盘点
- 网站降权
- 飓风算法
- 排名预估
- 关键词排名
- SEO快速排名
- Http协议
- 互联网营销
- 网站改进
- 用户体验
- 网站改版
- 百度蜘蛛
- spider
- seo公司
- 爬虫
- 用户体验优化
- 数据图
- seo坏习惯
- 竞价创意
- 百度竞价
- 旋片式真空泵
- 私域
- 朋友圈
- 模板
- 千川投放
- 巨量
- 投放
- sem
- 优化师
- 投流