首页>>移动SEO
一、网络蜘蛛的定义
网络蜘蛛(又被称为网络爬虫,网络机器人)是一种按照一定的规则,自动地爬行抓取互联网信息的程序或脚本。
通俗解释:互联网类似于蜘蛛网,网络爬虫在其中不断的爬行抓取,就像是蜘蛛通过蛛网进行捕食,每当发现新的资源蜘蛛立即出动并对其进行抓取并将抓取到的内容存入数据库。
二、网络爬虫的技术概述
网络爬虫帮助搜索引擎从万维网上下载网页,是一个自动提取网页信息的程序,因此网络爬虫也是搜索引擎的重要组成部分。已知的网络爬虫分为传统爬虫和聚焦爬虫。
传统爬虫:就像蜘蛛在蛛网上爬行,网页的URL就类似于相互关联的蛛网,网页蜘蛛从一些初始网页的URL开始,获得初始网页上的URL,在爬虫抓取网页的过程中,又不断从爬取到的页面上重新抽取新的URL放入预抓取队列,如此反复,直到满足系统的停止条件,最终停止抓取。
聚焦爬虫:聚焦爬虫的工作流程较传统爬虫更为复杂,它根据网页分析算法过滤与初始抓取主题无关的URL,保留有用的链接放入预抓取队列,如此反复,直到达到系统的某一条件时停止。
三、为什么要有“蜘蛛”
随着网络的迅速发展,互联网成为大量信息的载体,如何有效地提取并利用这些信息成为一个巨大的挑战。作为帮助用户访问互联网的入口和指南,搜索引擎也存在着很多局限性。
1、通用搜索引擎的目标是将网络覆盖率尽可能做到最大化,因此有限的搜索引擎服务器资源与无限的网络信息资源之间产生了巨大的矛盾。
2、通用搜索引擎所返回的结果过于宽泛,其中包含大量与用户搜索目的不相关的网页。
3、互联网数据形式和网络技术的不断发展,图片、音频、视频等多种多媒体数据大量涌出,通用搜索引擎对这类信息不能很好的发现和获取。
4、通用搜索引擎基于关键字搜索,不支持根据语义查询。
以上问题的出现也促使了定向抓取相关网页资源的聚焦爬虫的出现。聚焦爬虫能够自动下载网页,它根据既定的抓取目标,有选择的访问互联网上的网页与相关的链接,从中收集需要的信息。与通用爬虫不同,聚焦爬虫并不追求大的覆盖,而将目标定为抓取与某一特定主题内容相关的网页,为面向主题的用户查询准备数据资源。
了解搜索引擎的工作原理对于网站SEO优化起着重要的作用,很多的SEO技巧都是根据搜索引擎的工作原理而产生,因此对于搜索引擎工作原理的解读是SEO工作者的重要基本功。
获取web页面。每个独立的搜索引擎都有自己的网络爬虫程序(Spider)。爬虫沿着网页中的超链接从这个网站爬到另个网站,并分析通过超链接分析获取更多网页的连续访问。捕获的web页面称为web快照。由于超链接在Internet中的应用非常普遍,理论上,从定范围的web页面开始,我们可以收集绝大多数的web页面。
处理web页面。捕获网页后,搜索引擎还需要做大量的预处理工作来提供检索服务。其中重要的是提取关键字,建立索引库和索引。其他包括删除重复的网页、分词(中文)、确定网页类型、分析超链接、计算网页的重要性和丰富度等。
提供检索服务。用户输入检索的关键字,搜索引擎找到与索引数据库中关键字匹配的web页面。为了便于用户判断,除了页面标题和URL之外,还将提供web页面的摘要和其他信息。搜索引擎的自动信息收集功能提交网站搜索。站长主动将网站提交给搜索引擎。它会在定时间内将爬虫发送到您的网站,扫描您的网站并将信息存储到数据库中以供用户使用。因为搜索引擎索引规则发生了很大变化相对于过去,主动提交的网站并不保证你的网站能进入搜索引擎数据库,所以站长应加大网站的内容,让搜索引擎有更多机会找到你并自动收集你的网站。
当用户用关键词搜索信息时,搜索引擎将在数据库中搜索。如果你找到个网站,符合用户要求的内容,个特殊的算法--通常根据网页中关键词的匹配程度,位置、频率,链接质量,等等--计算网页的相关性和排名。然后,根据关联程度,将这些链接依次返回给用户。
- 上一篇: 百度手机/移动端SEO,是优化外包公司的痛点?
- 下一篇: 移动浏览器变了心?
猜你喜欢
- 2024-02-23 提高小红书运营效率的6个工具
- 2022-11-10 【官方文档】百度搜索网站被黑防范指南
- 2022-11-03 【干货必备】百度搜索优质内容指南
- 2022-08-01 百度隐藏“快照”功能:原因未知-百度快照没了?
- 2022-06-20 浅析“百度搜索基础信息设置规范”!
- 2022-06-15 SEO尴尬,有排名,没流量,没咨询,怎么办?
- 搜索
-
- 2024-04-07 小红书+抖音+直播常见违禁词及替换方法
- 2024-03-14 刷量成风,广告主损失惨重?该被重视了!
- 2024-03-06 代理投的好,还需要招自己的优化师吗?
- 2024-02-23 提高小红书运营效率的6个工具
- 2024-02-23 千川投放百宝书:2万字详解,一篇全掌握!
- 2024-02-20 年后求职15个关键面试问题,助优化师脱颖···
- 2024-01-31 不行就去做销售吧!
- 2024-01-09 合格的优化师,需具备这6项思维能力!
- 2023-12-28 25个金句文案句式,直接套!
- 2023-12-05 做私域必备的10个朋友圈黄金模板
- 2023-12-05 15个爆款短视频文案技巧,看完立马用!
- 2023-11-27 浅析:《百度搜索优质内容解读》,当下百度···
- 2019-11-01 Origin DNS error:使用百···
- 2020-06-20 “401 - 未授权: 由于凭据无效,访···
- 2020-12-01 一级域名好还是二级域名好?
- 2020-10-13 百度抓取诊断工具一直抓取失败怎么办?
- 2019-12-09 域名解析后,网站返回状态码511应对方法
- 2020-04-10 百度下拉框怎么刷?刷百度下拉框软件原理及···
- 2019-08-12 网站出现“403,服务器上文件或目录拒绝···
- 2021-04-13 html/txt文件中文用浏览器打开有乱···
- 2021-01-06 百度移动端的搜索结果上线“踩顶”功能,对···
- 2020-09-03 element.style样式的修改
- 2019-11-06 正确打开.db数据库文件的两种方式,避免···
- 2020-10-20 UC神马搜索怎么做快速排名优化
- 2024-03-06 代理投的好,还需要招自己的优化师吗?
- 2019-07-28 「对症下药」如何挑选适合自己的流量关键词
- 2020-12-23 怎么知道你们的关键词优化真的有效果?
- 2020-01-09 除了写文章和换友链,seo还有能做哪些有···
- 2020-10-09 robots文件一定要放在根目录吗?
- 2022-03-16 SEO每日一问:URL中出现大小写,到底···
- 2019-08-20 「Web前端」合并css和javascr···
- 2019-07-18 百度爱采购有什么用?怎么获得更好的展示位···
- 2020-08-04 seo外包与招骋优化专员的取舍
- 2024-02-23 千川投放百宝书:2万字详解,一篇全掌握!
- 2019-10-09 百度惊雷算法从1.0到2.0的两年,快排···
- 2021-05-19 宝塔面板新安装后,保存以前系统配置的方法
- 热门标签