网站地图 | 收录申请
当前位置:网站首页 > IT资讯 > 正文

你懂搜索引擎是怎么运作的吗?想知道的话,先来了解这篇文章吧

it资讯 2021-01-19 323 浏览 0 评论

现在让我们来看看一些重要的术语“搜索引擎”:搜索和标识数据库中与用户指定的关键字或字符相对应的项的程序,用于查找万维网上的特定站点。例如:谷歌,360,百度等。

搜索引擎索引:搜索引擎索引是将关键字与网站相关联的数据库,因此搜索引擎可以显示与用户的搜索查询相匹配的网站。例如,如果用户搜索猎豹的运行速度,那么软件蜘蛛将在搜索引擎索引中搜索这些术语。

网络爬虫:您首先需要了解的是Web Crawler或Spider是什么以及它是如何工作的。搜索引擎蜘蛛(也被称为爬虫、机器人、搜索机器人或简单的机器人)是大多数搜索引擎用来查找互联网上新事物的程序,该程序从一个网站开始,并跟踪每个页面上的每一个超链接。所以可以说,网络上的所有东西最终都会被发现和爬行,就像所谓的“蜘蛛”从一个网站爬到另一个网站。当网络爬虫访问您的一个页面时,它会将站点的内容加载到数据库中。一旦获取了一个页面,页面的文本就会被加载到搜索引擎的索引中,这是一个海量的单词数据库,它们出现在不同的网页上。

Robots.txt文件:网络爬虫在少数几个未经批准的网站上爬行。因此,每个网站都包含一个robots.txt文件,其中包含蜘蛛(网络爬虫)的指令,在网站的哪些部分要索引,哪些部分要忽略。

PageRank通过计算链接到页面的数量和质量来确定网页的重要程度。当一个网络爬虫通过每个网站,它跟踪网站中的所有链接,并检查有多少链接连接到每个网站。然后利用页面排名算法对每个网页分配百分比,以代表网页的重要性。例如,如果有三个名为A、B和C的网页,那么假设连接到B的链接数来自5个百分比较低的网页,而连接到C的链接的链接来自A,其百分比较高,因为到C的链接来自一个重要的页面,因此C的值高于B。

URL图中的PageRank是一种概率分布,用来表示随机点击链接的人到达任何特定页面的可能性。

因此,在网络爬行过程中,基本上有三个步骤。首先,搜索机器人从爬行站点的页面开始,然后继续索引网站的单词和内容,最后访问站点中的链接(网页地址或URL)。

“robots.txt”的重要性

当蜘蛛访问你的网站时,它应该做的第一件事就是查找一个名为“robots.txt”的文件。此文件包含关于网站哪些部分要索引和哪些部分要忽略的说明。控制蜘蛛在站点上看到什么的唯一方法是使用robots.txt文件。所有的蜘蛛都应该遵循一些规则,而主要的搜索引擎在大多数情况下都会遵循这些规则。

搜索时,蜘蛛搜索索引以查找包含这些搜索词的每一页。在这种情况下,会找到数百或数千页,通过多个这样的问题来决定哪些文档是真正想要的:

这个页面包含这个关键字多少次?

单词是否出现在标题中,URL中,直接相邻?

页面中是否包含这些单词的同义词?

这个网页是一个高质量的网站还是低质量的?

然后使用算法获取数百个网页,并对这些网页的重要性进行排序。算法可以查看有多少外部链接指向它,以及这些链接有多重要?最后,它将所有这些因素结合在一起,生成每个页面的总体得分,并在提交搜索后大约半秒钟内将搜索结果发回。

每个页面包括标题、URL、文本片段,以确定我们要寻找的特定页面。如果不相关,它也会在页面底部显示相关搜索。

来源/作者:还能说晚安吗

相关推荐

一半常用app催你网贷,“正规高利贷”毁了多少人?
一半常用app催你网贷,“正规高利贷”毁了多少人?

骑共享单车,买外卖美食……本以为只是平常小事,却莫名其妙被开通了贷款功能。近日,有网友指出在不知情的情况下被开通了“美团月付”,引起了广泛关注。此前,已有眼尖的...

4周前 (02-10) it资讯

米聊的退出,对互联网社交软件的思考
米聊的退出,对互联网社交软件的思考

米聊,比微信还早出来40天的社交软件,现在官网发布将要停止服务。一时间让很多米粉也是感慨万分,米聊终究还是没有挺过来,完全被打趴下了。腾讯有多强大?对米聊感到惋...

1个月前 (01-31) it资讯

P2P行业清零后,网贷玩起“新套路”,愿者上钩
P2P行业清零后,网贷玩起“新套路”,愿者上钩

2020年,监管部门宣布P2P行业清零,但是问题“根治”了吗?并没有。一方面,还有千亿未兑付风险需要“扫尾”;另一方面,虽然P2P机构数清零了,但是金融数科、助...

1个月前 (01-25) it资讯

洞见40年,中国广告发展史
洞见40年,中国广告发展史

80年代,人们关注电视媒体,过年围绕着春晚,让品牌与IP之间以短信投票的形式互动,90年代众人关注PC互联网,百度一下,通过搜索引擎得到自己想看到的内容。PC让...

1个月前 (01-23) it资讯

中国35岁以上的程序员都去哪儿了?
中国35岁以上的程序员都去哪儿了?

35岁,仿佛是程序员的一道坎。更有甚者认为,35岁以上的程序员就会被裁员,面临失业危机。在国内,程序员的确是吃青春饭的,但大龄程序员的现状并没有如此不堪。互联网...

1个月前 (01-22) it资讯

​阿里最担心的事已发生,圆通靠拢拼多多,电商快递大战一触即发
​阿里最担心的事已发生,圆通靠拢拼多多,电商快递大战一触即发

近几年的电商市场,犹如黑马般崛起的拼多多无疑是该领域最具看点的互联网企业。在2015年之前,我国电商市场一直处在阿里巴巴和京东“大小王”的格局,但随着拼多多的出...

2个月前 (01-20) it资讯

为什么别人可以成为自学成才的程序员,而我们不行?先看完文章吧

很多时候,我们看到专家说自学编程无疑是掌握编程技能的最好方法。根据这些报告,世界上超过一半的程序员认为自己是一个自学的程序员。此外,让我们暂时忘掉专家的说法和报告,看看采用自学编程方法的好处:你成为你...

你懂搜索引擎是怎么运作的吗?想知道的话,先来了解这篇文章吧

现在让我们来看看一些重要的术语“搜索引擎”:搜索和标识数据库中与用户指定的关键字或字符相对应的项的程序,用于查找万维网上的特定站点。例如:谷歌,360,百度等。搜索引擎索引:搜索引擎索引是将关键字与网...

微信发布最新封号规定,一旦出现这3种行为将会被封号
微信发布最新封号规定,一旦出现这3种行为将会被封号

对于现在人来说,大部分人在日常社交中已经离不开微信这一平台了,微信用户目前已经达到了11亿之多。微信在使用上的确是相当的方便,不仅可以文字信息聊天,而且还能够进...

2个月前 (01-01) it资讯

诱导网贷广告频发,京东、360相继道歉!借款年利率堪比高利贷
诱导网贷广告频发,京东、360相继道歉!借款年利率堪比高利贷

近日,京东一则广告引发了热议。这则广告和目前京东重点推广的京东金融有关,是旗下一款网贷产品,该广告以视频的形式进行宣发,视频内容是一个农民工因亲人坐飞机头晕,不...

3个月前 (12-18) it资讯

取消回复欢迎 发表评论:

请填写验证码