虽然后世以百度、谷歌为代表的搜索引擎最终呈献给用户的。只是一个只有一个搜索条和一个搜索按钮的简单页面。但是隐藏在页面后台的却是一个由成千上万台服务器。天文数字级的海量数据。以及一个复杂的搜索引擎软件组成的庞大系统。而这个系统的核心。就是搜索引擎。
搜索引擎虽然很复杂。但是其系统总体架构却并不复杂。主要由网络数据采集模块。数据分析排序模块。数据库。用户查询请求分析模块等组成。起工作流程也很简单：
网络数据采集模块是一个很重要的模块。其主要功能是从网络上抓取网页信息发送回搜索引擎服务器。这个模块有一个很形象的名字。叫做网络蜘蛛。也有人把它叫做网络机器人。之所以叫网络蜘蛛。是因为蜘蛛会踩着它吐的蛛丝在网上漫步。而网络蜘蛛虽然自己不吐丝。但是互联网上的超链接却将无数的网页连接成一个巨大的网。网络蜘蛛则会在这个网上不停地到处爬行。采集网页信息。之所以叫网络机器人。却是因为这种爬行搜索的过程。是完全自动化进行的缘故。
网络蜘蛛将搜集到的网页信息。发送回搜索引擎服务器。由网络数据分析模块对之进行分析。按照一定的算法。给每个网页赋予一定的权重。将网页进行排序。
判断一个搜索引擎的优劣。很大程度上。取决于这个排序算法。一个优秀的全文搜索引擎。能够通过优化排序。让用户第一时间得到自己想要的信息。而不用继续往下翻页。所以。这个排序算法将会是整个搜索引擎最核心的技术。
对此。肖远自然也是十分熟悉的。实际上。他并沒有打算从头至尾自己独立去完成搜索引擎的开发。而是准备在玄涅组建一个开发小组。共同合作來完成整个系统的开发。但是。网页信息权重分配和排序模块。作为其中最重要。最核心的部分。他却是要自己亲自开发的。而且在开发完成后。还会将之作为公司最核心的技术机密。为之申请专利。利用法律对其进行保护。
至于其他非核心的模块。即使是网络蜘蛛这样的重要功能模块。在搞清楚工作原理后。开发并不困难。所以。他准备交给开发小组來做。自己就不亲自动手了。
一套完整的搜索引擎开发文档。也不是一时半会儿能够做出來的。肖远晚上只是在草稿纸上画了一些架构图和流程图。然后就上床睡觉了。
从第二天开始。肖远整整花了三天时间。才把整个系统的总体结构设计文档写了一个初稿出來。然后他去了玄涅公司。把唐新宇和顾狼召集在一起。反复对开发文档进行了探讨。修改。数易其稿。如此一來。很多天就匆匆过去了。
与此同时。唐新宇也开始着手对玄涅网络科技股份有限公司进行结构调整。成立了一个网络安全事业部。将以玄涅防火墙为核心的网络安全产品及相关业务。全部划归到了网络安全事业部。
与网络安全事业部并立。唐新宇开始着手组建搜索引擎事业部。而顾狼也按照预定计划。配合唐新宇。着手组建搜索引擎开发小组。
段炎月这段时间除了继续完善玄涅开源社区建设计划书之外。也在着手组建玄涅的第三个特殊的事业部。。玄涅开源事业部。之所以说这个事业部特殊。是因为这个事业部和其他两个事业部不同。它虽然名义上隶属于玄涅公司。但是无论财权。还是经营权。都是完全独立的。在建立这个事业部后。段炎月也正是开始着手招人。进行开源事业部的组织建设了。
杨静宸也在上次与段炎月会面后。于一周后。在学校为玄涅开源社区准备组建的高校开源软件联盟争取到了400Mbps的免费网络带宽。这个带宽在高校开源联盟建设初期。也暂时够用一阵子了。
在得到网络带宽之后。肖远给段炎月列了个设备清单。并划了一百万给她。让段炎月按照清单。进行设备采购。在江州大学进行部署。并让顾狼安排了技术人员。协助段炎月将玄涅论坛往教育网内迁移。并按照段炎月的要求。对其改造升级。
总之。这一段时间。作为玄涅创业团队中的几个核心成员。肖远。唐新宇。顾狼。段炎月都是异常的繁忙。用连轴转來形容。也一点儿也不为过。
…………
时间很快进入了七月下旬。搜索引擎开发小组组建完成。顾狼仍然是开发小组的组长。本來顾狼是想让肖远但当组长的。但是却被肖远推辞了。因为他并不能长时间的留在这个开发小组。在他把自己的工作做完后。还有其他重要的事情要做。如果他当组长。到那时。还得还给顾狼。而临阵换将。历來都是兵家大忌。
尽管肖远沒有担任开发小组的族长。但是开发小组的每个人却知道。肖远也是公司的股东。如此以至于开发小组的成员对他都很客气。
但是。开发小组的成员所知道的也仅限于此了。他们不知道的是。这个搜索引擎的总体架构是肖远设计的。甚至不知道搜索引擎的最核心的模块。。网页权重分配和排序算法也将由亲自來开发。
之所以要这样做。肖远有着自己的考虑。因为他无法担当开发小