第十一章 数据海洋和爬虫(1 / 1)

加入书签 本章报错

绝对掌控强烈推荐: 乡村悠闲生活 全能天后系统 御龙 这群玩家都是史莱姆啊 [重生]魂师兽宠 偏向江湖寻剑仙[综武侠+剑三] 少年龙剑飞(少龙外传) 妖孽王爷:绝宠腹黑王妃 妖小狐灵事辑录

一端是一台个ฐ人用的笔记本电脑,另一端是数百万乃至数千万台挖矿计算机

停了?一个ฐ满头乱发的白人男孩从屏幕前抬起头来,他疑ທ惑的伸过头来看了看。嗯?怎么回事?

现在看来超极本应该拥有远超一般水平的性能,这个性能是相对于普通计算机来说的。

莫回这一天几乎ๆ是在分心二用的状态中ณ度过,心里装满了事,导致一直不在状态,工ื作效率下降得厉害,好在这种偶发的状况领ๆ导没能发现。

我算了下,挖地基咱找人自己้来,盖房子就请邻๑村的瓦匠,设计图就用你三姨ถ家的,咱盖一个和你三姨ถ家一模一样的,沙子咱从河里自己挖,这样咱就需要买຀水泥红砖和预制板,上板子的时候请个吊车,再就没啥了。这样算下来,盖楼加装ณ修用的白灰和瓷砖,还有几样需要换的家具电å器,估计二十七八万就够。

干嘛ใ?类似的对话进行不止一次了,莫回明白这又是老爸来要钱了,就是不知道这次老爸想要多少。

他定了定神,闭上眼睛静了一会,重新睁开。

莫回手头实在没有软件或者游戏可装ณ了,他最后只好摁着键盘就是一顿疯狂的切换,结果笔记本完美的执行了一切指令

楼下的小饭店是一对贵州小夫妻开的夫妻档,店面刚开不久ื,好在店面就开在小区的边上,仅仅做小区的生意就足够了。

如同视频同步播放一样,两ä幅画面同时出现在脑แ海里,只不过一副画面早已存在莫回的记忆中ณ,而另一幅画面则通过他的眼睛正在演绎着。

当面对如此庞大浩繁的数据海洋时就存在一个问题了,世界这么เ大,我该如何找到目标,比如我想找感冒药相关的数据信息,我该怎么办?

正是这种需求催生了搜索ิ引擎,搜索引擎可以帮助你快速找到目标,它就像一个ฐ找路指南一样,你只要告诉它想去哪,这个目的地大概ฐ什么เ特征,它就会帮助你找到无数个ฐ可能合适的目的地,并且把对方แ的url提供给你。

搜索引擎每天的访问量都是海量的,每一秒同时并发的搜索请求都是数以十万计的,在这么多请求面前๩,如果来一个请求它搜一遍互联网,这肯定是不现实的,不仅速度慢效率低,而且仅仅这类搜索请求就足让整个国际互联网陷入拥堵状态。

为ฦ了解决这个问题,搜索ิ引擎就有了它特有的工作模式,它先尽可能多的将数据海洋里的信息全部ຖ找出来,然后存储在自己的服务器群组中ณ,一旦有了搜索请求,它只要在自己的服务器里进行检索就行了。

而帮助搜索ิ引擎完成找这个动作的就是爬虫。

因为国际互联网中的信息节点都是相互关联的,是网状联系的,每个节点上都会有很多个url。所以爬虫的工ื作模式就是遍历,当它开始工作时,它会以一个信息节点为,然后挨个访寻与这个ฐ节点相连的所有节点,当下一层节点还有url链接时,它就不断访问下去,直到เ将所有url遍历一次才算完。

因为ฦ整个互联网的网状结构,使它具备网状互通性,所以等爬虫将所有url遍历了,一般来说它就已经将整个国际互联网所有链接全部访问了一遍,这注定是一个比环球旅行更加令人叹为观止的行为。

而莫回既然想弄这个ฐ股神10่,他想要搜集海量数据,那ว么他要做的事情其实和搜索ิ引擎要做的事情很像,只不过搜索引擎是所有信息都要搜集,而莫回只需要关注股票相关的信息就行了。

这样的话,莫回的爬虫就必须在具备遍历能力的同时,还得具备筛选的能力。

遍历的能力解释起来很简单,就是你不能走回头路和冤枉路,游历过的url就犯不着再走第二遍了。一条新า的url被发现,首先需要判断ษ这条url是否已经走过,其次需要判断这条url被安排在什么次序去走。一个是重复性问题,一个是最优化问题,这就需要独特的遍历算法来解决。

而筛选功能ม就是通用爬虫和专用爬虫之间的主要区别,莫回的爬虫需要具备一定的识别能力,能够辨别某个url中的内容是否具备相关性,如果不具备那么就跳过,如果具备就将其中的内容复制回来待用。

这个筛选功能同样需要一大堆的算法来解决,不仅如此,它还需要具备自然语言处理能力,就是说它得具备对语言文字的理解和解析的能力,它得能够识别ี哪些文字内容是与股票相关的,哪些是无用的。

仅仅识别文字还是不够的,它还得能够识别其他格式的数据,比如它得能够识别图案,像是股票相关的各种k线图柱状图之类的,爬虫必须ี能够将其与风景画ฑ或者自拍照区别ี开。

除了图片,其他的像是视频音频各类数据库之类的,爬虫都需要一一辨别出来,确定是否属于相关内容。

这里面将会有无数个技术难题๤需要解决,如果这个工作让莫回一个人来完成,几乎是不可想象的。

↑返回顶部↑

书页/目录

绝对掌控推荐阅读: 农女福妃名动天下全文免费阅读 情况的情的边疆 夫妻旅游-交换轶事456 玉碎宫倾 洪荒红云今天有喜了 女生宿舍电影完整版免费高清在线观看 洪荒之帝巫txt下载 绝色狐妃邪王滚下榻 永生的哈娜 阅读 妖艳花丛相关内容之