第十一章 数据海洋和爬虫(1 / 1)

加入书签 本章报错

绝对掌控强烈推荐: 倾世狂妃:皇上,深入爱! 监督代理人 杨幂-幂事 无限之轮回鸣人 娇妻来袭:早安,老公大人! 影子战士全本 豪门盛宠 将军锁爱玩偶妻 OL激情

从这个角度讲,既ຂ然莫回这里呼呼的冒比特币๥,十分钟็能挖二十多个,那ว么换句话说,这台笔记本的计算力占比至少高达9๗0。这只是莫回的大致估算,并且很可能ม更高。

嘿!汤姆,你快看,我们的挖矿停了!

不过幸好这些都没有发生,莫回迫不及待的从脏衣服堆里把笔记本翻出来,当笔记本拿在手里,那种真实的触感让他莫名的松了一口气。从某种意义แ上说,这就是改变人生的契机。

无论结果是什么,都需要逐步的验证

这个词所蕴含的语意精准描述了他目前所面临的困境。

回仔,你手里有多少闲钱๥?

哦~~,这就来。莫回习๤惯性的懒洋洋回答着,好像一切又重回了轨道,似乎昨天发现的超级笔记本只是个梦而已。

等莫回终于停下来的时候,他已经在同时开了十几个大型游戏,并且还有好几个大型软件。但是一切都没有问题,笔记本毫无຀压力的运行着,甚至连风扇的声音都听不到,机器也๣毫无过热的现象。

莫回对游戏有爱好没痴迷,很少会投入进去,基本上当个调剂心情外加打发时间的手段而已。

突然想起了什么เ,莫回将头转向房门,眼神中带着某种期待和笃信,好像他正在等待什么事情发生或者验证。

当面对如此庞大浩繁的数据海洋时就存在一个问题了,世界这么大,我该如何找到目标,比如我想找感冒药相关的数据信息,我该怎么办?

正是这种需求催生了搜索引擎,搜索引擎可以帮助你快速找到目标,它就像一个ฐ找路指南一样,你只要告诉它想去哪,这个目的地大概什么特征,它就会帮助你找到เ无数个可能合适的目的地,并且把对方的url提供给你。

搜索引擎每天的访问量都是海量的,每一秒同时并发的搜索请求都是数以十万计的,在这么เ多请求面前,如果来一个请求它搜一遍互联网,这肯定是不现实的,不仅速度慢效率低,而且仅仅这类搜索请求就足让整个ฐ国际互联网陷入拥堵状态。

为了解决这个问题๤,搜索引擎就有了它特有的工作模式,它先尽可能多的将数据海洋里的信息全部找出来,然后存储在自己的服务器群组中,一旦ຆ有了搜索ิ请求,它只要在自己的服务器里进行检索就行了。

而帮助搜索引擎完成找这个动作的就是爬虫。

因为ฦ国际互联网中的信息节点都是相互关联的,是网状联系的,每个节点上都会有很多个url。所以爬虫的工作模式就是遍历,当它开始工ื作时,它会以一个ฐ信息节点为,然后挨个访寻与这个节点相连的所有节点,当下一层节点还有url链接时,它就不断访问下去,直到将所有url遍历一次才算完。

因为整个互联网的网状结构,使它具备网状互通性,所以等爬虫将所有url遍历了,一般来说它就已๐经将整个ฐ国际互联网所有链接全部访问了一遍,这注定是一个比环球旅行更加令人叹为观止的行为。

而莫回既ຂ然想弄这个股神10,他想要搜集海量数据,那么เ他要做的事情其实和搜索引擎要做的事情很像,只不过搜索引擎是所有信息都要搜集,而莫回只需要关注股票相关的信息就行了。

这样的话,莫回的爬虫就必须在具备遍历能力的同时,还得具备筛选的能力。

遍历的能力解释起来很简单,就是你不能走回头路和冤枉路,游历过的url就犯不着再走第二遍了。一条新的url被发现,首先需要判断这条url是否已经走过,其次需要判断这条url被安排在什么次序去走。一个是重复性问题,一个ฐ是最优化问题๤,这就需要独特的遍历算法来解决。

而筛选功能就是通用爬虫和专用爬虫之ใ间的主要区别,莫回的爬虫需要具备一定的识别能力,能够辨别ี某个url中的内容是否具备相关性,如果不具备那么就跳过,如果具备就将其中的内容复制ๆ回来待用。

这个筛选功能同样需要一大堆的算法来解决,不仅如此,它还需要具备自然语言处理能力,就是说它得具备对语言文字的理解和解析的能力,它得能ม够识别哪些文字内容是与股票相关的,哪些是无用的。

仅仅识别文字还是不够的,它还得能够识别其他格式的数据,比如它得能够识别图案,像是股票຀相关的各种k线图柱状图之ใ类的,爬虫必须能够将其与风景画或者自拍照区别开。

除了图片,其他的像是视频音频๗各类数据库之类的,爬虫都需要一一辨别出来,确定是否属于相关内容。

这里面将会有无数个技术难题๤需要解决,如果这个ฐ工作让莫回一个人来完成,几乎是不可想象的。

↑返回顶部↑

书页/目录

绝对掌控推荐阅读: 梦幻山庄覆灭记百度百科 邪修功德无量 东方祸神乱 鬼胎的漫画 森海塞尔 男人和女人的战争对家庭的影响 霜之哀伤 誓不二嫁:邪王拽妃 正房可以打小妾吗 极道妙探小说无删减