全球搜索引擎大全
当前位置当前位置:全球搜索引擎大全 > 资讯 > 文章

YaCy搜索引擎p2p去中心化方式运作,没有人能控制搜索内容与排序了?

  日期:2019-02-20

yacy

在如今数据大爆炸的互联网中,想要快速准确地找到你所需要的信息,上搜索引擎始终是最好的选择,如百度搜狗360,但是上这些搜索引擎我们就必须被迫忍受寡头公司强推的广告(隐含结果的排序)、无奈接受其收集数据的霸王条款。前些天,有朋友推荐我使用p2p式的搜索引擎YaCy,据说这款搜索引擎和所有市面上其它搜索引擎都不同,它是一个P2P搜索引擎,而且开源。它完全去中心化,以P2P实现了搜索服务的云计算,每个用户既是搜索服务使用者,也是搜索结果提供者,你自己就可以开着电脑爬虫寻找互联网的所有网站(包括未被各大搜索引擎收录的一些网站和内容)。这样就没有谁能控制搜索内容与排序了。

安装只需三分钟。只需下载该版本,解压缩该软件包并运行启动脚本即可。在linux上你需要OpenJDK8。您不需要安装外部数据库或Web服务器,YaCy中已包含所有内容。

YaCy官网只提供程序和源码下载,并没有类似百度、谷歌一样的主入口网页让用户直接使用。你想用YaCy就必须安装电脑客户端,这个客户端将一个小型化的谷歌照搬到了你电脑上,让一个完整的搜索程序跑在你电脑上,在安装并运行了YaCy的电脑上使用任何浏览器打开localhost:8080,就进入搜索页面。

打开localhost:8080/Status.html,就进入后台,你可以输入需要抓取网站的网址、rss地址、sitemap让你电脑使用YaCy爬虫去抓取目标网站,结果会存储在你电脑硬盘上,供你自己使用,也可以根据你需要共享给YaCy其它用户使用。在后台你能看到实时的爬虫情况,抓到了哪些结果,抓到哪个网站了,还有详细的图形化关系图谱。

yacy

开源对于大部分用户来说没有直接意义,但它的个人用户终端程序一直在持续开发和更新,最新版为1.82,Windows、Mac、Linux版都有,每个人都能用,每个人也都能成为巨大P2P网络中的一个节点,在使用YaCy获得搜索结果的同时也通过庞大的P2P网络给YaCy其它用户提供搜索计算能力和搜索结果。

举个简单的例子:一个网站“www.xxx.com”没有被任何主流搜索引擎收录,或者百度因为某些原因没收录,谷歌你又用不了,但是你知道这个网站存在,这个网站的内容对你来说也有价值,那此时你可以选择安装YaCy,在自己电脑上使用YaCy爬虫抓取这个网站,并将爬到的搜索数据存储在你电脑上,你可以使用你电脑的localhost:8080页面随时搜索,搜索结果就会展示这个网站内的相关内容,同时,如果你觉得这个网站内容对其它人也有用,可以将自己电脑上的YaCy共享出去,这样其它同时在使用YaCy搜索的用户就会得到这个网站的相关匹配搜索内容。

当然,除了个人电脑作为节点外,YaCy也可以直接安装到服务器上,使用服务器不间断的抓取网站并向P2P网络共享搜索计算力和搜索结果,甚至可以直接绑定域名开展小型化的搜索服务。

p2p方式真的是一个很美好的设计,但是在YaCy面世这么多年以后,还是有很多用户不知道它的存在,原因很多:

第一,对使用个人电脑的用户来说,YaCy要在后台不停抓取目标网址内容,所以它必然时时刻刻在消耗你电脑硬件能力,虽然现在个人电脑性能都已足够强大,但YaCy造成的性能损耗在一些时候还是很明显的,比如打游戏时。除了性能损耗,YaCy还要占用一部分硬盘,因为在你电脑上存储你抓取的搜索结果数据库,这个数据库随着目标网站的数量和目标网站内容增加,如果你要抓2到3个大型站如新浪、搜狐,一段时间后可能会占用上百G硬盘。

第二,YaCy搜索结果不稳定,因为个人电脑一般不会每天7*24小时在线,所以当整个YaCy的P2P网络内不停有作为节点的个人电脑开机关机上线下线,那整个YaCy提供的搜索结果也是不停在变化的,当一台电脑关机后,这台电脑上的搜索数据库就不会再给整个YaCy提供搜索结果,其它用户可能在前一秒还搜到了一个网站的相关结果,后一秒因为存储这个网站数据的电脑关机就搜索不到了。更惨的是,YaCy的中国用户极少,所以中文结果少得可怜。

yacy

如果有足够多的服务器加入 YaCy能缓解这个问题,但拥有服务器的人大部分在国外,他们对此兴趣不是很大,因为有谷歌,而国内则几乎没有什么人知道 YaCy,而且国内玩服务器的人本来也很少。同时,在服务器上跑 YaCy会造成比较大的流量,一些小流量服务器很容易超限,YaCy的后台运行消耗也会给你在这个服务器上跑的其它程序和网站带来影响。

YaCy的口号虽然是 Web Search by the people, for the people,但在搜索这件事上个人用户做节点实在不是个好主意,它对个人用户的电脑带来了负担,同时搜索结果内容还不稳定。它的更大用武之地应该是一批拥有服务器的人联合起来提供 YaCy服务,将打造一个好用搜索引擎的服务器开销分散到上百甚至上万个服务器中去。当然,如果有土豪想直接砸钱用 YaCy打造出一个新中文搜索引擎品牌也是可行的,因为 YaCy开源。




最新文章
热门文章

Copyright 2020 by 我的系统园地 .All rights reserved.
内容均来自互联网.若涉及您的权益.请联系删除
联系我们 | 申请收录
蜀ICP备18032328号