Hadoop应用实战
上QQ阅读APP看书,第一时间看更新

引言
区块链和Hadoop

我们是从2015年开始关注区块链技术的。自互联网诞生之日起,发明一种脱离政府和银行监管,匿名并且便利的互联网货币,一直都是极客社区中的一个热门课题。P2P是Peer-to-Peer,或者Person-to-Person的缩写,原意为个人对个人,这里说的P2P不是借贷,而是其他的任何点对点之间的关系。区块链就是P2P上的一项技术。

我们认为,作为一项颠覆式的创新技术,如何使区块链与商业应用相结合才是靠谱的事儿。归根到底,区块链技术是一种数据存储和分享的机制,正如大数据技术一样,其本身只是一种手段,而重要的是在技术之上的商业逻辑和商业应用。

本书中有很多案例,不过读者可能不会看到太多的POC(Proof of Concept,概念证明),而是实际的应用。在我们看来,如果只是作概念证明是没有任何意义的,因为概念证明和实际系统运营的差距还是很巨大的,在概念证明中实现的系统往往并没有什么实际的用途,并不能应用于实际场景。

在今天,互联网和大数据的发展与经济发展和商业应用紧密联系,我们认为“一切不以实际应用为目的的技术都是耍流氓”。大数据和区块链的真正应用和能够最终被人们所接受需要有靠谱的落地,而不是宣讲或者会议所能做到的。

Looker公司的CEO Frank Bien曾经说过,Data is moving from something you use outside the workstream to becoming a part of the business app itself(数据从你在工作流程之外使用的东西变成了日常商业行为的一部分)。在今天,数据不再是少数的数据分析师研究的东西,而是公司里所有的人都需要天天接触的。

正如我们选择大数据底层的Hadoop系统上不同的供应商,我们要比较的是实际系统的效率和性价比,看谁能真正做出实际的商业应用来。

区块链是一项很好的底层技术,不过对于任何一个应用场景,都还需要很多配套的工具和服务。就像我们在作大数据的解决方案时,锁定了Hadoop技术一样。Hadoop固然很强大,但只用Hadoop本身是无法解决任何大数据问题的,必须借助Hadoop生态系统中的各种其他工具。

和区块链技术相配套的服务和工具包括:

(1)工作流引擎;

(2)大数据引擎;

(3)数据抽取、查询工具;

(4)报表工具;

(5)数据分析工具;

(6)高速访问区块链数据库的工具。

早期在美国研究区块链领域的小伙伴们都多多少少有些自由主义倾向,他们中的有些人,比如做音乐版权区块链系统的Bryce Weiner,对数据挖掘的观念有些排斥,或者至少是不太感冒的,因为他们可能认为数据挖掘和侵犯个人隐私好像是可以画等号的。

其实当然并非如此。我们认为,区块链技术要和大数据相结合才能够相得益彰,区块链技术只有和大数据完美地结合在一起,才能够充分发挥它的全部优势。大数据领域在过去的5年中有很多创新技术出现,而区块链技术和大数据相结合,在未来的这一两年中会是我们研究的一个重点。

如果有同学对这两个概念相结合有浓厚的兴趣,欢迎和我们作深度的探讨和交流。