目前为止,在大数据领域当中的投资已经越来越热,而且做得公司越来越多。有多少公司到底真正使用的是大数据?我相信几乎没有太多。
大数据在美国金融当中最直接的场景,就是所谓的信用评估体系。美国的信用体系评估很简单,就几样东西:债务历史、债务、信用历史时间、相关的其他因素。这些东西全部加起来形成了美国现有的评分体系。
一般来说,如果变量放得太多了,模型处理起来就会比较麻烦。最主要一点它的深度比广度要重要。所以,过去20年的记录,和最近一年当中才有记录,二者之间是不一样的。
另外,关注用户的历史远远多于现在,也许这个人一开始是个屌丝,最近突然发财了,可能他的偿还能力就会有巨大的改变,但是这样的因素有没有体现在这个里面?很多人不知道。怎样把纵向和横向广度上的东西都放进来,这个就会显得相对来说比较重要一点。
大数据到底在金融当中有什么用处?同样一个人在不同的应用和领域当中也不一样。比如今天在这个公司当中呆了20年,不一定说明他是个好员工,很有可能是他没有能力跳槽。如果你用另外一个角度评判这个人的话,你的评判标准和应用变量应该完全改变。但是非常可惜,没有人从这个角度上衡量一个人。
为什么最终会把风控放到一个这么重要的角度上来?像在中国的P2P公司,6个月或者一年之后,能剩下四分之一都是一个奇迹,很多P2P公司一定会死掉,或者被并购掉。在所有的热潮慢慢退去的时候,风控就会放到最显着的地位上来。
直接征询用户的答案也是很重要的。你可以在一个地方撒谎,你可以在两个地方撒谎,但是如果我大数据采了千千万万的点,很难把千千万万的点在互相不矛盾的情况之下,把它给伪装起来,如果真的能伪装成这样,那就不是一个欺骗的过程,所以很难通过大数据的方法让一个人还能够完全的编造一个不被识破的谎言,很难。
大数据模型理念,一切数据皆为信用数据。所有的那些关键变量,如果单独知道提出来一个,没有太大的用处能够判断出来这个人怎么样,但是如果把所有的这些细小的因素全部结合在一起,就会发现最后是非常强的指向,可以很准确的判断出来这个人到底在做什么。只看关联不看因果,这是一个非常重要的观点。
同样名字听起来很好,机器学习,咱们都会深刻的体会到,实际上是我们很悲催的学习机器,根本不是机器在学习我们。如何能够更好的跟机器进行沟通,我们给他一个方法,或者给他一个事实,他能够更快的从当中提取出来,更多的是一种互动。
大数据的模型之二,我们认为是数据的来源。即使错误信息也是信息,也体现了一个人的素质。
第三点就是所谓的建模,总而言之,大数据当中对所谓特征的变化,特征的提取和最后所谓独立模型细节的建立,最后模型的整合都跟以前传统统计上的理论有很大的区别。
最后这个是比较有意思的事情,这件事情在中国基本上不存在,但是在美国相对比较麻烦,大数据和相关立法之间的关系。相信中国在今后立法越来越完善也会碰到这样的问题,信用评估上有些禁区,这些禁区不能碰的。第一性别绝对不可以用的,来决定这个人到底信用值怎么样,这是绝对不可以的。第二年龄,年龄没有性别那么严重,但是年龄有要求,只能作为一个加分因素,而不能作为减分因素,年龄大家现在很多人也是不用的。第三种族,绝对不能触碰的红线,绝对不能根据是亚洲人、黑人、白人还是拉丁裔,判定你的信用是好是坏。比如在中国你在街上开车或者在美国,墙上写着字告诉你这个地方不能原地掉头,就是因为太多人在这个地方原地掉头了,所以才会树个牌子,如果这个地方窄,你不用写,也不会有人原地掉头。禁止使用的这些东西,其实真正最能体现一个人的本质。实际上从我们模型当中能看得出来,这些不准用的东西,如果用的话,比千千万万的信息加在一起都有用。
大数据另外一个比较奇怪的应用,就是它可以帮助你绕过一些法律上的红线,这并不是打法律的擦边球,而是因为事物的本质就是由这几个因素来决定的,A可以突出C,B又可以突出C,A和B之间必然有相关的。