马特·图尔克£¨Matt Turck£©£¬美国知名早期投资机构FirstMark的董事总经理£¬此前以早期成功投资Pinterest¡¢Shopify¡¢Airbnb¡¢Riot Games¡¢InVision和Tapad等超级独角兽而著称¡£

马特还是纽约乃至美国知名的技术趋势“布道者”£¬他发起组织了2大新趋势分享社区£¬一个围绕大数据和人工智能£¬名为Data Driven NYC£»另一个围绕前沿技术和新兴计算平台£¬叫Hardwired NYC¡£

2018人工智能&大数据全景图

全景图涵盖了大数据人工智能行业的基础架构¡¢开源框架¡¢数据API¡¢数据?#35797;础?#36328;基础结构分析¡¢工业应用¡¢企业应用¡¢分析工具等£¬涵盖有1095家大数据公司被纳入全景图¡£

出现在全景图的一些关键公司上市了£¬尤其是Cloudera¡¢MongoDB Pivotal和Zuora¡£在撰写本文?#20445;?#20854;他的正在准备上?#26657;¬±热çElastic¡£

2018年人工智能大数据发展趋势

2018 年£¬是数据世界中激动人心但?#25351;?#26434;多变的一年¡£一方面£¬数据技术£¨大数据¡¢数据科学¡¢机器学习¡¢人工智能£©继续发展£¬变得越来越高效£¬在世界各地企业也得到了广泛的应用¡£到目前为止£¬2018 年企业界的关键主题之一是“数字化转型”£¬这绝非偶然¡£这个?#35270;?#23545;?#34892;?#20154;来说可能有点奇怪£¬他们会?#27490;ÇG?#36825;难道不是过去 25 年来一直发生的事儿吗?#24247;?#23427;恰恰?#20174;?#20986;一个事实£º许多传统的行业和企业现在正全力投入到真正的数据驱动之旅¡£另一方面£¬更广泛的公众群体已经意识到数据的缺陷¡£无论是通过关于人工智能风险的公开辩论¡¢剑桥分析公司(Cambridge Analytica)丑闻¡¢大规模的Equifax数据泄露¡¢与gdp相关的隐?#25945;致àP?#36824;是有关中国政府监控活动日益增多的报道£¬数据世界已开?#24613;?#38706;出一些更阴暗¡¢更可怕的隐患¡£

1£©基础设施?#22836;?#26512;工具

从行业的角度?#32431;´£?#25968;据生态系统仍然像以往一样令人兴奋?#32479;?#28385;活力£¬拥有丰富的创新初创企业¡¢成熟的“规模扩展”£¬以及许多积极的公共技术供应商¡£最重要的是£¬许多大大小小的客户都在大规模地应用这些技术£¬并从他们的努力中获得不可否认的价值¡£

随着用更现代的数据产品替代旧的IT技术的循环继续£¬大数据市场(基础设施¡¢分析)?#22378;?#27491;在快速地在早期的大多数买家中循环£¬并逐渐过渡到传统采用曲线的晚期¡£

此外£¬数据世界继续朝着云的方向发展¡£考虑到大型公共云服务提供商(AWS¡¢Azure¡¢谷歌云平台¡¢IBM)的增长速度£¬每个季度都能产生数十亿美元的收入£¬这真是令人震惊¡£这一趋势引发了对供应商锁定的?#20013;?#20851;注£¬这可能为提供多云解决方案的初创公司提供机会¡£?#27426;ø£?#21040;目前为止£¬采用多云策略的公司仍然倾向于依赖一个供应商作为他们的主要提供者¡£

随着他们的业务?#27426;?#21457;展£¬大型云提供商通过其平台£¨如 Amazon Neptune¡¢Google AutoML 等£©提供一系列广泛的大数据¡¢数据工程和机器学习工具£¬通常都制定?#24605;?#36827;的定价策略£¬因而相互竞争越来越激烈£¬这一切都是为了吸引更多的开发者£¬因为他们真正的商?#30340;?#24335;是数据存储¡£随着此类工具的范围?#32479;?#29087;度?#27426;?#25552;高£¬这对数据技术领域产生了重大影响£¬可以说£¬初创企业更难与之竞争£¬至少在广阔的¡¢横向的机遇面前就是如此¡£每年在大型云供应商会议上发布的产品公告列表£¨如 AWS re:Invent£©会给初创企业带来巨大的冲击波£¬因为他?#22681;?#20113;供应商与数十家风投支持的初创企业直接竞争¡£?#32431;?#20844;众市场如何应对即将到来的 Elastic£¨一家开源软件企业£©IPO 将是一件有趣的事¡£

?#27426;ø£?#21482;要初创企业有足够的差异化£¬他们还是有很多机会的¡£在这个领域中£¬很多企业都在快速扩展£¬在生态系统的基础设施?#22836;?#26512;部分中?#34892;?#22810;特别有趣¡¢快速增长的部分£¬包括流 / 实时¡¢数据管控和数据结构 / 虚拟化¡£人们对人工智能的兴趣激增£¬也带来了在人工智能?#37202;¬¡¢GPU 数据库¡¢人工智能 DevOps 工具以及能够在企业中部署数据科学和机器学习的平台上的巨大机遇£¬以及大量?#24335;ð¡?/p>

2£©机器学习和人工智能

在人工智能研究领域£¬这无疑是疯狂的一年£¬从 AlphaZero 的威力到新技术发布的惊人速度——生成对抗网络的新形式£¬替代型的递归神经网络£¬Geoff Hinton 的新?#32791;?#32593;络¡£像 NIPS 这样的人工智能会议已经吸引了 8000 人£¬每天?#21152;?#25104;千上万的学术论文提交¡£

与此同?#20445;?#23545; AGI 的追求仍然难以捉摸£¬这也许是值得谢天谢地的事儿¡£目前人们对人工智能的兴奋和?#24535;å£?#22823;部分?#20174;?2012 年以来令人印象深刻的深度学习表现£¬但在人工智能研究领域中£¬有一?#26234;?#32490;在人们中日益?#33268;?#24320;来£º“接下来怎么办£¿”因为?#34892;?#20154;质疑深度学习的基础£¨反向传播£©£¬而其他一些人希望能够超越他们所认为的“蛮力”方法£¨大量数据¡¢大量算力£©£¬或许更倾向于采用更多基于神经科学的方法¡£

在人工智能研究领域£¬许多人非但不担心机器人主?#36164;?#30028;£¬反而担心£¬该领域?#20013;?#30340;过度炒作可能最终会让人失望£¬并导致另一个人工智能核冬天的到来¡£

?#27426;ø£?#22312;人工智能研究之外£¬我们正处于一波深度学习在?#36136;?#19990;界中的部署和应用浪潮的开端£¬涉?#23433;?#21516;行业的语音识别¡¢图像分类¡¢对象识别和语言等各种问题¡£如果说生态系统的基础设施?#22836;?#26512;部分已经发展到后期的大多数£¬那么对于企业和?#24618;?#20154;工智能应用来说£¬我们仍然是?#27973;?#26089;期的先驱者¡£

尽管人工智能初创市场可以说已经显示出最?#25112;?#28201;的迹象£¬但以深度学习为基础的初创企业在一两年前开?#24613;?#22686;的情况依然在继续¡£整体规模和?#20048;?#30340;期望仍然很高£¬但 我?#24378;?#23450;已经经过了这样一个阶段£º大型互联网企业会为了人才而高价?#23637;?#26089;期人工智能初创企业¡£ 与其他一些利用这种炒作的企业相比£¬市场中也出现了一些“真正”的人工智能初创企业¡£在 2014~2016 年期间成立的一些人工智能初创企业正开始初具规模£¬许多企业在医疗¡¢金融¡¢“工业 4.0”和后台办公自动化等跨行业和?#24618;?#39046;域提供越来?#25509;?#36259;的产品¡£在未来的几年里£¬深度学习将继续为?#36136;?#19990;界的应用带来巨大的价值£¬而专注于?#24618;?#26041;向的人工智能初创企业将面临许多巨大的机遇¡£

这种?#20013;?#30340;爆炸在很大程度上是一个全球现象£¬加拿大¡¢法国¡¢德国¡¢英国和以色列都特别活?#23613;£È欢ø£?#20013;国在人工智能方面?#22378;?#22788;在一个完全不同的水平£¬有报道称£¬政府主导的数据汇集规模令人难以置信£¨跨越了互联网企业和市政当局£©£¬面部识别和人工智能?#37202;?#31561;领域的迅速发展£¬以及为初创企业提供数?#24535;?#39069;融资£º根据 CB Insights 的数据£¬中国仅占全球人工智能交易份额的 9%£¬但 2017 年在全球人工智能?#24335;?#30340;比例接近 48%£¬高于 2016 年的 11%£¨见下面的一些例子£©¡£

同样£¬数据隐?#21073;?#20197;及所有权和安全性£©问题也正成为全球关注的主要问题¡£在互联网发展的早期£¬数据隐私是为了保护我们在网上所做的事情£¬这是我们活动中相对较小的一部分¡£相应地£¬只有一小部分人真正在乎数据隐私的问题¡£随着我们个人和职业生活的方方面面都通过越来越多的联网设备连接到互联网?#24076;?#21033;害关系正在发生变化¡£人工智能能够在大量数据集中发现异常¡¢预测结果和识别人?#24120;?#36825;使数据隐私问题变得更加复?#21360;?/p>

另一个独立但相关的问题是£¬这些数据中有很多都属于大型互联网企业 (GAFA) 所有¡£?#34892;?#20225;业£¬?#28909;?Facebook£¬已经被证明不是完美的管理者¡£尽管如此£¬这些数据为他们在生产更强大人工智能的竞争中提供了不公平的优势¡£

针对这些问题£¬一个新兴的主题是把区块?#32431;?#20316;是对抗人工智能风险的一种可能的方式£¬同时也是在 GAFA 之外的企业生产更为出色的人工智能的另一种方式¡£?#29992;?#32463;济被视为一种激励个人提供个人数据的方式£¬也是机器学习工程师通过匿名处理这些数据建立模型的一种方式¡£这一切?#28304;?#20110;试验阶段£¬但一些早期的市场和网络正在出现¡£