一只猫意外解决算力问题 ChatGPT打开了潘多拉盒子?

2023-02-13  A+ A-
  《江南网》江南第一门户网站!
 追踪网络热点,关注民生动态,传播江南文化,倡导网络新时代!
https://www.xjnnet.net/江南网欢迎您! 
2012年,百度错失了“深度学习之父”Hinton,但一年多后,他们在一个叫吴恩达的华裔科学家身上扳回了一城。这位出生在伦敦,童年经常往来于香港和新加坡的年轻人,几乎踏足了美国所有顶尖的计算机学府。

本科在卡内基梅隆大学就读,硕士换成了麻省理工,博士是在加州伯克利获得的,后来加入斯坦福大学,担任人工智能实验室主任。

他在2010年前后和同事开启的一个小项目,无意之间解决了深度学习的算力问题。

认识一只猫

2010年他加入“谷歌大脑”项目,其间和同事做了一件趣事。让“神经网络”观看从Youtube上随机选择的1000万段视频。一周之后,意想不到的事情发生了,机器居然自己认识了猫。在此之前,没人教过它猫是什么。

这是计算机在没有事先接到指令,在“无监督”的状态下知道了人类的常识。

关于这点,LeCun曾经打过一个比方,如果将人工智能视为一块蛋糕,无监督学习才是蛋糕本体,有监督学习只是蛋糕上的一枚樱桃。

不过,仅仅为了让机器认识这只猫,当时谷歌动用了16000个CPU处理器,花费了近百万美元。

这是紧跟好消息的坏消息。如果不解决算力问题,神经网络推动深度学习就是天方夜谭。这时吴恩达的前同事,现任英伟达首席科学家的达利建议他们可以用GPU(图形处理器)代替CPU。因为CPU更擅长一件一件做事情,做的事高大上但效率低,而GPU可以同时做很多事,事情本身难度不大,但胜在效率极高。

所以,对于深度学习里简单且重复的运算场景,GPU更适合。有多适合呢?后来吴恩达只用了12个GPU就完成了同等级的测试。

在2012年ImageNet挑战赛上,AlexNet运行时就使用了GPU进行运算加速。也就是说,那是神经网络在同时解决算法和算力问题之后给予人类的“惊鸿一瞥”。

2014年,吴恩达加入百度,开始打造“百度大脑”。后来通过一档《最强大脑》的综艺节目,成了家喻户晓的AI科学家。

算力即权力

GPU受到重视也彻底改变了英伟达的命运。这家近些年因为中美贸易摩擦,频频被推到风口浪尖的公司,主宰了全球的AI芯片市场,旗下最先进的A100、H100显卡几乎是每个顶尖AI研发机构的标配。

英伟达是美籍华人黄仁勋于1993年创办的显卡芯片公司。这个祖籍浙江青田,出生在台北的“中二”少年16岁就立下宏愿:成为全球的图形皇帝——尽管那会他取得的最好成绩是全美乒乓双打第三。

1999年,英伟达推出了全球第一块图形处理器,让GPU成为计算机中独立于CPU的另一个重要计算单元。第二年,黄仁勋大胆地提出了一个“黄氏定律”:英伟达的GPU每6个月升级一次,性能翻一番。对标的就是英特尔创始人摩尔的“摩尔定律”。

后来GPU更多运用于人工智能领域,“黄氏定律”也演化成“GPU将推动AI性能实现逐年翻倍”。

不过,这个坚信“算力即权力”的性能狂魔高估了主机的承载能力。无论是在PC时代还是手机时代,英伟达曾发布过多款具有爆炸性能的显卡,但因为工作温度过高,经常带着主机共赴黄泉。

尤其是一款名为GTX690的显卡,测试时让电容直接爆炸,被怒不可遏的网友称为“战术核显卡”,加入百科词条里。后来国内一家电视台信以为真,将它写到了军事节目里,声称搭载它的导弹可以摧毁一个航母战斗群。

节目播出后,黄仁勋得到了一个“两弹元勋”的称号。

在吴恩达的测试曝光后,黄仁勋算是找到了集中释放算力的地方。英伟达开始斥重资投入深度学习,研发用于AI计算的GPU和运算平台CUDA,挥动着倚天剑和屠龙刀大杀四方。目前,英伟达芯片占据了AI训练市场近100%的份额,全球TOP500的超级计算机中,其中的342台有英伟达的身影。

2019年前后,微软斥资5亿美元打造了一个超算中心,里面躺着10000张英伟达GPU。他们帮助微软投资的新锐人工智能公司OpenAI,在2020年孕育出了一个叫GPT-3的人工智能。

当它进化到GPT-3.5,ChatGPT诞生了。

江南网版权所有 苏ICP备17007001号-2