一只猫意外解决算力问题 ChatGPT打开了潘多拉盒子？
《江南网》江南第一门户网站！
追踪网络热点，关注民生动态，传播江南文化，倡导网络新时代！
2012年，百度错失了“深度学习之父”Hinton，但一年多后，他们在一个叫吴恩达的华裔科学家身上扳回了一城。这位出生在伦敦，童年经常往来于香港和新加坡的年轻人，几乎踏足了美国所有顶尖的计算机学府。
本科在卡内基梅隆大学就读，硕士换成了麻省理工，博士是在加州伯克利获得的，后来加入斯坦福大学，担任人工智能实验室主任。他在2010年前后和同事开启的一个小项目，无意之间解决了深度学习的算力问题。认识一只猫2010年他加入“谷歌大脑”项目，其间和同事做了一件趣事。让“神经网络”观看从Youtube上随机选择的1000万段视频。一周之后，意想不到的事情发生了，机器居然自己认识了猫。在此之前，没人教过它猫是什么。这是计算机在没有事先接到指令，在“无监督”的状态下知道了人类的常识。关于这点，LeCun曾经打过一个比方，如果将人工智能视为一块蛋糕，无监督学习才是蛋糕本体，有监督学习只是蛋糕上的一枚樱桃。不过，仅仅为了让机器认识这只猫，当时谷歌动用了16000个CPU处理器，花费了近百万美元。这是紧跟好消息的坏消息。如果不解决算力问题，神经网络推动深度学习就是天方夜谭。这时吴恩达的前同事，现任英伟达首席科学家的达利建议他们可以用GPU（图形处理器）代替CPU。因为CPU更擅长一件一件做事情，做的事高大上但效率低，而GPU可以同时做很多事，事情本身难度不大，但胜在效率极高。所以，对于深度学习里简单且重复的运算场景，GPU更适合。有多适合呢？后来吴恩达只用了12个GPU就完成了同等级的测试。在2012年ImageNet挑战赛上，AlexNet运行时就使用了GPU进行运算加速。也就是说，那是神经网络在同时解决算法和算力问题之后给予人类的“惊鸿一瞥”。2014年，吴恩达加入百度，开始打造“百度大脑”。后来通过一档《最强大脑》的综艺节目，成了家喻户晓的AI科学家。算力即权力GPU受到重视也彻底改变了英伟达的命运。这家近些年因为中美贸易摩擦，频频被推到风口浪尖的公司，主宰了全球的AI芯片市场，旗下最先进的A100、H100显卡几乎是每个顶尖AI研发机构的标配。英伟达是美籍华人黄仁勋于1993年创办的显卡芯片公司。这个祖籍浙江青田，出生在台北的“中二”少年16岁就立下宏愿：成为全球的图形皇帝——尽管那会他取得的最好成绩是全美乒乓双打第三。1999年，英伟达推出了全球第一块图形处理器，让GPU成为计算机中独立于CPU的另一个重要计算单元。第二年，黄仁勋大胆地提出了一个“黄氏定律”：英伟达的GPU每6个月升级一次，性能翻一番。对标的就是英特尔创始人摩尔的“摩尔定律”。后来GPU更多运用于人工智能领域，“黄氏定律”也演化成“GPU将推动AI性能实现逐年翻倍”。不过，这个坚信“算力即权力”的性能狂魔高估了主机的承载能力。无论是在PC时代还是手机时代，英伟达曾发布过多款具有爆炸性能的显卡，但因为工作温度过高，经常带着主机共赴黄泉。尤其是一款名为GTX690的显卡，测试时让电容直接爆炸，被怒不可遏的网友称为“战术核显卡”，加入百科词条里。后来国内一家电视台信以为真，将它写到了军事节目里，声称搭载它的导弹可以摧毁一个航母战斗群。节目播出后，黄仁勋得到了一个“两弹元勋”的称号。在吴恩达的测试曝光后，黄仁勋算是找到了集中释放算力的地方。英伟达开始斥重资投入深度学习，研发用于AI计算的GPU和运算平台CUDA，挥动着倚天剑和屠龙刀大杀四方。目前，英伟达芯片占据了AI训练市场近100%的份额，全球TOP500的超级计算机中，其中的342台有英伟达的身影。2019年前后，微软斥资5亿美元打造了一个超算中心，里面躺着10000张英伟达GPU。他们帮助微软投资的新锐人工智能公司OpenAI，在2020年孕育出了一个叫GPT-3的人工智能。当它进化到GPT-3.5，ChatGPT诞生了。
本科在卡内基梅隆大学就读，硕士换成了麻省理工，博士是在加州伯克利获得的，后来加入斯坦福大学，担任人工智能实验室主任。他在2010年前后和同事开启的一个小项目，无意之间解决了深度学习的算力问题。认识一只猫2010年他加入“谷歌大脑”项目，其间和同事做了一件趣事。让“神经网络”观看从Youtube上随机选择的1000万段视频。一周之后，意想不到的事情发生了，机器居然自己认识了猫。在此之前，没人教过它猫是什么。这是计算机在没有事先接到指令，在“无监督”的状态下知道了人类的常识。关于这点，LeCun曾经打过一个比方，如果将人工智能视为一块蛋糕，无监督学习才是蛋糕本体，有监督学习只是蛋糕上的一枚樱桃。不过，仅仅为了让机器认识这只猫，当时谷歌动用了16000个CPU处理器，花费了近百万美元。这是紧跟好消息的坏消息。如果不解决算力问题，神经网络推动深度学习就是天方夜谭。这时吴恩达的前同事，现任英伟达首席科学家的达利建议他们可以用GPU（图形处理器）代替CPU。因为CPU更擅长一件一件做事情，做的事高大上但效率低，而GPU可以同时做很多事，事情本身难度不大，但胜在效率极高。所以，对于深度学习里简单且重复的运算场景，GPU更适合。有多适合呢？后来吴恩达只用了12个GPU就完成了同等级的测试。在2012年ImageNet挑战赛上，AlexNet运行时就使用了GPU进行运算加速。也就是说，那是神经网络在同时解决算法和算力问题之后给予人类的“惊鸿一瞥”。2014年，吴恩达加入百度，开始打造“百度大脑”。后来通过一档《最强大脑》的综艺节目，成了家喻户晓的AI科学家。算力即权力GPU受到重视也彻底改变了英伟达的命运。这家近些年因为中美贸易摩擦，频频被推到风口浪尖的公司，主宰了全球的AI芯片市场，旗下最先进的A100、H100显卡几乎是每个顶尖AI研发机构的标配。英伟达是美籍华人黄仁勋于1993年创办的显卡芯片公司。这个祖籍浙江青田，出生在台北的“中二”少年16岁就立下宏愿：成为全球的图形皇帝——尽管那会他取得的最好成绩是全美乒乓双打第三。1999年，英伟达推出了全球第一块图形处理器，让GPU成为计算机中独立于CPU的另一个重要计算单元。第二年，黄仁勋大胆地提出了一个“黄氏定律”：英伟达的GPU每6个月升级一次，性能翻一番。对标的就是英特尔创始人摩尔的“摩尔定律”。后来GPU更多运用于人工智能领域，“黄氏定律”也演化成“GPU将推动AI性能实现逐年翻倍”。不过，这个坚信“算力即权力”的性能狂魔高估了主机的承载能力。无论是在PC时代还是手机时代，英伟达曾发布过多款具有爆炸性能的显卡，但因为工作温度过高，经常带着主机共赴黄泉。尤其是一款名为GTX690的显卡，测试时让电容直接爆炸，被怒不可遏的网友称为“战术核显卡”，加入百科词条里。后来国内一家电视台信以为真，将它写到了军事节目里，声称搭载它的导弹可以摧毁一个航母战斗群。节目播出后，黄仁勋得到了一个“两弹元勋”的称号。在吴恩达的测试曝光后，黄仁勋算是找到了集中释放算力的地方。英伟达开始斥重资投入深度学习，研发用于AI计算的GPU和运算平台CUDA，挥动着倚天剑和屠龙刀大杀四方。目前，英伟达芯片占据了AI训练市场近100%的份额，全球TOP500的超级计算机中，其中的342台有英伟达的身影。2019年前后，微软斥资5亿美元打造了一个超算中心，里面躺着10000张英伟达GPU。他们帮助微软投资的新锐人工智能公司OpenAI，在2020年孕育出了一个叫GPT-3的人工智能。当它进化到GPT-3.5，ChatGPT诞生了。
