资讯
若是你在不雅看最新的东谈主工智能生成的视频时大吃一惊,若是诓骗检测系统使你的银行余额免于犯科分子的膺惩,或者因为约略在通顺中口述发送一条信息而使你更松懈,那么你简直要感谢好多科学家、数学家和工程师。
但有两个名字因对深度学习时刻的基础性孝敬而脱颖而出:普林斯顿大学物理学家约翰·霍普菲尔德(John Hopfield)和多伦多大学计较机科学家杰弗里·辛顿(Geoffrey Hinton)。深度学习时刻使这些体验成为可能。
这两位商讨东谈主员因在东谈主工神经相聚领域的独创性使命,于2024年10月8日被授予诺贝尔物理学奖。
尽管东谈主工神经相聚是以生物神经相聚为模子的,但两位商讨东谈主员的使命都鉴戒了统计物理学,因此得回了物理学奖。
神经元是何如计较的
东谈主工神经相聚发源于对活体大脑中生物神经元的商讨。1943年,神经生理学家沃伦·麦卡洛克(Warren McCulloch)和逻辑学家沃尔特·皮茨(Walter Pitts)建议了神经元何如使命的苟简模子。
在McCulloch-Pitts模子中,一个神经元与其相邻的神经元连结,并不错从它们那边汲取信号。然后,它不错将这些信号组合起来,向其他神经元发送信号。
但有一个问题:它不错以不同的阵势沟通来自不同邻居的信号。联想一下,你正在决定是否要买一部新的畅销手机。你和一又友聊天,征求他们的建议。
一个苟简的计策是汇集系数的一又友保举,并决定奴才大大都东谈主的见识。举例,你问三个一又友,爱丽丝、鲍勃和查理,他们诀别说“是”、“是”和“不”。这导致你决定购买手机,因为你有两个赞誉和一个反对。
联系词,你可能更信任一些一又友,因为他们对科技产物有长远的了解。是以你可能会决定给他们的建议更多的权重。
举例,若是查理格外博学,你可能会数他的“不”三次,然后你的决定是不买手机 —— 两次赞誉,三次反对。
若是你可怜有一个你都备不信任的一又友,你以致可能会给他们负权重。是以他们的承诺就就是拒却,他们的拒却就就是承诺。
一朝你对外行机是否是个好选用作念出了我方的决定,其他一又友就不错请你保举了。
相通,在东谈主工和生物神经相聚中,神经元不错团员来自相邻神经元的信号,并将信号发送给其他神经元。
这种才智导致了一个要害的区别:相聚中是否存在轮回?举例,若是我今天向爱丽丝、鲍勃和查理保举,未来爱丽丝向我保举,那么就会有一个轮回:从爱丽丝到我,再从我回到爱丽丝。
若是神经元之间的连结莫得轮回,那么计较机科学家称之为前馈神经相聚。前馈相聚中的神经元不错分层成列。
第一层由输入构成。第二层汲取来自第一层的信号,依此类推。临了一层暗示相聚的输出。
联系词,若是相聚中存在轮回,计较机科学家称之为轮回神经相聚,神经元的成列可能比前馈神经相聚更复杂。
Hopfield 相聚
东谈主工神经相聚领先的灵感来自生物学,但很快其他领域运转影响它们的发展。这些课程包括逻辑、数学和物理。
物理学家约翰·霍普菲尔德(John Hopfield)应用物理学的想想商讨了一种特地类型的轮回神经相聚,当今被称为霍普菲尔德相聚。他绝顶商讨了它们的动态:跟着时分的推移,相聚会发生什么变化?
当信息通过外交相聚传播时,这种动态也很紧迫。每个东谈主都知谈颜料包在网上疯传,在外交相聚上变成了复书室。这些都是集体征象,最终产生于相聚中东谈主与东谈主之间苟简的信拆开换。
Hopfield是使用物理学模子的前驱,绝顶是那些用于商讨磁力的模子,来连结轮回神经相聚的能源学。他还标明,它们的动态不错赋予这种神经相聚一种顾虑相貌。
玻尔兹曼机和反向传播
在20世纪80年代,杰弗里·辛顿(Geoffrey Hinton),计较神经生物学家特伦斯·塞诺夫斯基(Terrence Sejnowski)和其他东谈主推广了Hopfield的办法,创建了一类新的模子,称为玻尔兹曼机,以19世纪物理学家路德维希玻尔兹曼定名。
顾名想义,这些模子的打算植根于玻尔兹曼独创的统计物理学。
Hopfield相聚不错像拼写查验器那样存储模式并矫正模式中的诞妄,而玻尔兹曼机不错生成新的模式,从而为当代生成式东谈主工智能改进埋下了种子。
杰弗里·辛顿还参与了20世纪80年代发生的另一项冲破:反向传播。若是你想让东谈主工神经相聚完成意旨真理意旨真理的任务,你必须为东谈主工神经元之间的连结选用适合的权值。
反向传播是一种要害算法,它不错把柄相聚在测验数据集上的性能来选用权重。联系词,测验多层东谈主工神经相聚仍然具有挑战性。
在2000年代,杰弗里·辛顿和他的共事们好意思妙地使用玻尔兹曼机来测验多层相聚,他们首先对相聚进行一层一层的预测验,然后在预测验的相聚上使用另一种微调算法来进一步履整权重。
多层相聚被重新定名为深度相聚,深度学习改进运转了。
AI将其回馈给物理学
诺贝尔物理学奖展示了来自物理学的想想何如促进了深度学习的兴起。当今,深度学习一经运转在物理学上得到应有的呈报,它不错准确、快速地模拟从分子和材意想通盘地球喜悦的多样系统。
通过将诺贝尔物理学奖授予霍普菲尔德和辛顿,受奖委员会抒发了对东谈主类应用这些卓绝来促进东谈主类福祉和树立一个可握续发展寰宇的后劲的但愿。