现金巴黎人娱乐城app平台它就能在一秒钟内完成东谈主类能作念的任何事情-金沙巴黎人娱乐城 jīn shā bā lí rén yú lè chéng

继李飞飞、Bengio、何恺明之后现金巴黎人娱乐城app平台，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。

天然时长仅有 15 分钟独揽，但本色依旧看头全王人。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预练习行将完了。

而之于将来，Ilya 还展望谈：

what comes next is superintelligence: agentic, reasons, understands and is self aware.

接下来将是超等智能：代理、推理、通晓和自我意志。

那么为何会有如斯？咱们一齐来望望完好演讲。

纪念十年技能发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时刻深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初度建议了如今成为 AI 范围基石的深度学习理念。

Ilya 展示了其时的一张 PPT，揭示了他和团队的中枢使命：自纪念模子、大型神经网罗和大数据集的聚积。

在十年前，这些元素并不被粗豪看作得胜的保证，而今天，它们也曾成为东谈主工智能范围最进攻的基础。

举例在谈到深度学习假定时，Ilya 强调了一个进攻不雅点：

若是有一个 10 层的大型神经网罗，它就能在一秒钟内完成东谈主类能作念的任何事情。

他阐述注解说，深度学习的中枢假定是东谈主工神经元与生物神经元的相似性。

基于这一假定，若是东谈主类或然在一秒钟内完成某项任务，那么相同的任务，一个练习邃密的 10 层神经网罗也能完成。

这一假定激动了深度学习的斟酌，并最终终明晰其时看似骁勇的狡计。

Ilya 还先容了自纪念模子的中枢念念想：通过练习模子展望序列中的下一个 token，当模子展望得鼓胀准确时，它就能捕捉到通盘序列的正确散布。

这一念念想为其后的谈话模子奠定了基础，异常是在天然谈话惩处范围的欺骗。

天然除了"押对宝"的技能除外，也有"押错"的。

LSTM（吵嘴期顾虑网罗）就是其中之一。

Ilya 提到 LSTM 是深度学习斟酌者在 Transformer 之前的主要技能之一。

尽管 LSTM 在其时为神经网罗提供了遒劲的身手，但它的复杂性和局限性也可想而知。

另一个等于并行化（parallelization）。

尽管当今咱们知谈 pipeline 并不是一个好主意，但其时他们通过在每个 GPU 上驱动一层网罗，终明晰 3.5 倍的速率培植。

Ilya 觉得，范畴假定（scaling hypothesis）是深度学习得胜的关节。

这一假定标明，若是你有一个格外大的数据集，并练习一个鼓胀大的神经网罗，那么得胜险些是不错猜度的。

这个不雅点也曾成为今天深度学习范围的中枢轨则。

Ilya 进一步论说了兼并宗旨的念念想，觉得东谈主工神经元与生物神经元之间的相似性给了咱们信心，觉得即使不完全效法东谈主脑的结构，渊博的神经网罗也能完成与东谈主类相似的任务。

预练习期间行将收尾

基于上述技能的发展，也让咱们迎来了预练习的期间。

预练习是激动系数逾越的能源，包括大型神经网罗和大范畴数据集。

但 Ilya 接下来展望说：

天然计较身手在连接增长，硬件和算法的逾越使得神经网罗的练习效果取得了培植，但数据的增长却已接近瓶颈。

他觉得，数据是 AI 的化石燃料，跟着寰球数据的放荡，将来东谈主工智能将濒临数据瓶颈。

天然面前咱们仍然不错使用现存数据进行有用练习，但 Ilya 觉得这一增长趋势终将放缓，预练习的期间也会逐步收尾。

超等智能将是将来

在谈到将来的发展标的时，Ilya 提到了" Agent "和"合成数据"的见解。

好多大家王人在运筹帷幄这些话题，觉得 Agent 系统和合成数据将是龙套预练习瓶颈的关节。

Agent 系统指的是或然自主推理和方案的东谈主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补执行寰宇数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物体魄与大脑大小的相干，默示不同生物可能通过不同的"范畴轨则"进化出不同的智能发达。

这一念念想为深度学习范围的进一步推广提供了启示，标明东谈主工智能也许不错通过不同的方式龙套目下的范畴放荡。

Ilya 终末谈到了超等智能的出路。

他指出，天然面前的谈话模子和 AI 系统在某些任务上发达出超东谈主类的身手，但它们在推理时仍显得不自如和不可展望。

推理越多，系统变得越不可展望，这少许在一些复杂任务中发达得尤为凸起。

他还提到：

目下的 AI 系统还不可竟然通晓和推理，天然它们能模拟东谈主类的直观，但将来的 AI 将会在推理和方案方面展现出愈加不可展望的身手。

Ilya 进一步忖度，将来的 AI 将不单是是实施任务的器具，而会发展成" Agent "，或然自主进行推理和方案，致使可能具备某种方法的自我意志。

这将是一个质的飞跃，AI 将不再是东谈主类的蔓延，而是一个具有孤独智能的存在。

参考兼并：

https://x.com/vincentweisser/status/1867719020444889118

—  完  —

点这里� � 温煦我，铭记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~