松田語録：Transformerの理論的解明に対する最近の状況
今ね勉強会でまいろんな論文読んでんです があの本当に大変なんですよどういう意味 かっちゅうとね次次と新しい重要な論文が 出てくるんでおおそうですよね1つを読み 終わる前に次のが出てくるわけですが すごいすごいことですねで実際ま僕も困っ てるのはね1つねまトランスフォーマーの 基本的な数学的基礎みたいなねボ読んでて まこれがまた9はめて難しいんやおお前 読まれたのとはまた別なんですいやいや 読んでるんですいや読まれたんじゃなくて 途中まで呼んで話しただけであってあ最後 まで行ってないとあそうなんですねでこれ ね定理照明定理照明みたいなそんな数学の 塊みたいなロですよまそれをねあの途中 まで行ったけど沈没したわけまその次にね これは数理科学で出てきたま日本語の解説 なんやけどあのトランスフォーマーみたい なものはののの数学的な基礎みたいなこと がうん書いてあるペーパーまそれ一応ね この前あの僕風を押して呼んだあけという な勉強会で僕ねあんまりね疲れてたから 今日はね早めに終わりますとか言うたんだ けどはいはいはいはい終わんなかったね うんわんですねえ師さんも言いはったん ですかそうですねあん時はあの休憩が ちょっと早めに休憩だったんでその後も もうちょっと言おうかなと思ったら4時半 ぐらいになってて1時から4時半まで ずっとやってましたねそうかで疲れはてた であれもくちゃくちゃ難しい話でしょ へでところがまたねあのそん時にねこう いう話をしたんやけどAIというものがま 言葉の意味が分かるとかどうとかいう話は ねこれはねそのメカニズムを何ぼ見てても ねそんなもんが出てこないとあほうほうね あのトランスフォーマーがどうかちゅう ミクロなメカニズムねええええええうん 京急天地がどうたらこうたらそんなとこ見 てもこんなもんでなんで意味がわかんのか そんなことは出てこないとでそれはねこれ は私がそう思うんだけどこれはあの複雑系 の現象なんだたなんから何かある複雑性が 上がるとあるとこでフェーズ トランジション起こすんだああはあ想定位 ね例えばまあねあの氷が水になって水が 蒸気になるようにですねある時で途端にね フェーズがパタッとこかとでそういう現象 じゃないかと言ったんですよこんなは まさにフェーズトランジションちゅう ペーパーが出てきたわけおほほほほそれも ねなんかね1週間ほど前かなんかねええ すごいですねすごいですよねえいやなん からそれ読まんといかんと思ってんやけど 前のも読み切れてへんのに次のが出てきて
ね あ割とだけどあれですねその トランスフォーマーに対してなんか物理屋 さんが頑張ってるとい感じじゃないですか あそれも呼んだんやそれね京都大学の橋本 浩司先生あははははははが書かれた論文で ねでトランスフォーマーはえっとなんだっ けゲジ普遍性がどうたらやね ああでわか分かったちゅうわけよねで トランスフォーマーの数理ちゅうのは一般 相対性理論と同じだっ てそれはまた飛んでいきますねゲ不がある と話で呼んだんだけどねこれはねま橋本 先生にとってはねあ分かったと思うかも しれんけどその不落感がないのねなんでっ てねあうんなんでってそれはその芸術フェ 生とかどうとかいういわゆるソ粒子のええ ソリシロンのそのそういう基礎知識がない とですねええで僕はねあのま安田さんも そうだけど流体力学の方が専門なんですや ええだからあのトランスフォーマーの粒子 モデルていうのはねこれは非常にね腑に 落ちるわけよほうほうほう前お話ありまし たねうんうんうんうんであの一緒にやっ てるま名誉教授の人もね同じ天体物理学者 やからでこのペーパーふに落ちるんやけど だけど橋さんのうんあのそのゲージ不変性 の話はね腑に落ちないわけやへえでただね 物理学者が結構ね参入してきてで結構こ トランスフォーマーのね中をこういじくっ て だ今回のフェーズトランジションちゅいう のもねまこれ物理的な現象とかあるいはえ 複雑系の現象ですからねあ最初のやつは 流体力学だっていう話だったんですよねあ 流体うんうんうんうんうん流体力学ちいう かあのあの総合左右トークンちゅいうもの が粒子と考えてお互いにアテンション 掛け合うということはこれが引っ張り合う ということだからこの多留主系このトクの システムっていうのは多留主系だとでこれ がこうお互いに引っ張り合ってですねこの コラプスして一点に集まるとうんうんで これが次の単語だっていううん次の トークンだというねそういう理論でああ なるほどなとはま思うわけだけど橋さんの はまた全く違った見方で へえでで今今言うんたそのそのフェーズ トランジションていうのもですねあのいや これはあのまだきちっと呼んでないから あのままた呼んだら話しますがはいあの ロスファンクションっていうのがあって ロスファンクションあの結局ディープ ラーニングですからなんかの損失をミあの ねミニマムにするわけですよねうんうん
うんでこのロスファンクションのランド スケープっちいうのがあってですねこれが こうこうこうそのローカルミニマムは2つ あるっちゅうんですよ へえでこっちからこっちするとフェース トランジションだってわけですね あははははははは超えてね山をねほんでね ねこっちがとこっちが何が違うかっちゅう んですよねで文章があった時にえこの文章 っていうの単語トクの集まりですがこれね 一円コーディングちゅうのがあるわけよ ああはあはあはつまり順番ねええええあり ますありますでこの順番に注意するのが1 つのローカルミニマムないええええところ がねこれはね言うてみるのは言葉の順序を 重視するということなええところがもっと 深い意味の理解はねえ順順々じゃなくて コンテクスト ええあの文脈を理解するということあほう ほうほほでこの理解が別のローカル ミニマムだって おまそっちの方がさらに低いんかもしれ ませんね相対さ多分ねうんうんでだから そこなかなか超えられなくてとでで超える とだからある時当然ですねね今までね言葉 呼んだ時にこの誤順を 大切にしてたんがそうじゃないんだとね 意味が大切なんだはいいうことがパパッと 分かるとああはははAIがですよええええ というペーパーらしい ええなるほどうんまま次回の勉強会でもし 分かっ たらだけどそういうのってもしかしたら 人間のなん頭の中の理解の構造にも近い ものがあるかもしれないねうんねあも急に このなんか物事理解する時のフェイズ トランジションってありますよねうんか そういうのが近いのかなもしあ分かったち やつにあそうそうそう そうそうねなんかそんな気がしますね確か に物理屋さんうん結局わかったちゅのは 結局なんかポテンシャルのえミニマムに ボンと落ちたちゅうことあ乗り越えてね うんまでこっちやったと思ってさが 乗り越えてこっちのより低い方に来た みたいなんがうん幽霊かってやつやえええ えああそうそうそうそうですねまそういう のが解明されていくともちろんあの人工 知能は進展していくでしょうけども人間の 解明にもね役そうな気がしますねうんうん ええはいちょっと楽しみにしたいと思い ますけどはいえっとそれが解明される頃に はまたもっと新しい画期的な や次の論文が出あですねはいあのそうあの ねあの稼ぎに追いつく貧乏なしとか言う
けど逆よね逆よねあ働けど働けど楽になら ざりず手を 見るという心境ですねああそうすかはい まあどう終わったいいでしょうかねえこれ このチャンネルでやっていきますんで皆 さん見てくださいとはいいうことですね はい
収録日：2024年2月13日
シンギュラリティサロン主宰の松田卓也神戸大学名誉教授の健康や学習に関連する日ごろのお考えを皆さんにお伝えします。
出演：松田卓也 シンギュラリティサロン主宰・神戸大学名誉教授
塚本昌彦 神戸大学教授
小林秀章 セーラー服おじさん
保田充彦 XOOMS代表
企画・運営：シンギュラリティサロン(https://singularity.jp/)