松田語録：松尾研LLM開発プロジェクト
松尾県llm開発プロジェクトのキック オフというのがあってうんこれ何かって 言ったらま東大の松尾 先生うんが主催してはいでこれ あのまネットに上がってんですがでそれで キックオフシンポジウム うんというのが1時間半にわるう動画が アップされてそれをまああそうなんですね うん勉強最最近ということですかそれは うんごく最近ですねはいでどんな話かと 言うとはい僕最初あの松尾け自身のが llm開発するのかと思ったらそうじゃ なくて一般で松尾先生があの松尾けが llmちゅうかディープラーニングの講座 をやってんのねでそれを受けたような人 たちとかあして であのllmを作るコンペをやるとああ はあいうわけですよでこれはねえっとね ネドの採択を受けてう公開型で500億 パラメーターサイズの大規模言語モデルを 開発しますとでそれがですね一般の人たち に公募してで大体ね10人から20人 ぐらいぐらいのグループを8グループ作っ てでコンペをするんですよだから ああ3月4月の間ぐらいに作って でテスト問題をまやらせてまそれでえま1 位からなんとか決めるとまそんなもんなん だけど目標は何かと言うとllmを開発 すること自体よりはそれを開発できる人材 を要請するとほほほうですよ ふーいい話ですねうんいいいい話ですよで でネドのまプロジェクトでまお金もらうん だけどそれだけがんま異質で他はま いろんな会社がなんかがllm開発するの 援助するというようなことででだからこの 松云々はできたllmがどうとかいう話 じゃない わる人材を要請するとま僕はねこっちの方 がはかに重要だと思いますけどね前々から 言うてるように日本はもう全く圧倒的に 遅れてるというのは結局結局はこれ人材な んですよね うんでだからそれ人材を要請するってのは 非常に重要だとでね えっとまそういう話を松尾先生がされて あとはあの具体的にどういう風にするかと いうことを説明されてで面白かったのは その8グループの代表があの20あ5分 ずつ話をするんですがこれ見てね僕ね非常 に関心したのようん何が関心したかちゅう とま最最初のグループのねリーダーがね4 回生なのねおおへえでその次次の次の人が ねあの英国に行ってるま の陰性とま日本人の女性若い女なその他 みんなね基本的に若い人が多いんだよ
ふーでま助教っていう人のが1つとま準 教授かなのグループもあったけど基本的に はね若い人が多くてしかもねその若い人 たちの話聞いててねすごいと思ったその 例えば最初の4回戦の人がね話されたま ここまですごい人日本にもいるんやなとあ はよく分かってるってことですねよ分かっ てるうんうん ああだから我われとはよりは格段に物事が よくわかっそうえそれ5分のプレゼンだけ でやっぱりもうそれがバンと分かりますか そうでまたみんなねこの5分のあの プレゼンでねまとめるこの能力ねこれも すごいだからみんなねあの非常にま ギフテッドな人ですよねあお うんまもちろんあの会社の人もうん2番目 は会社の人かなだから会社のグループも あるんだけどまそういう学生のグループも あるとで結局20年ほどで何するかっち 言ったらまあの役割分担してデータ収集と かアルゴリズム開発とかあの全体の統括と かまあまあ色々グループに分けてあるん だってえまこれもね外国これは松田先生が おっしゃってたけどあのあのディープ マインドとかオープンAとかすごいように 思うけど結局は向こうも思考錯誤で いろんな人がいろんなま組を組んであの グループを組んで色々思考錯誤してるだけ だってだからそう恐れることはないんだ みたいなことをね松田先生おっしゃって ましたけどまそうかもしれませんよだから やっぱりねやっぱり人間ですよねうんあ ちなみにネうで金出すてのは結局GPUを 使わしてくれるということねうんという これれぐらいのGPUですかどれぐらいの 環境なんですかあのねえあの最初はまあの え最初の段階をちあのえH100がえ 200台とか言ってたかなうんすみました ななんかそのぐらいの規模ですようんま それもすごいですねうんうんでもそれは8 グループが使えませんやからねあうんま1 台でもね買えないですからね番うんうん うんうんうんいやだからそこに政府の金が 入ってるっていうことでよねうんうんうん という話ですはいえっとちなみにその キックオフミーティングが行われたのが3 月2日土曜日ですから本当につい先2週間 ぐらい前ですねうんでえっと今の情報は あのえっと松尾岩沢研究室っていうあの ウェブサイトがあってその中の ニュースニュースのあのサブページみたい なのがあってその中に松岡園llm開発 プロジェクトのキックオフを開催しました というあのブログみたいなのが上がってて えっとその中にえっとあ特撮ページとか
色々あってなんかああったあったこの ページの中にえっとあの当日の様子ご覧 いただけますのでってつっつくと1時間半 ぐらいの動画に行けますのでこれはすごい 見る価値があってあのいや素晴らしいこと やりますねっていう思いましたうんこれを 今日僕と小林さんが見たわけよなるほど ちょっと見てみないといけなさそうな気が うんうんうんうんにリンクねこの YouTube貼っといてもらえると皆 ご覧になりやすいか なあの国産llmの話はかなり最近出てき てていろんなところが作ってるっていう 感じしますけどねこの半年ぐらいでしょう かそうですねはいはいえこれね僕の印象や けどこれ前々から言ってるようにままさに 今ねライト兄弟が飛行機作ってま飛ぶこと がわかってで今もまあん時もね周り いろんな人はいとかいろんなね工夫をして うん作作り競争やったわけじゃないですか ええだから今まさにそういうことででまあ 日本で言うたらあの映画えっとね風たちぬ かはいはいあのあれのね宮崎はさんの うんうんジブリのねあれは堀越次郎かさん がま日本でね飛国機え解をやるという話 まさにああいう話ですよああだから外国で ね飛行機はどんどん飛んでたけど日本でも やらんといかんとけさんがやったという話 でそれのあのねAI版ですよまさにねええ えええま数年後にはねAI産業ものすごく 大きくなってると思うんでうんまさに今 AIこういう風にやり始めた若い人って いうのはま5年後には億万長者になってる とま全ねあの20年ぐらい前のホモとか谷 さんとかがインターネットでね起業して大 成功したというののちょうどあの今始まり タイミングですから若くてなんか チャレンジ精神になる人は今AIやるべき だというのすごい思いますねこで今回の こういうやつっていうのはまさにチャンス でこういうのに乗り込んでって色々人脈 作ってスキル学んでというのをやるのは あの大きいことだと思いますようん もちろん国内あの日本の企業もねLM事業 にはかなりあの入りま企業によって態度 だいぶ違いますけどねうん前向きなところ はやっててその国際LMってたくさん出て ますね最近ねニュースでもねそうですねま 性能はちょっとどうなんか分からないです けどそんなに悪くもないんじゃない でしょうかねいやだからそれと同じで作り 方が分かったらそれの飛行機はみんな 作れるんよええええええええ期的にね世界 力を出すような機作るなこれはなかなかの もんでええまだからまそういうとこは大え
企業ま飛行機で言うならねグラマンとか うんどうとかいうのがまでもまあ民間でも 作れるっち話ですよで今日の話聞いてて アーキテクチャーとして トランスフォーマー使うのまあまならもう 決まりきってんだけどでその独自性を出そ うっていうんでマンバを使うおとかいう グループが2グループほどあったおおそう なんですねおおへえへえまでもね面前もね お話しましたマンバのペーパーが リジェクトされたちゅう 話もうもうマンバはある意味結構あのね1 つの流行になりつつあるえいや一方であれ もありますよねリングアテンションもあり ますよねそっちも使おうっていう人もいや いないでしょうかねそっちはだから リソースがものすごくいるっていう話あ あのねリングアテンションは要するに コンピューターたくさん並べるというまだ からリソースでやるということですから うんちょっと難しいよねあの小規模のあれ ではまそマンバの方がいいかもしれねいや トランスフォーマーであればね一応普通の ものはできると思うわけけどなんかを出し たいとこれ飛行機で言うならね ヘリコプターと思うよ あAIなんてま印象としてはやっぱりあの いわゆる大きなねインフラGPにしても すごい設備がいるとかいうんじゃないので やっぱりなんかちょっとしたアイデアで 逆転ホームラみたいなあ夢を抱いちゃい ますねこっちうん新しいアーキテクチャー とかはそうですね思いつけばいいっていう のあるだだただトランスフォーマーに 乗っかったやり方は本当にGPUいっぱい 持ってるやつが勝ちみたいなあの身も蓋も ない領域になっちゃってますけどねうん いやそれはそうなんだけどでもねさこね オープンなあのラマみたいな比較的軽いの もんが出てきたが1つとんんから例のあの ビットネットの 1.8みたいなねま軽いのが出てきたとか うんいうような話がままだまだなんかね そうありそうですよねこう宝のね埋まって そうな逆転ホームランすごい方法が出てき たみたいなあ考えてみたらゴールド ラッシュよねあそそうです似てますよね そんな感じああからやっぱ勇気を出して 行った人がうんかもしれないとうんその 勇気を出して行った人を捕まえてちょっと ついてけばちょっとれに扱ってあの上昇 キリに一緒に乗せてもらえるかもしんない などこまでもついてきますゴールド ラッシュで来た探しあゴールド探しに来た 人にいろんなもの売りシャベル売るとか
そうねそれがいいかも宿泊施設とか言て ましたねそのオとかスコップとバケツそう そうそう売るのが今1番いいやと我々はそ そうあの熊本で居酒屋やるっていいかも しんないすよそうそういううん人で足り なくて困ってるらしいっすよ ああうんえっとちなみにこの8チームの うちの1つのチームのリーダーは三内秋吉 先生という方であの京都大学の物理の先生 ですおおうんでえっとあの学習物理学と いう領域を作ろうとしててつまりあの教科 学者とかそういうのAIの学習と物理学を こうがっちゃんこしたそういう術を作ろう ということを考えててこれがもう学術変革 領域研究Aに採択されていてえっとその えっと学習物理学の創生というあの領域の えっとリーダー代表が橋本浩司先生ですね あそうえで橋本先生と広野先生と山内先生 でこの前あの論文出ましたけど えっと要は何でしたっけ トランスフォーマーのあの上長性のこの 構造ってのが重力のあの一般相対のえっと 芸術対象性と同じ構造してるみたいな論文 出ましたけどああいう感じの人たちがま すごい頑張ってるなというすごい基礎理論 の方へあの食い込むとしてるというとこで 頑張ってる感じですねえあの我々にとって 1番近いのはその辺かなとちょっと思い ましたはいま物理学者の出る幕と いういやだけど必もまそっちは原理的な ところになってそうなんですよねうんでも もうもっと分でもそうそうベンチマークで いい成績が出るかってとまた違う問題なん ではいはい注目していきたいと思います ですね はい
収録日：2024年3月14日
シンギュラリティサロン主宰の松田卓也神戸大学名誉教授の健康や学習に関連する日ごろのお考えを皆さんにお伝えします。今回は松尾研LLM開発プロジェクトについて。
松尾研LLM開発プロジェクトキックオフ
https://drive.google.com/file/d/11oOcj7qN5jQuNXU856acfqRpbeGPs7_2/view
出演：松田卓也 シンギュラリティサロン主宰・神戸大学名誉教授
塚本昌彦 神戸大学教授
小林秀章 セーラー服おじさん
保田充彦 XOOMS代表
企画・運営：シンギュラリティサロン(https://singularity.jp/)