楊志林：「みんなが君のことを普通だと思うなら——誰でも持てるような夢だったら、それは人類全体の夢の総和に何も加えない」
文：張小軍
ちょうど1年前、AI科学者である楊志林はシリコンバレーで精密な計算を行った。AGIを目指す基盤モデルスタートアップを立ち上げると決断した場合、数ヶ月以内に1億ドル以上を調達する必要があることに気づいたのだ。
しかし、それは単なる参加チケットに過ぎなかった。1年後、その数字は13倍に膨れ上がっていた。
基盤モデル企業にとって、競争は科学的な競争というよりも、まず第一に、容赦ない資金力の競争である。投資家が財布の紐を締めている中で、より多くの資金を調達し、より多くのGPUを購入し、より多くの人材を獲得するために、ライバルよりも先を行かなければならない。
「人材の集中と資本の集中が必要です」と、2023年3月1日に設立された基盤モデル企業Moonshot AIの創業者兼CEOである楊志林は言う。
過去1年間、中国の基盤モデル企業は、緊張した、窮屈な生存の限界線上で生きているように見えた。表面上は、どの企業も多額の現金を抱えている。しかし、一方では、調達したばかりの資金を即座に極めて高コストな研究に投入し、OpenAIを追いかけなければならない——まずGPT-3.5に追いつき、GPT-4にすら到達する前に、Soraが登場する。もう一方では、実行可能な実世界のユースケースを絶え間なく見つけ出し、自分たちが企業であって、資本を食いつぶすだけの研究所ではないことを証明するために、ノンストップで競争しなければならない。そしてそれだけでは十分ではない。これらのベンチャー企業のすべてにとって、出口がIPOであれ買収であれ、その道筋は依然として全く不明瞭である。
中国の基盤モデル企業の創業者の中で、楊志林は1992年生まれで最年少である。業界は彼を、確固たるAGI信者であり、稀有な技術的カリスマ性を持つ創業者と評する。彼の学術的・職業的経歴の多くは汎用AIに関連しており、彼の論文は22,000回以上引用されている。
2023年半ば、中国のテクノロジーコミュニティは基盤モデルに対する熱狂から一転して冷め、現実世界への展開を加速することが実用的な主流のメロディーとなった。これは必然的に、基盤モデルのCEOたちを理想と現実の間で激しく引き裂くことになった。誰もがPMF（プロダクト・マーケット・フィット）と商業化を唱える中国のAIエコシステムにおいて、この創業者——元AI研究者である彼——は特に急いではいない。
80人の従業員を擁するMoonshot AIは、中国の主要な基盤モデル企業の中で最も少ない従業員数である。ライバルとは異なり、楊はより安全なB2Bビジネスや、ヘルスケアやゲームなどの垂直分野への展開を選択しなかった。彼はたった一つの消費者向け製品を構築した：最大20万文字の中国語入力を受け付けるAIアシスタント「Kimi」である。Kimiは楊志林の英語名でもある。
楊は自社を、科学、エンジニアリング、ビジネスを組み合わせたシステムと見なすことを好む。次のように想像するとよいだろう：人間世界の上に、彼はAI実験台を構築している——一方の手で実験を行い、もう一方の手で最先端技術を現実世界に引き下ろし、人々との相互作用を通じてアプリケーションを発見し、それらのアプリケーションを消費者の手に届ける。理想的には、前者は数十億、数百億ドルの資本を燃やし、後者はその資金を数百倍、数千倍にして回収する。どのように聞こえようと、綱渡りをするのと同じくらいスリリングで、そして危険に聞こえる。
「AIとは、来年か再来年に見つけられるPMFのことではなく、今後10年から20年かけてどのように世界を変えるかということです」と彼は言う。
このような抽象的で理想主義的な考え方は、彼の将来を心配させる：若きAI科学者は、現実主義的な中国で生き残る余地を切り開くことができるのだろうか？
2024年2月、Moonshot AIは市場の流れに逆らって大型の資金調達ラウンドをクローズした。同社は、Alibabaが主導し、Monolith Management、Xiaohongshuなどがフォローオン参加した、評価額15億ドル（プレマネー）による10億ドル超のシリーズBを調達したと理解されている。取引完了後、Moonshot AIのポストマネー評価額は約25億ドルとなり、現時点では中国の基盤モデルレースで最も評価額の高いユニコーンとなった。（同社はこの件に関する回答やコメントを拒否した。）
この3回目の資金調達ラウンドの最中、私たちは楊志林と向かい合い、彼の起業家としての最初の1年について話を聞いた——中国の基盤モデル企業がスタートラインから全力で駆け出した1年を、縮図として切り取ったものである。
彼の会社は、基盤モデル企業が集まる北京の中心地、搜狐網絡広場には構えていない。総調達額が約90億元にのぼる企業にしては、亮子新作ビルにあるこのオフィスは、粗末で老朽化しているように見える。入り口には会社のロゴすらなく、ドアのそばに白いピアノが一台、静かに立っているだけだ。
会議室は隅にあり、小さな窓のため内部は薄暗く、冬の寒さをしのぐためにヒーターが温風を送りながら唸っている。薄明かりの中、楊はこの1年間の自身の感覚を次のように語った：「まるで、前方に雪山が連なる道をドライブしているようなものです。中に何があるかはわかりません。ただ一歩一歩、前に進み続けるだけです。」
以下は、楊志林との完全なインタビューである。（読みやすくするため、筆者が一部テキストを編集している。）
この写真は2024年初頭、北京にあるKimiの最初のオフィスで撮影された。彼らは現在この場所から移転している。入り口にはロゴは並んでおらず、静かな白いピアノだけがドアのそばに立っていた。
**
第一部
始まりの地点に立って
「波に乗らなければならない」
**
張小軍： 最近はどうですか？
楊志林： 忙しいです——やることがたくさんあります。でも、まだ興奮しています。私たちは産業のまさに始まりの地点に立っており、想像の余地は計り知れません。
張小軍： さっき入ってきたとき、御社の入り口に真っ白なピアノがありましたね。
楊志林： その上にピンク・フロイドのアルバムも置いてありました。誰が置いたのか全く分かりません——数日前に突然気づいて、まだ尋ねる機会がありませんでした。（ピンク・フロイドは、アルバム『狂気』をリリースしたイギリスのロックバンド。）
張小軍： 2022年11月にChatGPTがリリースされた日、あなたは何をしていましたか？
楊志林： 私はすでにその準備をしていました——人材を集め、チームを築き、新しいアイデアを交換していました。ChatGPTを見て、興奮しました。3年から5年前——いや、2021年でさえ——想像もできなかったことです。あのような高次の推論は、これまで達成するのが非常に困難でした。
市場において多くの変数が変わろうとしていると感じました。一方には資本、もう一方には人材——AIの主要な生産要素です。それらの変数がうまく噛み合えば、これを適切に行うための会社を構築することが可能になる——AGIのために構築された組織が0から1へと進むことができるのです。 それは大きなひらめきでした。独立した会社の方が理にかなっていますが、やりたいと思った瞬間にできるものではありません。ChatGPTが変数を揺り動かし、生産要素を結集させたのです。波に乗らなければなりません。
張小軍： AGIの会社を設立することを決断した後、どのような準備をしましたか？ 資本と人材という2つの生産要素をどのように集めましたか？
楊志林： 紆余曲折のあるプロセスでした。ChatGPTが広まるには時間がかかりました。早く知った人もいれば、遅かった人もいます。最初は疑い、その後衝撃を受け、そして信者になった人もいます。人材と資金を見つけることは、タイミングに密接に結びついていました。
私たちは2023年2月に最初の資金調達ラウンドに注力し始めました。もし4月まで遅らせていたら、基本的にチャンスはなかったでしょう。しかし、2022年12月や2023年1月にやってもうまくいかなかったでしょう——パンデミックがまだ続いており、人々がまだそれを理解していなかったからです。つまり、本当のチャンスの窓はたった1ヶ月でした。
ある夜、アメリカで、私は精密な計算をしました。計算が終わったとき、私たちは数ヶ月以内に少なくとも1億ドルを調達する必要があると結論づけました。市場の多くの企業はまだ資金調達を始めておらず、多くの人がその額を調達できるとは信じていませんでした。しかし、それは可能であることが判明しました——それ以上にさえ。
人材市場も動き始めました。ChatGPTに触発されて、多くの人が2023年の3月か4月にこの認識に至りました：これは次の10年でやる価値のある唯一のことだと。適切なタイミングで適切な人々に連絡を取らなければなりません。1年か2年前であれば、人材はこれほど集中していなかったでしょう。当時は、より多くの人々が伝統的なAIやAI関連のビジネスを行っていました——どれも汎用AIではありませんでした。
張小軍： まとめると、資金調達の窓は2月で、採用の窓は3月と4月だったということですか？
楊志林： だいたいそんなところです。
張小軍： あのアメリカでの夜——この計算をしたとき、あなたはどこにいましたか？ 具体的にどのように計算したのですか？
楊志林： 2022年末から2023年初頭にかけて、私は1〜2ヶ月をアメリカで過ごし、様々な人と話をしました。滞在先で計算しました。必要なFLOPs、トレーニングコスト、推論コスト、ユーザー数を計算します。
張小軍： その時、シリコンバレーの一般的な雰囲気はどうでしたか？
楊志林： 製品は多くのアーリーアダプターを獲得し始めており、それはテクノロジー界隈に集中していました。私たち自身もその界隈にいたので、より強く感じました。シリコンバレーの大企業では、社員は6ヶ月ごとに業績評価を書かなければなりませんが、多くの人がChatGPTを使って書き始めました。普段の文章があまりプロフェッショナルでない人でも、ChatGPTで書かれた評価を提出し、皆が非常に真剣な口調になりました。
水面下では動きがありました。多くの人が次の仕事や起業について考えていました。後で私たちと話をした友人の何人かは、実際にスタートアップを立ち上げに行きました。そして、激しいFOMO——取り残される恐怖——がありました。誰も眠れませんでした。深夜0時でも、1時でも、2時でも、連絡を取れば、誰かがいつも返事をくれました。少し不安で、少しFOMOで、そしてとても興奮していました。
張小軍： 1億ドルを調達する必要があると計算した夜——何時まで起きていましたか？
楊志林： 大丈夫でした——計算自体はそれほど時間はかかりませんでした。しかし、その後、あまり多くの人に話すことはできませんでした。もし話していたら、誰もそれが可能だとは信じなかったでしょう。
第二部
技術の系譜
「終わりのない彫刻から解放される」
張小軍： ベンチャーキャピタルの世界があなたについて話すとき、彼らは「創業者は優秀で、技術的カリスマ性があり、チームは技術のスター揃いだ」と言います。そこで、基盤モデルのベンチャーについて議論する前に、あなたの学歴から始めたいと思います。清華大学でコンピュータサイエンスを学び、カーネギーメロン大学のコンピュータサイエンス学部で博士号を取得されました。AIは常にあなたの焦点でしたか？
楊志林： 私は1992年生まれで、2011年に学部を始めました。大学2年生から現在まで——10年以上——この分野に携わっています。最初はより多様に探求し、あちこち見て回りました；グラフやマルチモダリティに関連する研究もしました。2017年に、私は言語モデルに収束しました。当時、言語モデルは比較的重要な問題だと感じていました；後になって、それが唯一重要な問題だと感じるようになりました。
張小軍： 2017年、AI業界は言語モデルを一般的にどのように理解していましたか。そして、その理解はどのように進化しましたか？
楊志林： 当時は、音声認識の結果をランク付けするために使われるモデルでした。（笑）音声の一部が認識された後、多くの候補結果が得られ、その中で最も確率が高いものを言語モデルで見つけ、最も可能性の高いものを出力するというものです。その応用範囲は非常に限られていました。
しかし、それは根本的な問題であることに気づき始めます。なぜなら、あなたは世界の確率をモデル化しているからです。言語には限りがありますが、それは世界の投影です。理論的には、トークン空間——すべての可能なトークンの空間——を十分に大きくすれば、一般的な世界モデルを構築できます。世界のあらゆるものがどのように発生し、発展するかに確率を割り当てることができます。すべての問題は、確率をどのように推定するかに帰着できます。
張小軍： あなたの学術上の指導者は非常に著名です：博士課程の指導教官は、AppleのAI責任者であるRuslan Salakhutdinov氏と、Google AIのチーフサイエンティストであるWilliam W. Cohen氏でした。両氏とも産業界と学界にまたがっています。
楊志林： 以前の数年間は、産業界と学界はより密接に結びついていましたが、現在のトレンドは変化しています：より価値のあるブレークスルーは産業界で起こるでしょう。 それは発展の避けられない法則です。探索的な研究から始まり、徐々に成熟した産業化プロセスへと移行します。それは、産業化の際に研究が不要になるという意味ではありません——純粋な研究だけでは、価値のあるブレークスルーを生み出すのに苦労するでしょう。
張小軍： これらの著名な指導者から何を学びましたか？
楊志林： 最も学んだのはGoogleで、長期間インターンシップをしていました。2018年後半からTransformerベースの言語モデルに取り組み始めました。私の最大の学びは、終わりのない「彫刻」——表面的な細部への執着した洗練——から解放されることでした。それは極めて重要でした。
あなたは、大きな方向性、大きな勾配が何であるかを見るべきです。あなたの前に10本の道があるとき、平均的な人は、この一本の道の前方にいる歩行者をどう避けるか——短期的な詳細——を心配します。しかし、10本の道のうちどれを選ぶかが最も重要なのです。
この分野は以前、まさにその問題を抱えていました。例えば、たった100万〜200万トークンのデータセットで、どのようにパープレキシティを下げるか、どのようにロスを下げるか、どのように精度を向上させるかを見て、終わりのない彫刻に陥っていました。人々は多くの奇妙なアーキテクチャを発明しましたが、これらは彫刻のテクニックでした。彫刻した後は、その種のデータセットでは良くなるかもしれませんが、問題の本質を見失います。
本質とは、その分野に何が欠けているかを分析することです。第一原理とは何か？ なぜスケーリング則が第一原理として機能するのか？ あなたはただ、2つの条件を満たす構造を見つければよいのです：第一に、それが十分に一般的であること、第二に、それがスケーラブルであること。一般的とは、このフレームワーク内であらゆる問題をモデル化できることを意味します。スケーラブルとは、十分な計算リソースを投入すれば、それが継続的に良くなることを意味します。
これが私がGoogleで学んだ考え方です：もし何かがより根本的な何かで説明できるのであれば、上位層で過度に彫刻すべきではありません。私が強く同意する重要な言葉があります：もしスケールで問題を解決できるなら、新しいアルゴリズムで解決してはいけない。新しいアルゴリズムの最大の価値は、どのようにしてより良いスケーリングを可能にするかということです。彫刻から解放されると、はるかに多くのことを見ることができます。
張小軍： 当時、Googleもスケーリング則の信奉者でしたか？ どのように第一原理の考え方を実践していましたか？
楊志林： そのような考えは当時すでに多く存在していましたが、Googleはそれを特にうまく実装できませんでした。その考え方はありましたが、真のムーンショット計画として組織化することはできませんでした。どちらかと言うと、こちらの5人は私の第一原理を追求し、あちらの5人は彼らの第一原理を追求する、という感じでした。トップダウンのものは何もありませんでした。
張小軍： 博士課程在籍中、あなたはチューリング賞受賞者であるYann LeCun氏やYoshua Bengio氏と共同で論文を発表しました——しかも、それらの論文の筆頭著者でした。どのようにしてその共同研究は実現したのですか？ つまり、彼らはチューリング賞受賞者であり、あなたの指導教官でもありません——何を頼りに彼らを惹きつけたのですか？
楊志林： 学界は非常にオープンです。良いアイデアと意味のある問題があれば、それで十分です。2つの頭脳——あるいはn個の頭脳——が生み出すものは、1つの頭脳が生み出すものよりも優れています。これはAGIを開発する際にも当てはまります。AIにおける重要な戦略の一つに「アンサンブリング」があります——複数の異なるモデルや手法を使用し、それらの予測を組み合わせてより良いパフォーマンスを実現するものです。基本的には同じことを行っています：多様な視点があれば、多くの新しいことを生み出すことができます。コラボレーションは非常に有益です。
張小軍： あなたはまずアイデアを持ち、それから彼らに興味があるかどうか尋ねたのですか？
楊志林： だいたいそんな感じです。
張小軍： 研究において学術界の大物を説得するのと、資金調達において資本の大物を説得するのと、どちらが難しいですか？ 共通点は何ですか？
楊志林： 「説得する」という言葉は適切ではありません——その背後にある本質は協力です。協力とは、双方が利益を得ることを意味します。なぜなら、相互利益が協力の前提条件だからです。ですから、実際には違いはありません：あなたは他者に独自の価値を提供する必要があります。
張小軍： どのようにして彼らの信頼を得るのですか？ あなたの才能は何だと思いますか？
楊志林： 特別な才能はありません——ただ一生懸命働くことだけです。
第三部
古いシステムはもう機能しない
「AGIには新しい種類の組織が必要」
**
張小軍： あなたは「より価値のあるブレークスルーは産業界で起こる」とおっしゃいましたが、それにはスタートアップや大手企業のAIラボも含まれますか？
楊志林： ラボは過去のものです。Google Brainはかつて産業界最大のAIラボでしたが、それは大企業の中に埋め込まれた研究組織でした。その種の組織は新しいアイデアを探求することはできますが、偉大なシステムを生み出すことは非常に困難です——Transformerを生み出すことはできても、ChatGPTを生み出すことはできませんでした。
現在の開発の進化の仕方は、あなたが巨大なシステムを構築しているというものです。それには新しいアルゴリズム、堅牢なエンジニアリング、そして多くのプロダクトおよび商業化の作業さえも必要です。それは2000年代初頭のようなものです：情報検索をラボで研究することはできませんでした。それは、Googleのような、ユーザーを持つ巨大なシステム、製品として、現実世界に存在しなければなりませんでした。 したがって、研究と教育のシステムは、主に人材を育成する方向へとその機能をシフトするでしょう。
張小軍： この新しい形式のシステムをどのように説明しますか？ OpenAIはそのプロトタイプですか？
楊志林： それは現在、この種の組織として最も成熟したものであり、まだ徐々に進化し続けています。
張小軍： では、人類の壮大な科学的目的のために設立された組織として理解できますか？
楊志林： 強調したいのは：それは純粋な科学ではありません——それは科学、エンジニアリング、ビジネスの組み合わせです。それは商業組織、企業でなければならず、研究所ではありません。しかし、この企業はゼロからイチへと構築されます。なぜなら、AGIには新しい種類の組織が必要だからです。第一に、生産様式がインターネット時代とは異なります。第二に、純粋な研究から、研究、エンジニアリング、製品、ビジネスの組み合わせへと移行します。
その核心は、ムーンショット計画であるべきであり、多くのトップダウンの計画が存在します——しかし、その計画の中には革新の余地もあります。なぜなら、すべての技術が事前に決定されているわけではないからです。トップダウンの枠組みの中に、ボトムアップの要素が存在します。 そのような組織は以前は存在しませんでしたが、組織は技術に適応しなければなりません。なぜなら、技術が生産様式を決定するからです。もしそれらが一致しなければ、効果的に生産することはできません。私たちは、それがおそらくゼロから再設計される必要があると信じています。
張小軍： 昨年のOpenAIの取締役会クーデターの際、Sam Altmanの選択肢の一つはMicrosoftに加わり、新しいMicrosoft AIチームを率いることでした。それとOpenAIのCEOであることの本質的な違いは何ですか？
楊志林： 古い文化の中で新しい組織を成長させなければなりません——そしてそれは非常に困難です。
張小軍： あなたは「中国のOpenAI」を構築したいのですか？ そう言ってもいいですか？
楊志林： 正確ではありません。私たちは中国の何かになりたいわけではなく、必ずしもOpenAIになりたいわけでもありません。
まず、真のAGIは間違いなくグローバルなものになります。少なくとも長期的には、市場保護メカニズムのために特定の地域市場に閉じ込められたAGI企業などというものは存在しません。グローバル化、AGI、そして非常に大規模なユーザーベースを持つ製品：これら三つは最終的に必要条件です。
第二に、OpenAIであるべきなのでしょうか？ 2017〜2018年を見てみると、OpenAIの評判はひどいものでした。私たちの界隈で仕事を探すとき、人々は一般的にGoogleのような場所を検討しました。OpenAIのチーフサイエンティストであるIlya Sutskever氏と話をした多くの人は、その男は狂っていて、自己過信が強すぎると思いました——OpenAIは狂人か詐欺師の集まりだと思われていました。しかし、彼らは非常に早い段階でコミットし、非コンセンサスを見つけ、そして今やAIにおいて機能する唯一の第一原理を見つけました：次トークン予測によるスケーリングです。
私は、OpenAIよりも偉大な企業が現れると信じています。真に偉大な企業は、技術的理想主義と偉大な製品を組み合わせ、ユーザーと共に創造することができます——AGIは最終的には、すべてのユーザーとの共同作業によって生み出されるものになるでしょう。ですから、それは技術だけの問題ではありません。実用主義と現実世界への追求も必要です——最終的には、この二つの完全な組み合わせです。
それでも、私たちはOpenAIの技術的理想主義から学ぶべきです。もし皆が君のことを普通だと思うなら——誰でも持てるような夢だったら、それは人類全体の夢の総和に何も加えない。
第四部
ムーンショットの第一歩は「長いコンテキスト」——第二歩は？
「次に来る二つの大きなマイルストーン」
**
張小軍： 会社を立ち上げる決断をした瞬間に戻りましょう——中国に戻った直後に最初の資金調達ラウンドを開始しましたか？
楊志林： それは（昨年の）2月にアメリカで始まり、一部はリモートで行われました。最終的には、国内の投資家が大部分を占めました。
張小軍： 最初のラウンドで1億ドルを調達しましたか？
楊志林： 最初のラウンドはそこまで多くはありませんでした。その後のラウンドでその額を超えました。2023年に2回のラウンドを完了し、合計で約20億元になりました。
今回は3回目のラウンドです。正式に資金調達を発表していないので、現時点ではコメントできません。
張小軍： 2023年下半期以降、誰も基盤モデル企業に投資したがらなくなったと言う人もいますが、それは間違いですか？
楊志林： まだいます。確かにセンチメントの変化は見られますが、誰も投資していないというわけではありません——少なくとも現時点では、市場にはかなりの投資意欲があります。
張小軍： 資本と人材以外に、2023年に下した重要な決断は他にありますか？
楊志林： 何をするかを決断することです。それが私たちのような企業の強みです——最高レベルの意思決定のための技術的ビジョンを持っていることです。
私たちは長いコンテキストを扱います。それには未来についての判断が必要です：何が根本的で、物事が次にどこに向かうのかを知る必要があります。繰り返しになりますが、それは第一原理であり、「脱彫刻」のプロセスです。もし彫刻に集中すれば、あなたはOpenAIが既にやったことだけを見て、それをどう再現するかを考えます。
Kimiでロスレスの長文圧縮を行うことが、製品に独自の体験をもたらすことがわかるでしょう。英語の論文を読むとき、それは驚くほどよく理解するのに役立ちます。今日、ClaudeやGPT-4を使っても、必ずしも同じようにうまくいくとは限りません。これには事前に準備を整えておく必要がありました。私たちは半年以上かけて取り組みました。これは、今日長いコンテキストのトレンドを見つけ、急いで2つのチームを編成し、最大速度で開発するのとは大きく異なります。
もちろん、マラソンはまだ始まったばかりです。さらなる差別化が生まれてくるでしょう。そして、そのためには「誰もが同意しないが、真実であること」を事前に見極める必要があります。
張小珺： この決断は何月に下されたのですか？
楊植麟： 2月か3月ですね。会社を設立すると同時に決めました。
張小珺： なぜ長いコンテキストがムーンショットの第一歩なのですか？
楊植麟： それは基礎だからです。新しいコンピュータのメモリのようなものです。
従来のコンピュータのメモリは、過去数十年で数桁の規模で拡大してきました。新しいコンピュータでも同じことが起こります。これにより、今日の多くの問題を解決できます。例えば、現在のマルチモーダルアーキテクチャには依然としてトークナイザーが必要ですが、ロスレスに圧縮された長いコンテキストがあれば、それは不要になります。生の入力を直接与えればよいのです。さらに進めば、これは新しいコンピューティングパラダイムをより汎用的にするための基盤となります。
従来のコンピュータは、すべてを 0 と 1 で表現でき、あらゆるものをデジタル化できました。しかし、今日の新しいコンピュータにはまだ十分なコンテキストがなく、それほど汎用的ではありません。真に汎用的な世界モデルになるためには、長いコンテキストが必要です。
第二に、これによりパーソナライゼーションが可能になります。AI の核となる価値はパーソナライズされたインタラクションです。その価値は最終的にパーソナライゼーションに集約され、AGI は前世代のレコメンデーションエンジンよりもさらにパーソナライズされるでしょう。
しかし、パーソナライゼーションはファインチューニングによって達成されるのではなく、非常に長いコンテキストをサポートすることによって達成されます。マシンとのやり取りの履歴全体がコンテキストとなり、そのコンテキストがパーソナライゼーションプロセスを定義します。これは複製不可能であり、より直接的な対話、つまり情報を生成する対話を可能にします。
張小珺： これを拡張する余地はどのくらいありますか？
楊植麟： 計り知れないほどあります。一方で、ウィンドウ自体の拡張にはまだ長い道のりがあり、数桁の規模が必要です。
もう一方で、ウィンドウを拡張するだけではダメで、単に数字だけを見ても意味がありません。今日、ウィンドウが数百万トークンであろうと数十億トークンであろうと、それ自体には意味がありません。重要なのは、そのウィンドウ内で可能になる推論能力、元の情報への忠実性（フィデリティ）、そして命令追従能力です。単一の指標を追い求めるのではなく、指標と能力を組み合わせて見る必要があります。
この 2 つの次元が向上し続ければ、非常に多くのことが可能になります。数万語に及ぶ指示に従うことができ、その指示自体が非常にパーソナライズされた多数のエージェントを定義できるようになるでしょう。
張小珺： 長いコンテキストの背後にある技術と、GPT-4 に追いつくための技術は、互いに流用可能なものですか？ 同じものなのでしょうか？
楊植麟： そうは思いません。どちらかというと、新しい次元を追加するようなものです。GPT-4 が持っていない次元です。
張小珺： 中国の主要な基盤モデル企業は皆、ほぼ同じこと、つまり 2023 年は GPT-3.5 への追従、2024 年は GPT-4 への追従を行っていると多くの人が言います。これに同意しますか？
楊植麟： 汎用能力の向上には確かに重要なマイルストーンがあります。ですから、その意見はある程度正しいです。後発者として、追いつくプロセスを避けて通ることはできません。しかし、それは一面しか見ていません。汎用能力以外にも、独自の能力を開発し、特定の方向で最先端に到達するための大きな余地があります。長いコンテキストはその一つです。DALL-E 3 の画像生成は、Midjourney V6 に完全に負けています。ですから、両方の面に取り組む必要があります。
張小珺： 汎用能力と新しい次元への取り組みに、時間とリソースの配分はどのくらいですか？
楊植麟： それらは組み合わせる必要があります。新しい次元は汎用能力とは別に存在できるものではないので、直接的な比率を出すのは難しいです。しかし、新しい次元をうまくやるためには、十分な投資が必要です。
張小珺： これらの新しい次元はすべて Kimi が担うことになるのでしょうか？
楊植麟： Kimi は間違いなく私たちにとって非常に重要なプロダクトですが、他にもいくつかの試みを行う予定です。
張小珺： 識想の李光覓（Li Guangmi）氏が、中国の基盤モデル企業の技術的独自性は現在でもまだあまり高くないと述べたことについて、どう思いますか？
楊植麟： 問題ないと思います。すでにかなりの差別化を生み出しています。時間の問題です。今年中には、さらに多くの次元が見られるはずです。昨年は、誰もがまず足場を組み立てて、システムを動かすことに集中していました。
張小珺： ムーンショットの第一歩が長いコンテキストだとすれば、第二歩は何ですか？
楊植麟： 今後、2 つの大きなマイルストーンがあるでしょう。第一に、真に統一された世界モデルです。つまり、異なるすべてのモダリティを統合し、真にスケーラブルで汎用的なアーキテクチャです。
第二に、人間のデータ入力を必要とせずに AI が進化し続けることを可能にすることです。
張小珺： これらの 2 つのマイルストーンに到達するまでに、どのくらいの時間がかかりますか？
楊植麟： 2 年から 3 年ですね。おそらくもっと早いかもしれません。
張小珺： つまり、3 年後には、今日とは全く異なる世界を見ていることになるのでしょうね。
楊植麟： 現在の開発ペースであれば、その通りです。テクノロジーは今、芽吹き、急速に成長する段階にあります。
張小珺： 3 年後には何が存在するようになると思いますか？
楊植麟： ある程度の AGI が実現しているでしょう。今日私たちが行っていることの多くを、AI も実行できるようになり、私たちよりも上手くこなすことさえあるでしょう。しかし、重要なのは、それをどのように活用するかです。
張小珺： そして、あなたにとって、Moonshot AI という会社としての第二歩は何ですか？
楊植麟： 私たちは、その 2 つのことを実行していきます。残りのすべての問題は、これら 2 つの要素から派生します。今日人々が語る推論やエージェントは、これら 2 つの問題を解決する過程での副産物です。いくつかの追加の調整は必要ですが、根本的な障壁はありません。
張小珺： GPT-4 への追従に全力を注ぎますか？
楊植麟： GPT-4 は、AGI への道における通過点に過ぎません。重要なのは、単に GPT-4 に追いついただけで満足しないことです。 まず、今、本当に非コンセンサス（多くの人が同意しないが正しいこと）は何かを問わなければなりません。GPT-4 の先に何があるのか？ GPT-5 や GPT-6 はどのようなものであるべきか？ 第二に、その中で自分たちがどのような独自の能力を持っているかを見極める必要があり、それがより重要です。
張小珺： 他の基盤モデル企業は、
