DeepSeek: (フェラーリのような性能だが、スペアパーツで組み立てられている) – マイクロソフトの専門家が、その巨大な成功の基盤を説明する

0
2

DeepSeekは、より優れたChatGPTとして称賛されている。元マイクロソフト社員が、この新しいAIチャットボットがなぜ衝撃的であるかを説明する。

A Sputnik Moment– 元マイクロソフト社員のデイブ・プラマー氏は、自身のYouTubeチャンネル「デイブズ・ガレージ」で、中国のAIチャットボット「DeepSeek」について語っている。同氏は、競合製品である「ChatGPT」と比較してDeepSeekが特別である理由を説明している。

他のLLMと同様に、DeepSeekは問題のあるトピックへの回答をフィルタリングし、薬の処方に関する質問には回答しません。さらに、DeepSeekは中国の国家検閲の対象にもなっています。例えば、このAIは、天安門事件や新疆ウイグル自治区におけるウイグル人への弾圧、台湾の政治的独立に関する言及を避けます。
中国の国家主席である習近平の名前を含む

Answersは、も伏せ字にされます。この検閲は中国の当局によって積極的に監視されていますが、、適切な質問をすれば回避できます。または、ローカルでLLMを運用すれば回避できます

スペアパーツでできたフェラーリ

DeepSeekは、ChatGPTや同等のLLMよりもはるかに安価に訓練することができました。しかし、実際のコスト要因については議論の余地があります。

元マイクロソフト社員のプラマー氏は、他の情報源と同様に、自身のYouTubeチャンネルで、DeepSeekに600万ドル未満が投資されたと語っている。これは、競合他社のモデルに投資された数十億ドルのほんの一部である。しかし、このAIはChatGPTのような主力製品に追いつくことができる。

さらに、AIの開発者は最新のNvidiaチップにアクセスできなかったと言われています。結局のところ、彼らのパフォーマンスはAIブームに不可欠であると言われており、Nvidiaは最も価値のある企業の1つとなっています。Nvidiaの主力製品として広く知られているゲーミング用グラフィックカードは、同社にとってはマイナーな製品にすぎない。

DeepSeekは、スペアパーツで組み立てられたフェラーリのようなものだ。Plummer氏によると、性能は同等だが、はるかに安価だという。

A スペアパーツから組み立てられたフェラーリのようなものだ。性能は同等だが、はるかに安価だ。

師匠と弟子のように

これは、異なるタイプのトレーニングによって可能になります。ChatGPTと同様に、DeepSeekも大規模言語モデルです。しかし、これは蒸留モデル蒸留モデル)です。

これは、より小さなモデルが、より大きなモデルを使用してトレーニングされ、より大きなモデルの結果とできる限り類似した結果を、より少ないリソースで提供することを意味します。

そのため、巨大なモデルの方が依然としてより多くの知識ベースを持っているものの、ほとんどの用途において、より小さなモデルでもほぼ同等の性能を発揮します。

Plummer氏は、この点を自身のビデオで次のように説明しています。

It’s like a master training his apprentice – the apprentice doesn’t need to know everything, but they can do the job just as well.

そのうちの1つが、MetaのオープンソースモデルであるLlamaですが、OpenAIのChatGPTも含まれます。

この知識の蒸留により、DeepSeekは大幅にリソース効率が向上します。また、大規模なモデルのように巨大なデータセンターに数百のGPUを搭載した膨大なハードウェアも必要なくなります。

しかし、これはまた、Plummerが疑問を抱くことにもつながります。

もしあなたのガレージでシボレーの部品を使ってフェラーリを組み立てることができたとしたら、それはフェラーリの価値にとって何を意味するのでしょうか?

PC革命を思い出す

高価なオリジナルのフェラーリにとっては、これはまずい兆候です。

しかし、ユーザーにとっては、自宅のハードウェアでローカルにモデルを実行できるという利点があります。 もちろん、DeepSeekはあらゆる小型のノートパソコンでローカルに実行できるわけではありません。Plummer氏によると、DeepSeekの最大モデルでは、Nvidia RTX 6000 GPU(48 GB VRAM)搭載のAMD Threadripperが必要です。より小型のモデルであれば、MacBook Proでも実行できます。

この開発は、彼にPC革命の時代を思い出させる。

それはPCの初期の時代を思い出させる。メインフレームほど良くはなかったが、世界を変えた。

コンピュータがまだビジネスアプリケーション用のメインフレームシステム(メインフレーム)だった時代には、誰もがいずれ手頃な価格で自宅に一台持つようになるなどとは想像もできなかったでしょう。

A Sputnik moment

Unlike the PC revolution, however, the geopolitical implications must also be considered today DeepSeek is a Chinese model that is particularly competing with US Silicon Valley companies.

PlummerはこれをSputnik momentと表現している。これは、1957年の打ち上げにより宇宙開発競争(宇宙開発競争)の幕開けとなり、冷戦におけるソビエト連邦と西側諸国との新たな体制競争の局面となった、ソビエト連邦の人工衛星スプートニクを指しています。

同様に、DeepSeekの開発は、 米国の技術的覇権と中国の新興世界大国としての競争を激化させています。

この技術競争は、単に革新をめぐる闘争にとどまらず、米国の資本主義民主主義と中国の国家資本主義の間の体制的対立の象徴でもあります。