イーロン・マスクのAI企業xAIがGrok-1モデルの重量とアーキテクチャを発表

PANewsによると、イーロン・マスクの人工知能会社xAIは、3,140億パラメータのハイブリッドエキスパートモデルGrok-1の重みとアーキテクチャを発表した。この大規模な言語モデルは、ハイブリッドエキスパートモデルアーキテクチャを使用してxAIによってゼロからトレーニングされたもので、重みの25％が与えられたトークンでアクティブになる。ベースモデルの重みとネットワークアーキテクチャは、Apache 2.0ライセンスの下で利用可能です。 Grok-1のプレトレーニングフェーズは2023年10月に完了し、現在リリースされているバージョンはオリジナルのベースモデルチェックポイントであり、特定のアプリケーション用に微調整されたものではない。このモデルの利用に興味のあるユーザーは、github.com/xai-org/grokで提供されているガイドラインに従ってください。