OrcaRouterが大規模LLM「GLM-5.3」をMacで簡単に実行できる新サービスを発表

「OrcaRouter」が実現する大規模LLM実行の新時代

FlashLabs株式会社が発表した「GLM-5.3-MLX」は、米国のAI研究機関Continuum AIが開発した、大規模言語モデル（LLM）「GLM-5.3」をApple Siliconに最適化した新たなAI推論ゲートウェイです。このモデルを使用することで、開発者や企業は、従来のように大規模なメモリを必要とせずに、ローカル環境でパフォーマンスを維持したまま実行できるようになります。

GLM-5.3-MLXの特徴

「GLM-5.3」は、総パラメータ約743B、アクティブ40Bの構造を持ち、1Mトークンのコンテキストをサポート。これを「OrcaSAQ」という独自の量子化手法を用いて圧縮し、最小限のメモリで高い精度を保つことができます。具体的には、もとの約1.51TBのモデルが、最も圧縮率の高い2-bit版では約322GBまで小型化されました。

このように、GLM-5.3-MLXは「蒸留版」や「Flash版」ではなく、フルモデルを基にしているため、最適化が行われたにも関わらず、その性能は高いレベルで維持されています。また、2-bitバリアントでは約80.2%の精度が確認されており、幅広い利用が期待されています。

実行環境の多様性

最大512GBのメモリを搭載したMac M3 Ultraでは、2-bitや3-bitでのローカル実行が快適に可能とされ、4-bit版でも利用できます。その上、最上位の6-bit版では2台の512GB Macを接続した分散実行が可能で、さらなる処理性能の向上が図れます。これは、特にデータのプライバシーや処理速度を重視する企業にとって、大きなメリットとなるでしょう。

Hugging Faceでの公開

「GLM-5.3-MLX」はHugging Faceで公開されており、量子化レベルを選択することで、様々なニーズに応じた利用が可能です。さらに、Unslothから提供されるGGUF版を使用すれば、llama.cpp対応の実行環境でも利用できるため、ユーザーの環境にかかわらず柔軟に対応ができます。

ローカルでの実行が難しい環境では、OrcaRouterのAPIを使用して、フル精度のモデルを簡単にアクセスすることも可能です。

今後の展開

OrcaRouterは、今後も量子化技術の研究開発を進め、大規模モデルを身近なデバイスで扱えるようにするための取り組みを続けていくとしています。これにより、開発者や企業がAIをより身近に感じることができるようになるでしょう。

FlashLabsの概要

FlashLabs株式会社は、東京都千代田区を拠点に、AI応用の研究開発を行っている新興企業です。代表取締役の細井洋一氏は、リリースを通じて、AI技術の普及と発展に貢献する意向を示しています。

OrcaRouterと共に、今後のAI技術の進化に注目が集まる中、FlashLabsの展開がどのように進んでいくのか、期待が高まります。

その詳細については、FlashLabsの公式サイトを参照してください。