FlashLabsが新たにAI推論ゲートウェイOrcaRouterを発表！Mac向けGLM-5.3-Flashを量子化した5バリアントでリリース

FlashLabsがAI推論ゲートウェイOrcaRouterを発表

FlashLabs株式会社は、日本市場向けに新しいAI推論ゲートウェイ「OrcaRouter」を発表しました。このゲートウェイでは、Z.ai社のオープンウェイトLLM「GLM-5.3-Flash」を使用し、Apple Silicon向けに最適化された「MLX」版が登場します。

公開された5つのバリアント

新たに公開されたモデルは、「2-bit Lite」から「6-bit」までの5つの異なる量子化バリアントで提供されています。特に注目すべきは、最上位の6-bit版がFP8版と比較してほぼ無損失という性能を持っており、開発元によればTop-1一致率が97.76%に達しています。

OrcaSAQの取り組み

このモデルの開発には、独自の量子化手法「OrcaSAQ」が採用されています。この技術は、キャリブレーションデータを必要とせず、モデルの構造に応じて重要なテンソルを高精度に保持することが可能です。このため、性能とメモリ使用量のバランスが高い水準で実現されています。

Apple Silicon向けの利便性

特に、最軽量の「2-bit Lite」版はモデルサイズが約102GB、必要メモリも112GBまで圧縮されており、128GBのメモリを搭載したMacBook Pro（M4/M5 Max）でも動作可能です。GLM-5.3-Flashは1Mトークンのコンテキストやマルチモーダル入力といった基本性能を保持しています。

Hugging Faceでの無償公開

このモデルは、Hugging Face上でMITライセンスのもと無償で公開されており、誰でも容易にダウンロードして利用することができます。また、ローカル実行が難しい場合でも、OrcaRouterのAPIからフル精度で利用できる環境が整っています。

今後の展望

FlashLabsは今後も、大規模モデルを身近なデバイスで活用できるようにするため、量子化技術とモデルカタログの研究と開発を続けていく方針です。OrcaRouterを通じてますます進化するAI環境に注目です。

FlashLabs株式会社について

FlashLabsは、東京都千代田区に本社を置く企業で、AI応用研究を行っています。自社で開発したOSS音声モデル「Chroma」を通じて、営業・CXの自動化・自律化に取り組んでいます。また、AI推論ゲートウェイの「OrcaRouter」は、Continuum AIが開発しており、使いやすさと最新技術の融合を図っています。

この新技術は、AI開発者や企業にとって重要な進展となりそうです。今後の情報に注目していく必要があります。