スタートアップSubquadratic、Transformerの二次スケーリング問題を『突破した』と主張——$29Mシード調達

Transformerの根幹にあるAttention計算の二次スケーリング（O(n²)）を線形（O(n)）に置き換えたと主張するスタートアップSubquadratic（SubQ）が、$29Mのシードラウンドを調達した。MIT Technology Reviewが6月19日付で報じた。

3行まとめ

1. SubQはAttention計算を二次→線形に変換し、100万トークンで52倍高速・コスト1/5になると主張している
2. MIT Technology Reviewによれば、データ注釈企業Appenによる第三者検証で主張が「概ね確認された（largely confirmed）」とされる
3. ただし査読済み論文は未発表であり、「概ね確認」と「証明」は別物——現時点ではスタートアップの主張段階

そもそも「二次スケーリング」とは何か

現在の大規模言語モデル（LLM）の中核であるTransformerには、Attentionと呼ばれる仕組みがある。入力テキスト中のすべてのトークン（単語や文字の断片）が、他のすべてのトークンとの関連度を計算する。この「全対全」の計算量は、トークン数nに対してO(n²)——つまり入力が2倍になると計算量は4倍になる。

これが、長い文脈を扱うLLMのコストと速度を制約する根本的な原因とされてきた。文脈長が数千トークンの範囲ではさほど問題にならないが、100万トークン級になるとコストが急激に膨らむ。各社が長文脈対応を進めるなかで、この二次スケーリングの壁をどう克服するかは業界共通の課題である。

SubQの主張

MIT Technology Reviewの報道によれば、SubQは以下を主張している。

• Attention計算を二次（O(n²)）から**線形（O(n)）**にスケールさせる手法を開発した
• 100万トークンの入力において、従来比52倍高速
• 推論コストは従来の1/5
• $29Mのシードラウンドを調達済み

記事中では、データ注釈・AI評価を手がけるAppenが独立した第三者として検証を行い、SubQの主張を「概ね確認した（largely confirmed）」と報告されている。

「概ね確認」の意味と限界

「largely confirmed」という表現には注意が必要だ。

第一に、Appenはデータ注釈やAI評価の企業であり、この検証が学術的な査読プロセスと同等のものかどうかは記事からは読み取れない。第二に、「概ね（largely）」は「完全に（fully）」ではない。どの部分が確認され、どの部分が未確認なのかという内訳は、報道の範囲では明らかにされていない。

また、線形Attentionの研究自体は新しいものではない。過去にもLinear Attention、Performer、RetNet、Mambaなど、二次スケーリングを回避する試みは複数提案されてきた。それらの多くは特定条件下では有効だが、標準的なAttentionと同等の品質を全タスクで維持できるかという点で課題が残っている。SubQの手法が既存研究とどう異なり、品質面でどの程度のトレードオフがあるのかは、技術論文の公開を待つ必要がある。

実現した場合の影響

仮にSubQの主張が技術的に検証され、実用に耐えることが確認された場合、影響は大きい。

• 長文脈LLMのコスト構造が変わる：100万トークン級の文脈を扱う推論コストが大幅に下がれば、長文書の要約、大規模コードベースの解析、長時間会話の保持といった用途が現実的な価格帯に入る
• モデル訓練コストへの波及：Attentionの計算効率化は推論だけでなく訓練にも影響し得る
• 競合と既存プレイヤーの対応：OpenAI、Anthropic、Googleなど各社がどう反応するかも注目点になる

ただし、これらはすべて「主張が実証された場合」の話である。

正直に言うと

この話は現時点ではスタートアップによる主張の段階にある。以下の点を整理しておきたい。

• 査読済み論文は未発表：技術的な詳細や再現手順が公開されていないため、第三者が独立に検証することができない
• 「largely confirmed」≠「proven」：Appenによる検証が報告されているが、「概ね確認」と「証明」は異なる。確認の範囲・条件・手法についての詳細は報道からは不明
• $29Mの資金調達はバリデーションではない：投資家の判断と技術的な正しさは別の話である
• 線形Attentionの先行研究は多数ある：過去にも類似の主張はあり、その多くは品質面のトレードオフが後から判明している
• MIT Technology Reviewが報じた事実は重要だが、同誌が技術を保証しているわけではない

続報——特に技術論文の公開、独立した学術機関による再現検証——を待って判断するのが妥当だろう。

（本記事はMIT Technology Review 2026年6月19日付の報道に基づく。SubQの技術詳細は未公開のため、主張の正確性について本記事は判断を留保している。）