[2026 年 6 月 3 日提出 (v1)、最終改訂 2026 年 7 月 29 日 (本バージョン、v3)]

PDF を表示 HTML (実験的)

要約:マルチチャネルスカラー信号を扱うトランスフォーマーは、$C$ 個の同時値を各タイムステップで 1 つの $d_{\text{model}}$ 次元ベクトルに埋め込む必要があります。本研究では、共有スカラー基準、パーチャネル線形射影、直交性正則化器、非線形 MLP、ブロック分割連結、チャネル独立およびチャネル・アズ・トークンアーキテクチャ、射影位置エンコーディングの 8 種類の入力エンコーダを、チャネル識別性が情報として有用な合成ベンチマークと ETTh1 上で、次ステップ負の対数尤度を指標として検証しました。主な結果は、実用上ほぼ同等である広い「トップティア」内の近接性です。標準的なパーチャネル線形射影は、統計的に有意だが実用的には小さい差異の範囲で、全ての代替手法と同等でした。直接的な幾何学的解析により、この結果はパーチャネル射影の自発的直交化に起因することが示されました。明示的な正則化器なしでも、ランダム初期化の近直交性を大幅に上回る直交性が達成され、標準線形射影が合計埋め込みからチャネル識別性を回復できることが明らかになりました。2 つのエンコーダが決定的に劣後しました。共有スカラー基準は情報理論的理由で崩壊し、チャネル独立な PatchTST 精神の基準は合成ベンチマークで普遍的に過学習し、両方のデータセットで性能が低下しました。ペアワイズ検定により 2 つの小さな差が明らかになりました。学習済み線形層を通じて正弦波位置エンコーディングを射影する手法は、小さい $C$ で残りの手法を上回り、この直交性を位置部分空間に拡張します。非線形 MLP ステムは最大の $C$ で優位性を示し、訓練データが増えるにつれてその差は縮小します。実践的な推奨は、デフォルトで標準的なパーチャネル線形射影を使用することです。タスクがそれを必要とする場合にのみ、より精緻な手法に切り替えてください。

投稿履歴

投稿者: Ossi Lehtinen [メールを表示]
[v1] 2026 年 6 月 3 日 (水) 11:35:09 UTC (46 KB)
[v2] 2026 年 6 月 8 日 (月) 08:15:04 UTC (46 KB)
[v3] 2026 年 7 月 29 日 (水) 07:52:45 UTC (48 KB)