目次
1. HRMとは何?(初心者向け解説)
•HRM(Hierarchical Reasoning Model)は、シンガポールの Sapient Intelligence 社が開発した「人間の脳構造を模した」AIモデルです。27 Mパラメータ程度の軽量モデルで、ごく少数の学習データ(約1,000例)から複雑な問題(例:難解な数独、迷路の最適経路)を学習・解くことが可能です 。
•特徴は以下の通り:
•「高レベルモジュール(ゆっくり抽象計画)」+「低レベルモジュール(高速な具体処理)」という二層のリカレント構造により、高い推論能力を実現 。
•Chain-of-Thought(思考連鎖)を必要とせず、一度の前向き計算(フォワードパス)で推論が完結 。
•ARC-AGIチャレンジ(抽象・推論課題)や難解数独、30×30の迷路解法で、より大規模・複雑なLLMを上回る精度を叩き出しました 。
•用途例(将来的な活用分野):
•医療分野:希少病の診断支援など、例が少ないが高度な推論が必要なシーン。
•気候予測:季節予測で97%の精度を実現したと報告あり 。
•ロボット制御:軽量モデルなので現場でリアルタイムに意思決定が可能 。
簡単に言うと、「深く考えるAIを、小さく・早く・少データで動かすモデル」です。
2. インストール方法をステップ・バイ・ステップで
GitHub リポジトリ上の Quick Start Guide に基づきます 。
🔧 事前準備(Prerequisites)
-
Python(3.9以降推奨)と PyTorch + CUDA をインストールします。
-
もし GPU(NVIDIA)環境があるなら、CUDA 12.6 をインストールしておきましょう。
例(Linux):
CUDA_URL=https://developer.download.nvidia.com/compute/cuda/12.6.3/local_installers/cuda_12.6.3_560.35.05_linux.run
wget -O cuda_installer.run $CUDA_URL
sudo sh cuda_installer.run –silent –toolkit –override
export CUDA_HOME=/usr/local/cuda-12.6
-
PyTorch を CUDA 対応でインストール:
PYTORCH_INDEX_URL=https://download.pytorch.org/whl/cu126
pip3 install torch torchvision torchaudio –index-url $PYTORCH_INDEX_URL
-
拡張モジュール構築に必要なパッケージ:
pip3 install packaging ninja wheel setuptools setuptools-scm
-
FlashAttention のインストール:
-
Ampere世代以前のGPU:pip install flash-attn
-
Hopperアーキテクチャの場合:ソースからビルドが必要(GitHub クローン後に python setup.py install)
-
本体のインストール手順
ターミナルで以下を実行:
git clone https://github.com/sapientinc/HRM.git
cd HRM
pip install -r requirements.txt
これで基本の Pythonライブラリが揃います
🧪 初回テスト:簡単なデモを動かしてみよう
例えば「数独ソルバー」デモを試すには:
python dataset/build_sudoku_dataset.py –output-dir data/sudoku-extreme-1k-aug-1000 –subsample-size 1000 –num-aug 1000
OMP_NUM_THREADS=8 python pretrain.py data_path=data/sudoku-extreme-1k-aug-1000 epochs=20000 eval_interval=2000 global_batch_size=384 lr=7e-5 puzzle_emb_lr=7e-5 weight_decay=1.0 puzzle_emb_weight_decay=1.0
-
ノートPCのRTX 4070相当で約 10時間程度の訓練とされています 。
-
結果の精度確認には、evaluate.py や Jupyter Notebook(arc_eval.ipynb) を使います 。
3. ブログ用ポイントまとめ(初心者向けまとめ)
項目 |
説明 |
---|---|
何ができるの? |
少数のデータで、難問(数独、迷路、ARC推論タスク)を“深く考えて”解くAI。大規模LLMよりも精度が出せる。 |
強み |
モデルサイズが小さい(27M パラメータ)、訓練データも少なくて済む、処理が高速。 |
向いてる応用 |
データが限られる研究・診断用途、現地で動くロボット、気候予測など。 |
必要なもの |
Python+PyTorch、CUDA環境(GPU)、FlashAttention。 |
インストールの流れ |
GitHubクローン ➤ 依存ライブラリ ➤ dataset作成 ➤ pretrain.py ➤ evaluate.py ➤ 結果確認。 |
注意点 |
Apple Silicon GPU/Metal対応は現時点で未整備。開発中のバグも一部報告されています(例:torch.nn.Buffer など) 。 |