NF4

定義

QLoRA で採用される 4 bit 量子化形式 (Dettmers et al. 2023)。事前学習済み重みが正規分布に近い性質を利用して精度低下を抑制する。