Qwen3.6-35B-A3B abliterated はどれを選ぶ?11GB から動く GGUF の見分け方
Qwen3.6-35B-A3B の abliterated 版は huihui-ai・HauhauCS・Bahushruth など複数あります。GGUF の実サイズから、12GB・16GB・24GB で動く量子化と、MTP・K_P・MLX の違い、拒否率の読み方を整理します。
対象: 12〜24GB の GPU で Qwen3.6-35B-A3B の abliterated 版を動かしたい人
この記事の要点
- Qwen3.6-35B-A3B は総 35B・活性 3B の MoE です。メモリは 35B 分必要ですが、計算は 3B 級で済みます。
- GGUF は HauhauCS の IQ2_M 11GB から Q8_K_P 44GB まであります。12GB なら IQ2_M、16GB なら IQ3_M、24GB なら Q4_K_M が現実的です。
- huihui-ai は MTP 付きで Ollama が最も簡単、Bahushruth v4 は正規化保存の研究向け、Mac は MLX 版を選びます。
編集部の確認メモ
2026-11-13 時点で、Hugging Face の各配布ページと GGUF のファイルサイズ、Ollama のモデルページを確認しました。実機での起動確認はしていません。必要メモリは量子化とコンテキスト長で変わる目安です。
編集方針と AI の使い方 →目次
手元の GPU が 12GB や 16GB なのに、「Qwen3.6-35B-A3B」という名前を見て候補から外してしまうケースは少なくありません。ただ、このモデルは総パラメータが 35B ありながら、1 トークンの計算に動かすのは約 3B だけです。メモリ容量は 35B 分要りますが、計算の軽さは 3B 級で済みます。
配布サイトには huihui-ai、HauhauCS、Bahushruth などの abliterated 版が並んでおり、同じモデル名でも 12GB の GPU で動く 11GB の配布から 48GB 向けの 44GB 版まで幅があります。
12GB なら HauhauCS の IQ2_M、16GB なら IQ3_M、24GB なら Q4_K_M が出発点です。Ollama の手軽さを優先するなら huihui-ai、加工方法の検証が目的なら Bahushruth v4 を選べば迷いません。
Qwen3.6-35B-A3B の仕様と MoE 構造#
2026 年 4 月に Alibaba の Qwen チームが公開したオープンウェイトモデルで、ライセンスは Apache 2.0(商用利用可)です。
| 項目 | 値 |
|---|---|
| 総パラメータ | 約 35B |
| 1 トークンあたりの活性パラメータ | 約 3B |
| レイヤー数 | 40 |
| エキスパート数 | 256(8 routed + 1 shared) |
| コンテキスト長 | 262,144 トークン(拡張で約 101 万) |
| 入力 | テキスト・画像・動画 |
| ライセンス | Apache 2.0 |
Mixture of Experts(MoE)は入力ごとに一部のエキスパートだけを使う構造で、このモデルでは 256 個のうち 8 個と共通の 1 個を選んで計算します。重み全体はメモリに置くため容量は 35B 分見込む必要がありますが、推論速度は 3B 並みに軽くなります(40 層のうち 30 層が線形注意・10 層が通常注意のハイブリッド構成)。
2026 年 11 月 6 日時点で Hugging Face の公式リポジトリ はダウンロード 4,388,118 回、いいね 3,088 件となっています。
abliterated 版の主な配布と特徴#
配布形態はローカル向けの GGUF、フル重み(BF16)、Apple Silicon 向けの MLX、サーバー向けの FP8 に分かれ、加工手法も量子化の作り方も異なります。
| 配布 | 加工・形式 | ファイルサイズ | 向く環境 |
|---|---|---|---|
| HauhauCS Aggressive | abliteration + K_P quant | 11〜44GB | 12〜48GB の GPU、Ollama |
| huihui-ai MTP | abliteration + MTP | 13.2〜71.1GB | Ollama、MTP 対応環境 |
| Bahushruth v4 | 正規化保存の 1 方向除去 | BF16 約 72GB | 加工の検証、学習 |
| huihui-ai ベース | abliteration | BF16 約 72GB | 再量子化、研究 |
| MLX 系 | 4bit / 6bit / 8bit | 配布元による | Apple Silicon |
HauhauCS Aggressive#
2026 年 4 月 17 日公開で、11 月 6 日時点でダウンロード 1,256,641 回、いいね 4,103 件です(Hugging Face)。モデルカードには「465 問中 0 件の拒否」と公表されており、モデルごとに品質を残す箇所を調整した K_P 量子化(IQ2_M 11GB〜Q8_K_P 44GB)を揃え、llama.cpp や LM Studio でそのまま読み込めます。
Ollama では fredrezones55/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive(タグ latest、Q2_K_P、Q4、IQ2_M、IQ4_XS)で配布されています。なお、カード上には「拒否とは別に短い注意書きが末尾に付くことがある」と注記されており、拒否率 0 でも文末の添え書きが完全に消えるとは限りません。
huihui-ai(MTP 付き GGUF・Ollama 公式タグ)#
ベース abliterated 版は 2026 年 4 月 18 日、MTP(Multi-Token Prediction:複数トークンをまとめて予測する仕組み)付きの GGUF は 5 月 19 日に公開されました(Hugging Face)。
MTP 版はダウンロード 4,693,464 回・いいね 77 件で、サイズ別の内訳は Q2_K 13.2GB、Q3_K 17.2GB、Q4_K 21.7GB、Q5_K 25.3GB、Q6_K 29.2GB、Q8_0 37.8GB、F16 71.1GB です(画像用 mmproj は別で 899MB)。
Ollama なら huihui_ai/Qwen3.6-abliterated(35b-a3b、35b-a3b-q4_K、35b-a3b-q8_0、35b-a3b-bf16)で最も手軽に取得できます。なおダウンロード数はツールによる自動取得でも増えるため、HauhauCS(いいね 4,103)と huihui-ai(いいね 77)の人気比較は更新頻度やいいね数も合わせて見ます。
Bahushruth v4(正規化保存の検証向け)#
正規化保存(norm-preserving)の直交化により、7,356 個の有害プロンプトから作った 512 ペアを使って 40 層すべての残差ストリームから拒否方向を 1 つ抜いた版です(Hugging Face)。
v1(拒否 0 だが能力低下)・v3(能力維持だが拒否 94% 残存)を経て v4 で両立したと記載され、モデルカードでは有害 16 問で拒否 0・無害誤拒否 0 と報告されています。ただし 16 問という規模は HauhauCS の 465 問とは条件が違うため、数字の直接比較はできません。BF16 本体は約 72GB あり、24GB GPU では GGUF 再量子化版を使います。
Mac(MLX)と vLLM 向け#
Apple Silicon では leonsarmiento の 6bit XL MTP や froggeric の Heretic 4bit などの MLX 版があり、LM Studio からは 4bit か 6bit が扱いやすいです。複数人への API 配信には coolthor の FP8 版や AWQ・GPTQ 版が向いています。
12GB・16GB・24GB GPU で動く量子化の目安#
重みファイル単体の大きさだけでなく、会話履歴を保持する KV キャッシュとコンテキスト分のメモリを加味して選びます。
| GPU メモリ | 現実的な量子化 | ファイルサイズ | コンテキストの目安 |
|---|---|---|---|
| 12GB | HauhauCS IQ2_M | 11GB | 8K 程度から |
| 16GB | HauhauCS IQ3_M / Q2_K_P | 15GB | 8K〜16K |
| 24GB | HauhauCS Q4_K_M / huihui Q4_K | 21GB / 21.7GB | 16K〜32K |
| 32GB | Q5_K_P / IQ4_XS | 28GB / 19GB | 16K〜32K |
| 48GB | Q6_K_P / Q8_K_P / Q8_0 | 31GB / 44GB / 37.8GB | 長いコンテキスト向け |
| IQ2_M | 11GB | |
|---|---|---|
| IQ3_M | 15GB | |
| IQ4_XS | 19GB | |
| Q4_K_M | 21GB | |
| Q5_K_P | 28GB | |
| Q6_K_P | 31GB | |
| Q8_K_P | 44GB |
仕様上の最大 262,144 トークンは家庭用 GPU ではメモリが足りないため、まず 8K か 16K で動かします。特に 24GB で Q4_K_M(21GB)を選ぶと mmproj(899MB)と KV キャッシュだけでギリギリになるため、32K を常用したいなら Q3_K_P か IQ4_XS に落とします。12GB の IQ2_M(11GB)も画像入力や長文では溢れるため、テキスト専用・短コンテキスト前提で試すのが現実的です(Q2 級で品質の崩れが気になる場合は IQ3 以上+短コンテキストのほうが安定します)。
Ollama と llama.cpp での実行コマンド#
最短で試すなら Ollama からタグを指定して起動します(タグは Q4 など大文字・小文字を配布ページどおりに合わせます)。
ollama run huihui_ai/Qwen3.6-abliterated:35b-a3b-q4_K
HauhauCS 版を使う場合のコマンドは次のとおりです。
ollama run fredrezones55/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive:Q4
llama.cpp で直接動かすなら、GGUF 本体と画像用 mmproj、--jinja(チャットテンプレート有効化)を指定します。24GB で Q4_K_M を使う場合は -c 16384 から始め、テキストしか使わないなら --mmproj を外してその分の VRAM を空けられます。
llama-cli -m "Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf" --mmproj "mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" --jinja -c 16384 -ngl 99
Mac では MLX 版を LM Studio で開くのが手軽で、32GB 前後の Mac なら 4bit、余裕があれば 6bit を選びます(基礎知識は Ollama で検閲なし LLM を動かす と GGUF の量子化とは?)。
選ぶ前に確認したい 4 つの注意#
- 拒否率の数字は測定条件が揃っていない: HauhauCS は 465 問、Bahushruth は 16 問で測っており、0% という数値だけを横並びにはできません。
- Q2 級での品質の変化: ファイルサイズ優先の Q2 では指示追従性が変わる場合があるため、普段使うプロンプトを 5 つほど用意して量子化ごとに比較します。
- LM Studio 上の「?」表示:
K_Pは HauhauCS 独自の量子化のため、LM Studio の一覧で量子化名が「?」と出ることがあります(モデルカードにも表示上の仕様と明記されており、読み込み自体は可能です)。 - MTP と派生ライセンス: MTP の速度効果は実行ツールが対応していないと効きません。またベースは Apache 2.0 でも派生側の追加条件が付く場合があるため、商用利用時はモデルカードと出力権利を確認します。
検閲を外したモデルは、誤った情報もそのまま出力します。拒否しないことと正確であることは別なので、医療・法律・安全に関わる判断に使う場合は必ず一次情報で裏を取ります。
GPU や環境構築なしでまず応答感を見たい場合は、Deepent Research の無料トライアル でブラウザから試せます。
よくある質問#
Qwen3.6 と Qwen3.8 はどちらを選べばよいですか?#
GPU メモリと求める特性で決めます。24GB なら Qwen3.6 の Q4_K_M、16GB なら Qwen3.8-27B の 4bit 級か Qwen3.6 の IQ3_M が候補です(Qwen3.8-27B の比較は Qwen3.8-27B abliterated は加工元でどう違う? にあります)。
12GB の GPU でも動きますか?#
HauhauCS の IQ2_M(11GB)が最小の候補です。ただし mmproj と KV キャッシュを足すと余裕がほとんどないため、画像入力を外してコンテキスト 8K 程度から試すのが現実的です。
「拒否率 0%」は信じてよいですか?#
いずれも配布元の自己測定で、HauhauCS は 465 問、Bahushruth は 16 問と条件が異なります。数字をそのまま鵜呑みにせず、自分の用途のプロンプトで拒否の有無と品質を確かめてください。
Ollama のタグはどれを選べばよいですか?#
24GB なら Q4 または 35b-a3b-q4_K、16GB なら IQ3_M または Q2_K_P、12GB なら IQ2_M です。配布ページのサイズ表と ollama show の出力を見て決めます。
日本語は使えますか?#
Qwen 系は日本語を含む多言語に対応しています。ただし強い量子化をかけると崩れやすくなるため、短い要約や言い換えを 3 問ほど試してから採用を決めると安心です。
この仕組みを、試す
Deepent Research は、回答を極限まで拒否しない LLM チャットサービスです。この記事で扱ったモデルと技術を、ダウンロードなしでそのまま試せます。
本記事は教育・研究目的の情報提供です。違法行為や犯罪の助長を意図するものではありません。
本記事の編集と検証
編集部が一次情報の原文を確認し、事実関係を整理して公開しています。確認した範囲と、確認していない範囲は記事中の「編集部の確認メモ」に書いています。
関連ノート
Qwen3.8-27B abliterated は加工元でどう違う?4 系統の比較と選び方
Qwen3.8-27B abliterated は加工元ごとに中身が違います。huihui-ai・orcarouter・Heretic・RVN の 4 系統を、加工範囲・量子化・公表値で比べ、16GB GPU と Mac(MLX)での動かし方まで整理します。
GGUF の量子化とは?Q4_K_M・Q8_0 の違いと選び方【ローカル LLM はどれを選ぶ?】
GGUF の量子化とは何か、Q4_K_M など記号の読み方、Q4・Q6・Q8 の精度と速度の違い、自分の PC に載るサイズの見積もり方を、Llama 3.1 8B の公開研究値をもとに解説します。ローカル LLM の選び方が分かります。
Ollama で検閲なし LLM を使うには?モデルの選び方と日本語の注意点
Ollama で検閲なし(uncensored)LLM を使う手順を、モデルの探し方から量子化の選び方まで解説します。日本語で使うときの確認手順と、起動しない・遅いといったつまずきやすい点も整理します。GPU メモリに合わせた選び方が分かります。