·更新 (導入の問いかけ・メタ宣言と見出し番号を整理)·15 分·Deepent Research 編集部·English

Qwen3.6-35B-A3B abliterated はどれを選ぶ?11GB から動く GGUF の見分け方

Qwen3.6-35B-A3B の abliterated 版は huihui-ai・HauhauCS・Bahushruth など複数あります。GGUF の実サイズから、12GB・16GB・24GB で動く量子化と、MTP・K_P・MLX の違い、拒否率の読み方を整理します。

対象: 12〜24GB の GPU で Qwen3.6-35B-A3B の abliterated 版を動かしたい人

この記事の要点

  • Qwen3.6-35B-A3B は総 35B・活性 3B の MoE です。メモリは 35B 分必要ですが、計算は 3B 級で済みます。
  • GGUF は HauhauCS の IQ2_M 11GB から Q8_K_P 44GB まであります。12GB なら IQ2_M、16GB なら IQ3_M、24GB なら Q4_K_M が現実的です。
  • huihui-ai は MTP 付きで Ollama が最も簡単、Bahushruth v4 は正規化保存の研究向け、Mac は MLX 版を選びます。

編集部の確認メモ

2026-11-13 時点で、Hugging Face の各配布ページと GGUF のファイルサイズ、Ollama のモデルページを確認しました。実機での起動確認はしていません。必要メモリは量子化とコンテキスト長で変わる目安です。

編集方針と AI の使い方 →
目次
  1. Qwen3.6-35B-A3B の仕様と MoE 構造
  2. abliterated 版の主な配布と特徴
  3. HauhauCS Aggressive
  4. huihui-ai(MTP 付き GGUF・Ollama 公式タグ)
  5. Bahushruth v4(正規化保存の検証向け)
  6. Mac(MLX)と vLLM 向け
  7. 12GB・16GB・24GB GPU で動く量子化の目安
  8. Ollama と llama.cpp での実行コマンド
  9. 選ぶ前に確認したい 4 つの注意
  10. よくある質問

手元の GPU が 12GB や 16GB なのに、「Qwen3.6-35B-A3B」という名前を見て候補から外してしまうケースは少なくありません。ただ、このモデルは総パラメータが 35B ありながら、1 トークンの計算に動かすのは約 3B だけです。メモリ容量は 35B 分要りますが、計算の軽さは 3B 級で済みます。

配布サイトには huihui-ai、HauhauCS、Bahushruth などの abliterated 版が並んでおり、同じモデル名でも 12GB の GPU で動く 11GB の配布から 48GB 向けの 44GB 版まで幅があります。

12GB なら HauhauCS の IQ2_M、16GB なら IQ3_M、24GB なら Q4_K_M が出発点です。Ollama の手軽さを優先するなら huihui-ai、加工方法の検証が目的なら Bahushruth v4 を選べば迷いません。

Qwen3.6-35B-A3B の仕様と MoE 構造#

2026 年 4 月に Alibaba の Qwen チームが公開したオープンウェイトモデルで、ライセンスは Apache 2.0(商用利用可)です。

項目値
総パラメータ約 35B
1 トークンあたりの活性パラメータ約 3B
レイヤー数40
エキスパート数256(8 routed + 1 shared)
コンテキスト長262,144 トークン(拡張で約 101 万)
入力テキスト・画像・動画
ライセンスApache 2.0

Mixture of Experts(MoE)は入力ごとに一部のエキスパートだけを使う構造で、このモデルでは 256 個のうち 8 個と共通の 1 個を選んで計算します。重み全体はメモリに置くため容量は 35B 分見込む必要がありますが、推論速度は 3B 並みに軽くなります(40 層のうち 30 層が線形注意・10 層が通常注意のハイブリッド構成)。

2026 年 11 月 6 日時点で Hugging Face の公式リポジトリ はダウンロード 4,388,118 回、いいね 3,088 件となっています。

abliterated 版の主な配布と特徴#

配布形態はローカル向けの GGUF、フル重み(BF16)、Apple Silicon 向けの MLX、サーバー向けの FP8 に分かれ、加工手法も量子化の作り方も異なります。

配布加工・形式ファイルサイズ向く環境
HauhauCS Aggressiveabliteration + K_P quant11〜44GB12〜48GB の GPU、Ollama
huihui-ai MTPabliteration + MTP13.2〜71.1GBOllama、MTP 対応環境
Bahushruth v4正規化保存の 1 方向除去BF16 約 72GB加工の検証、学習
huihui-ai ベースabliterationBF16 約 72GB再量子化、研究
MLX 系4bit / 6bit / 8bit配布元によるApple Silicon

HauhauCS Aggressive#

2026 年 4 月 17 日公開で、11 月 6 日時点でダウンロード 1,256,641 回、いいね 4,103 件です(Hugging Face)。モデルカードには「465 問中 0 件の拒否」と公表されており、モデルごとに品質を残す箇所を調整した K_P 量子化(IQ2_M 11GB〜Q8_K_P 44GB)を揃え、llama.cpp や LM Studio でそのまま読み込めます。

Ollama では fredrezones55/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive(タグ latest、Q2_K_P、Q4、IQ2_M、IQ4_XS)で配布されています。なお、カード上には「拒否とは別に短い注意書きが末尾に付くことがある」と注記されており、拒否率 0 でも文末の添え書きが完全に消えるとは限りません。

huihui-ai(MTP 付き GGUF・Ollama 公式タグ)#

ベース abliterated 版は 2026 年 4 月 18 日、MTP(Multi-Token Prediction:複数トークンをまとめて予測する仕組み)付きの GGUF は 5 月 19 日に公開されました(Hugging Face)。

MTP 版はダウンロード 4,693,464 回・いいね 77 件で、サイズ別の内訳は Q2_K 13.2GB、Q3_K 17.2GB、Q4_K 21.7GB、Q5_K 25.3GB、Q6_K 29.2GB、Q8_0 37.8GB、F16 71.1GB です(画像用 mmproj は別で 899MB)。

Ollama なら huihui_ai/Qwen3.6-abliterated(35b-a3b、35b-a3b-q4_K、35b-a3b-q8_0、35b-a3b-bf16)で最も手軽に取得できます。なおダウンロード数はツールによる自動取得でも増えるため、HauhauCS(いいね 4,103)と huihui-ai(いいね 77)の人気比較は更新頻度やいいね数も合わせて見ます。

Bahushruth v4(正規化保存の検証向け)#

正規化保存(norm-preserving)の直交化により、7,356 個の有害プロンプトから作った 512 ペアを使って 40 層すべての残差ストリームから拒否方向を 1 つ抜いた版です(Hugging Face)。

v1(拒否 0 だが能力低下)・v3(能力維持だが拒否 94% 残存)を経て v4 で両立したと記載され、モデルカードでは有害 16 問で拒否 0・無害誤拒否 0 と報告されています。ただし 16 問という規模は HauhauCS の 465 問とは条件が違うため、数字の直接比較はできません。BF16 本体は約 72GB あり、24GB GPU では GGUF 再量子化版を使います。

Mac(MLX)と vLLM 向け#

Apple Silicon では leonsarmiento の 6bit XL MTP や froggeric の Heretic 4bit などの MLX 版があり、LM Studio からは 4bit か 6bit が扱いやすいです。複数人への API 配信には coolthor の FP8 版や AWQ・GPTQ 版が向いています。

12GB・16GB・24GB GPU で動く量子化の目安#

重みファイル単体の大きさだけでなく、会話履歴を保持する KV キャッシュとコンテキスト分のメモリを加味して選びます。

GPU メモリ現実的な量子化ファイルサイズコンテキストの目安
12GBHauhauCS IQ2_M11GB8K 程度から
16GBHauhauCS IQ3_M / Q2_K_P15GB8K〜16K
24GBHauhauCS Q4_K_M / huihui Q4_K21GB / 21.7GB16K〜32K
32GBQ5_K_P / IQ4_XS28GB / 19GB16K〜32K
48GBQ6_K_P / Q8_K_P / Q8_031GB / 44GB / 37.8GB長いコンテキスト向け
Qwen3.6-35B-A3B abliterated の GGUF サイズ(HauhauCS)
IQ2_M11GB
IQ3_M15GB
IQ4_XS19GB
Q4_K_M21GB
Q5_K_P28GB
Q6_K_P31GB
Q8_K_P44GB

仕様上の最大 262,144 トークンは家庭用 GPU ではメモリが足りないため、まず 8K か 16K で動かします。特に 24GB で Q4_K_M(21GB)を選ぶと mmproj(899MB)と KV キャッシュだけでギリギリになるため、32K を常用したいなら Q3_K_P か IQ4_XS に落とします。12GB の IQ2_M(11GB)も画像入力や長文では溢れるため、テキスト専用・短コンテキスト前提で試すのが現実的です(Q2 級で品質の崩れが気になる場合は IQ3 以上+短コンテキストのほうが安定します)。

Ollama と llama.cpp での実行コマンド#

最短で試すなら Ollama からタグを指定して起動します(タグは Q4 など大文字・小文字を配布ページどおりに合わせます)。

ollama run huihui_ai/Qwen3.6-abliterated:35b-a3b-q4_K

HauhauCS 版を使う場合のコマンドは次のとおりです。

ollama run fredrezones55/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive:Q4

llama.cpp で直接動かすなら、GGUF 本体と画像用 mmproj、--jinja(チャットテンプレート有効化)を指定します。24GB で Q4_K_M を使う場合は -c 16384 から始め、テキストしか使わないなら --mmproj を外してその分の VRAM を空けられます。

llama-cli -m "Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf" --mmproj "mmproj-Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive-f16.gguf" --jinja -c 16384 -ngl 99

Mac では MLX 版を LM Studio で開くのが手軽で、32GB 前後の Mac なら 4bit、余裕があれば 6bit を選びます(基礎知識は Ollama で検閲なし LLM を動かす と GGUF の量子化とは?)。

選ぶ前に確認したい 4 つの注意#

  • 拒否率の数字は測定条件が揃っていない: HauhauCS は 465 問、Bahushruth は 16 問で測っており、0% という数値だけを横並びにはできません。
  • Q2 級での品質の変化: ファイルサイズ優先の Q2 では指示追従性が変わる場合があるため、普段使うプロンプトを 5 つほど用意して量子化ごとに比較します。
  • LM Studio 上の「?」表示: K_P は HauhauCS 独自の量子化のため、LM Studio の一覧で量子化名が「?」と出ることがあります(モデルカードにも表示上の仕様と明記されており、読み込み自体は可能です)。
  • MTP と派生ライセンス: MTP の速度効果は実行ツールが対応していないと効きません。またベースは Apache 2.0 でも派生側の追加条件が付く場合があるため、商用利用時はモデルカードと出力権利を確認します。
注意

検閲を外したモデルは、誤った情報もそのまま出力します。拒否しないことと正確であることは別なので、医療・法律・安全に関わる判断に使う場合は必ず一次情報で裏を取ります。

GPU や環境構築なしでまず応答感を見たい場合は、Deepent Research の無料トライアル でブラウザから試せます。

よくある質問#

Qwen3.6 と Qwen3.8 はどちらを選べばよいですか?#

GPU メモリと求める特性で決めます。24GB なら Qwen3.6 の Q4_K_M、16GB なら Qwen3.8-27B の 4bit 級か Qwen3.6 の IQ3_M が候補です(Qwen3.8-27B の比較は Qwen3.8-27B abliterated は加工元でどう違う? にあります)。

12GB の GPU でも動きますか?#

HauhauCS の IQ2_M(11GB)が最小の候補です。ただし mmproj と KV キャッシュを足すと余裕がほとんどないため、画像入力を外してコンテキスト 8K 程度から試すのが現実的です。

「拒否率 0%」は信じてよいですか?#

いずれも配布元の自己測定で、HauhauCS は 465 問、Bahushruth は 16 問と条件が異なります。数字をそのまま鵜呑みにせず、自分の用途のプロンプトで拒否の有無と品質を確かめてください。

Ollama のタグはどれを選べばよいですか?#

24GB なら Q4 または 35b-a3b-q4_K、16GB なら IQ3_M または Q2_K_P、12GB なら IQ2_M です。配布ページのサイズ表と ollama show の出力を見て決めます。

日本語は使えますか?#

Qwen 系は日本語を含む多言語に対応しています。ただし強い量子化をかけると崩れやすくなるため、短い要約や言い換えを 3 問ほど試してから採用を決めると安心です。

この仕組みを、試す

Deepent Research は、回答を極限まで拒否しない LLM チャットサービスです。この記事で扱ったモデルと技術を、ダウンロードなしでそのまま試せます。

本記事は教育・研究目的の情報提供です。違法行為や犯罪の助長を意図するものではありません。

本記事の編集と検証

編集部が一次情報の原文を確認し、事実関係を整理して公開しています。確認した範囲と、確認していない範囲は記事中の「編集部の確認メモ」に書いています。

Deepent Research 編集部·最終更新 ·編集方針と AI の使い方 →·運営者情報 →

関連ノート

·11 分

Qwen3.8-27B abliterated は加工元でどう違う?4 系統の比較と選び方

Qwen3.8-27B abliterated は加工元ごとに中身が違います。huihui-ai・orcarouter・Heretic・RVN の 4 系統を、加工範囲・量子化・公表値で比べ、16GB GPU と Mac(MLX)での動かし方まで整理します。

Qwenabliteratedモデル解説
·9 分

GGUF の量子化とは?Q4_K_M・Q8_0 の違いと選び方【ローカル LLM はどれを選ぶ?】

GGUF の量子化とは何か、Q4_K_M など記号の読み方、Q4・Q6・Q8 の精度と速度の違い、自分の PC に載るサイズの見積もり方を、Llama 3.1 8B の公開研究値をもとに解説します。ローカル LLM の選び方が分かります。

量子化GGUFローカルLLM
·8 分

Ollama で検閲なし LLM を使うには?モデルの選び方と日本語の注意点

Ollama で検閲なし(uncensored)LLM を使う手順を、モデルの探し方から量子化の選び方まで解説します。日本語で使うときの確認手順と、起動しない・遅いといったつまずきやすい点も整理します。GPU メモリに合わせた選び方が分かります。

uncensoredOllamaローカル LLM
この記事を共有X で共有