TAG
2 本の記事
GGUF の量子化とは何か、Q4_K_M など記号の読み方、Q4・Q6・Q8 の精度と速度の違い、自分の PC に載るサイズの見積もり方を、Llama 3.1 8B の公開研究値をもとに解説します。ローカル LLM の選び方が分かります。
ローカル LLM とは、AI のモデルを運営会社のサーバーではなく自分の PC で動かす使い方です。入力が外部に出ない利点、サービス型との費用の違い、PC スペックの目安、モデルの選び方、無料ソフト LM Studio での始め方を初心者向けに解説します。