#分類器

大きなLLMに文章を書かせるのではなく、与えた選択肢のどれが適切かを素早く選ばせる。そんな用途に絞って作られたのが、GitHubで公開されている「Jeff」というプロジェクトだ。元記事は、Qwen3.5とGemma 4をゼロショット分類向けにファインチューニングしたモデル群の中身と、実際の速度や精度をかなり具体的に示している。派手な生成AIではなく、現場の分岐判断をどれだけ軽く、安定してさばけるかを見せる内容になっている。 元記事の主題は、firelex/jeff というGitHubリポジトリにあるモデル群の説明だ。Jeff は Qwen3.5 と Gemma 4 をゼロショット分類向けに調整したもので、文脈を文章で与え、選択肢を平易な言葉で並べると、その中からどれが合うかを確率つきで返す。生成文を出すのではなく、1回の forward pass で「どの विकल्पが正しそうか」を出す設計で、著者はこれを「小さくて速い decision model」と位置づけている。 対応する入力形式は、たとえば「荷物が壊れて届いたので返金したい」という状況文に対して、「Refunds and p

家のことを聞ける chatbot を作るために、質問をまずカテゴリ分けしている その分類を、わずか 0.6B パラメータの local LLM にやらせているのが実験の肝 ふつうの prompting だけでは精度が低く、fine-tuning で一気に改善した さらに、カテゴリ名そのものではなく短いコードに変えたら、精度がもう一段上がった ただし「water heater」と「pool」みたいな、水っぽい意味のかぶりはまだ苦手 大きいモデルを何でも屋にするより、小さいモデルに仕事を絞って任せる発想がかなり実用的だと思う 家庭内の質問に答える chatbot を作る、という発想自体がまず楽しいです。 「この部屋のエアコン、いつ替えたっけ？」とか「この前、プールのポンプを直したのはいつだっけ？」みたいな、生活の中の細かい記憶を引っ張り出してくれる相棒ですね。記事では、こうした家庭の知識を RAG で持たせています。RAG というのは、LLM が記憶だけで答えるのではなく、外部のデータベースを検索して、その結果を見ながら答える仕組みです。検索エンジン付きの賢い返事、という理解でだいたい合っ