文字を画像にしてトークンを節約する、かなり変わったProxy「pxpipe」
Claude CodeのようなLLM向けツールで、長いテキストをそのまま送らず、画像に変換してからモデルに渡す仕組み 文字がぎゅっと詰まった内容ほど得をしやすく、場合によってはトークン使用量を大きく削減できる ただし万能ではなく、IDやハッシュのような“1文字でも間違えたら困る情報”は危ない だからこそ、安くなる場面と危ない場面を見極める設計になっている 発想はかなり攻めているが、実務の痛点をちゃんと突いていて面白い pxpipeは、ひとことで言うと「LLMに渡す長文を、必要に応じて画像に圧縮してしまうローカルProxy」です。Proxyというのは、アプリとAPIのあいだに入って通信を中継する仕組みのこと。ブラウザの世界でいう“中継サーバー”みたいなものだと思えば大きく外れていません。 普通、LLMにたくさんの文章を読ませると、そのぶんトークンが増えます。トークンは、AIが文章を扱うときの細かい単位で、課金やコンテキスト長の計算に使われます。つまり、長文を入れるほどお金も容量も食う。これは避けようがない、と思われがちです。 でも pxpipe はそこに逆張りをします。大量のテキストをP
papoo.work