#typescript

同じようなLLM呼び出しを毎回APIに投げると、当然そのぶん課金される 著者は `llm-cacher` というNode.js向けライブラリを作り、LLMレスポンスのキャッシュを試した ふつうの「完全一致キャッシュ」だけでなく、意味が近いプロンプトをまとめる semantic caching も扱う storageは `memory` / `file` / `SQLite` / `Redis` / `DynamoDB` などを選べる streaming response もキャッシュできるようにしているのが地味にすごい OpenAIやAnthropicのSDKを直接使いながら、フレームワークに寄りかからず導入できるのが売り この記事の出発点はとてもシンプルです。 「AIに同じような質問を何度もしていたら、請求額が思ったより高くなった」 という話。 これ、かなりあるあるだと思います。 開発中って、つい同じプロンプトを何回も投げますよね。文言は少し違っても、やっていることはほぼ同じ。しかもLLMは1回ごとに課金される。つまり、テストを重ねるほどお金が溶けるわけです。 著者は

For Claude and Claude Code developers, this kind of project stack is interesting because it points at the unglamorous but essential layer around agents: telemetry, orchestration, and reusable tooling. The article is short, but it highlights a practical open-source TypeScript toolkit that seems aimed at people building real multi-agent workflows rather than just demos. The site presents stack.cardor.dev as a collection of open-source TypeScript developer tools. The project is authored by

Genkitに、generate() の流れへ差し込める middleware が追加された 役割は、retry / fallback / 監査ログ / human approval / filesystem access などの共通処理をまとめること middleware は model / tool / generate の3段階に分かれていて、用途ごとに使い分けられる 公式の built-in middleware が `@genkit-ai/middleware` として提供されている 自作 middleware も `generateMiddleware` で作れるので、独自ルールをきれいに再利用しやすい 個人的には、AIアプリの「地味だけど絶対必要な面倒」をフレームワーク側に寄せたのがかなり良いと思う DZoneの記事は、Genkit の新しい middleware システムをかなり実践寄りに紹介しています。ざっくり言うと、LLM に何かをお願いする前後に、横から処理を差し込める仕組みです。 これ、普通のWeb開発でいう Expres