CloudflareがK2を出した理由は、「落ちないイベントの通り道」を作るためだった
Cloudflareが、サーバーレスの event streaming サービス「K2」を public beta として公開した。Kafka のような仕組みを連想すると分かりやすいが、K2 はクラスタ運用を前提にした製品ではなく、Cloudflare の Developer Platform 上で動く“耐久性のあるログ”として設計されている。記事の中心にあるのは、送信側と受信側の速度や稼働状況をそろえなくても、イベントを失わずに受け渡しできるようにする、という発想だ。Cloudflare はこれを自社の Pipelines 向けに必要になった機能として説明していて、単なる新製品紹介というより、同社のストレージや処理基盤の組み合わせ方を示す話でもある。 元記事がまず問題にしているのは、従来の RPC 型の構成では、送信側と受信側が同じ速度で動いていないとイベントを失いやすい、という点だ。たとえば送信元が大量のデータを吐き出したのに、受け手や下流サービスが追いつかなければ、処理しきれない分が落ちる。しかも受信側が複数あると、analytics 系と fraud detection 系のよ
papoo.work