#データベース

検索基盤の話は、一見すると地味です。けれど、裏側の設計が変わると、検索の速さだけでなく、できることの幅まで変わります。turbopufferはまさにそこをいじり始めました。ベクトル検索を売りにしてきた同社が、次の版では「ベクトルを主キーにしない」構造へ移ると宣言したのです。単なる内部改修ではなく、製品の性格そのものを変える話だと思います。 turbopufferは、検索基盤のストレージ設計を大きく変えると発表した。新しい版である turbopuffer v3 では、文書とインデックスの配置、書き込み、圧縮、クエリの扱い方まで見直す。狙いは単に vector search を速くすることではない。text search、regex search、そして将来的にはより多くの SQL クエリまで、全体を速くする土台を作ることにある。 このサービスは最初、serverless vector database として始まった。オブジェクトストレージを真実の保管場所にし、NVMe SSD とメモリの階層的なキャッシュで速度を出す設計だった。初期の利用者としては Cursor や Notion が挙

PlanetScaleが、Postgres向けの全文検索拡張「TIN」をGAとして公開した。検索エンジンというと専用プロダクトを思い浮かべがちだが、今回の話は「Postgresの中でどこまで実用的な全文検索をやれるのか」に踏み込んでいる。しかも単なる追加機能ではなく、更新が続く本番DBで検索を走らせる前提にかなり強く寄せているのが面白い。この記事では、その主張とベンチマークの見せ方がかなりはっきりしている。 PlanetScaleは、顧客から最もよく求められるPostgres機能のひとつが全文検索だとして、TINを発表した。TINは “Text INdex” の略で、PostgresとNekiの両方で使える全文検索拡張としてGA扱いになっている。使い方は素直で、`CREATE INDEX ... USING tin(...)` でインデックスを作り、`==>` 演算子で検索する。元記事では、商品説明から「stretch denim jeans」を含む上位10件を返す例、メール本文から特定の語を含む文書を拾う例、写真のタグの件数を数える例が示されていた。 PlanetScaleがTINに

Postgres のクエリオプティマイザは本当に賢いのか。Rohan Bansal の記事は、その問いに対して小さな open-weights モデルを使ってかなり挑んだ実験を紹介している。題材は SQL の join order と実行計画で、しかも単なるベンチマーク比較ではなく、reinforcement learning まで使ってモデルを後から鍛えたという点が面白い。データベースの内部で何が起きているのかが分かるだけでなく、LLM を「文章生成」以外にどう使うかの実例にもなっている。 記事の中心は、4Bサイズの Qwen モデルを後学習させて、Postgres のデフォルトより速い query plan を出させた、という実験だ。筆者はまず、クエリオプティマイザが何をしているのかを、IMDb データセットの例で説明する。`title`、`movie_companies`、`company_name` などのテーブルを結合して「2000年代に作品を出した日本企業はどこか」を調べるような SQL を考えると、同じ結果にたどり着くにしても join の順序や join algorit

PlanetScaleが、sharded Postgres をうたう「Neki」をplatform previewとして公開した。単に「Postgresをもっと速くした」と言っているのではなく、1台のマシンの限界にぶつかる前提で、最初から分散運用できる形に作り直した、という話だ。元記事はかなり技術寄りだが、要するに既存のPostgresアプリを大きく壊さずにスケールさせたい人向けの新しい選択肢を出した、というニュースである。しかもPlanetScaleは、これをMySQLで培った分散運用の知見の延長として語っている。 Nekiは、PlanetScaleが公開した sharded Postgres のプラットフォームだ。platform previewとして利用できるようになったが、記事でははっきり「この段階のNekiで本番ワークロードは走らせるべきではない」と注意している。まだ変化が大きく、壊れる変更もありうるからだという。 PlanetScaleによれば、Nekiは同社が8年間かけて運用してきた大規模な sharded MySQL クラスタの経験から生まれた。何千もの本番ワークロード

Rustで使える埋め込み型のkey-value storeとして、TurboKVというライブラリがGitHubで公開されています。単に「速いDBです」で終わる話ではなく、非同期API、batchの原子性、range scan、耐久性の切り替え、圧縮、バックグラウンドcompactionまで含めて、かなり実戦的な機能をひと通り揃えているのが目を引きます。Rustで小さく始めたいが、あとから保存方式や一貫性で困りたくない、という人には気になる存在です。今回はそのREADMEを軸に、何を目指したDBなのかと、そこから見える設計の匂いを追います。 TurboKVは「A fast, simple, and embedded key-value store for Rust」と名乗る、非同期の埋め込み型データベースです。READMEでは、atomic batches、ordered range scans、configurable durability、compression、background compaction を備えると説明されています。つまり、単純な `get` / `put` だけの

Databricksのこの記事は、Postgresを土台にしたサーバーレスDB「Lakebase」と、その先にある「LTAP」という考え方を紹介しています。 話がかなり技術寄りなので、最初は「何のことだ？」となるかもしれません。でも中身はわりとシンプルで、ひと言でいえばデータベースの“保存のしかた”を根っこから見直そうという話です。 いま多くのデータベースは、書き込みログも実データも、だいたい1台のマシンの中で抱え込んでいます。この記事はそこを「そもそも古くないか？」と疑い、クラウド時代に合う形へ組み替えています。ここがかなり面白い。 しかも単なる理想論ではなく、書き込みの安全性、読み取りの拡張、障害対策、分析処理との干渉まで一気に整理しているのがポイントです。 伝統的なデータベースは、WAL（書き込みログ）と data files（実データ）を1台のマシンに持つ「monolith」になりがち その構造だと、データ消失のリスク、read replica の高コスト化、分析処理による遅延が起きやすい Lakebase は Postgres の compute を stat