#optimization

2016年製のXeon、DDR3メモリ、GPUなしという“普通なら無理”な環境でLLMを動かした話 速さのカギはCPU性能よりもmemory bandwidth（メモリからデータを運ぶ速さ） speculative decoding で、重いモデルの前に軽いモデルを走らせて高速化している MoE（Mixture of Experts）モデルでは、どの expert をどう扱うかが性能に直結する mlock や run-time-repack みたいな地味な最適化が、古いマシンではかなり効く 便利な黒箱ツールではなく、細かいフラグを理解して使い分けることが重要 「10年前のXeonで最新級のLLMを動かす」と聞くと、正直かなり無茶に見えます。 でも今回の元記事は、その“無茶”をちゃんと工夫で押し切る話で、かなり面白いです。私はこういう、性能の限界をソフトウェアでねじ伏せる系の話が大好きです。ロマンがあります。 舞台は、2016年製の Intel Xeon E5-2620 v4 を積んだ再生サーバー。 メモリはなんと **128GB DDR3

IIScの紹介記事は、AIでは苦戦しやすい組合せ最適化問題に向けた新しい計算機の話を扱っている 研究の主役は、neuromorphic computer（脳のように動く計算機）とIsing machine、そしてFowler-Nordheim annealerという仕組み 目的は、ただ速く計算することではなく、複雑な解の中から“よさそうな答え”を探索すること 研究はNature Communicationsに掲載され、IIScを含む国際共同研究として進められた 個人的には、これは「AIをもっと賢くする」話というより、そもそも計算のやり方を変える発想が面白いと思う Indian Institute of Science（IISc）の記事「A Eureka machine that thinks like nature and explores what AI cannot」は、かなりざっくり言うと、AIが得意ではない種類の問題を解くための新しい計算機について紹介しています。 ここで言う“Eureka machine”は、単な

jank が 独自の custom IR（中間表現） を導入した これまでの LLVM IR では、Clojure 的な意味をうまく表せず最適化しづらかった 新しい IR は Clojure の semantics に寄せた高レベル設計 で、最適化の余地を増やす狙いがある IR は SSA形式 と CFG（制御フローグラフ） で表現され、解析しやすい まずは recursive fibonacci をベンチマークに、jank を JVM 版 Clojure に近づける作戦 この記事時点ではまだ最適化パスは本格稼働していないが、土台は整った Clojure系の言語を作っている jank が、自前の IR（Intermediate Representation / 中間表現） を持つようになった、というのがこの記事の主題です。 IRというのは、ざっくり言うと「ソースコードをそのまま機械語にする前に、一度コンパイラが扱いやすい形に変換したもの」です。 ちょっと難しく聞こえますが、要するに 翻訳の途中にある“整理された下書き” み