#amd

Waferは、GLM-5.2をAMDのMI355X GPU上で動かし、かなり高い性能を出した。 しかもポイントは「速い」だけでなく、「Blackwell系より2倍以上安いのに性能効率が高い」こと。 ただし、AMDで最先端LLMをそのまま使うのは簡単ではなく、quantizationやinference frameworkの調整がかなり効いている。 speculative decode という高速化手法のために、ROCm向けの小さな修正も必要だった。 個人的には、ここで見えるのは「GPUの勝負」だけではなく、「ソフトウェアの面倒をどこまで減らせるか」が勝負になってきた、という現実だと思う。 Waferの記事は、タイトルの通りかなりストレートです。要するに「1ドルあたりの性能、まだ伸ばせるし、しかも安くできる」という話です。対象はGLM-5.2というオープン系の大規模言語モデルで、これをAMD MI355X上でかなりうまく動かした、という内容でした。 まず数字が強いです。Waferは、20k input / 1k output、cache hit rate 60% という条件で、1ノードあ

AMDは、新しいRyzen AI Max+ Pro 495を発表 16コア32スレッド、最大5.2GHzというかなり強力なCPU ただしGPUは旧世代のRDNA 3.5のままで、劇的進化とは言いにくい AMDは「最大3000億パラメータのAIモデルを単独で動かせる」とアピール さらに、6インチ四方の超小型AI開発PC「Ryzen AI Halo」も投入 価格はどちらも4,000ドル級で、NvidiaのDGX Sparkと真っ向対決 WindowsとLinuxの両対応で、AI専用機というより“普通のPC”としても使いやすいのが強み Gizmodoの記事は、AMDがNvidiaのAI向けPC戦略に対して、かなり露骨に競争を仕掛けていると伝えています。 しかも面白いのは、「NvidiaのCPUが出る前に、もう勝負をかける」という構図です。まだ本格登場前の相手に先手を打つあたり、かなり攻めた動きだと思います。 今回の主役は、AMDの新しい Ryzen AI Max+ Pro 495。 名前からして長いですが、要するに「AMDの中でもかなり強い、AI時代向けの上位チップ」です。 このチッ