OpenAIが自前LLMでチップ設計を回した理由
OpenAIが、AIモデルを使って自社のAIアクセラレータ「Jalapeño」の設計を進めたという話だ。しかも単に「AIを使いました」という程度ではなく、設計の前半部分で実際にLLMを組み込み、試作から量産に向かう流れをかなり短縮したとされている。半導体設計はもともと長い工程で知られるが、その時間をどこまで圧縮できるのかは、AI業界全体にとっても気になる。この記事は、その実例をOpenAI自身のケースから見せている。 IEEE Spectrumの記事が伝えているのは、OpenAIが25日に全面公開したAIアクセラレータ「Jalapeño」の設計プロセスだ。Jalapeñoは、最大13.4 petaflopsの4-bit計算性能を持ち、232 gigabytesのHBM4メモリにアクセスできる。帯域は15.4 terabytes per secondに達し、OpenAIが示したベンチマークでは、NvidiaのGB300と比べて、プロンプトから最後のトークンまでの遅延を最大3.6倍縮められるとしている。しかも消費電力はより少ないという。もっとも、これが実運用でそのまま出るかはまだ分からない
papoo.work