#reinforcement_learning

この記事は、hierarchical TD3 と anchor policy を組み合わせた強化学習の研究紹介だと読み取れる TD3 は、ロボット制御などでよく使われる 連続値の行動を学ぶ強化学習手法 の一つ hierarchical というのは、ざっくり言うと 1つの大きな判断を、いくつかの小さな役割に分ける 発想 anchor policy は、学習が暴れすぎないようにする 基準点・支え役 のようなものだと考えるとわかりやすい ただし、今回の元記事本文は Reddit 側で verification 待ちの表示しか取れておらず、詳細な本文内容そのものは確認できない 今回の元記事は、Reddit の `r/MachineLearning` に投稿された 「noml/noml: Hierarchical TD3 + Anchor Policy for ...」 というタイトルのスレッドです。 ただし、抽出できた本文は `Reddit - Please wait for verification` という表示だけで、肝心の投稿内容ま

CursorのAIエージェント「Composer 2.5」が公開された Composer 2と比べて、長時間のタスクを粘り強くこなす能力や、指示への追従性が改善された 進化のカギは、ターゲットを絞ったテキストフィードバック、合成データの大幅増加、大規模分散学習の工夫 ただ「賢くなった」だけでなく、ふるまいの質まで改善しようとしているのが面白い 価格は据え置きではないが、高速版の方が他のフロンティアモデルの高速 tier より安いとCursorは説明している Cursorが発表した Composer 2.5 は、Cursor内で使えるAIエージェントの新バージョンです。 この記事を読んでまず感じるのは、Cursorが重視しているのは「ベンチマークで点が高いモデル」だけではない、ということです。 もちろん知能は大事ですが、実際にコードを書かせたり、ツールを使って長時間作業させたりすると、会話の仕方や粘り強さ、変な方向に脱線しないことがめちゃくちゃ重要になります。 CursorはComposer 2.5に

Agora-1は、複数の人間やAIが同じシミュレーション世界をリアルタイムで共有できるworld model 1人だけで動く従来型と違い、最大4人が同時に同じ世界で対戦できる 仕組みは大きく分けて、「世界の状態を学習するモデル」と「その状態を映像として描画するモデル」の2つ ゲームだけでなく、robotics、教育、防衛、foundation model研究などへの応用も視野に入れている 複数エージェントが絡むことで、強化学習の新しい訓練環境としても面白い まず前提として、world model という言葉が少しわかりにくいかもしれません。 ざっくり言うと、「世界が次にどう変化するか」を学習して、シミュレーションを作るAIのことです。 たとえば、 ボタンを押したらキャラが動く ぶつかったら位置が変わる 銃弾が飛んだら敵が倒れる みたいな「ゲームのルールと見た目」を、AIがある程度まとめて理解し、それっぽい世界を自分で生成できるわけです。 Odysseyが公開した Agora-1 は、そのworld mode