実企業のタスクには、ライブシステム全体でのマルチステップ推論が必要です。RL 環境は、本番データに触れることなく、エージェントが大規模にワークフローを練習できる現実的なシミュレーションです。
実際のコミュニティデータが seeding された本番スタイルのワークスペースで、チャンネル、スレッド、DM をナビゲートします。
最も困難な実世界のタスクは複数のツールにまたがります。ツール切り替えとコンテキスト保持を必要とするエンタープライズエージェントをテストします。
CRM、クラウドサービスなど — 同じ基準で構築されています。
製品、注文、在庫を備えた完全なマーケットプレイス。エージェントは検索、比較、カスタマーリクエストの管理を学習します。
厳格なプライバシー制御により、求人投稿、候補者ステージ、面接スケジュールを管理します。
ターゲットの行動、ドメイン、タスクの複雑さ、成功指標。
フルスタックシミュレーション：API、データベース、データシーディング、GUI、MCP 対応インターフェース。
6 つの複雑さレベルにわたる数千のタスク。多次元評価基準。解決可能性と多様性を検証済み。
インフラ対応コンテナ。トレーニングスタックにプラグイン。継続的なサポートを含む。
優先順位付けと意思決定を必要とするマルチステップのビジネスワークフローをテストします。
成功は、ステップを完了するだけでなく、健全な判断を下すことです。
エージェントがソフトウェアと正確かつ検証可能に相互作用するかどうかをテストします。
すべての結果はシステムステートに対して直接チェックされます。
曖昧で人間中心のタスクには判断力を、決定論的なシステム操作には正確性を。片方だけの評価では全体像はつかめません。
