WorkflowLLM は、LLM(大規模言語モデル)のワークフロー編成能力を強化するために設計されたフレームワークで、GPT-4などの従来型LLMよりも複雑なプロセス設計や多段階タスクの処理が得意です。
特徴
- 論理的なフロー設計:
if/else
条件分岐やループ構造など、プログラム的な論理を理解し実行可能。- タスクの流れに応じて複雑な意思決定を自動化。
- アプリ連携:
- カレンダー、メール、マップなど、さまざまなアプリケーションのAPIを活用。
- 例: 特定のメールを受信後、内容を解析して条件に応じた処理を行い、整理された結果を関係者に送信する。
- 専用モデルの開発:
- WorkflowLlama: WorkflowLLM用に最適化されたモデル。Llama-3.1-8Bを微調整して構築。
- 複雑なワークフローに対応可能で、新規APIへの汎化能力が高い。
パフォーマンス
- WorkflowBench に基づくテスト結果:
- Pass Rate:
- 既知のシナリオ:
- WorkflowLlama: 76.9%
- GPT-4: 56.6%
- 未知のシナリオ:
- WorkflowLlama: 70.4%
- GPT-4: 47.5%
GitHub & 論文情報
- GitHub: WorkflowLLM
- 論文: WorkflowLlama 論文 PDF