AI4AI-Bench: AI 에이전트의 알고리즘 설계 능력 측정 벤치마크

핵심 요약

• 무엇을 · AI 시스템이 스스로 AI 시스템을 만드는 과정을 개선할 수 있는지, 즉 AI가 훈련 알고리즘을 설계할 수 있는 능력을 측정하는 벤치마크를 개발했습니다.
• 어떻게 · AI4AI-Bench는 10가지 훈련 알고리즘 계열을 포함하는 10개의 고정된 연구 저장소로 구성됩니다. 각 과제에서 AI 에이전트는 4시간 동안 훈련 알고리즘을 수정하고, 수정된 코드는 최대 12시간 동안 재실행되어 숨겨진 평가자에 의해 점수가 매겨집니다. 점수는 기존 알고리즘(0.1점)과 최적 성능(1.0점) 사이의 척도로 변환됩니다.
• 결과 · 29가지 구성의 6개 시스템을 10개 과제에 적용한 결과, 평균 점수는 0.166점이었고, 최고 시스템은 0.250점에 도달했습니다. 이는 기존 알고리즘과 최적 성능 사이의 간격 중 5분의 1도 채우지 못하는 수준입니다. 대부분의 AI는 모델 학습 방식을 전혀 변경하지 않았으며, 변경한 소수의 AI가 더 높은 점수를 얻었습니다. 추론 노력을 늘리면 학습 방식 변경 시도가 증가했지만, 여전히 최적 성능에는 미치지 못했습니다.

왜 중요한가

기존 벤치마크들은 데이터 수집이나 하이퍼파라미터 튜닝에 초점을 맞춰 AI가 스스로 학습 알고리즘을 설계하는 능력을 제대로 측정하지 못했습니다. 이 벤치마크는 AI의 재귀적 자기 개선(RSI) 가능성을 평가하는 데 필수적인 핵심 능력을 고립시켜 측정합니다.

실생활·산업 영향

AI가 스스로 더 효율적인 학습 알고리즘을 설계할 수 있다면, 미래의 AI 시스템은 훨씬 더 빠르게 발전하고 성능이 향상될 수 있습니다. 이는 AI 연구 및 개발의 근본적인 변화를 가져올 잠재력이 있습니다.

한계·주의

현재 AI 에이전트들은 훈련 알고리즘을 설계하는 데 있어 기존 알고리즘 대비 최적 성능에 크게 미치지 못하며, 특히 모델의 학습 방식을 근본적으로 변경하는 데 어려움을 겪고 있습니다.