KAIST 강화학습 개론 · 프로젝트 ·
한국식 4구 당구: 추론 시점 탐색으로 푸는 연속·결정론적·희소 보상 벤치마크
포켓이 없는 캐롬 게임인 한국식 4구(사구)를 연속적·결정론적·희소 보상 강화학습 벤치마크로 정식화하고, 빠르고 정확한 물리 시뮬레이터를 구축했다. Off-policy RL(SAC/TD3)은 PPO보다 약 2.5배 우수하지만, 더 많은 학습량·커리큘럼·학습된 보상 모델을 더해도 원 과제는 이닝당 1점 아래에서 정체된다. 최초 접촉을 보장하는 조준 제약과 4개의 캐롬 기하 피처를 더하면 SAC 점수가 0.487에서 6.460점/이닝으로 뛴다. 마지막 도약은 추론 시점 탐색에서 나온다 — 시뮬레이터를 자체 검증기로 쓰는 탐욕적 depth-2 lookahead는 약 6점짜리 정책을 최대 9,392연속 득점·샷당 99.8% 성공률의 체인으로 바꾼다.






