때는 바야흐로 2020년, NeurIPS(AI 탑티어 학회)에 강화학습 연구에 넷핵을 쓴 논문이 등장 (페이스북측에서 연구함)

The NetHack Learning Environment

---

본 논문에서는 인기 있는 단일 플레이어 터미널 기반 로그라이크 게임인 NetHack을 활용하여, 확장 가능하고, 절차적으로 생성되며, 확률적이고, 풍부하며, 난이도가 높은 RL 연구용 환경인 **NetHack Learning Environment(NLE)**를 제안합니다. 우리는 NetHack이 탐험, 계획, 스킬 습득, 언어 조건부(language-conditioned) RL 등의 장기 연구 과제를 위한 충분한 복잡성을 갖추었으며, 동시에 대규모 경험 수집을 위해 요구되는 계산 자원을 극적으로 줄일 수 있음을 주장합니다.

맵 전체랑 플레이어 주위 9x9 맵 공간을 크롭한 맵 정보, 그리고 상태창 정보를 각각 CNN(이미지 인식 신경망)과 MLP(일반 신경망)를 통해 정보를 압축하고, LSTM(시계열 데이터 처리 신경망)에 넣어서 행동 분포 π를 추정

---

넷핵을 강화학습 환경으로 이용할 수 있는 프레임워크를 제공하는 논문이고

개인적으로 인상 깊었던 부분들 몇가지 발췌

---

논문에서는 10번 연속 승천하는 것을 "넷핵을 완전히 해결했다"로 정의

Staircase
초기 태스크는 다음 층으로 내려가는 계단을 찾는 것입니다. 우리의 에이전트는 문을 차서(kick) 부수거나, search 명령으로 비밀 통로를 찾는 법을 배우며, 최고 77.26% (수도승), 80.42% (마법사) 성공률에 도달합니다. 이는 잠긴 문을 잘못 차다 벽에 부딪혀 체력을 잃거나 사망할 위험이 있음에도 관련 스킬을 학습했음을 뜻합니다. RND를 적용하면 탐험이 더 촉진되어, 수도승은 +13.58%p, 발키리는 +16.34%p 등 성공률이 추가로 상승했습니다(마법사는 예외).

Pet
반려동물(강아지, 고양이 등)을 살려 두고 계단까지 동반하는 태스크입니다. 펫이 함정에 빠지거나 적에게 죽으면 실패합니다. Staircase 태스크보다 난이도가 높아서 성공률이 다소 낮게(예: 수도승 62.02%, 관광객 25.66%, 마법사 66.80%) 나타났지만, RND로 비슷한 성능 상승이 있었음을 확인했습니다.

Eat
배고픔으로 인한 사망을 막기 위해 음식이나 몬스터 사체를 찾아먹어야 합니다. 수도승과 관광객은 초반부터 식량을 들고 시작하기에(사과, 오렌지, 음식 비축 등) 비교적 쉽게 먹을 수 있지만, 발키리나 마법사는 사냥을 통해 시체를 확보해야 합니다. 발키리는 이 과정을 학습하며 가장 오랜 생존 시간(평균 1713 턴)을 달성했습니다. 한편 RND는 여기서는 크게 이득을 주지 못했는데, 이는 이미 몬스터 시체 등을 통해 충분히 학습 신호(영양 가치)가 주어지기 때문이라 추측됩니다.

Gold
골드를 찾는 것은 희소 보상에 해당합니다. 그럼에도 에이전트들은 꾸준히 골드를 모으며, 더 깊은 던전 층에서 더 많은 금화나 값비싼 보석을 찾으려 애씁니다. 예컨대 수도승 모델은 평균적으로 4.2층, RND 적용 시 5.0층까지 내려갔습니다.

Score
NetHack의 내장 점수를 최대화하는 태스크입니다(2.4절에서 설명했듯, 장기적으로는 이 점수가 최종 승천과 완전히 동일한 지표는 아니지만, 중간 목표로 적합함). 수도승 모델은 평균 748점을 기록했고, 관광객은 11점으로 상대적으로 낮았으며, 발키리는 573점, 마법사는 314점 정도였습니다. RND 적용 시 수도승은 평균 780점으로 소폭 향상했습니다. 가장 깊게 내려간 사례는 11층까지 가서 4260점을 획득했고, 경험 레벨 7까지 올랐습니다(부록 표 6).

Scout
지금까지의 과제(골드, 스코어)와 유사하게, 정해진 던전 타일 중 아직 밝혀지지 않은 곳을 발견할 때마다 보상을 줍니다. 에이전트는 보다 안전한 경로로 맵을 돌아다니며, 적을 상대하지 않고 회피하면서 진행할 수도 있습니다. 실제로 점수 상승이나 레벨 업을 늦추어 적의 강함을 억제하는 전략은 NetHack 커뮤니티에서도 알려져 있습니다 [50].

Oracle
던전 5~9층 어딘가에 있는 ‘오라클(@)’을 찾는 과제입니다. 지금까지의 에이전트들은 이 과제에서 거의 성공하지 못했으며, 발키리만이 극히 드문 한 번의 에피소드에서 찾았습니다. 깊은 층을 찾아다녀야 하고, 던전이 여러 갈래로 분기될 수 있어 매우 까다로운 탐험 태스크입니다. 이는 향후 NetHack 환경에서 난해한 탐험 문제를 연구하기 위한 대표적인 시험 무대가 될 것입니다.

에이전트들의 사망 원인을 분석해 보니, 시간 경과에 따라 굶주림으로 인한 사망이 줄어들고, 대신 더 깊은 층의 몬스터(gnome lord G, gnome king G, chameleon : 등)에게 죽는 사례가 늘어났습니다(부록 그림 9). 카멜레온은 자꾸 형태를 바꿔 처음 보는 심볼이 자주 등장하므로, 에이전트가 익숙하지 않은 상태 기호를 자꾸 보게 되어 혼란스러워합니다.
우리는 학습된 정책 중 일부를 녹화 파일(tty)로 공개했으며, 이를 웹 브라우저나 터미널에서 재생해볼 수 있습니다(부록 J 참조).

NetHack Alt.org(NAO) 서버에는 500만 회 이상의 인간 플레이 로그가 축적되어 있고, 하루에도 수백 회씩 클리어(또는 사망) 기록이 올라옵니다 [47]. 이는 시범 학습, 모방 학습, 역강화학습 등에 매우 귀중한 자원이 될 수 있습니다

---

로그라이크(roguelike)를 활용한 이전 시도
과거에도 Roguelike 게임을 RL 플랫폼으로 쓰려는 움직임이 있었으나, Rogue 자체는 NetHack 대비 훨씬 간단합니다 [5]. 또는 Dungeon Crawl Stone Soup를 연구하자는 제안이 있었지만 [20], 실제 환경 구축 사례나 풍부한 실험 결과는 부족합니다.
NetHack을 RL 환경으로 쓴 선행 예로는 gym_nethack [14,15]가 있습니다. 다만 이들은 NetHack 소스 코드를 많이 수정하여, 문제의 난이도를 크게 낮추었습니다(함정, 자물쇠 문, 바oulder, 아이템 식별 등의 제거). 이는 사실상 간소화된 Rogue에 가까우며, 구버전 NetHack에 존재하는 결점을 악용할 여지도 있습니다.

*.넷핵이 강화학습 환경으로 쓰인건 페이스북이 처음은 아닌 듯 - Exploration in NetHack With Secret Discovery

갑자기 논문에서 돌죽 등장해서 

[20] Dustin Dannenhauer, Michael W Floyd, Jonathan Decker, and David W Aha. Dungeon crawl stone soup as an evaluation domain for artificial intelligence. Workshop on Games and Simulations for Artificial Intelligence, AAAI, 2019.

레퍼런스 찾아보니 더스틴 다넨하우어 박사님이 AAAI (이곳도 AI 탑티어 학회) 2019년 워크숍에 이런 제안을 한 적이 있다고 ㅋㅋㅋ, 선행 사례도 이미 있고 해서 그런지 페이스북측은 결국 넷핵이 더 마음에 들었긴 했나 봄

하튼 저 박사님이 뭐하시는 분인지 궁금해서 조금 찾아보다가 개인 페이지를 찾을 수 있었는데

https://dtdannen.github.io

어딘가 모르게 푸근한 겜돌이 이미지에, 연구자로서의 화려한 경력...

이분이 하신 작업들을 따라가보니, 인공지능 연구에 돌죽을 쓰기 위한 시도들을 하신 것을 찾을 수 있었음

Dungeon Crawl Stone Soup as an Evaluation Domain for Artificial Intelligence (AAAI)

dcss-ai-wrapper: An API for Dungeon Crawl Stone Soup providing both Vector and Symbolic State Representations

---

게임은 동적이며 확률적이고, 부분적으로만 관찰 가능하며, 상태 공간은 스타크래프트나 바둑보다 훨씬 방대하다. DCSS는 극도로 어렵다고 알려져 있으며, 한 번의 실수가 캐릭터의 영구적인 죽음으로 이어질 수 있다.

이러한 환경에서 AI 기술을 평가하기 위해 최초로 DCSS를 위한 API인 dcss-ai-wrapper를 개발했다. 이 API는 웹서버 모드에서 DCSS와 상호작용하며, Python으로 작성되어 GitHub에서 공개적으로 사용할 수 있다.

상태 공간과 환경 특성 DCSS의 복잡성은 다음과 같은 요소들에서 기인한다:

• 650개 이상의 몬스터 타입

• 13,800개의 캐릭터 시작 구성(종족, 직업, 신앙 등)

• 31개의 기술 및 3개의 속성

• 100개 이상의 주문

• 48개의 근접 및 원거리 무기

• 게임 완료에 필요한 최소 3개의 룬

• 평균 65,000~80,000번의 행동(턴)

• 40개 이상의 소비형 아이템(포션, 두루마리 등)

• 100개 이상의 절차적으로 생성된 레벨

• 부분 관찰성, 동적 및 확률적 환경, 영구적인 죽음

상태 공간의 이론적 크기는 최소 10^14000으로, 스타크래프트, 바둑, 체스보다 월등히 크다.

---

내용은 페이스북 넷핵 논문과 달리 구현한 에이전트의 행동에 대한 내용은 별로 없고, 돌죽을 연구에 쓰기 위한 초석을 닦은 내용(환경 구축, 왜 이 게임을 연구에 써야하는 지)인 듯 

https://www.youtube.com/watch?v=abil4X3UTv0

[ACS 2022] Tutorial on DCSS-AI-Wrapper: A researcher’s API to Dungeon Crawl Stone Soup - Dannenhauer

The Tenth Annual Conference on Advances in Cognitive Systems, Arlington, VA, November 19-22, 2022 https://advancesincognitivesystems.github.io/acs2022Dustin ...

www.youtube.com

22년 인지 시스템 학회 컨퍼런스에서 위의 돌죽 AI 환경 사용하는 튜토리얼 보여주시는데 이런게 덕업일치인가 싶다 ㅋㅋㅋ