1. 언리얼에서 동작하는 테스트 AI 에이전트 만들기

오랜만에 글을 써본다..

 

대학생활 하느라 바빠가지고, 게임 개발 말고는 딱히 만들거나 추가적인 공부를 하는게 없어서 손을 놨었는데.

이제 졸업이 눈앞이라 만들고 싶었던걸 만들어 보려고한다.

 

마지막 목적은 언리얼에서 동작하는 AI 테스트 에이전트를 만드는게 목표이다.

(왜 만드냐면, 게임 개발을 하면서 QA가 생각보다 매우 귀찮고 반복 작업이 많다. 이걸 AI를 사용해서 어느정도 자동화가 가능하지 않을까? 싶어서 만들어 보기로 했다.)

 

그 첫걸음은 당연히 API 호출하기!

 

보통 AI는 anthropic이나 OpenAI에서 구독을 통해서 사용할 수 있는 방법과 API 키를 사용해서 사용할 수 있는 방법.

크게 2가지가 있다.

 

가장 기초부터 하나하나 만들어 보는게 목표이기 때문에 API 키를 호출해보려고 한다.

 

대략 순서는 다음과 같이 진행해보려고 한다.

 

1. HTTP로 API 호출하기

2. Tool Use 루프 (로컬 도구를 사용해서) 진짜 도구를 만들어 쓰기보단 테스트용 도구 만들기

3. 언리얼 플러그인 뼈대 + 소켓 연동

4. GetGameState 도구 (AI가 언리얼 상태를 확인하기 위한 도구)

5. PerformAction (AI가 명령해서 직접 언리얼의 플레이어?를 이동시키기 위한 도구)

6. 통합 : LLM이 직접 게임 조종

7. 스크린샷  + 비전

8. 지식베이스 + 시나리오

9. 결정성 + 리포트

10. 자체 프로토콜 (MCP)

 

물론 중간에 변경될 수 있다.

 

이 정도면 AI한테 언리얼 QA 테스트를 시킬 수 있지 않을까...?

 

추가적으로 저 뼈대를 다 만들면 리펙터링을 통해서 다음을 추가하려고 한다.

1. LangGraph

2. MCP 표준화

3. RAG + 벡터DB 지식 강화

4. 멀티에이전트

5. 평가 + 관측

6. 배포 (사실 누가 쓰긴 쓸까..? 싶긴..한데)

7. 프롬프트 인젝션 방어

 

를 추가적으로 가능하다면 진행해보려고 한다.

 

화이팅..!!