Roblox는 게임 개발 및 플랫폼 엔지니어링에 인공지능을 통합하는 방식을 꾸준히 확장해 왔으며, 최근 내부 작업은 많은 스튜디오가 직면한 문제에 집중하고 있습니다. AI는 코드를 작성할 수 있지만, 엔지니어들은 항상 이를 신뢰하지는 않습니다. Roblox는 완전히 새로운 모델에 의존하는 대신, Roblox 엔지니어들이 실제로 어떻게 생각하는지를 AI에게 가르쳐 AI를 개선했습니다. 수년간의 내부 코드, 리뷰, 프로덕션 데이터를 기반으로 AI 도구를 구축함으로써, 회사는 10,000개의 PR 평가 세트에서 AI 생성 풀 리퀘스트 수용률을 약 30%에서 60% 이상으로 높였습니다. 동시에 자동화된 정리 에이전트는 90% 이상의 정확도를 달성했습니다.
이 접근 방식은 순수한 모델 성능에서 벗어나, AI가 일반적인 제안을 생성하는 대신 특정 엔지니어링 환경의 구조, 히스토리, 기대치를 이해하는 도메인 인식 코드 인텔리전스로 주의를 전환합니다.
AI 코드가 여전히 인간의 맥락이 필요한 이유
소프트웨어 산업 전반에 걸쳐 개발 시간의 상당 부분은 새로운 시스템을 구축하기보다는 기존 시스템을 유지보수하는 데 사용됩니다. Roblox도 마찬가지 현실에 직면해 있습니다. 이론적으로 유지보수 작업은 반복적이고 잘 정의되어 있어 AI에 이상적인 것처럼 보입니다. 하지만 실제로는 AI 어시스턴트가 품질, 특히 크고 성숙한 코드베이스에서 종종 어려움을 겪습니다.
Roblox에서는 AI의 능력이 부족한 것이 아니라 맥락이 부족한 것이 문제였습니다. 범용 모델은 Roblox 엔지니어링 결정, 성능 제약, 코딩 표준에 대한 20년의 경험이 없습니다. 수십만 개의 병합된 풀 리퀘스트나, 시니어 엔지니어들이 특정 접근 방식이 Roblox 규모에서 왜 더 잘 작동하는지 설명하는 수백만 개의 리뷰 댓글을 통해 학습하지 못했습니다.
많은 Roblox 엔지니어들이 AI 도구를 사용함에도 불구하고, AI 제안 중 상당한 수정 없이 수용되는 것은 소수에 불과합니다. 엔지니어들은 AI가 속도를 향상시키지만, 특히 레거시 C++ 시스템과 복잡한 인프라에서 AI 코드 품질에 대한 신뢰는 여전히 낮다고 보고합니다. Roblox의 해결책은 자체적인 조직적 지식을 AI가 코드를 추론하는 방식에 직접 내장하는 것이었습니다.
Roblox의 코드베이스를 구조화된 인텔리전스로 전환
Roblox의 엔지니어링 히스토리는 거의 20년에 걸친 커밋, 설계 문서, 런타임 텔레메트리를 포함합니다. 이를 AI가 사용할 수 있는 형태로 만드는 것은 단순히 파일을 읽는 것보다 복잡합니다. Roblox는 C++, Lua, 빌드 그래프, 템플릿, 동적 종속성을 포함하는 대규모 다국어 환경을 운영하며, 이는 코드의 평면 디렉토리가 아닌 네트워크를 형성합니다.
이를 사용 가능하게 만들기 위해 Roblox는 버전 관리, 빌드 시스템, 프로덕션 텔레메트리를 공유 표현으로 통합하는 플랫폼을 구축했습니다. 이는 구문, 의미, 시스템 간의 관계를 보존하여 AI 에이전트가 다양한 구성 요소가 어떻게 연결되고 시간이 지남에 따라 어떻게 발전하는지 이해할 수 있도록 합니다.
또 다른 과제는 시간 정렬입니다. 코드베이스가 계속 변경되더라도 런타임 데이터는 이를 생성한 코드의 정확한 버전과 매핑되어야 합니다. 텔레메트리를 특정 리비전에 연결함으로써, 시스템은 경험이 풍부한 엔지니어들이 프로덕션 문제를 분석하는 방식을 반영하여 성능, 동작, 트레이드오프를 추론할 수 있습니다.
그 결과 AI가 코드를 격리된 텍스트가 아닌 살아있는 시스템으로 볼 수 있는 기반이 마련되었습니다.
엔지니어의 판단을 대규모로 포착
Roblox 엔지니어링 문화에서 가장 가치 있는 부분 중 하나는 코드 리뷰에 있습니다. 시니어 엔지니어들은 기술적으로 유효하지만 Roblox 규모에서는 위험한 패턴, 예를 들어 지연 시간을 유발하거나 스레드 고갈을 일으키는 고주파 루프 내의 블로킹 호출 등을 반복적으로 지적합니다.
전통적으로 이러한 지식은 리뷰어에서 작성자로 수동으로 전달됩니다. Roblox의 정렬 시스템은 이러한 순간들을 영구적인 지침으로 전환합니다. 엔지니어들은 패턴이 어떻게 보이는지, 왜 중요한지를 설명하는 예시를 정의할 수 있습니다. 나중에 AI나 개발자가 유사한 코드를 건드리면, 시스템은 해당 문제를 플래그 지정하고 위험을 설명하며 내부 표준에 연결할 수 있습니다.
Roblox는 또한 과거 풀 리퀘스트 댓글을 채굴하여 반복되는 교훈을 자동으로 표면화합니다. 리뷰 댓글은 벡터 공간에 임베딩되고, 주제별로 클러스터링되며, 모델 지원 분석을 사용하여 일반 규칙으로 정제됩니다. 그런 다음 도메인 전문가가 가장 강력한 후보를 검토하고 지식 기반으로 승격시킵니다.
이 프로세스는 수년간의 비공식 피드백을 AI 에이전트와 엔지니어가 일관되게 적용할 수 있는 구조화되고 재사용 가능한 표준으로 전환합니다. 이러한 예시와 정렬되면, Roblox는 한 코딩 에이전트가 내부 통과율을 80%대 중반에서 황금 평가 데이터셋에서 완전한 정확도로 향상시켰다고 보고했습니다.
실패한 AI 제안에서 배우기
Roblox의 시스템은 성공에서만 배우는 것이 아닙니다. 거부된 AI 제안, 잘못된 리팩토링, 회귀는 고부가가치 데이터로 취급됩니다. 엔지니어들은 실패에 이유와 맥락을 레이블링하고, 해당 정보는 임베딩 및 인덱싱되어 향후 사용됩니다.
AI가 새로운 코드를 제안할 때, 과거의 실수와 비판을 검색하여 유사한 문제를 반복하지 않도록 합니다. 시간이 지남에 따라 이는 각 리뷰가 미래의 행동을 강화하는 피드백 루프를 만듭니다. Roblox는 실패를 버리는 대신, 코드 품질과 위험에 대한 에이전트의 추론 방식을 정제하는 학습 신호로 전환합니다.
엔지니어링 지표로 신뢰 측정
AI 코드 품질을 개선하려면 신뢰할 수 있는 측정 또한 필요합니다. Roblox는 자동 및 인간 검증을 모두 사용하여 에이전트 성능을 시간 경과에 따라 추적하는 평가 프레임워크를 구축했습니다.
시스템은 재현 가능한 시뮬레이션과 전문가 비교를 사용하여 리팩토링, 버그 수정, 테스트 작업 전반에 걸쳐 AI를 테스트합니다. 평가는 변경 사항이 병합되기 전에 지속적인 통합 파이프라인에서 실행되며, 회귀, 롤백, 지연 시간 변화와 같은 병합 후 신호는 릴리스 전반에 걸쳐 추적됩니다.
이는 에이전트가 버전 간에 어떻게 개선되거나 퇴보하는지를 보여주는 품질 점수를 생성합니다. 예시 정렬 및 구조화된 평가를 도입한 후, Roblox는 PR 제안 수용률이 대규모 테스트 세트에서 약 30%에서 60% 이상으로 상승하는 것을 보았습니다. 기능 플래그 정리 에이전트 또한 50% 미만의 정확도에서 90% 이상으로 개선되었습니다.
Roblox에게 신뢰는 약속보다는 예측 가능하고 측정 가능한 행동을 통해 구축됩니다.
Roblox 엔지니어링 미래에 대한 의미
Roblox는 AI 에이전트가 격리된 작업 이상을 처리할 수 있도록 추가적인 도구 계층과 자동화를 통해 플랫폼을 확장하고 있습니다. 장기적인 목표는 런타임 맥락과 전문가의 판단을 일상적인 워크플로우에 내장하면서 코드 상태를 지속적으로 유지하는 것입니다.
AI를 별도의 어시스턴트로 취급하는 대신, Roblox는 AI를 엔지니어링 환경 자체의 일부로 만들고자 합니다. 도메인 인식 인텔리전스, 전문가 정렬, 관찰 가능성을 결합함으로써, 회사는 더 빠른 배포, 더 나은 품질, 그리고 반복적인 유지보수 작업에 소요되는 시간을 줄일 것으로 기대합니다.
엔지니어에게 이는 조직의 기억이 온디맨드로 제공되며, 피할 수 있는 문제를 수정하는 대신 기능을 구축하는 데 더 많은 시간을 할애할 수 있음을 의미합니다.
Amazon에서Roblox 기프트 카드를 확인해 보세요.
여기에서 다른 인기 Roblox 경험에 대해 알아보세요:
자주 묻는 질문 (FAQ)
Roblox의 도메인 인식 코드 인텔리전스란 무엇인가요?
도메인 인식 코드 인텔리전스는 AI 도구를 Roblox 자체의 엔지니어링 히스토리, 표준, 런타임 데이터로 학습시켜 시스템이 Roblox 코드의 구조와 리뷰 방식을 이해하도록 하는 것을 의미하며, 일반적인 코딩 동작에 의존하는 것과는 다릅니다.
Roblox는 AI 코드 수용률을 얼마나 개선했나요?
Roblox는 AI 동작을 내부 엔지니어링 표준과 정렬한 후, 10,000개의 PR 평가 세트에서 AI 생성 풀 리퀘스트 수용률을 약 30%에서 60% 이상으로 높였습니다.
새로운 AI 모델만으로는 충분하지 않았던 이유는 무엇인가요?
더 강력한 모델만으로는 Roblox의 고유한 아키텍처, 성능 제약 또는 코딩 문화를 이해하지 못합니다. Roblox는 모델을 교체하는 대신, 수년간의 내부 코드와 리뷰에서 얻은 맥락을 추가하는 데 집중했습니다.
Roblox는 엔지니어의 전문 지식을 AI를 위해 어떻게 포착하나요?
Roblox는 과거 코드 리뷰에서 패턴을 추출하고 전문가가 패턴의 내용과 중요성을 설명하는 예시를 정의하도록 합니다. 이는 AI와 엔지니어를 위한 재사용 가능한 규칙이 됩니다.
Roblox는 AI가 실수를 반복하지 않도록 어떻게 방지하나요?
거부된 AI 제안과 실패한 변경 사항은 레이블링되어 시스템에 임베딩됩니다. 새로운 코드가 생성될 때, AI는 과거의 실패를 검색하여 유사한 문제를 반복하지 않도록 합니다.
이것이 Roblox를 사용하는 개발자들에게 무엇을 의미하나요?
이 작업은 내부적인 것이지만, 더 나은 AI 도구는 플랫폼 안정성과 개발 속도를 향상시켜 궁극적으로 Roblox에서 게임과 경험을 구축하는 크리에이터를 지원합니다.
이것이 웹3 개발과 관련이 있나요?
아니요. Roblox의 AI 코드 인텔리전스는 플랫폼 엔지니어링과 대규모 시스템에 초점을 맞추며, 웹3 기술과는 관련이 없습니다.
