Copilot Studio Kit: 테스트 자동화를 넘어서

원문: Copilot Studio Kit: Beyond Test Automation 게시일: 2026-03-06 · 저자: Petri Simolin

Copilot Studio 에이전트를 만들거나 관리해 오셨다면 Copilot Studio Kit을 이미 접해 보셨을 가능성이 높아요. 대부분은 테스트 자동화 때문에 처음 알게 되지만(#찔림), 아직 빙산의 일각만 보고 계실 확률이 커요. 이 키트는 거버넌스, 모니터링, 개발 가속화, 조직 전체 가시성까지 함께 다뤄요.

간단히 복습하기

Copilot Studio Kit은 Microsoft의 **Copilot Acceleration Team(CAT)**이 만든 무료 오픈 소스 Power Platform 솔루션¹이에요. CAT 내 엔지니어링 팀은 Copilot Studio를 보완하는 도구를 만드는 데 집중하고, 조직이 첫 에이전트를 만드는 단계에서 수십 개를 프로덕션에서 운영하는 단계로 넘어갈 때 생기는 공백을 메워요.

다음과 같은 운영상의 요구 사항은 어떤 단일 제품도 기본 기능만으로 해결하기 어려워요.

여러 에이전트에 걸친 테스트
테넌트 전체의 거버넌스 정책 적용
장기적인 대화 트렌드 추적

키트가 오픈 소스이기 때문에 우리는 이런 요구를 따라잡는 속도로 기능을 출시할 수 있어요. 고객과 협업하다 공백을 발견하면 몇 달이 아니라 몇 주 안에 프로토타입을 만들고 검증하고 제공할 수 있어요.

이 키트는 다음과 같은 방식으로 Copilot Studio를 보완해요.

에이전트 개발 가속화
테스트와 안정성 개선
환경 전반에 걸친 가시성 제공
거버넌스 및 컴플라이언스 자동화 지원

에이전트를 만드는 메이커든 거버넌스를 책임지는 관리자든, Copilot Studio Kit에는 여러분을 위해 설계된 도구가 있어요. 어떤 기능이 있는지 하나씩 살펴볼게요.

메이커와 관리자: 두 페르소나, 하나의 툴킷

Copilot Studio Kit에 대한 가장 흔한 오해는 이거예요. 관리자 전용 도구다.

아니에요.

이 툴킷은 메이커와 관리자 모두를 지원하도록 설계되었고, 각각을 위한 기능이 따로 있어요. 메이커에게는 개발을 가속하고 에이전트 품질을 높여 주며, 관리자에게는 환경 전반의 가시성, 모니터링, 거버넌스 자동화를 제공해요.

그런데 사실 많은 기능이 두 페르소나 모두에게 도움이 돼요.

관리(Administration), 거버넌스(Governance), 생산성(Productivity)으로 구성된 Copilot Studio Kit 랜딩 페이지

메이커를 위한 도구

Webchat Playground

CSS 값을 한 시간 동안 만지작거렸는데도 웹챗이 여전히 브랜드 가이드라인과 맞지 않는 경험을 해 보셨다면 그 고통을 아실 거예요. (그리고 저희의 웹챗 임베딩 및 미들웨어 포스트를 보셨다면, 커스터마이즈할 수 있는 부분이 얼마나 많은지도 아실 거예요.)

Webchat Playground는 그래픽 인터페이스로 이 문제를 해결해요. 메이커는 여기서 다음을 할 수 있어요.

웹챗 스타일 수정
변경 사항 즉시 미리보기
접근성 검증
프로덕션용 구성 내보내기

변경이 프로덕션에서 어떻게 보일지 추측하는 대신, 메이커는 실시간 미리보기를 보며 시각적으로 반복 작업할 수 있어요.

색상 팔레트와 JSON 구성이 함께 표시되는 웹챗 테마 커스터마이징 실시간 미리보기

브랜딩 요구 사항이 엄격한 조직이라면 관리자가 사전 승인된 스타일 라이브러리를 운영할 수도 있어요. 그러면 메이커는 마케팅이나 법무 팀의 검토를 이미 통과한 디자인을 재사용할 수 있어요.

Adaptive Card Gallery

어댑티브 카드는 강력해요. 하지만 매번 처음부터 만들기는 꽤 번거로워요.

Adaptive Card Gallery에는 실제로 마주치게 될 시나리오에 맞춘 프로덕션급 카드 템플릿이 기본 제공돼요(“Hello World” 수준의 예제가 아니에요).

이 템플릿을 통해 메이커는 다음을 할 수 있어요.

일반적인 상호작용 패턴을 빠르게 시작
처음부터 만드는 대신 기존 카드를 수정
에이전트 간 일관성 유지

일반적인 시나리오를 위한 즉시 사용 가능한 어댑티브 카드 템플릿 모음

웹챗 스타일과 마찬가지로, 조직은 자체적으로 선별한 카드 라이브러리를 운영해 메이커가 승인된 컴포넌트를 안심하고 재사용하게 할 수 있어요.

Agent Review(정적 구성 분석)

에이전트를 프로덕션에 배포한 다음에야 구성 문제를 발견한다면? 이상적인 상황은 아니에요.

Agent Review 도구는 에이전트 구성을 정적으로 분석해 배포 전에 잠재적인 문제를 잡아내요.

누락된 구성 요소
일관성 없는 설정
잠재적인 운영 리스크

패턴 분석 결과와 심각도 등급을 보여 주는 에이전트 리뷰 보고서

에이전트를 위한 린팅² 도구라고 생각하시면 돼요. 메이커가 배포 전에 문제를 발견하도록 도와줘요.

테스트 자동화

Copilot Studio Kit에서 가장 성숙하고 널리 사용되는 기능은 **테스트 자동화(Test Automation)**예요.

Copilot Studio 자체에도 평가 기능이 있지만, 테스트 자동화는 그 기능을 다음과 같이 확장해요.

멀티턴 테스트
적대적(adversarial) 테스트
회귀 테스트
엔드투엔드 검증

이를 통해 메이커는 다음을 검증할 수 있어요.

새로운 변경이 예상대로 동작하는지
기존 기능이 망가지지 않았는지
생성형 응답이 기대 품질 수준을 충족하는지

통과/실패 상태, 성공률, 실행 이력을 보여 주는 테스트 실행 결과

변경할 때마다 에이전트를 수동으로 테스트하는 대신, 메이커는 자동화된 테스트 스위트를 실행해 문제를 빠르게 찾아낼 수 있어요.

AI 지원 루브릭 정제

Copilot Studio Kit의 비교적 새로운 기능 중 하나가 **AI 지원 루브릭 정제(AI-assisted rubric refinement)**로, AI 테스트에서 골치 아픈 문제를 다뤄요.

루브릭은 생성형 응답을 어떻게 평가할지를 정의해요. 문제는? 여러분이 기대하는 것과 AI 심판(judge)이 생각하는 것이 서로 다른 경우가 많다는 점이에요.

루브릭 정제는 다음을 제공해 이 문제를 해결해요.

루브릭 관리.
평가 루브릭을 만들고 관리하는 과정을 안내해요.
AI 지원 루브릭 정제.
AI 심판의 결과를 사람의 기대치에 맞춰 조정하도록 도와요.
유연한 루브릭 활용.
하나의 루브릭을 여러 테스트에 쓰거나, 시나리오에 따라 여러 루브릭을 섞어 쓸 수 있어요.

이를 통해 메이커와 관리자 모두 생성형 응답을 위한 더 신뢰할 수 있는 평가 프레임워크를 구축할 수 있어요.

AI 평가 점수, 사람 평가 점수, 그리고 둘 사이의 정렬 정도를 보여 주는 루브릭 테스트 실행 화면

관리자를 위한 도구

Agent Inventory

어느 관리자에게든 밤잠을 설치게 하는 게 뭐냐고 물으면, 이런 종류의 질문이 돌아올 거예요.

조직 전체에 에이전트가 몇 개나 있고, 그것들이 실제로 무슨 일을 하고 있는가?

Agent Inventory 기능은 모든 환경에 걸친 테넌트 전체 에이전트 뷰로 이 질문에 답해요.

Power Platform 관리 센터가 제공하는 기본 가시성을 다음과 같이 확장해요.

상세한 에이전트 구성 인사이트
에이전트의 기능 수준(feature-level) 정보
라이선스 및 크레딧 소비 인사이트
환경 간 가시성

여러 환경에 걸친 920개 에이전트와 기능 사용 현황을 보여 주는 테넌트 전체 에이전트 인벤토리

이를 통해 관리자는 다음과 같은 질문에 답할 수 있어요.

어떤 에이전트가 실제로 활발히 사용되고 있는가?
조직 전체에서 어떤 기능이 사용되고 있는가?
크레딧은 어디에서 소비되고 있는가?

Agent Value Summary

Agent Inventory의 선택적 확장 기능으로 Agent Value Summary가 있어요.

이 기능은 Agent Inventory에서 수집한 데이터를 활용해 에이전트를 분류하고, 관리자가 각 에이전트의 조직적 가치를 이해하도록 도와요.

다음을 보여 주는 시각적 대시보드를 제공해요.

조직 내 에이전트 유형
도입(adoption) 패턴
에이전트 역량 분포

에이전트 유형, 편익 분포, 시간에 따른 트렌드를 보여 주는 가치 분류 대시보드

Conversation KPIs

Copilot Studio에 내장된 분석은 단기 인사이트에는 훌륭해요. 하지만 장기 트렌드와 제품이 제공하는 범위를 넘어서는 지표가 필요하다면 어떨까요?

Conversation KPIs는 대화 기록(transcript)을 분석해 기존 분석을 대체하는 것이 아니라 보완하는 추가 지표를 추출해요.

이를 통해 다음이 가능해져요.

장기 트렌드 분석
에이전트 동작에 대한 더 깊은 인사이트
표준 제품 지표를 넘어서는 추가 KPI

해결률, 에스컬레이션 추적, 세션 결과 트렌드를 보여 주는 KPI 대시보드

Conversation Analyzer

때로는 전통적인 분석으로는 답할 수 없는 질문에 답해야 할 때가 있어요.

예를 들면 이래요.

고객이 불만을 표출하고 있는가?
에이전트가 문제를 효율적으로 해결하고 있는가?
특정 응답이 혼란을 유발하고 있지는 않은가?

Conversation Analyzer를 사용하면 관리자가 대화 기록에 대해 커스텀 프롬프트를 실행해 이런 인사이트를 추출할 수 있어요.

이렇게 하면 그냥 두었다면 묻혀 있었을 패턴을 발견할 수 있어요.

Compliance Hub: 수작업 없이 대규모 거버넌스 실현

문제는 이래요. 에이전트를 많이 배포할수록 거버넌스가 중요해져요. 그런데 모든 에이전트를 조직 표준에 맞춰 일일이 수동으로 점검한다? 그런 방식은 확장이 불가능해요.

Compliance Hub는 Agent Inventory 데이터를 기반으로 스스로 집행되는 거버넌스 정책을 정의할 수 있게 해 이 문제를 해결해요.

관리자는 구체적인 임계값과 요구 사항을 담은 정책을 구성해요. 예를 들면 다음과 같아요.

특정 구성이 활성화되어 있는지 확인
에이전트가 필수 테스트를 통과했는지 검증
조직 표준 준수 여부 검증

활성 케이스, SLA 위반, 리스크 요인 분포를 보여 주는 컴플라이언스 대시보드

에이전트가 정의된 임계값을 충족하지 못하면 다음이 이루어져요.

메이커에게 자동으로 알림 발송
시정(remediation) 워크플로 트리거 가능
문제가 해결되지 않으면 강제 조치 적용 가능

이를 통해 조직은 최소한의 관리 부담으로 대규모 거버넌스를 유지할 수 있어요.

관리자를 위한 대규모 테스트

테스트 자동화는 주로 메이커가 사용하지만, 관리자도 활용할 수 있어요.

각 에이전트를 하나씩 열어 평가를 실행하는 대신, 관리자는 다음을 할 수 있어요.

한 곳에서 여러 에이전트에 대한 테스트 실행 시작
결과를 중앙 위치에서 확인
주의가 필요한 에이전트를 빠르게 식별

이렇게 하면 대규모 검증 작업이 훨씬 수월해져요.

Copilot Studio Kit이 중요한 이유

Copilot Studio Kit은 조직이 에이전트를 더 효율적이고 책임감 있게 운영하도록 돕는 기능으로 플랫폼의 기본 역량을 보완해요.

핵심 차별점은 다음과 같아요.

테스트 자동화로 대규모 고급 테스트를 실행해요.
Agent Inventory로 환경 전반의 기능 수준까지 들여다봐요.
Conversation KPIs로 장기 모니터링과 추가 분석을 더해요.
Compliance Hub로 거버넌스 워크플로를 자동화해요.
AI 지원 루브릭 정제로 평가 품질을 높여요.

이 기능들이 모여, 조직이 단순히 에이전트를 만드는 단계에서 대규모로 운영하는 단계로 나아가도록 도와요.

시작하기

Copilot Studio Kit은 오픈 소스이며 무료로 사용할 수 있어요. 다음 경로에서 받을 수 있어요.

GitHub 리포지토리 https://aka.ms/copilotstudiokit

Microsoft Marketplace (AppSource) https://aka.ms/copilotstudiokitappsource

더 나은 에이전트를 더 빨리 출시하려는 메이커든 여러 환경의 거버넌스를 책임지는 관리자든, Copilot Studio Kit이 도움이 될 거예요.

Copilot Studio Kit을 이미 사용해 보셨나요? 가장 관심 있는 기능은 무엇인가요? 혹은 저희가 해결해 주었으면 하는 과제가 있다면 댓글로 알려 주세요!

어휘 주석

Power Platform 솔루션(solution): 앱·에이전트·플로우 등을 하나로 묶어 다른 환경(개발→운영)으로 옮기는 배포 패키지.
린팅(linting): 코드를 실제로 실행하지 않고 구조와 규칙만 정적으로 검사해, 오류나 나쁜 패턴을 미리 잡아내는 작업.