--- title: Copilot Studio Kit: 테스트 자동화를 넘어서 description: Copilot Studio Kit이 테스트 자동화를 넘어 메이커의 개발 가속화부터 관리자의 거버넌스 자동화까지 어떻게 돕는지 정리한 무료 오픈소스 툴킷 안내예요. date: 2026-09-07 tags: [Copilot Studio Kit, 테스트 자동화, 거버넌스, 메이커, 관리자] cards: - /cards/copilot-studio-kit-testing/card-01.png - /cards/copilot-studio-kit-testing/card-02.png - /cards/copilot-studio-kit-testing/card-03.png - /cards/copilot-studio-kit-testing/card-04.png - /cards/copilot-studio-kit-testing/card-05.png - /cards/copilot-studio-kit-testing/card-06.png - /cards/copilot-studio-kit-testing/card-07.png author: Lissa source: https://interlinear.work/notes/copilot-studio-kit-testing/ --- > **원문:** [Copilot Studio Kit: Beyond Test Automation](https://microsoft.github.io/mcscatblog/posts/copilot-studio-kit/) > **게시일:** 2026-03-06 · **저자:** Petri Simolin Copilot Studio 에이전트를 만들거나 관리해 오셨다면 **Copilot Studio Kit**을 이미 접해 보셨을 가능성이 높아요. 대부분은 **테스트 자동화** 때문에 처음 알게 되지만(#찔림), 아직 빙산의 일각만 보고 계실 확률이 커요. 이 키트는 **거버넌스, 모니터링, 개발 가속화, 조직 전체 가시성**까지 함께 다뤄요. ## 간단히 복습하기 Copilot Studio Kit은 Microsoft의 **Copilot Acceleration Team(CAT)**이 만든 무료 오픈 소스 Power Platform 솔루션1이에요. CAT 내 엔지니어링 팀은 Copilot Studio를 보완하는 도구를 만드는 데 집중하고, 조직이 첫 에이전트를 만드는 단계에서 수십 개를 프로덕션에서 운영하는 단계로 넘어갈 때 생기는 공백을 메워요. 다음과 같은 운영상의 요구 사항은 어떤 단일 제품도 기본 기능만으로 해결하기 어려워요. - 여러 에이전트에 걸친 테스트 - 테넌트 전체의 거버넌스 정책 적용 - 장기적인 대화 트렌드 추적 키트가 오픈 소스이기 때문에 우리는 이런 요구를 따라잡는 속도로 기능을 출시할 수 있어요. 고객과 협업하다 공백을 발견하면 몇 달이 아니라 몇 주 안에 프로토타입을 만들고 검증하고 제공할 수 있어요. 이 키트는 다음과 같은 방식으로 Copilot Studio를 보완해요. - **에이전트 개발** 가속화 - **테스트와 안정성** 개선 - **환경 전반에 걸친 가시성** 제공 - **거버넌스 및 컴플라이언스 자동화** 지원 **에이전트를 만드는 메이커**든 **거버넌스를 책임지는 관리자**든, Copilot Studio Kit에는 여러분을 위해 설계된 도구가 있어요. 어떤 기능이 있는지 하나씩 살펴볼게요. --- ## 메이커와 관리자: 두 페르소나, 하나의 툴킷 Copilot Studio Kit에 대한 가장 흔한 오해는 이거예요. **관리자 전용 도구다.** 아니에요. 이 툴킷은 **메이커와 관리자 모두**를 지원하도록 설계되었고, 각각을 위한 기능이 따로 있어요. **메이커**에게는 개발을 가속하고 에이전트 품질을 높여 주며, **관리자**에게는 환경 전반의 가시성, 모니터링, 거버넌스 자동화를 제공해요. 그런데 사실 많은 기능이 **두 페르소나 모두**에게 도움이 돼요. _관리(Administration), 거버넌스(Governance), 생산성(Productivity)으로 구성된 Copilot Studio Kit 랜딩 페이지_ --- ## 메이커를 위한 도구 ### Webchat Playground CSS 값을 한 시간 동안 만지작거렸는데도 웹챗이 *여전히* 브랜드 가이드라인과 맞지 않는 경험을 해 보셨다면 그 고통을 아실 거예요. (그리고 저희의 [웹챗 임베딩](https://microsoft.github.io/mcscatblog/posts/webchat-embed-zero-javascript/) 및 [미들웨어](https://microsoft.github.io/mcscatblog/posts/webchat-middlewares/) 포스트를 보셨다면, 커스터마이즈할 수 있는 부분이 얼마나 많은지도 아실 거예요.) **Webchat Playground**는 그래픽 인터페이스로 이 문제를 해결해요. 메이커는 여기서 다음을 할 수 있어요. - 웹챗 스타일 수정 - 변경 사항 즉시 미리보기 - 접근성 검증 - 프로덕션용 구성 내보내기 변경이 프로덕션에서 어떻게 보일지 추측하는 대신, 메이커는 **실시간 미리보기**를 보며 시각적으로 반복 작업할 수 있어요. _색상 팔레트와 JSON 구성이 함께 표시되는 웹챗 테마 커스터마이징 실시간 미리보기_ 브랜딩 요구 사항이 엄격한 조직이라면 관리자가 **사전 승인된 스타일 라이브러리**를 운영할 수도 있어요. 그러면 메이커는 마케팅이나 법무 팀의 검토를 이미 통과한 디자인을 재사용할 수 있어요. --- ### Adaptive Card Gallery 어댑티브 카드는 강력해요. 하지만 매번 처음부터 만들기는 꽤 번거로워요. **Adaptive Card Gallery**에는 실제로 마주치게 될 시나리오에 맞춘 프로덕션급 카드 템플릿이 기본 제공돼요("Hello World" 수준의 예제가 아니에요). 이 템플릿을 통해 메이커는 다음을 할 수 있어요. - 일반적인 상호작용 패턴을 빠르게 시작 - 처음부터 만드는 대신 기존 카드를 수정 - 에이전트 간 일관성 유지 _일반적인 시나리오를 위한 즉시 사용 가능한 어댑티브 카드 템플릿 모음_ 웹챗 스타일과 마찬가지로, 조직은 **자체적으로 선별한 카드 라이브러리**를 운영해 메이커가 승인된 컴포넌트를 안심하고 재사용하게 할 수 있어요. --- ### Agent Review(정적 구성 분석) 에이전트를 프로덕션에 배포한 *다음에야* 구성 문제를 발견한다면? 이상적인 상황은 아니에요. **Agent Review** 도구는 에이전트 구성을 정적으로 분석해 배포 전에 잠재적인 문제를 잡아내요. - 누락된 구성 요소 - 일관성 없는 설정 - 잠재적인 운영 리스크 _패턴 분석 결과와 심각도 등급을 보여 주는 에이전트 리뷰 보고서_ **에이전트를 위한 린팅2 도구**라고 생각하시면 돼요. 메이커가 배포 전에 문제를 발견하도록 도와줘요. --- ### 테스트 자동화 Copilot Studio Kit에서 가장 성숙하고 널리 사용되는 기능은 **테스트 자동화(Test Automation)**예요. Copilot Studio 자체에도 평가 기능이 있지만, 테스트 자동화는 그 기능을 다음과 같이 확장해요. - **멀티턴 테스트** - **적대적(adversarial) 테스트** - **회귀 테스트** - **엔드투엔드 검증** 이를 통해 메이커는 다음을 검증할 수 있어요. - 새로운 변경이 예상대로 동작하는지 - 기존 기능이 망가지지 않았는지 - 생성형 응답이 기대 품질 수준을 충족하는지 _통과/실패 상태, 성공률, 실행 이력을 보여 주는 테스트 실행 결과_ 변경할 때마다 에이전트를 수동으로 테스트하는 대신, 메이커는 자동화된 테스트 스위트를 실행해 문제를 빠르게 찾아낼 수 있어요. --- ## AI 지원 루브릭 정제 Copilot Studio Kit의 비교적 새로운 기능 중 하나가 **AI 지원 루브릭 정제(AI-assisted rubric refinement)**로, AI 테스트에서 골치 아픈 문제를 다뤄요. 루브릭은 생성형 응답을 어떻게 평가할지를 정의해요. 문제는? **여러분이 기대하는 것과 AI 심판(judge)이 생각하는 것이 서로 다른 경우가 많다는 점이에요.** 루브릭 정제는 다음을 제공해 이 문제를 해결해요. - **루브릭 관리.**
평가 루브릭을 만들고 관리하는 과정을 안내해요. - **AI 지원 루브릭 정제.**
AI 심판의 결과를 사람의 기대치에 맞춰 조정하도록 도와요. - **유연한 루브릭 활용.**
하나의 루브릭을 여러 테스트에 쓰거나, 시나리오에 따라 여러 루브릭을 섞어 쓸 수 있어요. 이를 통해 메이커와 관리자 모두 **생성형 응답을 위한 더 신뢰할 수 있는 평가 프레임워크**를 구축할 수 있어요. _AI 평가 점수, 사람 평가 점수, 그리고 둘 사이의 정렬 정도를 보여 주는 루브릭 테스트 실행 화면_ --- ## 관리자를 위한 도구 ### Agent Inventory 어느 관리자에게든 밤잠을 설치게 하는 게 뭐냐고 물으면, 이런 종류의 질문이 돌아올 거예요. > *조직 전체에 에이전트가 몇 개나 있고, 그것들이 실제로 무슨 일을 하고 있는가?* **Agent Inventory** 기능은 모든 환경에 걸친 테넌트 전체 에이전트 뷰로 이 질문에 답해요. Power Platform 관리 센터가 제공하는 기본 가시성을 다음과 같이 확장해요. - 상세한 에이전트 구성 인사이트 - 에이전트의 기능 수준(feature-level) 정보 - 라이선스 및 크레딧 소비 인사이트 - 환경 간 가시성 _여러 환경에 걸친 920개 에이전트와 기능 사용 현황을 보여 주는 테넌트 전체 에이전트 인벤토리_ 이를 통해 관리자는 다음과 같은 질문에 답할 수 있어요. - 어떤 에이전트가 실제로 활발히 사용되고 있는가? - 조직 전체에서 어떤 기능이 사용되고 있는가? - 크레딧은 어디에서 소비되고 있는가? --- ### Agent Value Summary Agent Inventory의 선택적 확장 기능으로 **Agent Value Summary**가 있어요. 이 기능은 Agent Inventory에서 수집한 데이터를 활용해 에이전트를 분류하고, 관리자가 각 에이전트의 **조직적 가치**를 이해하도록 도와요. 다음을 보여 주는 시각적 대시보드를 제공해요. - 조직 내 에이전트 유형 - 도입(adoption) 패턴 - 에이전트 역량 분포 _에이전트 유형, 편익 분포, 시간에 따른 트렌드를 보여 주는 가치 분류 대시보드_ --- ### Conversation KPIs Copilot Studio에 내장된 분석은 단기 인사이트에는 훌륭해요. 하지만 **장기 트렌드**와 제품이 제공하는 범위를 넘어서는 지표가 필요하다면 어떨까요? **Conversation KPIs**는 대화 기록(transcript)을 분석해 기존 분석을 대체하는 것이 아니라 보완하는 추가 지표를 추출해요. 이를 통해 다음이 가능해져요. - 장기 트렌드 분석 - 에이전트 동작에 대한 더 깊은 인사이트 - 표준 제품 지표를 넘어서는 추가 KPI _해결률, 에스컬레이션 추적, 세션 결과 트렌드를 보여 주는 KPI 대시보드_ --- ### Conversation Analyzer 때로는 전통적인 분석으로는 답할 수 없는 질문에 답해야 할 때가 있어요. 예를 들면 이래요. - 고객이 불만을 표출하고 있는가? - 에이전트가 문제를 효율적으로 해결하고 있는가? - 특정 응답이 혼란을 유발하고 있지는 않은가? **Conversation Analyzer**를 사용하면 관리자가 **대화 기록에 대해 커스텀 프롬프트를 실행**해 이런 인사이트를 추출할 수 있어요. 이렇게 하면 그냥 두었다면 묻혀 있었을 패턴을 발견할 수 있어요. --- ## Compliance Hub: 수작업 없이 대규모 거버넌스 실현 문제는 이래요. 에이전트를 많이 배포할수록 거버넌스가 중요해져요. 그런데 모든 에이전트를 조직 표준에 맞춰 일일이 수동으로 점검한다? 그런 방식은 확장이 불가능해요. **Compliance Hub**는 Agent Inventory 데이터를 기반으로 **스스로 집행되는 거버넌스 정책**을 정의할 수 있게 해 이 문제를 해결해요. 관리자는 구체적인 임계값과 요구 사항을 담은 정책을 구성해요. 예를 들면 다음과 같아요. - 특정 구성이 활성화되어 있는지 확인 - 에이전트가 필수 테스트를 통과했는지 검증 - 조직 표준 준수 여부 검증 _활성 케이스, SLA 위반, 리스크 요인 분포를 보여 주는 컴플라이언스 대시보드_ 에이전트가 정의된 임계값을 충족하지 못하면 다음이 이루어져요. - 메이커에게 자동으로 알림 발송 - 시정(remediation) 워크플로 트리거 가능 - 문제가 해결되지 않으면 강제 조치 적용 가능 이를 통해 조직은 **최소한의 관리 부담으로 대규모 거버넌스**를 유지할 수 있어요. --- ## 관리자를 위한 대규모 테스트 테스트 자동화는 주로 메이커가 사용하지만, 관리자도 활용할 수 있어요. 각 에이전트를 하나씩 열어 평가를 실행하는 대신, 관리자는 다음을 할 수 있어요. - **한 곳에서 여러 에이전트에 대한 테스트 실행** 시작 - 결과를 중앙 위치에서 확인 - 주의가 필요한 에이전트를 빠르게 식별 이렇게 하면 대규모 검증 작업이 훨씬 수월해져요. --- ## Copilot Studio Kit이 중요한 이유 Copilot Studio Kit은 조직이 에이전트를 **더 효율적이고 책임감 있게** 운영하도록 돕는 기능으로 플랫폼의 기본 역량을 보완해요. 핵심 차별점은 다음과 같아요. - **테스트 자동화**로 대규모 고급 테스트를 실행해요. - **Agent Inventory**로 환경 전반의 기능 수준까지 들여다봐요. - **Conversation KPIs**로 장기 모니터링과 추가 분석을 더해요. - **Compliance Hub**로 거버넌스 워크플로를 자동화해요. - **AI 지원 루브릭 정제**로 평가 품질을 높여요. 이 기능들이 모여, 조직이 단순히 **에이전트를 만드는** 단계에서 **대규모로 운영하는** 단계로 나아가도록 도와요. --- ## 시작하기 Copilot Studio Kit은 오픈 소스이며 무료로 사용할 수 있어요. 다음 경로에서 받을 수 있어요. **GitHub 리포지토리** **Microsoft Marketplace (AppSource)** **더 나은 에이전트를 더 빨리 출시하려는 메이커**든 **여러 환경의 거버넌스를 책임지는 관리자**든, Copilot Studio Kit이 도움이 될 거예요. Copilot Studio Kit을 이미 사용해 보셨나요? 가장 관심 있는 기능은 무엇인가요? 혹은 저희가 해결해 주었으면 하는 과제가 있다면 댓글로 알려 주세요! --- ## 어휘 주석 1. **Power Platform 솔루션(solution):** 앱·에이전트·플로우 등을 하나로 묶어 다른 환경(개발→운영)으로 옮기는 배포 패키지. 2. **린팅(linting):** 코드를 실제로 실행하지 않고 구조와 규칙만 정적으로 검사해, 오류나 나쁜 패턴을 미리 잡아내는 작업.