Pipeline Copy activity로 첫 데이터 옮기기

원문: How to copy data using copy activity 최종 업데이트: 2025-12-16 · Microsoft Fabric 설명서 팀

Fabric에서 Data pipeline을 처음 만들면 거의 예외 없이 제일 먼저 마주치는 게 Copy activity예요. “원본에서 대상으로 데이터를 복사한다”는 개념 자체는 단순한데, 막상 화면을 열면 연결(connection), 매핑, 스테이징 같은 설정이 한꺼번에 나와서 뭐부터 채워야 할지 헷갈릴 수 있어요.

Copy activity가 실제로 하는 일

Copy activity는 크게 네 단계로 동작해요.

1. 소스에 연결 — 원본 데이터 저장소에 보안 연결을 맺어요.
2. 데이터 처리 — 직렬화/역직렬화, 압축/압축 해제, 컬럼 매핑, 데이터 타입 변환을 설정에 따라 처리해요.
3. 대상에 쓰기 — 처리된 데이터를 목적지 저장소로 전송해요.
4. 모니터링 제공 — 복사 작업을 추적하고, 문제 해결과 최적화를 위한 로그·메트릭을 남겨요.

단순히 복사만 하고 별다른 변환이 필요 없다면, 전체 Pipeline을 만들지 않고도 쓸 수 있는 Copy job이 더 간단한 대안이 될 수 있다는 점도 문서는 팁으로 짚어줘요.

Copy assistant로 시작하기

Copy activity를 추가하는 가장 쉬운 방법은 Copy assistant를 쓰는 거예요.

1. 파이프라인 캔버스에서 Copy data를 선택해 Copy Assistant를 열어요. (또는 Activities 탭의 Copy data 드롭다운에서 “Use copy assistant”를 선택해도 돼요.)
2. 소스 설정: 카테고리에서 데이터 소스 타입을 고르고, 새 연결을 만들거나 기존 연결을 선택해요. 복사할 파일이나 폴더를 지정해요.
3. 대상 설정: 목적지 타입을 고르고 연결한 뒤, 소스 데이터를 대상에 매핑해요.
4. 리뷰 후 생성: 지금까지의 설정을 검토하고 확정하면, Copy activity가 파이프라인 캔버스에 추가돼요.

Copy assistant를 거치지 않고 캔버스에서 Copy activity를 직접 추가한 뒤 General·Source·Destination·Mapping·Settings 탭을 하나씩 채우는 방법도 있어요. 둘 다 결과물은 같고, Copy assistant는 그 과정을 마법사 형태로 안내해주는 차이예요.

연결(connection) 만들 때 걸리는 부분

소스든 대상이든 연결을 새로 만들거나 기존 연결 중에서 골라야 해요. 이미 만들어둔 연결이 있으면 드롭다운에서 선택하고, Test connection과 Edit로 확인·수정할 수 있어요.

여기서 초심자가 자주 놓치는 규칙이 하나 있어요. 하나의 Copy activity 안에서는 온프레미스 데이터 게이트웨이를 하나만 쓸 수 있어요. 소스와 대상이 둘 다 온프레미스 데이터라면 반드시 같은 게이트웨이를 써야 하고, 서로 다른 게이트웨이를 쓰는 온프레미스 소스와 대상을 한 번에 연결할 수는 없어요. 이런 경우에는 첫 번째 게이트웨이로 중간 클라우드 저장소까지 복사하는 Copy activity 하나, 그 중간 저장소에서 두 번째 게이트웨이로 최종 대상까지 복사하는 Copy activity 하나, 이렇게 두 단계로 나눠야 해요.

매핑과 타입 변환

Mapping 탭에서 Import schemas를 누르면 자동으로 소스·대상 컬럼이 매핑돼요. 새 테이블을 만드는 경우라면 대상 컬럼 이름을 자유롭게 바꿀 수 있지만, 이미 있는 테이블에 쓰는 경우라면 기존 컬럼 이름은 바꿀 수 없어요.

타입 변환은 소스 고유 타입 → Fabric Data Factory의 interim(중간) 데이터 타입 → 대상 고유 타입, 이렇게 두 단계를 거쳐 자동으로 이뤄져요. Boolean, Byte, Datetime, Decimal, GUID, Integer 계열, String 등 주요 타입 조합은 대부분 자동 변환이 지원되지만, 계층형(hierarchical) 데이터 사이의 변환은 지원되지 않는다는 점은 알아두는 게 좋아요.

자주 손대는 설정: 스테이징, 병렬도, 스루풋

Settings 탭에는 성능과 안정성에 관련된 옵션이 모여 있어요.

• Enable staging — 중간 스테이징 스토리지를 거쳐 복사해요. 워크스페이스 내장 스토리지를 쓰면 60분 타임아웃이 있어서, 오래 걸리는 작업이라면 외부 Azure Blob Storage/ADLS Gen2를 스테이징으로 쓰는 게 권장돼요.
• Intelligent throughput optimization — Auto/Standard/Balanced/Maximum 중에서 고르며, Auto를 선택하면 소스-대상 조합과 데이터 패턴에 맞춰 최적값이 자동 적용돼요.
• Degree of copy parallelism — 데이터 로딩에 쓸 병렬 처리 정도를 지정해요.
• Fault tolerance — 소스·대상 사이의 호환되지 않는 행이나, 복사 도중 삭제된 파일처럼 중간에 발생하는 일부 오류를 건너뛸 수 있게 해줘요.
• Data consistency verification — 파일 크기·수정일·체크섬(바이너리 파일) 또는 전체 행 수(테이블 데이터)를 비교해 소스와 대상이 일치하는지 확인해요. 다만 이 검증을 켜면 복사 성능에는 영향이 있어요.

정리

Copy activity는 “연결 맺기 → 처리 → 쓰기 → 모니터링”이라는 단순한 흐름 위에, Copy assistant라는 마법사로 소스·대상·매핑을 순서대로 채워가는 도구예요. 온프레미스 게이트웨이는 활동 하나당 하나만 쓸 수 있다는 제약, 그리고 스테이징·병렬도 같은 Settings 탭의 옵션들만 미리 알아두면 첫 데이터 이동에서 헤매는 시간을 크게 줄일 수 있어요.

---

어휘 주석

1. Copy assistant: Copy activity의 소스·대상·매핑 설정을 단계별 마법사 화면으로 안내해주는 Fabric 파이프라인 도구.
2. 스테이징(staging): 소스에서 대상으로 바로 복사하지 않고, 중간 저장소를 거쳐 데이터를 임시로 쌓았다가 옮기는 방식.
3. interim 데이터 타입: Copy activity가 서로 다른 시스템의 데이터 타입을 맞추기 위해 내부적으로 거치는 중간 표준 타입 집합.