기능 01
폐쇄형 배포 구조
외부 네트워크와 분리된 환경에서도 생성형 AI를 운영할 수 있도록 설계합니다.
- 온프레미스 또는 제한된 네트워크 환경 배포 지원
- 접근 권한과 감사 로그 등 보안 통제 체계 반영
- 조직 내부 운영 정책에 맞는 배포 구조 구성
지식 서비스
Secure LLM
내부 문서를 안전하게 활용하는 폐쇄형 생성형 AI 솔루션
외부 유출 우려가 있는 업무 환경에서도 내부 문서와 규정, 사례를 근거로 답변하는 생성형 AI 서비스를 구축할 수 있게 합니다.
- 적용 산업
- 금융, 법률, 공공
- 도입 초점
- 온프레미스 배포와 RAG 구조를 기반으로 보안 요건을 지키면서도 빠른 문서 검색과 답변 생성을 지원합니다.
이 솔루션이 적합한 경우
- 민감한 내부 문서를 외부 서비스로 반출할 수 없는 조직
- 업무 매뉴얼, 계약서, 규정 기반 질의응답이 필요한 조직
핵심 기능
도입 시 제공되는 기능을 업무 기준으로 구분해 정리했습니다.
기능 02
문서 기반 답변 생성
내부 문서 검색과 답변 생성을 연결해 근거 있는 응답을 제공합니다.
- RAG 파이프라인 기반 문서 검색과 응답 생성
- 업무 시나리오별 프롬프트와 검색 범위 최적화
- 답변 정확도와 출처 확인 흐름 설계
도입 절차
ZTC Foundry 기준으로 과제 정의부터 운영 적용까지의 흐름을 단계별로 정리했습니다.
단계 01
Foundry Hub
보안·업무 범위 정의
보안 제약과 사용 시나리오를 기준으로 도입 범위를 정리합니다.
- 문서 유형과 권한 체계 확인
- 답변 대상 업무와 금지 범위 정의
단계 02
Foundry Lens
지식 구조 설계
검색할 문서와 메타데이터, 권한 체계를 서비스 구조에 맞게 정리합니다.
- 문서 분류와 인덱싱 정책 수립
- 업무 시나리오별 검색 범위 정의
단계 03
Foundry Lab
응답 품질 검증
검색 정확도와 답변 품질, 보안 요건을 함께 검증합니다.
- RAG 파이프라인과 모델 후보 비교
- 근거 제시 방식과 오답 유형 점검
단계 04
Foundry Stage
운영 체계 구축
배포, 권한, 감사 로그, 운영 화면을 포함한 실제 서비스 체계를 제공합니다.
- 온프레미스 배포와 접근 통제 구성
- 보안 로그와 운영 모니터링 체계 정착
기대 효과
대표 수치와 운영 측면의 기대 효과를 함께 확인할 수 있습니다.
답변 정확도
95%+
문서 기반 응답 기준
업무 자동화 효율
50% 향상
반복 질의 처리 기준
정보 유출 리스크
0% 목표
폐쇄형 운영 기준
운영 관점의 기대 효과
- 민감한 문서를 외부 서비스로 반출하지 않고 활용할 수 있습니다.
- 반복적인 내부 질의응답 업무를 줄일 수 있습니다.
- 보안 요건과 생성형 AI 활용을 함께 충족하는 운영 구조를 마련할 수 있습니다.
적용 사례
유사한 업종에서 어떤 과제를 해결했는지 요약해 소개합니다.
- 적용 기관
- 법무법인 D
- 산업
- 법률
도입 배경
내부 문서가 많지만 검색 속도가 느리고 외부 서비스 활용도 어려운 환경이었습니다.
적용 방식
보안 통제가 가능한 폐쇄형 환경에 문서 검색과 답변 생성 기능을 구축했습니다.
주요 결과
- 판례와 계약서 검색 시간을 80% 단축했습니다.
- 문서 근거를 포함한 답변 흐름을 제공했습니다.
- 정보 유출 우려 없이 내부 지식 활용 체계를 마련했습니다.
기술 환경
모델, 인프라, 운영 도구를 역할별로 구분해 표시했습니다.
AI·검색
- Claude
- Llama
- GPT
- LangChain
- LangGraph
- RAG 파이프라인
데이터·인프라
- Vector DB
- Docker
- Kubernetes
- TLS 1.3
- Access Control
운영 도구
- LangSmith
- 감사 로그
- 관리 콘솔
- 보안 대시보드