핵심 기능 (Key Features)

요청의 난이도와 맥락에 따라 최적의 모델(GPT-4o, Claude 3.5 Sonnet, Gemini Flash, 온프레미스 LLM)로 자동 라우팅하며, 벤더 API 장애 시 보조 모델로 즉각 우회합니다.

Redis 기반 고속 시맨틱 캐시로 유사 질의를 사전 처리하여 LLM 호출 비용을 대폭 절감하고, 일일 사용량 Cap 초과 시 비용 폭증을 차단합니다.

개인정보 보호 필터가 프롬프트 내 주민등록번호, 연락처, 계좌정보를 외부 전송 전 자동 마스킹하며, JWT Role 기반으로 권한별 데이터 접근을 엄격히 제어합니다.

작동 프로세스 (How it Works)

사내 시스템의 AI 호출 요청을 받아 개인정보 및 기밀 키워드를 실시간 마스킹 처리합니다.

캐시 적중 시 즉시 응답을 반환하며, 신규 질의는 비용과 가용성을 고려해 최적의 LLM으로 전달합니다.

응답 스트리밍과 동시에 토큰 사용량을 비동기 큐에 적재하여 실시간 대시보드와 예산 통제에 반영합니다.

사내 폐쇄망(Air-Gapped) 환경의 로컬 LLM과도 연동되나요?

네, vLLM, Ollama, TGI 등 사내 구축형 오픈소스 LLM 런타임과 표준 OpenAI 호환 규격으로 원활하게 연동됩니다.

토큰 비용이 예산을 초과하면 어떻게 제어되나요?

부서별/프로젝트별로 일일 및 월간 예산 Cap을 설정할 수 있으며, 한도 도달 시 경보 발송 또는 요청 차단 정책을 유연하게 적용합니다.

기존 애플리케이션 코드를 많이 수정해야 하나요?

표준 OpenAI 및 LangChain 호환 REST/SSE 엔드포인트를 제공하므로, 엔드포인트 URL과 API Key 변경만으로 즉시 전환할 수 있습니다.