한국형 필터와
기초 모델의 차이.
자기소개·계약서·의료기록·이메일·업무 채팅·정부 서식 등 13개 시나리오의 한국어 합성 문장과 자체 구축한 K-PII-Masking-300K 챌린지 셋(학습-평가 완전 분리, 비공개 검증용), 두 시험지 모두에서 측정한 결과입니다. 기초 모델은 범용 설계라 한국 고유 카테고리와 한국인 이름 인식에서 큰 격차가 벌어집니다. 이 수치는 기초 모델의 품질이 낮다는 뜻이 아니라, 한국 맞춤 확장이 반드시 필요하다는 의미입니다.
비고 ·
이 페이지의 OpenAI 는
OpenAI가 2026년 4월 공개한 OpenAI Privacy Filter (오픈소스 PII 분류 모델) 와의 비교입니다.
ChatGPT(GPT-4·5 계열 LLM)와의 비교가 아닙니다 — Corepin과 같은 PII 추출 전용 분류기끼리의 직접 비교예요.
"찾았는가"와 "올바르게 분류했는가".
한국형 필터의 진가는 두 번째 측정에서 드러납니다. 실전 마스킹 정책(예: 주민번호만 로그에서 삭제)을 운영하려면 정확한 카테고리 라벨이 필수이기 때문입니다.
관대한 채점 위치만
"개인정보 구간을 찾았는가"만 봅니다. 주민번호를 account_number로 잘못 분류해도 구간만 맞으면 정답. 기초 모델에 최대한 유리한 조건입니다.
엄격한 채점 분류까지
"정확한 카테고리 이름으로 분류했는가"까지 봅니다. 주민번호는 kr_rrn으로, 사업자번호는 kr_biz_no로 분류해야 정답. 실전 마스킹 정책에서 중요한 기준입니다.
구간만 맞추면 정답인 조건에서도,
기초 모델 대비 +11.7점.
관대 채점에서도 한국형 필터는 정확도·탐지율·종합 점수 모두 최상위. 격차의 절반은 한국인 이름과 날짜 카테고리에서 나옵니다.
① 관대한 채점 위치만
구간 탐지만 채점합니다. 기초 모델이 최대한 유리한 조건입니다.
분류까지 정답이어야 하는 조건에서,
기초 모델은 36점이 빠집니다.
기초 모델은 kr_rrn·kr_biz_no 같은 한국 카테고리 라벨을 출력할 수 없습니다. 모델 구조상 존재하지 않는 라벨이기 때문입니다. 주민번호를 찾아도 account_number로 분류하면 실전 마스킹 정책에서 제대로 작동하지 않습니다.
② 엄격한 채점 분류까지
정확한 카테고리 이름으로 분류해야 정답. 기초 모델의 진짜 한계가 드러나는 지점 — 한국 카테고리 9개에 대해 0점을 받습니다.
account_number · private_person · private_address · private_email · private_phone · private_url · private_date · secret)만 출력합니다. 한국 주민번호를 찾아도 그 구간을 account_number로 분류하므로, 엄격 채점에서는 오답 — 실전에서 "주민번호만 로그에서 제거"를 하려면 정확한 라벨이 필수이기 때문입니다.
기초 모델이 0점을 받는
한국 전용 9개 카테고리.
기초 모델이 한국 카테고리 라벨을 가지고 있지 않기 때문. 구간을 찾았더라도 이름을 못 붙이므로 엄격 채점에서는 전부 오답 처리됩니다.
구간 탐지만 봐도,
한국인 이름은 44%를 놓칩니다.
엄격 기준을 내려놓고 구간 탐지만 보더라도 여전히 한국인 이름에서 큰 격차. 기초 모델은 영어권 인명에 최적화되어 있어 한국 고유 이름의 약 44%를 놓칩니다. 1.0는 한국어 합성 데이터의 인명 분포로 통합 학습해 이 격차를 해소했습니다.
기초 모델이 이미 잘 잡는 영역도,
한국형이 마무리합니다.
보편 숫자·패턴은 기초 모델이 이미 잘 탐지합니다. 한국형은 남은 5~7pt 격차를 채우면서, 동시에 올바른 한국 카테고리 이름을 부여합니다(주민번호를 account_number가 아닌 kr_rrn으로). 카테고리 이름 차이는 관대 채점에는 반영되지 않습니다.
v0.1에서 v1.1까지,
하나씩 잡아낸 격차들.
버전별 엄격 채점 종합 점수 추이. 자체 2,000건 시험지(녹색)에서는 v0.4 부터 99점대로 진입해 v0.5 에서 99.97점으로 안정. 14,195건 K-PII-Masking-300K 챌린지 셋(인디고)에서는 v0.5 까지 78.6점에 머무르다 v0.7~v1.0 에서 99.99점으로 회복. v1.1은 v1.0 의 정확도를 그대로 유지하면서 회사명·기관명과 금액 두 카테고리를 추가하고, 실 운영 환경에서 보고된 함정 패턴(입찰공고번호·파일 ID·정부 사업 공고문 표 머리글)을 부정 학습으로 흡수했습니다. 현재 가동 중인 v1.3은 문맥 판단을 강화하고, 같은 시험지 전량을 실서비스 API 경로 그대로 재검증합니다(아래 독립 검증 셋 참고).
학습 분포 밖 시험지에서
진짜 일반화 능력을 봅니다.
자체 2,000문장 시험지는 학습 분포와 같아 ceiling에 닿기 쉽습니다. Corepin이 자체 구축한 K-PII-Masking-300K (비공개 검증용)의 14,195 챌린지 셋으로 학습-평가 완전 분리 측정합니다. 합성 데이터로 만든 검증 셋이며, 1,251개 동음이의어 함정 단어와 481명+ 공인 명단(시사 인물 변화에 맞춰 지속 갱신)으로 인명 과탐을 정밀히 검사합니다.
v0.5의 외부 일반화 갭이 v1.0에서 해소됐고, v1.1에서 새 카테고리 두 종이 같은 정확도로 정착했습니다. 자체 시험지 99.97점 → v0.5 외부 78.6점은 분포 차이로 인한 21점 갭이었지만, v1.0은 외부 99.99점 + 자체 시험지 99.97점으로 양쪽 모두 perfect. 하드 네거티브 3,682건 + 공인 본명 1,222건 모두 0건 오탐 — v1.1에서도 그대로 유지. v1.1 신규: 회사명·기관명(KOSPI/KOSDAQ 2,770종 + 정부·금융·의료·교육 주요 기관 240종)과 금액(₩·KRW·$·USD 11종 표기) 카테고리 추가, 실 운영 환경에서 보고된 함정 패턴(입찰공고번호·파일 ID·정부 사업 공고문 표 머리글) 188종을 부정 학습으로 흡수. 학습은 OpenAI Privacy Filter에서 새로 시작해 K-PII-Masking train 178천 + 자체 합성 60천을 5 epoch 통합 학습했습니다. v1.3(2026-08-17·현재 가동)부터는 오프라인 모델 단독 채점이 아니라 고객이 실제 호출하는 API 경로 그대로 14,195건 전량을 재검증합니다(채점 기준이 달라 과거 버전 점수와 직접 비교되지 않습니다) — 탐지율 99.99%(놓친 표본 2건), 하드 네거티브·공인 본명 오탐 0건. 엄격 채점에서 정답이 아닌 1.4%는 놓침이 아니라 필요한 것보다 넓게 가리는 경계 차이입니다. 공인 본명 명단은 시사 인물 변화에 맞춰 지속 갱신합니다.
기초 모델 그대로 두고,
출력 헤드만 바꿨습니다.
한국형 필터는 OpenAI Privacy Filter의 핵심 엔지니어링 — 양방향 어텐션, 경계 제약 Viterbi 디코더, 128k 컨텍스트 — 을 그대로 활용합니다. 재학습으로 바꾼 것은 출력 분류 헤드 단 한 부분: 8개 카테고리를 19개로 확장(v1.1, 회사명·기관명 + 금액 추가)하고 한국어 6만 문장으로 파인튜닝했습니다.
왜 기초 모델을 그대로 쓰는가
OpenAI Privacy Filter의 양방향 어텐션·BIOES 경계 제약 디코더·128k 컨텍스트 같은 핵심 엔지니어링은 이미 매우 정교합니다. 1.5B 전체 / 50M 활성이라는 희소 MoE 구조 덕분에 저가형 GPU 한 장으로 실시간 동작합니다.
한국형 필터가 손댄 부분은 출력 분류 헤드 단 한 부분 — 기존 8개 카테고리를 19개로 확장(v1.1). 양방향 어텐션, Viterbi 디코더, 128k 컨텍스트 등 기초 모델의 핵심은 그대로 활용합니다.
결과적으로 온디바이스 배포 가능성이 그대로 유지됩니다. 고객 데이터를 외부 API로 보낼 필요가 없어, 본질적으로 개인정보보호에 유리한 아키텍처를 그대로 계승합니다.