한국형 필터와
기초 모델의 차이.
자기소개·계약서·의료기록·이메일·업무 채팅·정부 서식 등 13개 시나리오의 한국어 합성 문장과 자체 구축한 K-PII-Masking-300K 챌린지 셋(학습-평가 완전 분리, 비공개 검증용), 두 시험지 모두에서 측정한 결과입니다. 기초 모델은 범용 설계라 한국 고유 카테고리와 한국인 이름 인식에서 큰 격차가 벌어집니다. 이 수치는 기초 모델의 품질이 낮다는 뜻이 아니라, 한국 맞춤 확장이 반드시 필요하다는 의미입니다.
비고 ·
이 페이지의 OpenAI 는
OpenAI가 2026년 4월 공개한 OpenAI Privacy Filter (오픈소스 PII 분류 모델) 와의 비교입니다.
ChatGPT(GPT-4·5 계열 LLM)와의 비교가 아닙니다 — Corepin과 같은 PII 추출 전용 분류기끼리의 직접 비교예요.
"찾았는가"와 "올바르게 분류했는가".
한국형 필터의 진가는 두 번째 측정에서 드러납니다. 실전 마스킹 정책(예: 주민번호만 로그에서 삭제)을 운영하려면 정확한 카테고리 라벨이 필수이기 때문입니다.
관대한 채점 위치만
"개인정보 구간을 찾았는가"만 봅니다. 주민번호를 account_number로 잘못 분류해도 구간만 맞으면 정답. 기초 모델에 최대한 유리한 조건입니다.
엄격한 채점 분류까지
"정확한 카테고리 이름으로 분류했는가"까지 봅니다. 주민번호는 kr_rrn으로, 사업자번호는 kr_biz_no로 분류해야 정답. 실전 마스킹 정책에서 중요한 기준입니다.
구간만 맞추면 정답인 조건에서도,
기초 모델 대비 +11.8점.
관대 채점에서도 한국형 필터는 정확도·탐지율·종합 점수 모두 최상위. 격차의 절반은 한국인 이름과 날짜 카테고리에서 나옵니다.
① 관대한 채점 위치만
구간 탐지만 채점합니다. 기초 모델이 최대한 유리한 조건입니다.
분류까지 정답이어야 하는 조건에서,
기초 모델은 36점이 빠집니다.
기초 모델은 kr_rrn·kr_biz_no 같은 한국 카테고리 라벨을 출력할 수 없습니다. 모델 구조상 존재하지 않는 라벨이기 때문입니다. 주민번호를 찾아도 account_number로 분류하면 실전 마스킹 정책에서 제대로 작동하지 않습니다.
② 엄격한 채점 분류까지
정확한 카테고리 이름으로 분류해야 정답. 기초 모델의 진짜 한계가 드러나는 지점 — 한국 카테고리 9개에 대해 0점을 받습니다.
account_number · private_person · private_address · private_email · private_phone · private_url · private_date · secret)만 출력합니다. 한국 주민번호를 찾아도 그 구간을 account_number로 분류하므로, 엄격 채점에서는 오답 — 실전에서 "주민번호만 로그에서 제거"를 하려면 정확한 라벨이 필수이기 때문입니다.
기초 모델이 0점을 받는
한국 전용 9개 카테고리.
기초 모델이 한국 카테고리 라벨을 가지고 있지 않기 때문. 구간을 찾았더라도 이름을 못 붙이므로 엄격 채점에서는 전부 오답 처리됩니다.
구간 탐지만 봐도,
한국인 이름은 44%를 놓칩니다.
엄격 기준을 내려놓고 구간 탐지만 보더라도 여전히 한국인 이름에서 큰 격차. 기초 모델은 영어권 인명에 최적화되어 있어 한국 고유 이름의 약 44%를 놓칩니다. 1.0는 한국어 합성 데이터의 인명 분포로 통합 학습해 이 격차를 해소했습니다.
기초 모델이 이미 잘 잡는 영역도,
한국형이 마무리합니다.
보편 숫자·패턴은 기초 모델이 이미 잘 탐지합니다. 한국형은 남은 5~7pt 격차를 채우면서, 동시에 올바른 한국 카테고리 이름을 부여합니다(주민번호를 account_number가 아닌 kr_rrn으로). 카테고리 이름 차이는 관대 채점에는 반영되지 않습니다.
v0.1에서 v1.1까지,
하나씩 잡아낸 격차들.
버전별 엄격 채점 종합 점수 추이. 자체 2,000건 시험지(녹색)에서는 v0.4 부터 99점대로 진입해 v0.5 에서 99.97점으로 안정. 14,195건 K-PII-Masking-300K 챌린지 셋(인디고)에서는 v0.5 까지 78.6점에 머무르다 v0.7~v1.0 에서 99.99점으로 회복. v1.1은 v1.0 의 정확도를 그대로 유지하면서 회사명·기관명과 금액 두 카테고리를 추가하고, 실 운영 환경에서 보고된 함정 패턴(입찰공고번호·파일 ID·정부 사업 공고문 표 머리글)을 부정 학습으로 흡수했습니다.
학습 분포 밖 시험지에서
진짜 일반화 능력을 봅니다.
자체 2,000문장 시험지는 학습 분포와 같아 ceiling에 닿기 쉽습니다. Corepin이 자체 구축한 K-PII-Masking-300K (비공개 검증용)의 14,195 챌린지 셋으로 학습-평가 완전 분리 측정합니다. 합성 데이터로 만든 검증 셋이며, 1,251개 동음이의어 함정 단어와 481명 공인 명단으로 인명 과탐을 정밀히 검사합니다.
v0.5의 외부 일반화 갭이 v1.0에서 해소됐고, v1.1에서 새 카테고리 두 종이 같은 정확도로 정착했습니다. 자체 시험지 99.97점 → v0.5 외부 78.6점은 분포 차이로 인한 21점 갭이었지만, v1.0은 외부 99.99점 + 자체 시험지 99.97점으로 양쪽 모두 perfect. 하드 네거티브 3,682건 + 공인 본명 1,222건 모두 0건 오탐 — v1.1에서도 그대로 유지. v1.1 신규: 회사명·기관명(KOSPI/KOSDAQ 2,770종 + 정부·금융·의료·교육 주요 기관 240종)과 금액(₩·KRW·$·USD 11종 표기) 카테고리 추가, 실 운영 환경에서 보고된 함정 패턴(입찰공고번호·파일 ID·정부 사업 공고문 표 머리글) 188종을 부정 학습으로 흡수. 학습은 OpenAI Privacy Filter에서 새로 시작해 K-PII-Masking train 178천 + 자체 합성 60천을 5 epoch 통합 학습했습니다.
기초 모델 그대로 두고,
출력 헤드만 바꿨습니다.
한국형 필터는 OpenAI Privacy Filter의 핵심 엔지니어링 — 양방향 어텐션, 경계 제약 Viterbi 디코더, 128k 컨텍스트 — 을 그대로 활용합니다. 재학습으로 바꾼 것은 출력 분류 헤드 단 한 부분: 8개 카테고리를 19개로 확장(v1.1, 회사명·기관명 + 금액 추가)하고 한국어 6만 문장으로 파인튜닝했습니다.
왜 기초 모델을 그대로 쓰는가
OpenAI Privacy Filter의 양방향 어텐션·BIOES 경계 제약 디코더·128k 컨텍스트 같은 핵심 엔지니어링은 이미 매우 정교합니다. 1.5B 전체 / 50M 활성이라는 희소 MoE 구조 덕분에 저가형 GPU 한 장으로 실시간 동작합니다.
한국형 필터가 손댄 부분은 출력 분류 헤드 단 한 부분 — 기존 8개 카테고리를 19개로 확장(v1.1). 양방향 어텐션, Viterbi 디코더, 128k 컨텍스트 등 기초 모델의 핵심은 그대로 활용합니다.
결과적으로 온디바이스 배포 가능성이 그대로 유지됩니다. 고객 데이터를 외부 API로 보낼 필요가 없어, 본질적으로 개인정보보호에 유리한 아키텍처를 그대로 계승합니다.