문서 파서, 공개 벤치마크로 고르는 법

핵심 요약

데모 화면보다 같은 데이터와 채점 코드로 다시 잴 수 있는 공개 벤치마크가 비교에 정확합니다.

국내 기관 문서를 다룬다면 한국어 문서로 만든 벤치마크(KoOCR-Bench) 점수를 함께 봅니다.

RAG에서는 표가 무너지면 답이 틀리기 쉬워, 종합 점수만큼 표 점수(TEDS)가 중요합니다.

회사가 직접 잰 점수는 측정일, 데이터, 채점 코드가 함께 공개돼 있는지 확인합니다.

문서 파서는 데모 화면보다 공개 벤치마크 점수로 비교하는 것이 정확합니다. 데모는 대개 잘 되는 문서를 골라 보여 주기 때문에, 여러 제품을 같은 기준으로 비교하기 어렵습니다.

그래서 쓰는 것이 공개 벤치마크입니다. 정답이 달린 문서 묶음과 채점 코드가 공개돼 있어, 누구나 같은 조건으로 다시 재 볼 수 있습니다.

자주 쓰는 공개 벤치마크

벤치마크	공개한 곳 · 문서	보는 것
opendataloader-bench	한컴 · 영어 문서 200쪽	읽기 순서, 표, 제목을 합친 종합 점수. 공개 리더보드가 있습니다
KoOCR-Bench	schift-io · 한국어 실문서	관보·통계표·보고서 같은 한국어 문서에서 글자, 표, 읽기 순서, 제목, 위치를 함께 봅니다
DP-Bench	Upstage · 영어 문서 200쪽	표 구조와 내용이 정답과 얼마나 같은지
OmniDocBench	여러 종류의 문서	글자, 표, 수식, 읽기 순서를 항목별로
FinTabNet	재무제표 표	선이 없고 숫자가 빽빽한 표

국내 기관 문서를 다룬다면 한국어 문서로 만든 KoOCR-Bench를 꼭 함께 보세요. 영어 문서 벤치마크에서 점수가 높아도 한글 문서에서는 결과가 다를 수 있습니다.

대부분의 점수는 1.0이 정답과 완전히 같다는 뜻이고, 높을수록 좋습니다.

읽기 순서: 2단 문서나 표·그림이 섞인 쪽을 사람이 읽는 순서대로 이어 붙였는지 봅니다.
표 구조·내용 일치도(TEDS): 표의 행·열·병합 구조와 칸 안 글자가 정답과 얼마나 같은지 봅니다. 구조만 따로 보는 점수(TEDS-S)도 있습니다.
제목: 제목을 본문과 구분하고 단계를 맞게 잡았는지 봅니다.
편집 거리: 틀린 글자 비율처럼 낮을수록 좋은 점수도 있으니 방향을 꼭 확인하세요.

한국어 문서가 들어 있는가. 기관 문서를 넣을 거라면 한국어 벤치마크 점수가 더 중요합니다.
표 점수를 따로 보는가. RAG에서는 표가 무너지면 답이 틀리기 쉬워, 종합 점수만큼 표 점수가 중요합니다.
언제, 어떤 데이터로 잰 값인가. 회사가 직접 잰 점수라면 측정일과 쓴 데이터, 채점 코드가 함께 공개돼 있는지 보세요. 그래야 다시 확인할 수 있습니다.
마지막은 내 문서로. 벤치마크는 비교의 출발점입니다. 실제로 넣을 기관 문서로 결과를 확인하는 것이 가장 확실합니다.

르몽은 Luminir Document Parser의 점수를 각 벤치마크가 공개한 데이터와 채점 코드로 직접 측정해(자체 측정) 측정일과 함께 공개합니다.

벤치마크별 측정일과 세부 점수는 벤치마크 페이지에 있습니다.

자주 묻는 질문

Q1공개 벤치마크란 무엇인가요?

정답이 달린 문서 묶음과 채점 코드를 함께 공개한 평가 자료입니다. 누구나 같은 문서와 같은 채점 방법으로 여러 문서 파서를 다시 재 볼 수 있어, 데모 화면보다 공정하게 비교할 수 있습니다.

Q2벤치마크 점수가 높으면 우리 기관 문서에서도 잘 되나요?

반드시 그렇지는 않습니다. 벤치마크 문서와 실제 문서는 언어와 형식이 다를 수 있어서, 한국어 문서 벤치마크 점수를 함께 보고 실제로 넣을 문서로 결과를 확인하는 것이 가장 확실합니다.

Q3TEDS 점수는 무엇을 뜻하나요?

표의 행, 열, 병합 구조와 칸 안 글자가 정답과 얼마나 같은지를 0부터 1 사이로 나타낸 점수입니다. 1에 가까울수록 정답과 같고, 구조만 따로 보는 TEDS-S 점수도 있습니다.

Q4회사가 직접 잰 벤치마크 점수는 믿을 수 있나요?

측정일, 사용한 데이터, 채점 코드가 함께 공개돼 있다면 누구나 같은 방법으로 다시 재 볼 수 있어 확인이 가능합니다. 이 정보가 없는 점수는 비교 근거로 쓰기 어렵습니다.