Cloudflare는 화요일 대규모 언어 모델을 정의하는 토큰별 생성 없이 비정형 데이터에서 구조화된 값을 끌어내도록 설계된 새로운 클래스의 "System One" 모델 중 첫 번째로 회사가 설명하는 추출 모델인 Clairic의 미리 보기를 발표했습니다. 이 모델은 현재 Cloudflare의 Workers AI 플랫폼(@cf/cloudflare/clairic)에서 미리 보기로 제공되며, 회사는 가까운 시일 내에 모델의 가중치를 공개적으로 공개할 계획이라고 밝혔습니다.

이번 출시로 인해 Cloudflare는 현재 AI 인프라 시장을 재편하고 있는 더욱 흥미로운 논쟁 중 하나인 LLM에 할당된 모든 작업에 실제로 LLM이 필요한지 여부에 대한 논쟁을 벌이고 있습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

Clairic이 하는 일과 의도적으로 하지 않는 일

Clairic은 복잡하고 구조화되지 않은 입력을 읽고 입력된 값을 반환하는 좁지만 매우 일반적인 작업을 위해 만들어졌습니다. Cloudflare의 발표에 따르면 이 모델은 구조화되지 않은 입력에서 값을 추출, 계산, 추정 및 예측할 수 있으며, 80% 범위의 숫자, 이름, 날짜, 시간, 목록과 같은 입력된 값, 전체 확률 분포를 반환하며 각각 보정된 신뢰도를 갖습니다.

하지 않는 것은 텍스트를 생성하는 것입니다. Clairic에 대한 쿼리는 개발자가 선언한 유형의 값 또는 답변이 입력에 없을 확률을 추정하는 p_null 점수와 쌍을 이루는 null 결과를 반환합니다. 모든 답변에는 신뢰도 점수가 함께 제공되므로 다운스트림 시스템에서 답변을 신뢰할지 아니면 사람의 검토를 위해 플래그를 지정할지 결정할 수 있습니다.

Cloudflare는 절충점에 대해 명시적으로 설명합니다. Clairic은 토큰을 생성하지 않기 때문에 잘못된 형식의 JSON을 생성하거나, 세대 중간에 숫자를 잘못 읽거나, LLM처럼 답변을 환각적으로 생성할 수 없습니다. 여전히 실수를 할 수 있습니다. 회사는 그 점에 주의를 기울이고 있습니다. 그러나 실패는 자유 형식이 아닌 유형화되고 측정 가능합니다.

'System One' 라벨에 대한 설명

이 용어는 AI 스타트업 TypeSafe에서 유래했습니다. TypeSafe는 약 한 달 전에 자체 System One 모델을 발표했고 빠르게 개발자 커뮤니티에서 가장 많이 논의되는 출시 중 하나가 되었습니다. 프레임 구성은 심리학자 Daniel Kahneman의 저서 "Thinking, Fast and Slow"에서 차용했습니다. 시스템 1의 사고는 빠르고 자동적이며 정확하지만 시스템 2의 사고는 느리고 신중합니다. TypeSafe는 이러한 차이를 AI 모델에 매핑하여 많은 프로덕션 워크로드에는 개방형 추론보다는 빠르고 잘 입력된 답변이 필요하다고 주장했습니다.

특정 도메인을 위해 특별히 제작된 의사 결정 모델인 TypeSafe의 Jev는 확률을 입력으로 사용하고 고정된 가능한 답변 목록에 대한 확률을 반환했습니다. 지금까지 이것이 전체 범주였습니다. 모든 System One 모델은 의사결정 모델이었습니다.

Clairic은 개념을 확장합니다. 의사결정 모델이 사전 정의된 옵션 중에서 선택하는 경우 추출 모델은 입력에서 직접 가져온 숫자, 입력에서 계산된 숫자 또는 입력 이후의 예측 값으로 응답합니다. Cloudflare에 따르면 기존 LLM과 함께 두 모델 계열이 이제 3계층 스택을 형성합니다. 즉, 추출 모델은 원시 입력을 입력된 값으로 바꾸고, 결정 모델은 값을 결정으로 바꾸고, LLM은 결정을 단어로 바꿉니다.

추출이 다시 생각하기에 적합한 이유

Cloudflare의 주장은 오늘날의 LLM 트래픽 중 얼마나 많은 양이 대화와는 전혀 다른 작업에 소비되는지에 달려 있습니다. 회사에서는 추출을 "아마도 오늘날 LLM이 맡는 가장 일반적인 작업"이라고 부릅니다. 즉 문서에서 송장 총액, 배송 날짜 또는 부품 번호를 가져오는 것입니다.

Cloudflare의 말에 따르면 문제는 LLM이 다른 용도로 구축된 기계를 사용하여 해당 작업을 처리한다는 것입니다. 출력이 유효한 JSON이 아닐 수 있습니다. 토큰이 생성될 때 숫자를 잘못 읽을 수 있습니다. 반환된 텍스트 발췌문은 원본 문서의 해당 위치를 역추적할 수 없습니다. 팀은 스키마 유효성 검사기, 재시도 논리, 구문 분석 레이어, 즉석 검사 등 방어 파이프라인에 모델을 래핑하여 대응합니다. 그리고 LLM은 추론 및 출력 토큰에 대해 비용을 청구하기 때문에 모든 문서의 모든 필드에는 작업의 난이도보다는 장황함에 따라 확장되는 생성 비용이 발생합니다.

System One 추출 모델은 이러한 경제성을 뒤집습니다. Cloudflare에 따르면 Clairic은 단일 전달 패스로 입력을 처리하고 입력 토큰에 대해서만 비용을 청구하며 일반적으로 1초 이내에 응답합니다. 반면 동일한 필드를 통해 작동하는 추론 LLM은 몇 초가 걸릴 수 있습니다. 대용량 문서 처리의 경우 차이가 빠르게 커집니다.

요청이 실제로 작동하는 방식

개발자는 입력된 필드 맵과 함께 Clairic에게 상태(읽을 텍스트와 최대 4개의 선택적 이미지)를 보냅니다. 각 필드에는 이름, 유형 및 선택적 일반 언어 지침이 포함됩니다. 모델은 단일 병렬 전달로 계산된 필드당 하나의 입력된 답변을 반환합니다. 필드 목록이 한 번의 패스에서 입력 옆에 맞지 않으면 서버는 작업을 각각 전체 입력을 볼 수 있는 병렬 패스로 분할한 다음 답변을 병합합니다.

추정 작업의 경우 답변은 분포로 제공됩니다. 즉, 10~90번째 백분위수에 걸쳐 80% 간격의 중앙값이 제공되며 요청 시 99번째 백분위수를 모두 사용할 수 있습니다. 따라서 단일 지점 추정이 모델의 확실성을 과장하는 예측 스타일 질문(예상 수리 비용, 배송 일정, 다음날 교통량)에 모델을 사용할 수 있습니다.

인프라 시장의 신호

Clairic 자체가 성공할지 여부는 거의 중요하지 않습니다. 이번 출시는 인프라 제공업체가 작업에 적합한 크기의 모델을 향해 빠르게 이동하고 있는 또 다른 데이터 포인트입니다. 즉, 좁은 구조의 작업을 위한 작고 빠르며 저렴한 모델이며 진정한 개방형 추론을 위해 예비 LLM이 예약되어 있습니다. 추출, 결정 및 언어 모델이 조화롭게 작동해야 한다는 Cloudflare의 자체 포지셔닝은 프로덕션 AI 스택이 어떻게 조립될 것이라고 생각하는지에 대한 청사진으로 읽혀집니다.

회사는 약속된 오픈 웨이트 출시 날짜를 발표하지 않았습니다. 현재 Clairic은 Workers AI에서 미리 보기로 제공됩니다. 여기서 개발자는 자신의 추출 워크로드에 대해 Clairic을 테스트하고 LLM 청구서 중 실제로 필요한 금액이 얼마나 되는지 확인할 수 있습니다.

_이 글은 Cloudflare가 공식 발표한 Clairic 추출 모델 미리보기를 바탕으로 작성되었습니다._

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →