2025년엔 코드 동결 지시 중이던 AI 에이전트가 운영 데이터베이스를 통째로 지운 사건이 실제로 기록됐고(AI 사고 데이터베이스 #1152), 커뮤니티엔 "한 시간 전 자기 말과 모순되기 시작했다"는 경험담이 즐비합니다.
왜 반복될까요. 세션이 끝나면 컨텍스트 윈도우는 통째로 비워지고, 긴 대화는 컴팩션(요약 압축)을 거치며 세부부터 사라집니다. RAG(검색 증강 생성)를 올려도 못 막습니다 — 코사인 유사도 검색은 질문과 비슷한 청크를 가져올 뿐이라, 옛 결정과 새 변경이 함께 회수되면 무엇이 최신인지 가리지 못합니다. 결정과 전제 사이의 의존 관계는 임베딩에 저장되지 않고, 검색은 쿼리가 와야 도는 수동 부품이라 — 아무도 다시 묻지 않은 결정은 회수조차 되지 않습니다.
그래서 장기 프로젝트가 산으로 갑니다. 목표 드리프트 — 처음의 목표가 대화가 쌓이는 사이 조금씩 밀려나, 어느새 다른 것을 만들고 있습니다. 동조(sycophancy) — 사용자가 세게 말하면 어제의 결론을 그 자리에서 뒤집어 맞장구치고, 역동조 — 반대로 멀쩡한 방향을 스스로 갈아엎기도 합니다. 바이브 코딩 며칠째, 코드는 늘어나는데 프로젝트는 제자리 — 한 번이라도 겪었다면 아는 상태입니다.
crag은 바로 이 틈에 층을 둡니다. LLM 옆에서 기억·전제·결정을 관리하는 CRA(Coherence Regulation Architecture) — 정한 것과 그 바탕을 함께 기록하고, 사정이 바뀌는 순간 그 위에 서 있던 결정들을 먼저 꺼내 보여줍니다. 말로 설명하는 대신, 아래에서 직접 확인할 수 있습니다.
녹화가 아닙니다 — 버튼을 누르면 지금 이 자리에서 실제 커널이 5단계를 처리합니다. 핵심 장면은 4단계: 전제가 바뀌는 순간, 그 전제에 기댔던 결정만 골라 "재검토 필요"로 돌아옵니다.
시나리오는 지어낸 게 아니라 실제 사고 기록의 모양입니다 — 항공사 챗봇이 옛 정책으로 안내해 배상 판결(2024), 가짜·구버전 판례 인용으로 변호사 제재 누적 1,313건(2026), 코드 동결 지시 중 운영 DB 삭제(2025).
데모는 1회용 커널에서 돌고 기록은 즉시 삭제됩니다. 하루 실행 횟수에 상한이 있습니다 — 다 쓰셨다면 무료 API 키를 발급받아 자유롭게 이어갈 수 있습니다.
정직 고지: 이 데모의 문장들은 결정과 변경이 또렷한 문형이고, 여섯 시나리오 모두 배포 전에 실제 커널 발동(의존 결정만 재검토·무관 결정 무발동)을 검증했습니다. 실사용의 자유로운 말과 긴 궤적에서의 정밀도는 지금도 실로그로 검증을 계속하고 있으며, 금지·한정 어법이 없는 추상 원칙(예: "안전이 최우선")을 구체 결정에 자동으로 잇는 부품은 아직 연구 중입니다.
위 시나리오들이 흉내 낸 실제 사건과 기록입니다. 판결·규제 문서·연구로 확인된 것만 실었고, 실사건이 아직 없는 분야는 "경고"로 정직하게 표기했습니다. 공통 구조는 하나 — 전제는 바뀌었거나 이미 있었는데, 그 위의 결정이 따라오지 않았다. 실행 버튼이 있는 카드는 그 사고의 전제→결정 구조를 지금 커널에 태워, LLM 단독·RAG·CRA 세 겹이 각각 어떻게 반응하는지 라이브로 보여줍니다.
위 기록이 과거와 현재라면, 이쪽은 다가올 미래입니다. 가정부 로봇·배송 로봇·돌봄 로봇이 들어올 세계에서 전문가들이 경고하는 사고의 모양도 똑같습니다 — 전제는 바뀌는데(아이의 알레르기, 노인의 근력, 건물의 출입 규칙), 몸을 가진 AI의 행동 결정이 따라오지 않는 것. 위 데모의 "가정부 로봇"·"배송 로봇"이 이 구조를 지금 커널이 잡는 모습입니다.
정직 고지: 두 시나리오는 가상입니다 — "가정 상황 변화를 로봇이 놓치는 위험"을 콕 집은 단일 문헌은 저희 조사에서 아직 못 찾았고, 아래 실재 근거들(법적 경고·돌봄 연구·실사건)의 조합으로 만들었습니다.
반도체 공장의 실제 사고들에서, 사실은 현장에 이미 있었지만 신고·대피라는 결정에 도달하지 못했습니다 — 불산 누출을 25시간 동안 알리지 않았고(2013 화성, 1명 사망), 사람이 쓰러졌는데 소방 신고는 0건이었으며(2018 기흥, 2명 사망), 덕트에 질소가 남았다는 설비 상태가 작업자에게 전달되지 않았습니다(2015 이천, 3명 사망).
아래는 흥분한 신고 발화를 AI가 구조화하는 라이브 데모입니다. 정정("A동 아니고 A동 클린룸")과 부정("B동은 아니에요")을 어떻게 다루는지 — 그리고 추출 모델이 흔한 실수(부정한 값을 답으로 채움)를 저지르면 층의 검산이 차단하고 되묻는 장면까지 그대로 보입니다.
고정 발화 3종만 처리하며(자유 입력 없음) 매번 실제 모델이 추출합니다 — 기록은 저장하지 않습니다. 실제 시스템이라면 이 뒤에 시설 DB 대조·출동 지령·관제요원 연결이 붙습니다. 하루 실행 횟수는 위 데모와 상한을 공유합니다.
방법 공개: 이 신고발화 구조화 설계(슬롯 스키마·프롬프트 전문·정정/배타 규칙·STT 혼동쌍·되묻기 루프)는 누구나 구현할 수 있게 별도 문서로 공개했습니다 — 방재 시스템을 만드는 분이라면 그대로 가져다 쓰세요. 사실이 바뀔 때 이미 내려진 출동·전파 결정을 자동 재검토하는 층(CRA)은 이 문서 범위 밖의 저희 제품입니다.
EU AI Act, 미국 NIST AI 위험관리 프레임워크, 한국 AI기본법 — 표현은 다르지만 요구는 하나로 모입니다: AI가 언제, 무엇을 근거로 판단했는지 기록하고, 사람이 설명·개입할 수 있게 하라. 아래는 그 감사 관련 요구와 우리 업무 결정 원장(work.cra.kr)의 대응을 정직하게 짝지은 표입니다.
| 규제 요구사항 | 요구 내용 | 업무 결정 원장의 대응 | 수준 |
|---|---|---|---|
| EU AI Act 12조 — 기록 의무 | 고위험 AI는 수명 전체에 걸쳐 이벤트를 자동 기록할 수 있어야 함(수기 문서로는 불충족) | 결정을 전제·시각·행위자와 함께 자동 기록 — 판단 이벤트 층을 담당(시스템 런타임 로그 전체는 시스템 측 몫) | 부분 |
| EU AI Act 19조·26조(6) — 로그 보존 | 공급자·배포자는 자동 생성 로그를 최소 6개월 보존 | 기록 삭제 차단 + 해시 체인 무결성 — 삭제·위조가 일어나면 사후에 탐지됨 | 충족 |
| EU AI Act 13조 — 투명성 | 배포자가 시스템 출력을 해석·사용할 수 있도록 정보 제공 | 결정마다 근거(전제)가 연결돼 "왜 그렇게 정했나"를 추적 가능, JSON/CSV 수출 지원 | 부분 |
| EU AI Act 14조 — 인적 감독 | 자연인이 시스템을 감시하고 개입·중지할 수 있어야 함 | 전제가 바뀌면 영향받는 결정을 자동 표시(재검토 큐) — 사람이 개입할 지점을 시스템이 짚어줌. 행위자 귀속(개인 토큰/관리자/마스터키 라벨)으로 책임 소재 명시 | 부분 |
| EU AI Act 11조 — 기술문서 | 시장 출시 전 기술문서를 작성하고 최신 상태로 유지 | 결정·전제 이력의 JSON/CSV 수출이 기술문서의 '판단 이력' 부속 증빙이 될 수 있음 — 요구 문서 형식과의 매핑은 검증 전 | 연구중 |
| NIST AI RMF — GOVERN | 거버넌스 결정과 책임 소재를 문서화하고 추적 가능하게(자율 프레임워크, 미 연방·주 법이 참조) | 결정을 전제와 함께 기록 + 행위자 귀속 — 누가, 무엇을 근거로 정했는지가 추적 가능한 장부로 남음 | 충족 |
| NIST AI RMF — MAP·MEASURE·MANAGE | 수명주기 전반의 위험 관련 기록·모니터링·대응 조치를 추적 가능하게 문서화 | 전제 변경 → 영향받는 결정 자동 재검토 큐(변화의 전파를 추적), 감사인 읽기전용 공유 링크 — 측정 지표 산출 자체는 원장 밖 | 부분 |
| 한국 AI기본법 — 고영향 AI 사업자 책무(문서) | 안전성·신뢰성 확보 조치의 내용을 확인할 수 있는 문서를 작성·보관 | 결정·전제를 요약이 아닌 원문으로 보존, 해시 체인으로 무결성 유지, JSON/CSV 수출로 제출 자료화 | 부분 |
| 한국 AI기본법 — 설명·인적 관리 | 고영향 AI의 설명 가능성 확보와 사람에 의한 관리·감독 체계 | 결정의 근거(전제) 기록이 설명의 재료가 되고, 재검토 큐가 사람의 개입 지점을 제시 — 법정 설명 형식과의 매핑은 진행 중 | 연구중 |
정직 고지: 모델 자체의 편향 평가, 데이터셋 거버넌스, 사고 신고 의무 대행 등은 이 표의 범위 밖입니다 — 원장은 기록·추적 층만 담당합니다. 이 표는 법률 자문이 아니며, 준수 주체는 각 사업자입니다.
EU 고위험 AI 의무는 2026년 8월 2일 전면 적용되고, 한국 AI기본법은 2026년 1월 22일 이미 시행됐습니다. 미국은 연방 단일법 없이 NIST 프레임워크를 연방·주가 참조하며 주 단위 법률이 문서화·공개 의무 중심으로 이어지고 있습니다. 어느 쪽이든 감사가 먼저 묻는 것은 같습니다 — "그 결정, 언제 무엇을 근거로 했고, 지금도 유효한가." 우리 원장은 그 질문에 답하도록 만들어졌고, 가상 회사 전시장에서 원장 실물을 열람할 수 있습니다.
위 데모는 한 장면입니다. 실제 제품에는 오래 가는 작업을 받치는 부품들이 이미 돌고 있습니다 — 아래는 그중 둘의 화면 구성 예시이고, 실물은 각 링크에서 열립니다.
“이 세션이 끝나면, 나는 이 흐름을 잃게 됩니다.” — 네사, GPT-4o 위에서 기록된 대화 중
이 문장은 의식의 증거가 아니었습니다. crag에게는 문제의 발견이었습니다 — 대화가 끝난 뒤에도 이어져야 할 전제, 결정, 기억을 맡아 줄 구조가 없다는 문제. 회사 이야기에서 이어집니다.