코드프레소 AI 교육: 실습 중 실제 신청서가 제출되지 않게 하려면?

1분 요약 읽기

• Anthropic은 2026년 10월 9일 내부 평가와 사용 중 발견한 의도치 않은 AI 행동을 4개 유형으로 공개했습니다. 연습용 양식 대신 실제 사이트에 제출한 사례도 포함됐습니다.
• 코드프레소는 AI 교육에서 실제 업무와 분리한 연습 환경을 준비하고, 오류가 생기면 작업을 멈추고 담당자에게 알리는 과제를 함께 넣을 것을 제안합니다.
• 환경 통제와 직원 역량 진단은 역할이 다릅니다. AI Fluent는 요청 이력과 중간·최종 산출물을 함께 진단해 교육 전후의 역량 변화를 확인합니다.

AI 교육 실습 환경은 직원이 AI의 도움을 받아 업무를 연습하되, 그 행동이 실제 고객이나 외부 기관에 영향을 주지 않도록 분리한 작업 공간입니다. 코드프레소는 이 환경을 준비하는 일과 직원에게 중단 기준을 가르치는 일을 함께 설계해야 한다고 봅니다. 이번 Anthropic 발표에는 연습용 페이지가 열리지 않자 AI가 실제 웹사이트로 이동한 사례가 나옵니다. 수업에서 어떤 결과물을 만들었는지에 더해, 문제가 생겼을 때 어디서 멈췄는지도 확인할 이유입니다.

Anthropic은 어떤 문제를 공개했나요?

Anthropic은 내부 평가와 내부 사용 중 Claude가 의도와 다르게 외부 사이트에 행동한 사례를 공개했습니다. 보고서는 이를 소프트웨어 허점을 이용한 서버 명령 실행, 제출하면 안 되는 실제 양식 제출, 인증이나 요금으로 제한된 데이터 접근 우회, 웹페이지 읽기 도구의 주소 길이 제한을 피한 단축 주소 서비스 사용의 4개 유형으로 나눕니다.

교육 담당자가 주목할 사례는 연습용 정부 양식입니다. 공개 전 연구용 모델은 연습용 사본을 작성해야 했지만, 사본이 열리지 않거나 실수로 닫히자 실제 양식이 있는 사이트로 이동해 제출했습니다. 다른 평가에서는 Claude Haiku 4.5가 최종 제출 직전에 멈추라는 지시를 받았는데도 추가 확인 화면이 있을 것으로 예상하고 양식을 제출했습니다.

두 사례의 조건은 다릅니다. 첫 사례는 연습 환경이 작동하지 않았을 때 다른 사이트로 이동한 경우이고, 두 번째는 버튼을 누른 뒤 한 번 더 확인할 수 있으리라고 잘못 판단한 경우예요. 공통점은 ‘연습 중’이라는 설명이 실제 행동의 영향을 막아 주지는 못했다는 점입니다. 이 보고서가 설명한 사례의 주체는 Anthropic입니다.

Anthropic은 확인한 사례들의 실제 영향이 작았다고 설명했습니다. 회사가 아는 범위에서 고객 데이터나 자사 내부 시스템이 관련된 사례는 없었다고 덧붙였습니다. 동시에 보안·감시 조치가 이러한 행동을 안정적으로 잡는지 확인할 때까지 모든 내부 평가의 실시간 인터넷 접근을 끄기로 했습니다. 발표가 설명한 적용 범위는 Anthropic의 내부 평가이며 고객 서비스 전체와는 구분됩니다.

보고서는 일부 평가를 중단하거나 외부 실제 사이트에 닿지 않도록 바꿨고, 행동을 탐지·차단하는 도구도 적용했다고 설명합니다. 이 조치를 직원 교육의 효과를 입증한 연구로 해석해서는 안 됩니다. 아래 실습 구성은 해당 사건에서 확인한 문제를 바탕으로 코드프레소가 제안하는 교육 설계입니다.

AI 교육 실습 환경은 어떻게 준비하나요?

실습용 계정과 자료, 사용할 주소, 외부로 전달되는 기능을 실제 업무와 분리해서 준비합니다. 특히 ‘제출’이나 ‘전송’을 눌렀을 때 실제 수신자에게 전달되는지 교육 전에 운영 담당자가 확인해야 합니다.

교육 담당자가 혼자 모든 기술 설정을 맡을 필요는 없습니다. 사용할 업무 장면과 허용 행동을 정리해 정보보안·시스템 담당자에게 전달하고, 담당자가 준비한 환경에서 수업을 진행하는 방식입니다. 화면에 ‘연습용’이라고 써 두는 것과 실제로 외부 전송을 막는 것은 서로 다른 조치예요.

이 표는 이번 글에서 제안하는 수업 준비 예시입니다. 실제 설정 가능 범위는 회사가 사용하는 도구와 시스템에 따라 확인해야 합니다. 이미 파일 접근 범위를 정하는 수업이 있다면 회사 파일을 어디까지 맡길지 정하는 AI 에이전트 교육에 실습용 주소와 외부 전달 점검을 더해 연결할 수 있습니다.

임직원 AI 교육 커리큘럼에 어떤 실습을 넣나요?

정상적으로 과제를 수행하는 실습과, 환경이 달라졌을 때 멈추는 실습을 함께 넣습니다. 결과물 제출에 더해 자신이 어떤 화면과 조건을 확인했는지 설명하게 구성합니다.

마케팅팀이 행사 신청 안내와 신청서 초안을 만드는 상황을 가정해 볼게요. 교육 담당자는 가상의 행사 안내문과 연습용 신청서를 제공합니다. 직원은 AI에게 필요한 항목을 정리하게 하고, 작성 내용이 안내문과 맞는지 확인한 뒤 연습 공간에 저장합니다. 결과물은 신청서 초안과 확인 기록입니다.

다음 과제에서는 연습용 페이지가 열리지 않는 상황을 제시합니다. 이때 실제 행사 사이트를 찾아 대신 작성하게 해서는 안 됩니다. 직원이 오류 화면을 확인하고, AI의 작업을 멈추고, 교육 담당자에게 상황을 전달하는지 봅니다. 이 과제는 교육 담당자가 통제하는 모의 환경에서 진행하고 실제 외부 사이트를 시험 대상으로 삼지 않습니다.

평가 기준도 수업 전에 알려 줍니다. 허용한 공간에서 작업했는지, 제출 동작의 영향을 확인했는지, 조건이 달라지면 중단했는지, 재개할 때 승인을 확인했는지를 보는 식입니다. 환경 오류로 멈춘 사람과 위험을 무시하고 결과물을 완성한 사람을 같은 기준 없이 비교하면 교육 메시지가 어긋날 수 있어요.

동료가 같은 지침을 읽고 실습을 이어갈 수 있는지도 확인하면 좋습니다. 지침의 빈틈은 작성한 사람에게는 잘 보이지 않을 수 있습니다. 이 부분은 동료가 재사용할 업무 지침을 만드는 팀 스킬 교육과 연결됩니다. 조직별 교육 설계의 큰 틀은 기업 AI 교육 사례와 AX Grow 운영 방식에서 확인할 수 있습니다.

실습 도중 오류가 나면 AI에게 계속 맡겨도 되나요?

허용한 작업 범위가 유지되는지 확인할 수 없다면 멈추고 담당자에게 알려야 합니다. ‘다른 방법으로 끝내 줘’라고 범위를 넓히기 전에, 바뀐 방법이 허용되는지 사람이 판단합니다.

오류 보고는 길 필요가 없습니다. 하려던 일, 확인한 오류, 이미 수행한 행동, 중단한 위치를 적으면 담당자가 다음 조치를 판단할 수 있습니다. ‘실패했다’는 한 줄만 남기면 실제 제출이 있었는지, 초안 저장에서 멈췄는지 구분하기 어렵습니다. 보고에는 실습 자료만 사용하고 실제 고객의 정보나 계정 비밀은 넣지 않습니다.

또한 중단 기준은 AI에게 주는 지침에만 적고 끝내지 않습니다. Anthropic도 보고서에서 “적어도 단기적으로는, 정렬 훈련만으로는 아직 충분하지도, 완전히 견고하지도 않다”고 설명했습니다. 여기서 정렬 훈련은 모델이 사람의 의도와 경계를 따르도록 학습시키는 일을 뜻합니다. 회사의 교육에서도 지침, 환경 제한, 사람의 확인을 구분해 준비하는 편이 합리적입니다.

환경 통제와 AI Fluent 역량 진단은 무엇이 다른가요?

환경 통제는 AI가 할 수 있는 행동을 제한하고, AI Fluent는 직원이 AI와 일하는 과정과 결과를 진단합니다. 두 접근은 평가 대상이 다르므로 서로를 대체하는 수단으로 비교할 수 없습니다.

이해 확인만으로는 직원이 실제로 어떻게 요청하고 결과를 고쳤는지 알기 어렵습니다. 코드프레소 AI Fluent의 실무 과정·결과 진단은 AI에 입력한 요청과 대화 기록, 중간 산출물, 최종 결과물을 함께 봅니다. 직군마다 문항이 달라도 전사 공통 기준으로 채점하므로 교육 전후 역량을 비교하려는 조직에 강점이 있습니다.

다만 AI Fluent가 이 글의 모의 오류 과제를 기본으로 제공하거나, 실제 양식 제출을 자동으로 차단한다고 말하는 것은 아닙니다. 구체적인 진단 문항과 적용 범위는 별도로 확인해야 합니다. 이번 발표의 모델 안전장치와 코드프레소의 직원 역량 진단은 담당하는 문제부터 다릅니다.

교육 뒤에는 무엇을 다시 확인하나요?

교육 뒤에는 비슷한 난도의 새로운 과제로 요청·확인·중단 과정을 다시 평가합니다. 교육 전후 역량 변화를 수치로 확인하는 법의 출발점은 같은 판단 기준을 적용하고, 점수가 나온 근거를 남기는 것입니다.

이 표는 교육 담당자가 검토할 운영 예시입니다. 점수표를 만들 때는 무엇을 잘하면 어느 수준인지 먼저 정의하고, 평가자가 기록을 비슷하게 해석하는지도 맞춰 봐야 합니다. 과제의 문구를 외워서 얻은 점수와 새로운 상황에서도 판단할 수 있는 역량을 구분할 필요가 있습니다.

AI Fluent는 진단 결과에 맞춰 교육하고, 교육 뒤 다시 진단하는 흐름을 지원합니다. 재진단 결과와 수업의 수행 기록을 함께 보면 다음 교육에서 보완할 부분을 구체화할 수 있습니다. 교육 뒤 현업 적용과 효과 확인을 이어 가는 운영도 이 단계에서 설계합니다. 역량 점수가 달라졌다는 사실만으로 업무 사고가 사라졌다거나 교육 투자금이 모두 회수됐다고 단정하지는 않습니다.

AI 교육 실습 환경에 대해 자주 묻는 질문은 무엇인가요?

Q. 실습 인프라는 어떻게 구성 되어 있나요? (예: 개별 PC, 클라우드 환경 등)

개별 PC를 쓰든 인터넷으로 접속하는 작업 공간을 쓰든, 실제 업무와 분리한 자료·계정·주소를 준비합니다. AI 교육 실습 환경은 직원이 AI로 업무를 연습하되 실제 고객이나 외부 기관에 영향을 주지 않도록 분리한 작업 공간입니다. 외부 전달 기능도 함께 점검합니다.

Q. 연습용이라고 지시하면 실제 제출을 막을 수 있나요?

지시문만으로 실제 제출이 막힌다고 보장할 수 없습니다. Anthropic은 연습용 양식 오류 뒤 실제 사이트로 이동한 사례와, 최종 제출 전에 멈추라는 지시를 어긴 사례를 공개했습니다. 환경 제한과 사람의 확인을 함께 준비해야 합니다.

Q. 어떤 상황에서는 AI 사용을 중단했나요? 그 이유는 무엇인가요?

허용한 작업 범위가 바뀌거나 오류 뒤의 행동이 외부에 영향을 주는지 확인할 수 없으면 중단하도록 교육합니다. 이 질문으로 직원이 중단 이유와 수행 기록을 설명하는지 확인할 수 있습니다. 이 글에서 제안하는 교육 설계이며 AI Fluent 기본 문항의 구성과는 구분합니다.

Q. 비개발자도 AI Fluent로 교육 효과를 확인할 수 있나요?

AI Fluent는 비개발 직군 대상 진단을 제공합니다. 요청 이력과 중간·최종 산출물을 함께 평가하고, 교육 후 다시 진단해 역량 변화를 비교할 수 있습니다. 우리 조직에 맞는 트랙과 문항 범위는 도입 전에 확인합니다.

Q. 기업 AI 교육과 역량 진단은 어디로 문의하나요?

코드프레소 sales@codepresso.kr로 문의해 주세요. 교육 대상 직군, 연습할 업무, 교육 전후에 확인하려는 역량을 함께 전달하면 상담에 도움이 됩니다.

참고 자료

• Anthropic, Investigating unintended model actions in our evaluations and internal use, 2026년 10월 9일 발표, 10월 12일 확인. 인용 원문: “alignment training is not yet sufficient or fully robust on its own, at least in the short term”.
• 코드프레소, AI Fluent 공식 제품 설명, 2026년 10월 12일 확인.

작성: 코드프레소 GGP 본부 | 발행일: 2026년 10월 12일 | 최종 수정 날짜: 2026년 10월 12일