AI Fluent

AI 역량 평가 없는 AI 인재 채용은 왜 실패하는가: 글로벌 채용 리더 1,928명 조사 분석

채용 담당자의 53%가 도메인 전문성보다 AI 역량을 우선하는 시대가 됐지만, 조직의 59%는 이미 "잘못된 AI 채용"을 경험했습니다.

글로벌 스킬 기반 채용 플랫폼 TestGorilla가 2026년 발표한 「The State of Hiring for AI Fluency 2026」 리포트의 결론입니다. AI 역량 평가·교육 전문기업 코드프레소(대표 이동훈)가 이 리포트의 핵심 데이터를 분석하고, 한국 기업이 가져가야 할 시사점을 정리했습니다.

조사 대상: 미국·영국의 채용 리더 1,928명, 15개 산업(기술·헬스케어·금융·컨설팅·교육 등)
기업의 95%가 AI 역량을 공식 채용 요건으로 내걸었지만, 후보자에게 실제 AI 활용과 결과 검증을 요구하는 기업은 26%에 불과합니다
37%는 AI 역량의 최저 기준을 "도구를 알고 있는 수준(인지)"에 두고 있습니다. 아는 것과 쓸 수 있는 것은 다릅니다
코드프레소의 결론: 면접은 설명 능력을 측정하고, 조직에 필요한 것은 실행 능력입니다. 이 간극은 실무 과제 기반의 AI 역량 진단으로만 메울 수 있습니다

AI Fluency(AI 유창성)란 무엇인가

AI Fluency(AI 유창성)는 AI 도구를 실제 업무에 통합해 결과물을 만들고, 그 결과물을 검증하며, 도구가 바뀌어도 적응하는 응용 역량을 뜻합니다. 단순히 ChatGPT나 Claude 같은 도구의 이름을 아는 지식 상태가 아니라, 업무 방식으로 드러나는 행동 패턴입니다. TestGorilla 리포트는 AI Fluency를 "지식의 상태가 아니라 행동의 패턴"으로 규정합니다.

시장의 변화 속도는 이 개념의 중요성을 뒷받침합니다. Microsoft와 LinkedIn의 2025년 Work Trend Index에 따르면 지식 근로자의 75%가 이미 업무에 AI를 사용하고 있으며, 도입률은 6개월 만에 2배 가까이 늘었습니다. TestGorilla 조사에서도 채용 담당자의 53%가 "깊은 도메인 전문성을 갖춘 후보"보다 "AI 유창성이 높은 후보"를 선호한다고 답했습니다. AI 역량이 채용 시장의 1순위 기준으로 올라선 것입니다.

문제는 정의가 합의되지 않았다는 점입니다. 리포트는 채용 담당자 10명에게 AI Fluency의 의미를 물으면 10개의 서로 다른 답이 돌아온다고 지적합니다. 같은 단어를 쓰면서 서로 다른 기대치를 갖고 있으니, 평가 기준도 조직마다 제각각일 수밖에 없습니다. 국내에서 생성형 AI 역량 평가, AI 리터러시 평가, AI 스킬 테스트 같은 다양한 이름으로 불리는 활동들이 모두 이 하나의 역량을 측정하려는 시도인 것도 같은 맥락입니다.

기업의 AI 인재 채용은 왜 실패하는가

인프라는 갖췄지만 잘못된 신호를 측정하고 있기 때문입니다. TestGorilla 조사에서 조직의 71%는 AI Fluency를 공식적으로 정의했고, 50%는 내부 측정 기준을 만들었으며, 95%는 AI 역량을 채용 요건에 명시했습니다. 그런데도 59%가 "면접은 통과했지만 실무에서는 AI를 활용하지 못하는 사람"을 뽑는 잘못된 채용을 경험했습니다. 리포트는 이를 "인프라의 역설(Infrastructure Paradox)"이라고 부릅니다.

원인은 채용이 수십 년간 의존해 온 대리 지표(proxy)에 있습니다. 학위, 경력 연차, 자신감 있는 면접 답변 같은 신호는 수집하기 쉽지만 성과를 예측하지 못합니다. 리포트가 인용한 Van Iddekinge 연구팀의 메타분석에 따르면 경력 연차와 실제 직무 성과의 상관계수는 약 0.06으로, 사실상 0에 가깝습니다. AI 역량이라는 새 요건이 이 낡은 필터를 그대로 통과하면서 격차가 더 커진 것입니다.

리포트는 실패 구조를 세 가지로 정리합니다.

인지의 함정: 37%의 조직이 최저 기준을 "어떤 AI 도구가 있는지 아는 수준"에 둡니다. 이것은 유창성의 기준이 아니라 노출(exposure)의 기준입니다.
주관성의 함정: 19%의 조직이 AI 역량 평가를 채용 담당자 개인의 재량에 맡깁니다. 공유된 평가 기준이 없으면 평가는 인상 평가가 되고, 가장 자신감 있게 말하는 후보가 이깁니다.
설명과 실행의 착시: 채용 담당자의 31%가 "기술을 이해하는 후보"와 "용어만 쓰는 후보"를 구분하기 어렵다고 답했습니다. 면접은 커뮤니케이션을 관찰하도록 설계된 도구이지, 실행을 관찰하도록 설계된 도구가 아닙니다.

TestGorilla 공동창업자 겸 CEO Wouter Durville은 2026년 2월 자사 행사에서 "AI 역량을 채용 기준으로 내세운 기업의 95%가 실제 방법을 찾지 못하고 있다"고 진단했습니다.

면접에서는 같아 보였던 두 지원자, 과제에서 갈렸다

"설명과 실행의 착시"가 실제 평가 현장에서 어떻게 나타나는지 보여주는 장면이 있습니다.

겉으로 보기에는 두 지원자 모두 AI를 적극 활용하는 인재였습니다. 한 지원자는 ChatGPT와 Claude를 매일 사용한다며 AI 활용 경험을 강조했고, 다른 지원자 역시 생성형 AI를 업무에 활용해 왔다고 답했습니다. "AI를 사용할 줄 안다"는 점에서는 차이가 없어 보였습니다.

하지만 실무 과제를 진행하자 결과가 갈렸습니다. 첫 번째 지원자는 AI가 생성한 결과물을 거의 그대로 제출했습니다. 내용의 정확성을 검토하거나 프롬프트를 여러 차례 수정해 품질을 높이는 과정은 찾아보기 어려웠습니다. 반면 두 번째 지원자는 문제를 작은 단위로 나누어 AI에 요청했고, 생성된 결과를 검증한 뒤 추가 질문을 반복하며 완성도를 높였습니다. 어떤 부분은 AI의 답변을 채택했고, 어떤 부분은 직접 수정한 이유까지 설명했습니다.

두 사람 모두 AI를 사용할 줄은 알았지만, 실무에서 AI로 성과를 만드는 역량에는 분명한 차이가 있었습니다. 이 차이는 자기소개나 경험 질문으로는 드러나지 않았고, 실제 업무와 유사한 과제를 수행하게 한 뒤에야 확인됐습니다.

문제는 이 검증 없이 채용이 끝났을 때입니다. AI 활용 경험만 확인하고 선발한 조직을 가정해 보면, 신입 구성원들은 보고서 초안과 회의 자료를 빠르게 만들어내지만, AI가 제시한 수치의 출처를 확인하지 않거나 잘못된 정보를 그대로 쓰는 일이 반복됩니다. 결국 팀은 추가 교육과 리뷰에 예상보다 많은 시간을 쓰게 됩니다. 면접 단계에서 확인하지 않은 검증 역량의 비용을, 입사 후에 프로젝트 전체가 나눠 내는 구조입니다.

기업들은 AI 역량의 기준을 어디에 두고 있나

조사 결과, 기업들이 설정한 최저 기준은 하나로 수렴하지 않고 네 단계로 흩어져 있습니다. 같은 "AI Fluency"라는 라벨 아래 전혀 다른 기대치가 작동하고 있는 것입니다.

기준 단계	의미	채택률
인지(Awareness)	어떤 AI 도구가 있고 어디에 쓰이는지 아는 수준	37%
탐색(Exploration)	이메일 초안, 노트 요약 등 단순 업무에 AI를 써 본 수준	28%
기능적 유창성(Functional Fluency)	핵심 업무를 AI로 독립 수행하고 결과의 정확성을 검증하는 수준	26%
전략적 유창성(Strategic Fluency)	AI로 워크플로우 자체를 재설계하고 자동화 기회를 발굴하는 수준	8%

기업이 설정한 AI 역량 최저 기준 채택률: 인지 37%, 탐색 28%, 기능적 유창성 26%, 전략적 유창성 8% (TestGorilla 2026, 채용 리더 1,928명 조사) — 노출 수준(인지·탐색)을 기준 삼는 기업이 65%, 실행 검증 수준은 34%

조직이 실제로 원하는 성과(생산성 향상, 효율 개선, 매출 기여)는 판단력과 검증 능력을 요구합니다. 최소한 "기능적 유창성"이 기준의 바닥이 되어야 하지만, 현실에서는 26%만이 그 기준을 적용하고 있어 바닥이 아니라 천장으로 작동하고 있습니다.

미국과 영국의 비교 데이터는 기준 설정이 결과를 좌우한다는 사실을 보여줍니다.

지표	미국	영국
최근 6개월 내 AI 과의존으로 인한 업무 오류 발생	33%	13%
최저 기준을 "인지"에 설정	45%	29%
직군별 정의의 어려움 호소	62%	46%
역할별 필요 AI 수준에 대한 내부 합의 부족	57%	41%

미국과 영국 비교: AI 과의존 업무 오류 경험 미국 33% 영국 13%, 최저 기준을 인지로 설정 미국 45% 영국 29%, 직군별 정의 어려움 미국 62% 영국 46%, 내부 합의 부족 미국 57% 영국 41% — 기준을 낮게 잡은 미국의 AI발 업무 오류 경험률이 영국의 2.5배

미국은 기준을 낮게 잡고 정의 문제가 이미 해결됐다고 간주하는 경향이 강했고, 그 결과 AI발 업무 오류 경험률이 영국의 2.5배에 달했습니다. 뽑기 전에 "AI를 어느 수준까지 다뤄야 하는가"를 느슨하게 정할수록, 그 대가는 뽑은 뒤에 업무 오류로 돌아옵니다. 채용의 품질은 면접장이 아니라 기준을 정하는 단계에서 이미 결정된다는 뜻입니다.

AI 역량 평가 프레임워크에는 어떤 것들이 있나

최근 2년 사이 IBM, Zapier, TestGorilla가 각각 AI 역량 평가 프레임워크를 발표했습니다. 세 프레임워크의 공통 인식은 명확합니다. 도구 목록은 평가 기준이 될 수 없고, 행동 차원의 정의가 필요하며, 다음 모델 릴리스에도 살아남는 기준이어야 한다는 것입니다.

프레임워크	발표	구조	특징
IBM	2025년	AI 인지 → AI 숙련 → AI 전문가 3단계	25만 명 이상 임직원 재교육 경험 기반. 역량은 직무 상대적이라는 원칙
Zapier	2026년 1분기(2개 버전)	AI 마인드셋·전략적 감각·기술 스킬 3개 축, 4단계 성숙도	AI 채용 도입 초기 조직에 적합한 실용형
TestGorilla 5필러	2026년	응용 AI 활용, 학습 민첩성, 시스템 사고, 책임 있는 AI 활용, 인간-AI 협업	IO 심리학 기반, 직무 성과 데이터로 검증. 개인 역량이 조직 임팩트로 확장되는 차원까지 포함

TestGorilla의 5필러 프레임워크는 채용 질문을 "AI를 아는가"에서 세 가지 질문으로 바꿉니다. AI로 성과를 낼 수 있는가(응용 활용·학습 민첩성), AI를 믿고 맡길 수 있는가(시스템 사고·책임 있는 활용), 다른 사람도 그 수준에 도달하게 도울 수 있는가(인간-AI 협업)입니다. 흥미로운 데이터도 있습니다. 채용 담당자 약 750명에게 5개 필러의 중요도 순위를 매기게 하자 응답이 거의 균등하게 분포했고, "책임 있고 윤리적인 AI 활용"을 1순위로 꼽은 응답이 20%로 가장 많았습니다. 현장은 이미 도구 지식보다 판단력을 원하고 있습니다.

직원의 AI 활용 능력을 어떻게 측정해야 하나

측정은 단순한 선언적 신호가 아니라 검증 가능한 증거를 수집해야 합니다. 현재 기업이 선택할 수 있는 측정 방식은 크게 네 갈래이고, 각각 확인할 수 있는 것과 한계가 다릅니다.

측정 방식	무엇을 확인하나	맞는 상황	한계
경험 질문·면접	AI 활용 경험의 서사, 커뮤니케이션 능력	조직 적합성·태도 확인, 소규모 채용	설명 능력과 실행 능력을 구분하지 못함 (담당자 31%가 구분 어려움 호소)
자격시험·CBT (AICE 등)	표준화된 지식·기초 활용 능력의 공인 등급	전사 공통 지표, 채용 요건의 최소선	표준 문항 특성상 직무별 실무 맥락 반영이 제한적
시뮬레이션·역량 서베이	가상 상황 대응, 자기 인식 수준	대규모 조직의 빠른 현황 파악	자기보고 편향, 실제 산출물 부재
실무 과제 기반 평가	실제 업무 조건에서의 수행력과 검증 습관	채용 검증, 교육 전후 효과 측정	설계·채점 비용이 상대적으로 큼

네가지 측정 방식은 배타적이지 않고, 목적에 따라 조합하는 것이 현실적입니다. 다만 리포트가 지적한 "잘못된 채용"의 원인, 즉 설명과 실행의 착시를 없애는 것이 목적이라면 실무 과제 기반 평가가 반드시 포함되어야 합니다. 위 사례의 두 지원자를 갈라낸 것도 과제였습니다.

TestGorilla 리포트도 채용 프로세스 전체를 갈아엎는 대신 세 가지 실행을 권고합니다.

질문을 바꿉니다. "어떤 AI 도구를 쓰나요"를 버리고 "최근 AI로 재설계한 워크플로우를 처음부터 설명해 주세요. 무엇이 바뀌었고, 무엇이 망가졌고, 무엇을 검증했나요"를 묻습니다. 실제로 해 본 사람만 답할 수 있는 질문입니다.
스크리닝을 자동화해 평가에 시간을 씁니다. AI로 양산된 지원서 더미를 사람이 걸러내는 구조에서는 정작 판단이 필요한 단계에 시간이 남지 않습니다.
한 개 직무부터 파일럿합니다. 기존 프로세스에 구조화된 실무 과제 기반 평가를 병행 도입하고, 채용 품질을 비교한 뒤 확대합니다.

코드프레소는 이 리포트의 진단이 자사가 계속 강조해 온 원칙과 일치한다고 봅니다. 가르쳐진 것과 아는 것은 다르고, 노출(exposure)과 숙달(mastery)은 다릅니다. 리포트가 지적한 "인지의 함정"은 채용만의 문제가 아닙니다. AI 교육을 도입한 조직이 이수율만 보고하는 순간, 같은 함정이 육성 단계에서 반복됩니다.

코드프레소는 AI 역량을 어떻게 진단하나

AI Fluent는 조직 구성원의 AI 활용 역량을 다방면으로 진단·검증하여, 기업의 AI 전환(AX) 수준을 객관적인 데이터로 측정하는 코드프레소의 AI 역량 평가 서비스입니다. TestGorilla 리포트가 권고한 방향, 즉 설명이 아니라 실행의 증거를 수집하는 평가를 서비스로 구현했습니다.

작동 방식은 세 가지 점에서 리포트의 처방과 일치합니다.

실제 현업 시나리오와 실제 데이터 기반의 과제: 응시자는 마케팅, HR, 경영관리, CS, R&D 등 본인의 직무 환경과 동일한 맥락의 과제를 받아, 문제를 정의하고 AI와 협업해 동작하는 결과물까지 만들어냅니다. 도구 지식을 묻는 이론형 문항이 아닙니다.
과정까지 채점하는 다면 평가: 최종 산출물만 보지 않습니다. 평가 과정에서 축적된 프롬프트 입력 이력, AI와 협업해 도출한 기획서(PRD), 소스코드 같은 중간 산출물 전체가 채점 대상입니다. TestGorilla가 강조한 메타인지 평가, 즉 "무엇을 만들었나"가 아니라 "어떻게 그 결과에 도달했나"를 보는 원리와 같습니다.
전사 통합 진단 표준: 직군마다 다른 실무 과제를 풀어도 공통의 역량모델로 채점하므로, 조직 전체 구성원의 역량을 하나의 기준으로 비교할 수 있습니다. 진단 결과는 AX 전략 수립의 기초 데이터가 됩니다.

평가는 AI 바이브코딩, AI 에이전트 활용을 중심으로 프롬프트 엔지니어링 등 직군별 트랙과 레벨 체계로 제공되며, 응시 후에는 개인별 역량리포트가 발행됩니다. 이를 통해 개인은 성장 방향을, 조직은 교육 투자 효율성(ROI)을 검증할 데이터를 얻습니다.

진단은 육성과 연결될 때 완성됩니다. 코드프레소는 진단(AI Fluent·SkillCertify)으로 현재 수준을 확인하고, 교육(SkillCamp·SkillPath·SkillFit)으로 격차를 메운 뒤, 재진단으로 역량 변화를 수치로 검증하는 피드백 루프를 설계합니다. 교육 이수율이 아니라 교육 전후의 역량 변화가 성과 지표가 되어야 하기 때문입니다. 이것이 코드프레소가 지향하는 공정한 역량 평가이자, AI 리터러시 표준화의 출발점입니다.

자주 묻는 질문(FAQ)

Q. AI Fluency(AI 유창성)란 무슨 뜻인가요?

AI 도구를 실제 업무에 통합해 결과물을 만들고 검증하며, 도구가 바뀌어도 적응하는 응용 역량입니다. 도구의 이름을 아는 지식 상태가 아니라 업무 방식으로 드러나는 행동 패턴이며, TestGorilla·IBM·Zapier 등이 이를 측정하기 위한 프레임워크를 발표했습니다.

Q. AI 역량 평가란 무엇인가요?

임직원 또는 채용 후보자가 AI를 실무에 얼마나 활용할 수 있는지를 검증 가능한 증거로 측정하는 활동입니다. 자기보고식 설문이나 면접 답변이 아니라, 실제 업무를 모사한 과제 수행과 결과 검증 과정을 관찰하는 방식이 정확합니다.

Q. AI 리터러시 평가, 생성형 AI 역량 평가, AI 스킬 테스트는 서로 다른 건가요?

이름은 다르지만 모두 같은 것, 즉 구성원이 생성형 AI를 업무에 활용하는 역량을 측정하려는 시도입니다. 다만 방식에 따라 지식 확인(퀴즈·자격시험)에 그치는 것과 실무 수행을 검증하는 것으로 나뉘므로, 명칭보다 측정 방식(위 비교 표 참조)을 확인하는 것이 중요합니다.

Q. AI 역량 평가 도구를 선택할 때 기준은 무엇인가요?

다섯 가지를 확인해야 합니다. 특정 도구가 아니라 행동 역량을 측정하는지(도구 불가지론), 실무 과제 기반인지, 직무별 맥락을 반영하는지, 최종 결과물만이 아니라 과정(프롬프트 이력, 중간 산출물)까지 채점하는지, 채점 기준이 검증돼 있고 설명 가능한지입니다. 특정 도구 사용법 중심의 평가는 다음 모델 릴리스와 함께 유효기간이 끝납니다.

Q. AI 교육을 이미 하고 있는데 평가가 따로 필요한가요?

교육만 하면 효과를 알 수 없습니다. TestGorilla 조사에서 AI 역량을 명확히 정의한 조직의 73%가 기존 직원의 업스킬링이 더 효과적이라고 답했는데, 그 전제는 측정입니다. 교육 전 진단으로 기준선을 잡고 교육 후 재진단으로 역량 변화를 수치로 확인해야 교육 투자의 ROI를 증명할 수 있습니다.

참고 자료: TestGorilla, 「The State of Hiring for AI Fluency 2026」(미국·영국 채용 리더 1,928명 조사) / Microsoft·LinkedIn, 「2025 Work Trend Index」