하버드 연구 'LLM도 얼굴로 신뢰도·능력 판단'…인간과 같은 편향

하버드대 연구진, 대형언어모델이 얼굴 특징만으로 신뢰도와 능력을 판단하는 인간과 같은 편향을 보인다고 발표

Sun Sep 27 2026

하버드대 심리학자 마자린 바나지 교수 연구팀이 대형언어모델(LLM)도 사람처럼 얼굴 생김새만으로 신뢰도와 능력을 판단하는 편향을 갖고 있다는 연구 결과를 국제학술지 PNAS Nexus에 발표했다.

연구 내용

바나지 교수와 스티븐 레어, 야시 로테 연구진은 논문에서 “인간의 결정을 향상시킨다는 약속과 달리, 이번 발견은 선발 과정에 언어모델을 활용하는 것의 위험성을 드러낸다”고 지적했다. 연구진에 따르면 LLM은 얼굴 사진만 보고도 인물의 신뢰성이나 능력을 추정했으며, 이는 인간이 보이는 '후광 효과(halo effect)'와 유사한 패턴으로 나타났다.

인간 편향과의 연관성

후광 효과는 1920년 미국 심리학자 에드워드 손다이크가 처음 제시한 개념으로, 특정 인물에 대한 전반적 인상이 성격 판단에 영향을 미치는 현상을 말한다. 손다이크는 군 지휘관들이 부하와 대화 없이 평가할 때 키가 크고 외모가 매력적인 병사를 더 똑똑하고 유능하다고 평가하는 경향을 확인했다. 이후 2006년 프린스턴대 심리학자 재닌 윌리스와 알렉산더 토도로프의 연구는 사람이 단 10분의 1초 만에 타인에 대한 인상을 형성한다는 사실을 보여준 바 있다.

왜 중요한가

연구진은 “인간은 얼굴 특징만으로 신뢰할 수 있는지 없는지를 근거 없이 판단하는 경우가 흔하다”고 밝히며, 편향 제거를 목표로 설계된 LLM에서도 이 같은 편향이 그대로 재현된다는 점을 문제로 제기했다. 채용, 대출 심사, 신원 확인 등 실제 의사결정에 LLM이 활용되는 사례가 늘어나는 가운데, 이미지 인식이 가능한 멀티모달 AI 모델의 확산과 맞물려 외모 기반 편향이 실질적 차별로 이어질 수 있다는 우려가 제기된다.

*출처: Psychology Today (2026-09-27)*

Tags: #AI #LLM #편향 #하버드대 #얼굴인식