휴머노이드·Physical AI②
사람은 컵을 집을 때 ‘눈’만 쓰지 않는다
탁자 위에 놓인 종이컵 하나를 집는다고 생각해보자.
우리는 먼저 눈으로 컵의 위치를 본다. 손을 뻗으면서 팔이 어디까지 움직였는지 느낀다. 손가락이 컵에 닿으면 너무 세게 누르지 않도록 힘을 조절한다. 컵이 미끄러지면 손끝 감각으로 즉시 알아차리고 힘을 조금 더 준다. 동시에 몸이 앞으로 기울지 않도록 균형도 잡는다.
너무 자연스러워서 의식하지 못하지만, 사람은 이 짧은 동작 하나에도 여러 감각을 동시에 사용한다.
휴머노이드 로봇도 마찬가지다.
카메라 하나만 달아놓는다고 현실을 ‘이해’하는 것은 아니다. 물체의 모양과 거리를 보고, 몸의 기울기를 느끼고, 관절에 걸리는 힘을 측정하고, 손끝이 미끄러지는지 알아야 한다.
그래서 휴머노이드의 센서는 단순한 부품 목록이 아니라 Physical AI가 현실과 연결되는 출입구다.
이번 글에서는 로봇의 눈과 귀에 해당하는 카메라와 깊이센서, 사람의 평형감각에 가까운 IMU, 근육과 관절의 힘을 느끼는 Force/Torque Sensor, 그리고 최근 가장 중요해지고 있는 촉각센서까지 차례대로 살펴본다.
핵심은 센서가 몇 개 달렸느냐가 아니다.
서로 다른 감각을 얼마나 정확하게 하나의 현실로 합칠 수 있느냐가 진짜 경쟁력이다.
1. 로봇의 ‘눈’ — RGB 카메라는 무엇을 볼까?
가장 익숙한 센서는 카메라다.
사람이 스마트폰으로 찍는 사진처럼 RGB 카메라는 색과 형태를 본다. 공장 바닥에 어떤 물체가 있는지, 사람이 어디에 서 있는지, 상자의 손잡이가 어디에 있는지를 영상으로 받아들인다.
하지만 카메라가 보내는 것은 결국 픽셀이다.
로봇은 그 픽셀을 보고 ‘이것은 상자다’, ‘저것은 사람이다’, ‘이 부분을 잡아야 한다’고 해석해야 한다.
여기서 비전 AI가 필요하다.
쉽게 말하면 카메라는 눈이고, 비전 모델은 그 눈으로 본 장면의 의미를 해석하는 시각피질에 가깝다.
최신 휴머노이드에서는 머리 부분뿐 아니라 손목에도 카메라를 넣는 사례가 늘고 있다. 멀리 있는 장면을 보는 눈과 물체를 잡기 직전 가까운 위치를 확인하는 눈을 따로 두는 셈이다.
NVIDIA의 2026년 Isaac GR00T Reference Humanoid도 머리의 스테레오 카메라와 손목 카메라를 함께 사용한다.
이 구조는 로봇이 ‘방 전체를 보는 것’과 ‘손앞의 작은 물체를 정밀하게 보는 것’을 동시에 해결하려는 방식이다.
2. 그런데 카메라는 거리까지 정확히 알까?
사진만 보면 물체가 얼마나 멀리 있는지 정확히 판단하기 어려울 때가 있다.
사람은 양쪽 눈이 서로 조금 다른 장면을 보기 때문에 그 차이로 거리를 느낀다.
로봇도 비슷한 방식을 사용할 수 있다.
두 개의 카메라를 이용하는 Stereo Vision은 같은 물체를 서로 다른 각도에서 보고 깊이를 계산한다.
또 Depth Camera는 적외선 패턴이나 빛의 비행시간을 이용해 픽셀마다 거리를 측정할 수 있다.
LiDAR는 레이저를 쏘고 돌아오는 시간을 이용해 주변 환경의 3차원 형태를 만든다.
쉽게 말하면 일반 카메라가 ‘어떻게 생겼는지’를 잘 본다면, 깊이센서와 LiDAR는 ‘얼마나 떨어져 있는지’를 이해하는 데 도움을 준다.
모든 휴머노이드가 같은 센서 구성을 쓰는 것은 아니다.
어떤 회사는 카메라 중심으로 최대한 단순하게 설계하고, 어떤 회사는 깊이센서와 LiDAR를 함께 사용해 더 다양한 거리 정보를 얻는다.
중요한 것은 센서 종류 자체보다 목표 작업과 비용, 전력, 계산량 사이에서 어떤 조합을 선택하느냐다.
3. IMU — 로봇에게도 ‘평형감각’이 필요하다
사람은 눈을 감고 있어도 몸이 앞으로 기울었는지 어느 정도 느낄 수 있다.
귀 안쪽의 전정기관이 머리의 움직임과 회전을 감지하기 때문이다.
로봇에서는 IMU, Inertial Measurement Unit이 비슷한 역할을 한다.
IMU에는 보통 가속도계와 자이로스코프가 들어 있다.
가속도계는 어느 방향으로 얼마나 가속하고 있는지 측정하고, 자이로스코프는 몸이 얼마나 빠르게 회전하는지 측정한다.
휴머노이드가 걸을 때는 매 순간 중심이 한쪽 발에서 다른 발로 이동한다.
이때 IMU가 몸의 기울기와 움직임을 빠르게 알려주지 못하면 로봇은 균형을 잃기 쉽다.
쉽게 말하면 카메라가 ‘바깥세상’을 보는 센서라면 IMU는 ‘내 몸이 지금 어떻게 움직이고 있는가’를 느끼는 센서다.
이런 자기 몸의 상태 감각을 robotics에서는 proprioception이라고 부른다.
4. Proprioception — 어려운 말이지만 ‘내 팔다리가 어디 있는지 아는 감각’이다
눈을 감고 오른손을 머리 위로 올려보자.
손을 볼 수 없는데도 우리는 대략 손이 어디에 있는지 안다.
이것이 proprioception, 고유수용감각이다.
휴머노이드도 자신의 관절 각도, 속도, 모터 위치를 계속 측정한다.
팔꿈치가 몇 도 굽혀졌는지, 무릎이 어느 위치인지, 발목이 얼마나 기울었는지 알아야 다음 동작을 계산할 수 있다.
사람에게 이 감각이 없으면 몸을 제대로 제어하기 어려운 것처럼 로봇도 자기 몸 상태를 정확히 알아야 한다.
그래서 카메라 영상만으로 로봇을 제어하지 않는다.
외부를 보는 vision과 자기 몸을 느끼는 proprioception을 함께 사용한다.
Figure의 Helix 02가 흥미로운 이유도 여기에 있다.
Figure는 2026년 Helix 02에서 vision, touch, proprioception을 하나의 신경망에 연결해 보행·균형·물체 조작을 하나의 연속된 행동으로 제어하는 방향을 제시했다.
쉽게 말하면 눈 따로, 다리 따로, 손 따로 움직이는 것이 아니라 ‘몸 전체가 하나의 감각과 행동 시스템’처럼 움직이는 것이다.
5. 힘·토크 센서 — ‘잡았는지’가 아니라 ‘얼마나 세게 잡았는지’를 안다
로봇이 컵을 본다고 해서 컵을 잘 잡는 것은 아니다.
손가락이 컵에 닿은 뒤 힘을 얼마나 줘야 하는지 알아야 한다.
너무 약하면 놓치고, 너무 세면 찌그러뜨릴 수 있다.
여기서 Force/Torque Sensor가 필요하다.
Force는 직선 방향으로 미는 힘이고 Torque는 회전시키는 힘이다.
손목이나 관절에 센서를 달면 로봇은 지금 얼마나 힘이 걸리고 있는지 측정할 수 있다.
예를 들어 나사를 조이는 로봇이 토크를 측정하면 ‘충분히 조여졌는지’를 알 수 있다.
사람과 악수하는 로봇이라면 상대방 손을 너무 강하게 누르지 않도록 힘을 제한할 수 있다.
즉 힘센서는 로봇이 단순히 움직이는 기계에서 ‘접촉을 조절하는 기계’로 바뀌는 데 필요하다.
특히 케이블 연결, 조립, 문 열기처럼 물체와 계속 접촉하는 작업에서는 카메라보다 힘센서가 더 중요한 순간도 많다.
6. 촉각센서 — 로봇 손끝이 ‘미끄러짐’을 느끼기 시작한다
사람이 젖은 유리컵을 잡을 때를 생각해보자.
컵이 손에서 아주 조금 미끄러지기 시작하면 눈으로 보기 전에 손끝이 먼저 느낀다.
우리는 즉시 힘을 조금 더 준다.
이 미세한 감각이 촉각이다.
휴머노이드 손에서도 촉각센서의 중요성이 빠르게 커지고 있다.
촉각센서는 물체가 닿았는지뿐 아니라 압력, 힘의 분포, 진동, 미끄러짐 등을 감지할 수 있다.
NVIDIA의 Isaac GR00T Reference Humanoid는 촉각을 지원하는 5손가락 손을 사용하고, 전체 몸과 손을 합쳐 매우 많은 자유도를 가진 연구 플랫폼으로 설계됐다.
또 NVIDIA GTC 2026에서는 Analog Devices가 힘·진동·음향 정보를 함께 감지하는 멀티모달 촉각센서를 이용해 케이블 같은 변형 가능한 물체를 다루는 연구방향을 소개했다.
왜 이게 중요할까?
공장에서 볼트처럼 단단한 부품만 다루는 것이 아니라 케이블, 천, 포장재처럼 모양이 계속 변하는 물체를 다루려면 시각만으로는 부족하기 때문이다.
7. Sensor Fusion — 로봇은 다섯 개의 감각을 ‘한 장면’으로 합쳐야 한다
센서를 많이 달면 로봇이 자동으로 똑똑해질 것 같지만 실제로는 반대 문제가 생긴다.
카메라는 물체가 1미터 앞에 있다고 판단하고, 깊이센서는 0.95미터라고 할 수 있다.
IMU는 몸이 오른쪽으로 기울고 있다고 알리고, 발 힘센서는 왼발에 더 많은 하중이 실려 있다고 말할 수 있다.
이 정보를 각각 따로 처리하면 로봇은 행동을 결정하기 어렵다.
그래서 필요한 것이 Sensor Fusion이다.
쉬운 비유로는 회의와 비슷하다.
눈, 귀, 손, 균형감각이라는 여러 부서가 각자 보고서를 내고, AI 두뇌가 그 정보를 종합해 ‘현재 상황은 이렇다’는 하나의 결론을 만드는 것이다.
NVIDIA도 Physical AI 개발의 어려움 가운데 하나로 카메라, LiDAR, 촉각, 힘센서처럼 서로 다른 형태의 멀티모달 데이터를 함께 다루는 문제를 강조한다.
결국 센서 경쟁의 핵심은 ‘몇 개 달았는가’보다 서로 다른 센서를 얼마나 정확하게 시간에 맞춰 결합하느냐다.
8. 센서가 많아질수록 ‘데이터 지연’도 문제가 된다
휴머노이드에서는 센서 정확도만큼 속도도 중요하다.
사람이 발을 헛디뎠는데 1초 뒤에 균형을 잡으라는 신호가 온다면 이미 넘어졌을 것이다.
로봇도 마찬가지다.
카메라 영상, IMU, 관절 위치, 손끝 촉각정보가 거의 실시간으로 처리돼야 한다.
그래서 로봇 내부에는 강력한 온보드 컴퓨터가 들어간다.
NVIDIA의 2026년 Isaac GR00T Reference Humanoid는 Jetson AGX Thor T5000을 사용해 여러 센서 데이터를 로봇 내부에서 실시간 처리한다.
이것을 Edge AI라고 부른다.
모든 데이터를 멀리 있는 클라우드로 보냈다가 답을 기다리는 것이 아니라, 넘어지거나 물체를 놓치는 것처럼 즉시 반응해야 하는 판단은 로봇 안에서 처리하는 것이다.
클라우드는 큰 모델을 훈련하고 데이터를 분석하는 역할을 하고, 실제 제어는 로봇 안의 컴퓨터가 담당하는 구조가 중요하다.
9. 센서 해상도보다 더 중요한 것이 있다 — ‘신뢰할 수 있는가?’
카메라가 4K인가 8K인가만 보면 로봇 센서를 제대로 평가하기 어렵다.
공장에서는 먼지와 조명 변화가 있고, 창고에는 반사되는 금속과 검은 물체가 있다.
손센서에는 오일이 묻을 수 있고, 관절센서는 수십만 번 움직이며 오차가 누적될 수 있다.
즉 로봇 센서는 실험실에서 한 번 정확한 것보다 매일 반복해서 같은 결과를 내는 신뢰성이 중요하다.
또 하나는 calibration, 보정이다.
카메라가 보는 좌표와 로봇 팔의 실제 위치가 조금이라도 어긋나면 손이 물체 옆을 잡을 수 있다.
여러 센서의 시간이 서로 맞지 않아도 문제가 생긴다.
그래서 산업용 휴머노이드에서는 센서 자체의 스펙뿐 아니라 보정, 진단, 고장감지, 교체 편의성이 중요한 경쟁력이 된다.
10. 안전은 별도의 센서 하나로 해결되지 않는다
사람과 같은 공간에서 움직이는 휴머노이드에게 안전은 선택사항이 아니다.
로봇이 사람을 발견하고 멈추는 데는 카메라가 필요할 수 있다.
접촉했을 때 힘을 제한하려면 힘·토크 센서가 필요하다.
몸이 넘어지기 시작했을 때는 IMU와 관절센서가 필요하다.
즉 안전은 하나의 비상정지 버튼이나 센서 하나로 해결되는 문제가 아니다.
NVIDIA는 2026년 Halos for Robotics를 발표하면서 센서 연결, AI 컴퓨팅, 운영체제, 기능안전, 평가와 인증을 하나의 full-stack safety architecture로 묶었다.
Agility Robotics도 이 안전체계의 일부를 자사 시스템과 연결하는 초기 파트너로 참여했다.
이 흐름은 중요한 의미가 있다.
휴머노이드 산업이 실제 공장으로 들어갈수록 ‘얼마나 멋지게 움직이나?’보다 ‘고장났을 때 어떻게 안전하게 멈추나?’가 더 중요해진다는 뜻이다.
11. 센서 선택에는 정답이 하나가 없다
휴머노이드 업계를 보면 어떤 회사는 카메라 중심이고, 어떤 회사는 깊이센서와 LiDAR, 촉각을 적극적으로 사용한다.
어느 하나가 무조건 옳다고 단정하기 어렵다.
센서를 늘리면 정보는 많아지지만 가격과 전력, 무게, 계산량이 증가한다.
센서를 줄이면 하드웨어는 단순해지지만 AI 모델이 더 많은 것을 영상에서 추론해야 할 수 있다.
공장 바닥에서 정해진 작업을 한다면 복잡한 LiDAR가 필요 없을 수도 있다.
반대로 넓은 물류공간에서 사람과 장비 사이를 이동해야 한다면 거리센서의 가치가 커질 수 있다.
또 정밀조립을 한다면 머리 카메라보다 손끝 촉각과 힘센서가 더 중요한 병목이 될 수도 있다.
결국 센서 전략은 ‘최고 스펙 경쟁’이 아니라 어떤 작업을 얼마의 비용과 전력으로 해결할 것인가의 문제다.
12. 손의 센서가 휴머노이드의 진짜 차이를 만들 수 있다
휴머노이드 영상에서 많은 사람은 걷는 모습을 먼저 본다.
하지만 산업 현장에서는 손이 더 중요한 경우가 많다.
공장이나 창고의 일은 물체를 집고, 돌리고, 밀고, 꽂고, 연결하는 작업이 많기 때문이다.
걷기는 목적지에 가기 위한 수단이고, 실제 돈을 버는 행동은 대부분 손에서 일어난다.
그래서 앞으로 휴머노이드를 볼 때 ‘몇 km/h로 걷나?’보다 ‘어떤 물체를 얼마나 안정적으로 다루나?’를 보는 것이 더 중요할 수 있다.
촉각센서와 손가락의 힘제어가 좋아지면 단단한 박스뿐 아니라 케이블, 옷감, 얇은 플라스틱 같은 변형 가능한 물체도 다룰 수 있다.
이 영역이 발전하면 휴머노이드는 단순 운반로봇에서 조립과 서비스 작업으로 범위를 넓힐 수 있다.
13. 불마켓의 해석 | 센서 산업의 핵심은 ‘더 많이 보는 것’이 아니다
여러 공식자료를 비교해보면 휴머노이드 센서 경쟁은 자동차의 자율주행 센서 경쟁과 닮은 부분이 있다.
하지만 완전히 같지는 않다.
자율주행차는 주로 수십 미터 밖의 도로와 차량을 봐야 한다.
휴머노이드는 멀리 보는 능력도 필요하지만 손끝 몇 밀리미터에서 일어나는 접촉을 훨씬 정밀하게 느껴야 한다.
따라서 휴머노이드의 센서 경쟁은 앞으로 ‘카메라냐 LiDAR냐’ 하나로 설명되기보다 두 방향으로 갈 가능성이 높다.
첫 번째는 몸 전체의 공간 인식과 균형이다.
두 번째는 손과 물체 사이의 매우 정밀한 접촉 감각이다.
불마켓에서 특히 주목할 부분은 두 번째다.
휴머노이드가 실제 공장에서 돈을 벌기 시작하려면 걷는 것보다 다양한 물체를 실패 없이 반복해서 다루는 능력이 더 중요할 가능성이 높기 때문이다.
그래서 촉각센서, 힘센서, 관절센서와 이를 처리하는 엣지 AI 반도체는 향후 휴머노이드 공급망에서 별도의 중요한 시장을 만들 수 있다.
이것은 특정 회사의 홍보문구를 그대로 옮긴 결론이 아니라, 실제 상용작업에 필요한 조건을 기준으로 여러 기술을 비교했을 때 얻을 수 있는 산업적 해석이다.
14. 센서 공급망은 어디까지 넓어질까?
휴머노이드 센서라고 하면 카메라 회사만 떠올리기 쉽다.
실제로는 훨씬 넓은 공급망이 필요하다.
이미지센서와 카메라 모듈, 깊이센서, MEMS 기반 IMU, 자기식·광학식 엔코더, 힘·토크 센서, 촉각센서, 신호처리 반도체, 커넥터, 엣지 컴퓨팅 모듈이 모두 연결된다.
Analog Devices 같은 산업용 반도체 회사는 깊이센서와 IMU, 촉각 관련 기술을 Physical AI 영역에 적용하려 하고 있다.
NVIDIA는 Jetson과 Holoscan Sensor Bridge를 통해 여러 센서의 데이터를 실시간 AI 컴퓨팅과 연결한다.
향후 휴머노이드가 대량생산되면 완성 로봇 회사뿐 아니라 ‘감각기관을 만드는 기업’의 역할도 커질 수 있다.
자동차 산업에서 카메라·레이더·센서 공급망이 별도의 산업이 된 것처럼 휴머노이드에서도 비슷한 구조가 만들어질 가능성이 있다.
15. 앞으로 어떤 숫자를 봐야 할까?
휴머노이드 센서 기술을 볼 때 화려한 제품명보다 실제 성능지표를 보는 것이 좋다.
첫째는 perception latency다. 센서가 정보를 받은 뒤 행동으로 연결되기까지 얼마나 빠른지 봐야 한다.
둘째는 manipulation success rate다. 물체를 몇 번이나 실패 없이 잡고 놓을 수 있는지가 중요하다.
셋째는 slip detection과 force control이다. 미끄러짐과 과도한 힘을 얼마나 빠르게 감지하는지 확인해야 한다.
넷째는 calibration stability다. 장시간 사용해도 카메라와 관절센서의 좌표가 얼마나 안정적으로 유지되는지 중요하다.
다섯째는 센서 비용과 전력이다. 로봇 한 대에서 센서비용이 너무 높으면 대량생산이 어렵다.
결국 휴머노이드의 감각은 ‘최고 해상도’ 하나가 아니라 정확도, 속도, 신뢰성, 비용의 균형으로 평가해야 한다.
휴머노이드 센서 편에서 기억할 핵심
- 카메라는 로봇의 눈이지만 현실을 이해하려면 깊이·균형·힘·촉각 정보까지 함께 필요하다.
- IMU와 관절센서는 로봇이 자기 몸의 위치와 움직임을 느끼는 고유수용감각 역할을 한다.
- 힘·토크 센서는 물체를 얼마나 세게 잡거나 밀고 있는지 알려준다.
- 촉각센서는 접촉·압력·진동·미끄러짐을 감지해 정밀한 손동작에 중요하다.
- Sensor Fusion은 서로 다른 감각을 하나의 현실 모델로 합치는 기술이다.
- 센서 데이터는 지연 없이 처리돼야 하므로 Jetson 같은 온보드 Edge AI 컴퓨팅이 중요하다.
- 상용화에서는 센서 수보다 신뢰성·보정·안전·비용과 실제 작업 성공률이 더 중요하다.
- 휴머노이드의 산업적 가치는 걷는 능력보다 손과 물체 사이의 정밀한 감각에서 더 크게 갈릴 가능성이 있다.
한 줄 핵심
휴머노이드의 감각 경쟁은 카메라를 더 많이 다는 싸움이 아니라, 시각·거리·균형·힘·촉각을 하나로 합쳐 현실에서 실패 없이 행동하게 만드는 Sensor Fusion 경쟁이다.
불마켓의 시선
휴머노이드가 사람처럼 보이는 것은 중요하지 않을 수 있다.
산업 현장에서 중요한 것은 사람처럼 ‘느낄 수 있느냐’에 더 가깝다.
카메라로 물체를 찾아도 손끝이 미끄러지는 것을 느끼지 못하면 정밀작업을 할 수 없다.
균형을 잡아도 힘을 조절하지 못하면 사람과 함께 일하기 어렵다.
그래서 휴머노이드의 진짜 상용화는 AI 모델의 크기만으로 결정되지 않을 가능성이 높다.
센서, 촉각, 힘제어, 엣지 컴퓨팅과 안전체계가 함께 발전해야 한다.
이 글은 특정 센서 기업이나 로봇 기업에 대한 투자 추천이 아니라, 여러 공식자료와 실제 작업 조건을 바탕으로 휴머노이드가 현실을 이해하기 위해 어떤 기술이 필요한지 재구성한 산업기술 분석이다.
다음 편
로봇의 근육 — 액추에이터·모터·감속기는 어떻게 사람처럼 힘을 만들까?
같이 읽기
공식·주요 참고자료
- NVIDIA — Isaac GR00T Reference Humanoid Robot (2026.05.31)
- NVIDIA — Halos for Robotics Safety System (2026.06.22)
- NVIDIA GTC 2026 — End-to-End Physical AI Systems for Humanoid Robots
- Figure — Helix 02: Full-Body Autonomy (2026.01.27)
- NVIDIA Seattle Robotics Lab — Perception and multimodal sensing research
- NVIDIA GTC 2026 — AI sensor processing and tactile sensing
본 콘텐츠는 산업과 기술을 이해하기 위한 정보 제공 목적이며, 특정 종목에 대한 매수·매도 권유나 투자 자문이 아닙니다. 투자 판단과 책임은 투자자 본인에게 있습니다.