엔비디아 제트슨 나노 & 아이작 SDK로 저비용 자율 레고 탱크 만들기

엔비디아 제트슨 나노 & 아이작 SDK로 저비용 자율 레고 탱크 만들기

이 가이드에서 표준 LEGO EV3 키트를 엔비디아 제트슨 나노(NVIDIA Jetson Nano), 아이작 SDK(Isaac SDK), YDLIDAR-X4 라이다, Pixy2 비전 카메라로 구동되는 완전 자율 트랙 로봇으로 변환하는 방법을 보여줍니다. 카터(Carter)와 카야(Kaya) 레퍼런스 디자인의 예산 친화적 대안이면서 엔비디아 로보틱스 스택의 첨단 인식 및 계획 역량을 모두 유지합니다.

파트 8 또는 파트 10로 이동해 완전한 자율 내비게이션 데모 확인.

프로젝트 구성 요소:

• 엔비디아 제트슨 나노 개발 보드 – 아이작 로봇 엔진 실행
• EV3 브릭 – 모터 제어 (EV3 31313 로봇 키트 포함)
• 트랙 베이스 – LEGO 테크닉 부품과 대형 모터 2개로 제작 (EV3 31313 로봇 키트 모두 제공)
• YDLIDAR X4 라이다
• Pixy2 비전 카메라

왜 ROS 대신 아이작 SDK인가?

• ROS 튜토리얼은 많지만 공식 아이작 SDK 가이드는 소수.
• 아이작 SDK는 제트슨 하드웨어 전용으로 빌드돼 나노에서 최고 성능 발휘.
• 인식부터 계획까지 모든 핵심 알고리즘이 GPU 가속돼 나노가 라즈베리파이 4보다 훨씬 강력.
• 아이작심(IsaacSim)의 유니티 3D 렌더러가 포토리얼리스틱 시뮬레이션 제공으로 현실 격차 완화.

왜 레고 부품인가?

• 풍부한 부품 재고 확보 용이.
• 고품질 서보와 견고한 구조.
• 납땜 불필요; 시스템 완전 모듈러.
• 제트슨 나노용 선택적 3D 프린트 케이스 (PELA-blocks 레포 참조).

이 경로 선택 시 몇 가지 도전도 존재:

• 레고 하드웨어는 아이작 SDK 네이티브 미지원; 카터와 카야 레퍼런스만 존재.
• 아이작 SDK 지원 하드웨어 구성요소 제한적.
• x86-64, arm64, armv5tejl 타겟 크로스 컴파일 필요.
• 일부 구성요소 여전히 클로즈드 소스.

파트 1: 시작하기

1. 아이작 SDK 설치

• 공식 설치 가이드 따름.
• 샘플 애플리케이션 실행해 환경 검증.
• 최대 호환성 위해 2019.3 SDK 버전 사용.

2. 음성 인식 (선택)

• CUDA 10.0, cuDNN 7.6.3, TensorRT 6.0 설치.
• GPU 지원 TensorFlow 1.15.0 설치.

3. EV3dev 이미지

최신 ev3dev-stretch 이미지를 마이크로SD 또는 마이크로SDHC 카드에 플래싱. 마이크로SDXC는 EV3 브릭 미지원.

4. ev3dev용 ARM 크로스 컴파일러

sudo apt-get install gcc-arm-linux-gnueabi g++-arm-linux-gnueabi 

우분투 18.04(호스트와 제트슨)가 GLIBC 2.28 사용하나 ev3dev는 GLIBC 2.24 사용하므로 수학 라이브러리 제외 동적 링크로 컴파일 필요. jetson-ev3/toolchain/CROSSTOOL 파일 적절히 조정하거나 데비안 9 도커 이미지 사용.

5. 제트슨 + EV3 워크스페이스

git clone https://github.com/andrei-ace/jetson-ev3.git 

jetson-ev3/WORKSPACE 편집해 아이작 SDK 경로 지정:

local_repository( name = 'com_nvidia_isaac', path = '/home/andrei/ml/isaac' ) 

jetson-ev3/toolchain/CROSSTOOL 툴체인 경로 업데이트:

# edit with your path to the toolchain linker_flag: '-L/home/andrei/ml/jetson-ev3/toolchain' 

6. 제트슨 나노와 EV3 연결

USB-A to 미니-USB 케이블 사용. 제트슨에서 EV3로 SSH:

ssh user@ev3dev.local 

기본 비밀번호: maker.

7. 핑-퐁 튜토리얼

아이작의 "핑-퐁" 코들릿이 프로세스 간 통신 시연. 제트슨과 EV3 브릭 간 메시지 전송용으로 개조.

EV3 서버 빌드:

bazel build --config=ev3dev //apps/ev3/ping_pong:ev3_pong 

제트슨에 클라이언트 배포:

<YOUR-ISAAC-INSTALL>/engine/build/deploy.sh --remote_user <YOUR-USER-JETSON> -p //apps/ev3/ping_pong:ping_pong-pkg -d jetpack43 -h <YOUR-JETSON-IP> 

양쪽 바이너리 실행. EV3가 "Ping" 메시지 말함.

파트 2: 아이작으로 모터 제어

동일 원리로 세그웨이 RMP 베이스 모방 커스텀 아이작 드라이버로 EV3 모터 제어. Ev3ControlServer가 EV3에서 실행:

bazel build --config=ev3dev //packages/ev3/ev3dev:ev3_control_server ev3_control_server ev3dev.local:9000 

Sight 버추얼 조이스틱으로 수동 원격 조작 통합.

파트 3: 로봇 제작

섀시는 레고 공식 EV3 Track3r 설계 준수. 제트슨 나노 케이스는 이 GitHub 레포에서.

파트 4: 아이작 앱 아키텍처

아이작 앱은 세 레이어로 구성:

• 그래프 – 노드: 구성요소 정의
• 그래프 – 엣지: 데이터 흐름 정의
• 구성: 노드 파라미터화

아래는 음성 제어 내비게이션 앱 간결 예시. (전체 voice_control 폴더의 모든 JSON 파일 참조.)

{ 'name': 'voice_control', 'modules': [ '//apps/ev3/voice_control:voice_control_goal_generator', '@com_nvidia_isaac//packages/navigation', '@com_nvidia_isaac//packages/planner' ], 'config_files': [ 'apps/ev3/voice_control/model/isaac_vcd_model.metadata.json' ], 'config': { ... }, 'graph': { 'nodes': [...], 'edges': [...] } } 

서브그래프 재사용 가능; 내비게이션 스택이 모든 로봇 변형에 공유.

파트 5: EV3에서 아이작 앱 실행

EV3 드라이버가 세그웨이 RMP 베이스와 동일 API 구현해 조이스틱 컨트롤러, 분산 G매핑, 전체 내비게이션 스택 같은 기존 아이작 앱 직접 재사용 가능.

파트 6: 오도메트리 캘리브레이션

정확한 오도메트리는 자율 작동에 필수. Ev3ControlServer가 두 RPC 호출 노출:

• command(Control) – 선속도와 각속도 전송
• state() – 현재 선속도와 각속도 반환

바퀴 반지름과 트랙 폭으로 선속도 계산:

if left == right: v = left elif left == -right: v = 0 else: v = (left + right) / 2 

각속도는 휠 속도 차이를 트랙 폭으로 나누어 도출.

파트 7: 음성 제어 자율 내비게이션

음성 감지 서브그래프가 마이크 청취, 훈련된 키워드 감지 시 voice_command_id 방출. 아이작 음성 툴킷으로 "jetson", "left", "right" 세 단어 RNN 훈련. 결과 모델 프로젝트 저장소에서 다운로드 가능.

명령 수신 시 GoalGenerator가 글로벌 플래너에 목표 발행. 예: 로봇 90° 좌회전:

auto proto = rx_detected_command().getProto(); int id = proto.getCommandId(); auto goal_proto = tx_goal().initProto(); goal_proto.setStopRobot(true); goal_proto.setTolerance(0.1); goal_proto.setGoalFrame('robot'); ToProto(Pose2d::Rotation(90), goal_proto.initGoal()); tx_goal().publish(); 

실제 10W 전력 모드에서 신뢰성 있게 작동. 5W에선 추론 지연(약 30ms)이 매끄러운 작동엔 너무 높음.

파트 8: 분산 G매핑으로 매핑

매핑은 호스트 PC에서 수행, EV3가 라이다 데이터 제공. 제트슨에 분산 G매핑 앱 배포:

./engine/build/deploy.sh --remote_user andrei -p //apps/ev3:gmapping_distributed_ev3-pkg -d jetpack43 -h 192.168.0.218 

호스트에서 실행:

bazel run apps/ev3:gmapping_distributed_host 

호스트 JSON 파일이 올바른 제트슨 IP 가리키도록 확인:

'tcp_subscriber': { 'isaac.alice.TcpSubscriber': { 'port': 5000, 'host': '192.168.0.218' } } 

몇 분 탐색 후 고해상도 점유 그리드 생성.

결론

LEGO 테크닉 부품, YDLIDAR, Pixy2 카메라에 적당한 투자로 엔비디아 아이작 SDK의 풀 파워를 활용하는 완전 자율 트랙 로봇 구축 가능. 음성 명령, 라이다 기반 매핑, GPU 가속 인지 지원으로 연구, 교육, 취미 프로젝트용 다재다능한 플랫폼.

모든 코드, 설정 파일, 훈련된 모델은 프로젝트 저장소에서 확인 가능.