자율 탱크

Lego EV3 세트를 사용하여 Carter 및 Kaya 디자인 참조에 훨씬 저렴한 대안을 추가합니다.

이 프로젝트에서 저는 Lego Technic 부품과 모터로 만들고 LiDAR로 향상되고 최신 Isaac SDK를 실행하는 Jetson Nano 보드로 제어되는 추적 차량의 구성을 문서화할 것입니다. 8부로 이동 또는 10 자율 주행의 전체 데모를 보려면

프로젝트는 다음 구성요소로 구성됩니다.

ROS가 아닌 Isaac SDK를 선택해야 하는 이유

레고 부품이 필요한 이유

이 경로를 선택하면 몇 가지 문제가 발생합니다.

파트 1:시작하기

1. 아이작 SDK

2. 음성 인식(선택 사항)

3. Ev3dev 이미지

microSD 또는 microSDHC 카드에 EV3(ev3dev-stretch)용 최신 이미지를 다운로드하여 플래시합니다. MicroSDXC 형식은 EV3 브릭에서 지원되지 않습니다.

4. ev3dev용 ARM 크로스 컴파일러

$ sudo apt-get install gcc-arm-linux-gnueabi g++-arm-linux-gnueabi 

이 부분은 특히 올바르게 설정하기가 어려웠습니다. Ubuntu 18.04(호스트 컴퓨터 및 Jetson Nano)는 GLIBC_2.28을 사용하고 ev3dev는 Debian stretch 및 GLIBC_2.24를 사용합니다. 기본 arm-linux-gnueabi-g++ 컴파일러 구성으로 컴파일된 모든 항목은 GLIBC_2.28에 종속되었으며 EV3에서 실행되지 않습니다. 정적으로 연결하는 것은 hello world가 segfault를 일으키는 것보다 더 복잡한 것으로 작동하지 않습니다. 내가 찾은 해결책은 수학 라이브러리를 제외한 모든 것을 동적으로 연결하는 것이 었습니다. jetson-ev3/toolchain/CROSSTOOL 파일에서 더 많은 정보를 찾을 수 있습니다. 또 다른 해결책은 Debian 9의 도커 이미지를 사용하는 것입니다.

5. Jetson + EV3 작업 공간

$ git clone https://github.com/andrei-ace/jetson-ev3.git 

local_repository(
 이름 ="com_nvidia_isaac",
 경로 ="/home/andrei/ml/isaac"
) 

# 도구 체인 경로로 편집
linker_flag:"-L/home/andrei/ml/jetson-ev3/toolchain" 

[이메일 보호됨]:~/ml/jetson-ev3$ #이것은 내 PC에서 실행됩니다
[이메일 보호됨]:~$ #이것은 켜져 있습니다 Jetson Nano
[이메일 보호됨]:~$ $ #EV3의 this in 

[이메일 보호됨]:~$ ssh [이메일 보호됨] 

[이메일 보호됨]:~/ml/jetson-ev3$ bazel 빌드 --config=ev3dev //apps/ev3/ping_pong:ev3_pong 

[이메일 보호됨]:~/ml/jetson-ev3$ /engine/build/deploy.sh --remote_user  -p //apps/ev3/ping_pong:ping_pong-pkg -d jetpack43 -h  

[이메일 보호됨]:~$ ./ev3_pong ev3dev.local:9999
[이메일 보호됨]:~/deploy/andrei/ping_pong-pkg$ . /apps/ev3/ping_pong 

[이메일 보호됨]:~/ml/jetson-ev3$ bazel 빌드 --config=ev3dev //packages/ev3/ev3dev:ev3_control_server
[이메일 보호됨]:~$ ./ev3_control_server ev3dev.local:9000 

<코드>{
 "이름":"음성 제어",
 "모듈":[
 "//apps/ev3/voice_control:voice_control_goal_generator",
 "@com_nvidia_isaac//packages/navigation",
 "@com_nvidia_isaac//packages/planner"
 ],
 "config_files":[
 " apps/ev3/voice_control/model/isaac_vcd_model.metadata.json"
 ],
 "구성":{
 "2d_ev3.ev3_hardware.ev3":{
 "isaac.Ev3Driver ":{
 "주소":"ev3dev.local",
 "포트":9000
 }
 },
 "navigation.imu_odometry.odometry":{ 
 "DifferentialBaseWheelImuOdometry":{
 "use_imu":false
 }
 },
 "commander.robot_remote":{
 "isaac.navigation.RobotRemoteControl ":{
 "angular_speed_max":0.6,
 "linear_speed_max":0.3
 }
 },
 "웹사이트":{
 "웹사이트서버":{
 "webroot":"external/com_nvidia_isaac/packages/sight/webroot",
 "ui_config":{
 "windows":{
 "음성 명령 감지":{ 
 "렌더러":"플롯" ,
 "dims":{
 "너비":400,
 "높이":200
 },
 "채널":[
 {
 "이름":"voice_control/voice_detection.voice_command_detector/isaac.audio.VoiceCommandConstruction/voice_command_id",
 "활성":true
 }
 ]
 }
 }
 }
 }
 },
 "navigation.shared_robot_model":{
 "SphericalRobotShapeComponent":{
 "원":[
 { "중심":[0.0, 0.0], "반지름":0.075 },
 { "중심":[0.02, 0.03464], "반지름":0.055 },
 { "중심":[0.02, -0.03464], "반지름":0.055 },
 { "중심":[-0.04, 0.0], "반지름":0.055 },
 { "중심":[0.0525, 0.09093 ], "반지름":0.035 },
 { "중심":[0.0525, -0.09093], "반지름":0.035 },
 { "중심":[-0.105, 0.0], "반지름 ":0.035 }
 ]
 }
 },
 "navigation.control.lqr":{
 "isaac.planner.DifferentialBaseLqrPlanner":{
 "manual_mode_channel":"commander.robot_remote/isaac.navigation.RobotRemoteControl/manual_mode"
 }
 },
 "navigation.control.control":{
 "isaac.planner.DifferentialBaseControl":{
 "manual_mode_channel":"commander.robot_remote/isaac.navigation.RobotRemoteControl/manual_mode"
 }
 }
 },
 "그래프":{
 "노드":[
 {
 "이름":"음성 제어_구성 요소",
 "구성 요소":[
 {
 "이름":"message_ledger",
 "유형":"isaac::alice::MessageLedger"
 },
 {
 "이름":"goal_generator",
 "유형":"isaac::VoiceControlGoalGenerator"
 }
 ]
 },
 {
 "이름":"음성_감지",
 "하위 그래프":"apps/ev3/voice_control/voice_command_detection.subgraph.json"
 },
 {
 "이름":"2d_ev3",
 "하위 그래프":"apps/ev3/2d_ev3.subgraph.json"
 },

 {
 "이름":"내비게이션", 
 "하위 그래프":"@com_nvidia_isaac//packages/navigation/apps/differential_base_navigation.subgraph.json"
 },
 {
 "이름":"사령관",
 "하위 그래프":"@com_nvidia_isaac//packages/navigation/ apps/differential_base_commander.subgraph.json"
 }
 ],
 "가장자리":[
 {
 "소스":"음성_검출.subgraph/인터페이스/Detected_command" ,
 "대상":"음성_제어_구성요소/목표_생성기/감지된_명령"
 },
 {
 "출처":"음성_제어_구성요소/목표_생성기/목표",
 "대상" :"navigation.subgraph/interface/goal"
 },
 {
 "source":"2d_ev3.subgraph/interface/base_state",
 "target":"내비게이션. 하위 그래프/인터페이스/상태"
 },
 {
 "소스":"navigation.subgraph/interface/command",
 "대상":"commander.subgraph/인터페이스/ 제어"
 },
 {
 "소스":"commander.subgraph/interface/command",
 "대상":"2d_ev3.subgraph/interface/base_command"
 },
 {
 "소스":"2d_ev3.subgraph/interface/flatscan",
 "대상":"navigation.subgraph/interface/flatscan_for_localization"
 }, 
 {
 "소스":"2d_ev3.subgraph/interface/flatscan",
 "대상":"탐색. 하위 그래프/인터페이스/flatscan_for_obstacles"
 }
 ]
 }
} 

서브그래프 예:

<코드>{
 "모듈":[
 "@com_nvidia_isaac//packages/audio",
 "@com_nvidia_isaac//packages/ ml:tensorflow"
 ],
 "그래프":{
 "노드":[
 {
 "이름":"하위 그래프",
 " 구성 요소":[
 {
 "이름":"message_ledger",
 "유형":"isaac::alice::MessageLedger"
 },
 {
 "이름":"인터페이스",
 "유형":"isaac::alice::Subgraph"
 }
 ]
 },
 {
 "이름":"audio_capture",
 "구성 요소":[
 {
 "이름":"ml",
 "유형":"isaac::alice ::MessageLedger"
 },
 {
 "이름":"isaac.audio.AudioCapture",
 "유형":"isaac::audio::AudioCapture"
 }
 ]
 },
 {
 "이름":"voice_command_detector",
 "구성 요소":[
 {
 " 이름":"ml",
 "유형":"isaac::alice::MessageLedger"
 },
 {
 "이름":"isaac.audio.VoiceCommandFeatureExtraction" ,
 "유형":"isaac::audio::VoiceCommandFeatureExtraction"
 },
 {
 " 이름":"isaac.ml.TensorflowInference",
 "유형":"isaac::ml::TensorflowInference"
 },
 {
 "이름":"isaac. audio.VoiceCommandConstruction",
 "유형":"isaac::audio::VoiceCommandConstruction"
 }
 ]
 }
 ],
 "가장자리" :[
 {
 "소스":"audio_capture/isaac.audio.AudioCapture/audio_capture",
 "대상":"voice_command_detector/isaac.audio.VoiceCommandFeatureExtraction/audio_packets"
 },
 {
 "소스":"voice_command_detector/isaac.audio.VoiceCommandFeatureExtraction/feature_tensors",
 "대상":"voice_command_detector/isaac.ml.TensorflowInference/input_tensors"
 },
 {
 "소스":"voice_command_detector/isaac.ml.TensorflowInference/output_tensors",
 "대상":"voice_command_detector/isaac.audio.VoiceCommandConstruction/keyword_probabilities"
 },
 {
 "소스":"voice_command_detector/isaac.audio.VoiceCommandConstruction/detected_command",
 "대상":"하위 그래프/인터페이스/감지됨 _command"
 }
 ]
 },
 "구성":{
 "audio_capture":{
 "isaac.audio.AudioCapture":{
 "sample_rate":16000,
 "num_channels":1,
 "audio_frame_in_milliseconds":100,
 "ticks_per_frame":5
 }
 },
 "voice_command_detector":{
 "isaac.audio.VoiceCommandFeatureExtraction":{
 "audio_channel_index":0,
 "minimum_time_between_inferences":0.1
 },
 "isaac.ml.TensorflowInference":{
 "model_file_path":"apps/ev3/voice_control/model/isaac_vcd_model.pb",
 "config_file_path":"apps/ev3/voice_control/model/isaac_vcd_config. pb"
 },
 "isaac.audio.VoiceCommandConstruction":{
 "command_list":[
 "jetson",
 "jetson 왼쪽",
 "제트슨 오른쪽"
 ],
 "command_ids":[0, 1, 2],
 "max_frames_allowed_after_keyword_detected":14
 }
 }
 }
} 

하위 그래프는 많은 앱에서 재사용할 수 있습니다. 실제로 isaac의 탐색 스택은 하위 그래프로 사용됩니다.

4부:EV3에서 Isaac 앱 실행

드라이버(jetson-ev3/packages/ev3/BUILD)는 Segway RMP 기본 드라이버와 동일한 명령에 응답합니다. 즉, Kaya 또는 Carter에서 작동하는 많은 앱과 함께 작동하므로 세 번째 옵션으로 훨씬 저렴합니다!

Carter 및 Kaya 봇을 소개하기 위해 만든 일부 앱을 수정했습니다.

파트 5:주행 거리 측정

자율 모드에서 달리기 위해서는 좋은 주행 거리를 갖는 것이 중요합니다. 이는 시간 경과에 따른 로봇의 위치를 ​​추정하는 데 사용됩니다. ev3 앱을 사용하여 조정해 보겠습니다.

[이메일 보호됨]:~/ml/jetson-ev3$ ./engine/build/deploy.sh --remote_user andrei -p //apps/ev3:ev3 -pkg -d jetpack43 -h 192.168.0.173

[이메일 보호]:~$ brickrun ./ev3_control_server ev3dev.local:9000

[이메일 보호]:~/deploy /andrei/ev3-pkg$ ./apps/ev3/ev3 --graph ./apps/assets/maps/map.graph.json --config ./apps/assets/maps/map.config.json 

두 가지를 추정해야 합니다.

선형 및 각속도 공식은 다음과 같습니다.

각속도를 찾는 것은 쉽습니다. 좌우 모터의 차이를 베이스 길이로 나눈 값입니다.

선형 속도를 찾는 것은 조금 더 복잡합니다. 3가지 경우가 있습니다:

각속도 실험:

수동 제어를 사용하여 로봇을 제자리에서 360도 회전합니다. 이것은 왼쪽과 오른쪽 모터를 반대 속도로 움직여서 수행됩니다. 두 모터의 속도를 알면 각속도를 계산할 수 있습니다.

시도해 봅시다:

각 및 선형 속도 실험:

나는 탱크를 이리저리 몰고 마지막에 시작 위치로 되돌리려고 노력할 것입니다. 속도를 올바르게 계산하는 경우 주행 거리 측정 데이터는 마지막에 가능한 한 0에 가까워야 합니다.

6부:모든 것을 하나로 모으기

자, 이제 값비싼 RC 탱크를 갖게 된 것뿐인가요? 아니요, 이제 이삭의 다른 모든 부분을 사용할 수 있습니다. 예를 들어 음성 명령을 내리고 로봇이 자율적으로 움직이도록 합니다. 이에 대한 예는 voice_control을 확인하세요.

그것은 Isaac의 오디오 및 기계 학습 보석을 사용합니다. 보석이란 무엇입니까? 매뉴얼에 명시된 바와 같이:"GEM:계획에서 인지에 이르는 로봇 알고리즘의 모음이며, 대부분은 GPU 가속입니다."

이 가이드에 설명된 단계에 따라 자체 RNN을 학습했습니다. 특히 unknownkeywords/silence/random noise의 경우 데이터가 많은지 확인하십시오.

저는 'jetson', 'left', 'right'라는 3가지 단어를 인식하도록 훈련했습니다. 여기에서 저장된 모델을 찾을 수 있습니다. 이 3개의 단어로 "jetson left" 및 "jetson right"의 2가지 명령을 작성할 수 있습니다.

감지 부분은 사용 및 재사용 준비가 된 자체 하위 그래프에 설명되어 있습니다.

기본적으로 마이크의 소리를 듣고 명령 중 하나를 선택하면 voice_command_id를 출력합니다. 이를 위해 이전에 훈련된 RNN을 사용합니다.

그 detect_command를 가져와서 자체 Codelet에 전달할 수 있습니다.

{
"source":"voice_detection.subgraph/interface/detected_command",
"target":"voice_control_components/goal_generator/detected_command"
} 

Codelet에서 목표를 생성하고 게시할 수 있습니다.

자동 proto =rx_detected_command().getProto();
int id =proto.getCommandId();
자동 goal_proto =tx_goal(). initProto();
goal_proto.setStopRobot(true);
goal_proto.setTolerance(0.1);
goal_proto.setGoalFrame("로봇");
ToProto(Pose2d::Rotation( 90), goal_proto.initGoal());
tx_goal().publish(); 

이것은 로봇을 왼쪽으로 90도 회전시키는 목표를 설정합니다. 우리는 다른 프레임에서 다른 목표를 설정할 수 있습니다. 그것은 부엌의 좌표와 같은 "세계"프레임의 좌표로 이동했을 수 있습니다. 로봇의 프레임에 Pose2::Translate(1.0, 0)를 설정하여 로봇을 1미터 전진시켰을 수도 있습니다.

그리고 여기에서 목표를 글로벌 플래너에게 전달합니다.

{
"source":"voice_control_components/goal_generator/goal",
"target":"navigation.subgraph/interface/goal"
} 

모든 마법이 일어나는 곳:

불행히도 5W가 아닌 10W 모드에서만 작동하므로 내 배터리에 너무 많은 양입니다. 5W 모드에서 추론이 너무 오래 걸립니다:

나는 더 작은 RNN으로 시도했고 2개의 사용 가능한 CPU 코어(nvpmodel -m 1)에서 3개로 늘렸지만 별로 도움이 되지 않았습니다. 추론을 위한 시간을 30ms로 줄였지만 정확한 결과를 얻기에는 여전히 너무 깁니다.

7부:매핑

지도를 만들려면 Jetson에서 하나의 Isaac 인스턴스를 실행하고 호스트 컴퓨터에서 하나를 실행해야 합니다. 매핑에는 Jetson Nano가 처리할 수 있는 것보다 많은 리소스가 필요합니다.

[이메일 보호됨]:~/ml/jetson-ev3$ ./engine/build/deploy.sh --remote_user andrei -p //apps/ev3:gmapping_distributed_ev3 -pkg -d jetpack43 -h 192.168.0.218

[이메일 보호됨]:~/deploy/andrei/gmapping_distributed_ev3-pkg$ ./apps/ev3/gmapping_distributed_ev3

[이메일 보호됨]:~/ml/jetson-ev3$ bazel 실행 앱/ev3:gmapping_distributed_host 

Jetson IP로 apps/ev3/gmapping_distributed_host.app.json 파일을 변경하는 것을 잊지 마십시오:

<코드>"tcp_subscriber":{
"isaac.alice.TcpSubscriber":{
"포트":5000,
"호스트" :"192.168.0.218"
}
} 

출처:자율 탱크