모바일 원격 감시 카메라

5단계:Raspberry Pi 프로젝트 및 종속성 설치 및 구성

작동 방식:

위에 첨부된 이미지에서 제가 설명하려고 하는 다이어그램을 볼 수 있습니다.

아. Android 앱은 webview 내에서 uv4l 스트리밍을 보여줍니다. uv4l 프로세스는 raspberry pi에서 실행되고 카메라에서 비디오 입력을 캡처하고 스트리밍합니다. 많은 기능을 갖춘 멋진 도구입니다.

ㄴ. Android 앱 조명 및 엔진 내에서 컨트롤을 사용하면 MQTT 서버에 명령이 실행됩니다.

ㄷ. raspberry pi의 docker 컨테이너 내부에 있는 python 서버는 MQTT 명령을 수신하고 직렬 인터페이스를 사용하여 arduino에 전달합니다. arduino 보드는 모터와 조명을 제어합니다.

d. arduino는 로봇의 앞뒤 거리를 감지하고 직렬 인터페이스를 통해 데이터를 Python 서버로 보내고, Python은 이를 MQTT로 전달하고 Android 인터페이스에서 선택하여 사용자에게 표시합니다.

첫 번째 라즈베리 파이에 완전히 설치되고 구성된 Raspbian이 필요하고 카메라가 심리적으로 연결되고 구성되어야 합니다. 또한 모든 구성은 ssh를 사용하여 수행되므로 구성하는 것이 좋습니다.

여기에서 모든 기본 사항을 다룰 수는 없지만 필요한 경우 다음 링크를 시도해 보세요.

Raspbian 운영 체제를 설치하는 방법을 모르는 경우 이 링크를 확인하십시오. 카메라 설치 및 활성화 방법에 대한 자세한 내용은 이 공식 문서를 확인하세요.

Raspbian에서 ssh를 설정하는 방법은 여기를 확인하세요.

Wi-Fi 외부에서 Android 앱을 사용하여 로봇을 제어하려면 Wi-Fi 라우터에서 포트 전달을 고려해야 합니다. 그렇지 않으면 Wi-Fi 내부에서 로컬 IP 주소를 사용하도록 제한됩니다.

라즈베리 파이에서 로컬 IP 주소를 찾으려면 "ifconfig"를 사용하세요.

ifconfig ....... eth0 링크 encap:Ethernet HWaddr b8:27:eb:16:e7:ff inet6 addr:fe80::ff00:f22f:9258:b92b/64 범위:Link UP BROADCAST MULTICAST MTU:1500 메트릭:1 RX 패킷:0 오류:0 삭제:0 오버런:0 프레임:0 TX 패킷:0 오류:0 삭제:0 오버런:0 캐리어:0 충돌:0 txqueuelen:1000 RX 바이트 :0 (0.0 B) TX 바이트:0 (0.0 B) ....... wlan0 링크 encap:Ethernet HWaddr 00:c1:41:00:10:f6 inet addr:192.168.0.102 Bcast:192.168.0.255 Mask:255.255.255.0 inet6 addr:fe80::e1f4:5112:9cb2:3839/64 범위:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX 패킷:1678396 오류:0 삭제된 TX 프레임:0 오버런 패킷:381859 오류:0 삭제:0 오버런:0 캐리어:0 충돌:0 txqueuelen:1000 RX 바이트:259428527 (247.4 MiB) TX 바이트:187573084 (178.8 MiB) .....  

우리의 경우 "192.168.0.102"인 wlan0 inet addr에 관심이 있습니다.

전달할 포트(기본값)는 uv4l의 경우 9090이고 모기의 경우 1883입니다. 인터넷 공급자 방화벽이나 다른 포트에서 금지되지 않은 경우 이 포트를 동일한 출력 포트로 전달할 수 있습니다.

포트 포워딩은 라우터마다 다르게 수행되는 작업입니다. 여기에 몇 가지 자습서가 있습니다. 또한 Google에서 "포트 포워딩 your_router_model 검색을 시도할 수도 있습니다. " 더 관련성 높은 결과를 보려면

전제 조건:

아. 명령줄을 사용하여 git 설치

ㄴ. 홈 폴더에서 github 프로젝트를 복제하십시오:

docker-compose.yml에서 위치가 하드 코딩되기 때문에 폴더 위치가 중요합니다. /home/pi/robot-camera-platform:/root/debug 위치를 변경해야 하는 경우 docker-compose에서 값을 변경하세요. 너무

git clone https://github.com/danionescu0/robot-camera-platform.git  

씨. pi의 직렬 콘솔을 비활성화합니다. 방법을 모르는 경우 이 링크를 확인하십시오.

Uv4l 스트리밍 설치:

chmod +x uv4l/install.sh chmod +x uv4l/start.sh sh ./uv4l/install.sh  

이것이 실패하거나 uv4l에 대한 자세한 내용을 알아야 하는 경우 이 자습서를 확인하십시오.

구성:

아. uv4l/start.sh 편집 비디오 스트리밍의 다음 측면을 구성할 수 있습니다:암호, 포트, 프레임 속도, 포함, 높이, 회전 및 기타 사소한 측면

ㄴ. config.py를 수정하고 비밀번호를 바꿉니다. 모기 서버에 설정한 자신의 비밀번호로

ㄷ. docker-container/mosquitto/Dockerfile을 편집하고 이 줄을 교체하십시오.

mosquitto_passwd -b /etc/mosquitto/pwfile 사용자 your_password 실행 

모기에 대한 자신의 사용자와 비밀번호로

d. config.py를 수정하고 직렬 포트 교체 자신의 전송 속도를 사용하여 전송 속도를 유지하는 것이 좋습니다. 변경하려면 arduino-sketch에서도 수정하는 것을 잊지 마십시오.

uv4l 설치를 테스트합니다. 시작하세요:

sh ./uv4l/start.sh  

ㄴ. http://your_ip:9090/stream

ㄷ. 그만하세요

sudo pkill uv4l  

Install docker and docker-compose

About docker installation:https://www.raspberrypi.org/blog/docker-comes-to-...

About docker-compose installation:https://www.raspberrypi.org/blog/docker-comes-to-...

Auto starting services on reboot/startup

By making the services auto start you'll eliminate the need of manually login through ssh and then activate all the services by hand, we're going to do this using systemctl.

a. Copy the files from systemctl folder in systemctl folder to /etc/systemd/system/

b. Enable services

sudo systemctl enable robot-camera.service sudo systemctl enable robot-camera-video.service  

c. Reboot

d. Optional, check status:

sudo systemctl status robot-camera.service sudo systemctl status robot-camera-video.service  

Step 6:Configuring and Building the Android Application

We're all most done, in this step we're going to install the android application. These are all the prerequisites:

1. Clone the github project:

git clone https://github.com/danionescu0/android-robot-camera  

The next steps involves setting up your environment, i'll just enumerate them and give a link to a specialized tutorial, in case you don't know how to do it.

2. Enable developer options on your android phone. You can find out more here:https://developer.android.com/studio/debug/dev-opt...

3. Download and install Android studio:https://developer.android.com/studio/index.html?ut... and this https://www.javaworld.com/article/3095406/android/...

4. Import project :https://developer.android.com/studio/intro/migrate...

Now we're going to configure the the streaming and MQTT credentials:

5. Edit ./app/src/main/values/passwords.xml and configure MQTT and streaming

The MQTT host should be something like:1883

The streaming host should be something like:

6. Upload and run the application

Step 7:Using the Robot and Debugging

Using the app

The application has only a main screen, in the left of the screen the streamming image is displayed. On the right

there are the controls. The main control is a steering wheel, touch the steering wheel in the direction you wish the robot to move. Below the steering wheel there is a headlight button, touch it to toggle the light.

In the top right corner there is a text like :"- Batt Connected".

* First dash means no obstacles, if there is an obstacle in front or in the back of the robot it will be signaled with a small arrow pointing in front or in the back.

* The "Batt" status is not implemented yet.

* "Connected" means that MQTT server is connected so the robot can be used, the other possible value is "Disconnected"

Debugging can be done on multiple layers:

1. On the arduino layer

- Connect the FTDI adapter to the second serial line to the laptop (RX to pin 11 and TX to pin 10) and issue motor commands and light commands to see if the robot responds to these commands

- Double check the connections, if the motors are moving backwards reverse the both motor wires, if one motor is moving backwards reverse the it's wires

- Check if the arduino is connected properly to the H-bridge, check this link for more information

2. On the rasberry pi layer

- Check docker is running the two containers (mosquitto and python server)

pi@raspberrypi:~ $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 473a56da2230 dockercontainer_python-server "python /root/debu..." 9 months ago Up 4 hours dockercontainer_python-server_1 3e0b1933d310 robot-camera-mosquitto "/usr/bin/entry.sh..." 9 months ago Up 4 hours 0.0.0.0:1883->1883/tcp dockercontainer_mosquitto_1  

- Check the processes are running on specified ports, you should look for 9090 (streamming) and 1883 (mosquitto)

pi@raspberrypi:~ $ netstat -nltp (Not all processes could be identified, non-owned process info will not be shown, you would have to be root to see it all.) Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:9090 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:5900 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN - tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN - tcp6 0 0 :::1883 :::* LISTEN - tcp6 0 0 :::5900 :::* LISTEN - tcp6 0 0 :::22 :::* LISTEN -  

- Check the serial port exists (it's the correct one) and it's specified in the project config.py

pi@raspberrypi:~ $ ls -l /dev/ttyS0 crw-rw---- 1 root dialout 4, 64 Jan 14 19:59 /dev/ttyS0  

- Stop the docker process and manually connect to serial using picocom

Then issue motor and light commands directly to see if the robot responds

sudo systemctl start robot-camera.service picocom -b 9600 /dev/ttyS0 # now issue motor and light commands to test the robot  

- Check if the serial console is deactivated on the raspberry pi

- Check the streaming and MQTT are accessible outside the raspberry pi suing a mosquitto client (for MQTT) and checking the streaming in a web browser)

3. Android application layer

- Check all the necessary steps to enable the phone into debugging mode (check this out)

- Make sure you've set up the passwords and endpoints correctly in the passwords.xml

- Check the streaming and MQTT are accessible outside the raspberry pi suing a mosquitto client (for MQTT) and checking the streaming in a web browser)

- See the top right corner of the app and check for "Connected"

- Use the android debugger to check for errors

Step 8:Other Use Cases, Extending the Code

Another use case is a object following robot .The robot will follow an object of a specific color and size threshold

Check above for the video.

Because this is out of scope of this tutorial i'll just give you some hints:

First install dependencies using pip, the installation process will be quite slow

sudo pip3 install -r /home/pi/robot-camera-platform/navigation/requirements.txt 

- make sure python 3.x is installed though

- In navigation/config_navigation.py you'll find:

 hsv_bounds =( (24, 86, 6), (77, 255, 255) ) object_size_threshold =(10, 100)  

HSV means hue saturation value, and for our color object detection to work it has a lower and an upper bound, our object color will have to be in this range to be detected. Here you can find a visual HSV object threshold detector.

Object size threshold means the smallest and the highest object radius size (in percents from width) which will be considered a detection.

- install and configure VNC (more information of how to install VNC here)

- Run the object tracking script in VNC graphical interface in a terminal. This will enable you to view the video, with a circle drawn over it. The circle means that the object has been detected.

python3 object_tracking.py colored-object --show-video  

OR Run the object tracking script with no video output:

python3 object_tracking.py colored-object 

I think the main advantage of this platform is versatility , it can be adapted easily to other interesting usages, some of my ideas:

- Following a person by face recognition

- Patrolling and reporting movement

- Replace the wifi with a 3G modem and the robot can be controlled outside, maybe exploring dangerous zones

This being a very complex project i assume that there will be errors, i will appreciate if you ask me anything in the comments area.

If you like my project please my youtube channel for more interesting stuff.

코드

Android application

Main repository for arduino, python code