[google mediapipe] Turtle-Neck detection with Holistic

Google Mediapipe의 Holistic을 사용한 미니 프로젝트를 진행했다.

공부나 작업을 하면 노트북으로 작업을 하는데,

노트북의 웹캠을 사용하여 자세를 교정하자는 아이디어를 제안 받았다. 

https://google.github.io/mediapipe/solutions/holistic.html

Holistic

Holistic은 기존 Mediapipe의 Multi-hand, Pose, Face-Mesh를 합쳐놓은 모듈이다.

Face-Mesh의 턱 좌표와, 양 어깨 좌표의 중심과의 거리를 측정한다.

 

작업을 하다가 거북목이 되어 그 거리가 짧아지게 되면, 거북목이라고 생각하고, 알림을 제공하도록 했다.

win10toast 라이브러리를 사용하여 알림을 제공하도록 하였다.

 

해당 프로젝트를 공유해 본다.

https://github.com/updaun/Holistic.git

GitHub - updaun/Holistic: HolisticProject to using mediapipe python

 

먼저 프로젝트 소스를 다운로드 받아 압축을 해제한다.

 

압축을 해제하고 폴더를 열어 들어간다. (requirments.txt 파일이 있는 곳까지 들어간다.)

 

해당 파일 탐색기의 주소창에 "cmd" 라고 입력하면 해당 경로의 명령 프롬프트를 쉽게 열 수 있다.

방금 다운로드 받은 소스 위치의 cmd 창을 열 수 있다.

 

기본적으로 Python이 설치되어 있어야 한다.

cmd 창에 ' python ' 이라고 입력하여 파이썬이 설치되어 있는지 확인한다.

python

 

만약 설치되어 있지 않다면, 아래의 글을 먼저 읽고 설치하도록 하자!

https://updaun.tistory.com/entry/python-python-low-version-install

[python] python low version install

파이썬 버전은 3.7 이상 버전을 사용하도록 하자.

설치된 것을 확인했다면, ' exit() ' 를 입력하여 파이썬을 종료한다.

>> exit()

프로젝트에 필요한 라이브러리를 설치해보자.

pip install -r requirments.txt

명령어를 입력하면 OpenCV, Mediapipe, win10toast 등 필요한 라이브러리를 모두 다운로드 받게 된다.(약 2분 소요)

 

설치가 되었다면, Python을 사용하여 프로그램을 동작시켜보자!

[ 데모 1 실행 ] 

python Holistic_turtleneck_demo.py

첫 번째 데모 프로그램은 단순히 턱과 어깨 중심 사이의 거리만 측정한다.

그런데, 웹캠과 조금 멀어지게 되면 거리가 줄어든 것으로 인식되어 거북목으로 감지되었다.

거리가 줄어든다면, 윈도우 토스트 알림이 올 것이다.

 

[ 데모 2 실행 ]

python Holistic_turtleneck_demo_2.py

mediapipe 에서 제공하는 z value를 사용하여 웹캠과의 거리를  추측하고

거리에 따라 감지되는 임계치를 변경하도록 하였다.

거북목 자세를 취하면 토스트 알림이 올 거이다.

 

[ 실사용 버전 실행 ]

python Holistic_turtleneck_noimgview.py

print문 및 mediapipe의 draw 기능을 지워 연산 속도를 올렸다.

opencv의 imshow를 제거하여 웹캠을 작동하지만 사용자에게 보여지지는 않는다.

이 프로그램을 켜놓고 작업을 진행한 결과, 중간 중간 자세를 바르게 하라고 알림이 와서 나름 효과적이었다.

 

향후 보완사항

- z value를 더욱 효과적으로 사용하여 현재 목의 길이로만 측정되는 부분을 보완하고자 한다.

- 코의 3차원 좌표와 어깨의 3차원 좌표 값의 차이를 추가적으로 활용해볼 예정이다.