XREAL
Vision

어 이게 되네

2주간의 Theme

google의 cpp 머신러닝 라이브러리를 Unity에서 돌릴 수 있게 되었다.…

2주간의 Milestone

팀의 지난 2주 간 마일스톤

설치가 반이다 (개발환경설정과 라이브러리 유니티로 임포트)
Unity에서 mediapipe pose 돌려보기
살인윙크 발사
가장 간단한 빙의로직 구현
카메라 → (mediapipe) → landmark의 3d 위치 → (빙의로직) → 아바타의 각 관절의 transform

마일스톤을 바탕으로 한 세부 Action Plan

각자 mediapipe - unity 플러그인 설치해오기.
고생 좀 했다.
빙의로직
참고자료 (feat UnityChan!, 이런건 역시 일본이)
GitHub - yukihiko/ThreeDPoseUnitySample: Unity sample of 3D pose estimation
The next version uses Unity Barracuda. It has been published in this repository. https://github.com/digital-standard/ThreeDPoseUnityBarracuda 画像、動画、カメラなどの2次元の画像データから人体の3次元の姿勢を推定する機械学習を研究しています。こちらの内容は 私のTwitterアカウント を参照ください。 ThreeDPoseUnitySampleは、その学習結果のモデルとUnityを使用した実装サンプルです。姿勢推定は一人が写っている画像を前提としています。複数人の推定には対応していません。 Video Playerに動画をセットします。この動画からclipRectのサイズに切り出し、TextureObjectを介して姿勢推定用のonnxに渡されます。 わざわざTextureObjectに渡す必要はありませんが、入力画像が224x224を想定しているためその為の確認用です。 動画とclipRectを正しく設定すれば動くはずですが、姿勢推定のモデルはまだ研究中ですのでそれほどの精度がありません。それなりの精度を出すためには、 背景がシンプルであること(床の反射とかも誤認識する事があります) 常に全身が写っていること(全身が写っている事が前提で作っています) 人物が大きくもなく小さくもなく ダボっとした服は誤認識しやすいです。手足がわかる服が良いです サンプルに使用している動画「wiper.mp4」は ミソジサラリーマン様の こちらの動画 を使用させて頂いております。ありがとうございます。このファイルは許可なく動画サイト等への転載は行わないでください。 非営利目的の使用のみ可です。趣味・研究などにはご自由にお使いください Non-commercial use only.Please use it freely for hobbies and research.
비슷하게 코딩해오기로 함.
협업 준비 - 본격적인 코딩에 앞서
git setup : 컨벤션 한번 맞춘 게 학회의 큰 자산인듯

활동 내용과 에피소드

이명준

김시빈

다음 2주 Milestone

코로나 이슈 — 태호님 쾌차하세요!
base(빙의로직) 개발완료 이후 응용 아이디어?