캐츠아이

• 핸드리코v3 
• 캐츠아이for안드로이드 
• 캐츠아이for아이폰
• 캐츠아이for윈도우 
• 캐츠아이for우분투
• 캐츠아이for맥 
• 모바일버전/ 메탈버전으로 컨버젼 
• 이걸로 확인? 현제는 애플에 귀속되는 한계가 있으니… 완성을 이걸로 보는 수 밖에
• 런마우스 
• ??이래도 되나 정도로 코파일럿 활용해서 그냥 나옴??
• 60% 정확도 너무 낮은 듯 
• 모델 형태를 변화시키면서 비교 
• V 학습이 되었다 하는데, 일단 된건지, 어느정도 신뢰성이 있는지 오리무중 
• V 런마우스부분 결과를 따로 차트로 볼 수 있게 만들어보자. 
• V 손 관절 순서가 뒤섞여서 들어가고 있어서 수정
• 손 관절 데이터(VNDetectHumanHandPoseRequest)의 정확도 문제
• 정확한 데이터를 만들면서 다시 시작 
• > 더 많은 데이터를 추가 
• 데이터를 스트림형식으로 저장
• 데이터 스트림형식으로 학습 
• 더 정확한 데이터
• 광학적으로 선명한 데이터
• 다양한 촬영 각도에서의 데이터 (아무래도 각도가 높을수록 정확도가 커지겠지)
• 해깔리는 데이터를 깔끔하게 정리하기
• V 의도적으로 과장된 데이터를 먼저 학습 시키고 조금씩 작은 동작에 대한 학습을 추가해보자
• V 개인적으로 눈으로 봐도 딱 이거다 싶을 정도의 큰 동작을 통해 인간 검증을 할 수 있을 정도로. 
• V 과장된 검증 데이터
• V 과장된 학습 데이터
• 특히 움직임을 크게 강조한 데이터는 손 인식 정확도가 상당히 떨어지는 듯
• 
  
• V 핸드리코v2 : 리눅스 우분투 : 도커 우분투
• 기타 모델들의 정확도 확인
• mmPose/openPose/VNDetectHumanHandPoseRequest
• V VNDetectHumanHandPoseRequest : 일단 대충 만족. 애플에 귀속되는게 조금 불만
• V 만족하는 모델이 나올 때 까지
• V midiapip로 손모양 잡기 
• 유선 마우스는 케이블이 손모양 잡는데 문제가 되네. 
• 블투 마우스 모션 데이터 만들기
• 결국 선문제가 아니라 미디어 파이프의 한계인듯.
• V 주피터노트에 이미지 출력 연습
• V 동영상 프레임별로 나누기 : 맥에서 이미 함
• V텐져 
• 오픈씨비 
• V미디아파이프 
• V주피터 노트북 설치
  
• v텐저플로 우분투 버전에 맞는 도커미지를 내려받아서 주피터까지 실행
  
• V https://docs.nvidia.com/deeplearning/frameworks/tensorflow-release-notes/rel-24-10.html
• V tensorflow/tensorflow:2.16.1-gpu-jupyter
  
• V도커 리눅스 설치
•  ? 기존 v1이미지를 계속 쓸 수 있나?
• https://www.blogger.com/blog/post/edit/2660668049132359409/6136518154494805918 
• V nvidia 드라이버 쿠다 
• V우분투 듀얼부팅 22.4
• 우분투 듀얼부팅 최신버전은 시스템이 호환되지 않는다
• 2. 핸드리코v1 : 윈도우 SL리눅스: 도커-리눅스? 
• midiapipe 나 다른걸로 손 모양 잡기
• 동영상을 프레임별로 나누기
• V 주피터에 모든게 설치되어있는 지 확인
• ? 도커 이미지로 찍어두기 : 무언가 새로 설치 할 때 마다 반복+분기 해야할듯
• V 도커 주피터 노트북으로 도커 밖에서 연결 
• V 도커 텐져설치
• V 도커 리눅스 설치
• V 도커 쿠다 연결. 드라이버는 윈도우쪽에걸 쓰는 듯.
• V 도커 설치. 엔비디아 이미지로 시작하면 기본 연결이 되어있는듯
• V 윈도우 cuda랑 도커랑 연결이 될까? 아니면 도커 안에서 리눅스 cuda를 설치해야하나? 
• 결국 윈도우 도커는 거의 비슷하지만 끊임없는 한계가 있다. OpenCL이던가?
• 없는 걸 하나하나 찾고 다시 만들기에는 이미 있는 소스를 최대한 쓰기 편하게 가공해야지

• 마우스 캡쳐 : 아이폰 앱
• 이미지는 버리고 다이랙트로 포인트 데이터 캡쳐 > 맥으로 보내고
• 맥에서 마우스 데이터를 캡쳐
• 맥에서 두 데이터를 통합
• ML 피드 데이터를 만든다 
•  마우스캡쳐 : 윈도우 앱 
• 옛날에 만들어논 맥용 앱이 더 좋다 
•  동영상과 이벤트를 기록 (동영상 + 타이밍 이벤트 + 이벤트기록동영상)
• 마우스이벤트-캠코더영상이 싱크가 맞는지 확인하기
• V 마우스 이벤트 저장하기 : 
• V 캠코더 영상 저장하기
• 기본 UI 켐의 이미지 화면에 출력/ 마우스 이벤트 출력 : 
• windows앱을 만들어 봤어야지.. 일단 MFC로 시작해보자
• 마우스 로우레벨 이벤트 받기
• V 마우스 이벤트 받기 : 마우스이벤트가 아니라 포인터 위치였음.
• V 캠코더 영상 연결하기
• V MFC에 OpenCV 링크  
• V MFC 앱을 만들고 버튼이 들어가는지 확인

• V open cv 라이브러리 설치
• -윈도우+cuda : VS에서 dll 링킹 확인 완료 //dll이 없다고 하네 lib으로 링킹거는 방법을 잘 모르겠다 
• V cuda 는 아직 필요 없지만 일단 설치