방향설정을 다시 하려고 한다.

 

결론만 말하면 임베디드를 하고싶기 때문에 방향을 대폭 수정하려고 한다.

지금까지 궁금한 것들 다 집어넣어 만들었던 것처럼 이번에도 흥미 위주로 간다. 물론 꽤 많이 경험했기에 지금은 좀 많이 정제가 되어 있다.

 

1. 간단한 nlp 모델은 v.2에서 다 써봤고 깃에 올리지는 않았지만 로컬에서 올라마로 llm도 몇 개 써봤기에 rag도 가능하다는 판단이 서 v.3에는 rag를 붙이는 것으로 정했다.

2. 하면서 보니까 MLFlow로 파이프라인을 처음부터 끝까지 구축하는건 프로젝트의 성격이나 모델의 무게 등 생각보다 신경써야 할 부분이 많아 지금은 포기. 이 것이 가능하려면 데이터 수집, 전처리, 학습, 검증 및 테스트, 추론까지 웹 코드에 모두 끊김없이 들어가야 한다. 지금은 부분 연결에 의의를 두려고 한다. 데이터 습득은 아직은 생각 안하고 있다. 감지한 데이터가 있다면 따로 보관해두겠지 bow처럼. 그리고 이 것들의 메타데이터도 따로 저장해두었다가 재학습시킬 수 있겠지. 근데 언제쯤? 양이 적어서 모이는데 시간이 꽤 걸릴듯.

3. 요즘 내 식물 베이비들을 위해 센서와 보드로 이것저것 시도해보고 있다. 비전으로 과실의 사이즈, 색 등 확인해서 수확 시기 정하는 것? 그리고 벌레, 병충해 체크해서 적절한 정보를 rag로 얻고 이에 셀프로 대처하는 것? 약 살포는 기계로 하는거 무섭지. 그리고 수분, 온도 등 체크해서 바로바로 대처하는 것? 아직은 알림만 잘 되어도 좋겠다. 램프라도 연결해서 뜨기라도 했으면.

4. 웹단은 레이아웃 수정 말고는 굳이 건드릴 것 없다. 감지하면 rag로 얻은 정보 트리거로 알람 띄워 보여주려고 한다.

 

• 이전 프로젝트명: 영상 기반 NLP 프로젝트 (버전 2)
• 내용: Whisper 모델 기반 영상 자막 생성, 요약, 키워드 추출, NER 구현.
• 활용 기술 스택: FastAPI, Next.js, Redis, Celery, PostgreSQL, Poetry, Docker.
• 성과: 웹 개발 및 멀티모달 AI 역량 확보.

새로운 프로젝트 방향 전환 배경

• 판단: 복잡한 영상 처리 대비 2D 비전의 개발 효율성 우위.
• 결정: "스마트팜 자동화 관리 시스템" 개발로 전환.

새로운 프로젝트: 스마트팜 자동화 관리 시스템

• 목표: AI와 자동화 기술 융합을 통한 실제 산업 문제 해결.
• 주요 내용:
  • 2D 비전 모델 활용: EfficientNet B0 등 효율적인 모델을 이용한 농업 환경 자동화.
  • 생성형 AI 및 RAG 도입: Ollama Mistral 챗봇에 RAG 적용, 작업자 데이터 이해 및 정보 획득 지원 인터페이스 제공.
  • 향후 확장: Raspberry Pi 및 Arduino 연동, 물리적 장치 연결 및 자동 제어 시스템 구축.