결론만 말하면 임베디드를 하고싶기 때문에 방향을 대폭 수정하려고 한다.지금까지 궁금한 것들 다 집어넣어 만들었던 것처럼 이번에도 흥미 위주로 간다. 물론 꽤 많이 경험했기에 지금은 좀 많이 정제가 되어 있다. 1. 간단한 nlp 모델은 v.2에서 다 써봤고 깃에 올리지는 않았지만 로컬에서 올라마로 llm도 몇 개 써봤기에 rag도 가능하다는 판단이 서 v.3에는 rag를 붙이는 것으로 정했다.2. 하면서 보니까 MLFlow로 파이프라인을 처음부터 끝까지 구축하는건 프로젝트의 성격이나 모델의 무게 등 생각보다 신경써야 할 부분이 많아 지금은 포기. 이 것이 가능하려면 데이터 수집, 전처리, 학습, 검증 및 테스트, 추론까지 웹 코드에 모두 끊김없이 들어가야 한다. 지금은 부분 연결에 의의를 두려고 한다. ..

프로젝트 하나를 마무리 하긴 했는데 아쉽다. 부족한 점들이 계속 보인다.그래서 버전업을 하는 거겠지만...여튼 그래서 지금 단계에서 몇 가지 더 추가하고자 한다. 1. Ganicorn, Onnx, MLFlow 셋 추가하고, flower로 celery 적용되는 것 시각화.2. 소리 분리 후 정제한 뒤 다시 합치는 전처리 추가.3. ffmpeg과 whisper로 소리 조금 더 세분화.4. 감정 분석 기능 추가.5. 박수, 환호, 울음 등 자막에서 말로 표현하기 힘든 구간도 텍스트화.6. 현재 방식인 Hard subtitle이 아닌, Soft subtitle로 변경해 두 레이어를 on/off 가능하도록 함.7. 번역 기능 추가.8. 영상 1분 짜리로 하고 있는데, 이 것도 2분으로 늘려서 재 적용.9. 성격이..

1. 영상 다운로드 2. 해당 영상의 자막 TTS로 얻기.미국식 발음이 기준이라서, 영국식 발음인 경우, base 모델이거나, 언어를 따로 지정하지 않으면 성능이 안좋음.2500:02:17.619 --> 00:02:23.759 Aillwn giddau enc norvaethidiolょ y gynhyglidioliwfo annd famous2600:02:24.839 --> 00:02:29.259リgidaethu, gyffyrraeth yn kaed Sabà, diwy, a hungaeth i gallfauаг2700:02:29.839 --> 00:02:35.359 Fang万 perадachio onanddi''u gan y gwyandagiool2800:02:35.659 --> 00:02:38.939 Ie..

Goal: Get subtitle from video and analyze.model: Whisper, Pegasus, KeyBERT, BERT-NER, SpaCydataset:.Tech stack: FastAPI, Celery, Redis, Tailwind.js, SQLite, transformer, ffmpegvideopy로 영상 다운로드.Whisper로 해당 영상의 자막 추출.ffmpeg로 소리 시작점 재추출.SQLite에 영상정보와 자막 내용 뽑아 DB화.srt로 영상과 자막 합침.KeyBERT로 키워드 추출(all-MiniLM-L6-v2).BERT(bert-base-NER)와 SpaCy로 NER 추출한 뒤 교집합 값만 산출.Pegasus로 영상의 자막 요약(google/pegasus-cnn_da..

영상에 자막 겹칠 때 뜬 에러. 버전 문제다.2.1.2가 가장 최신 버전인데 1.0.3으로 바꾸면 해결된다. pip uninstall moviepypip install moviepy==1.0.3