YouTube Video Analyzer

Goal: Get subtitle from video and analyze.model: Whisper, Pegasus, KeyBERT, BERT-NER, SpaCydataset:.Tech stack: FastAPI, Celery, Redis, Tailwind.js, SQLite, transformer, ffmpegvideopy로 영상 다운로드.Whisper로 해당 영상의 자막 추출.ffmpeg로 소리 시작점 재추출.SQLite에 영상정보와 자막 내용 뽑아 DB화.srt로 영상과 자막 합침.KeyBERT로 키워드 추출(all-MiniLM-L6-v2).BERT(bert-base-NER)와 SpaCy로 NER 추출한 뒤 교집합 값만 산출.Pegasus로 영상의 자막 요약(google/pegasus-cnn_da..

2025.03.31

Furniture retrieval

3차. Furniture retrievalPeriod: a month(24/11/25~24/12/26)  Goal: Retrieve image from selected SOP dataset with cosine similarity, after generation of image of furniture with prompt and position(b-box)Dataset: SOPModel: GLIGEN + Hyperbolic Vision Transformer(HViT)  1. Image generation with GLIGEN    B-box, Phrase, Prompt 조건을 가지고 이미지 생성.    B-box: 배경 이미지에서 사물을 생성하고자 하는 위치    Phrase: 물체의 종류    Prom..

2025.01.29

Sceneary image generation

Subject: Image Segmentation2차. Sceneary image generation with Mit+UperNet and LDM+ControlNetPeriod: a week(24/11/13~24/11/19)Goal: Generate Image with model trained by scenery dataset after semantic segmentationDataset: ADE20K OutdoorModel: Mixed Vision Transformer+UperNet, Latent Diffusion Model+ControlNet 1. Semantic segmentation    1) Unet+ControlNet(for trial)    해당 모델 선정 이유: 생성에 디퓨전 모델을 사용할..

2024.12.27

Car Damage Detection

Subject: Object detection1차: Car Damage Detection with Yolov5 and 8Period: a week(24/11/07~24/11/13) Goal: Detect position and sort of car damageDataset: car-damage_2 in RoboflowModel: YOLOv5, YOLOv8 이전에 웹개발을 했어서 그런지 반드시 어떤식으로 사람들이 접근할 수 있어야 한다는 생각을 했었다. 그래서 들어갈때부터 스트림릿으로 틀을 만들었고 그게 다른 팀들과 차이점을 주었다. 지금은 3차 플젝 진행중인데 웹구현이 일반적이지 않다는 것을 그때는 몰랐지... 여튼 모델과 기능은 간단하지만 전 주기를 경험해 보아서 개인적으로 만족한다. 총 일주일 기간을..

2024.12.09