KIKIIK의 데이터 분석 도전기

https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf   리뷰 목적  글쓴이는 음악 애청자로 이문세와 박진영, 박정현, BTS의 열렬한 팬인 어머니와 본인에게 음악은 출퇴근길 라디오에서 흘러나오는 음성이라고 생각하는 아버지 사이에서 음성들을 청취했다. 음악은 그저 신나는 분위기를 조성하거나 드라마나 영화 등 컨텐츠를 도와주는 서포터라고 여겼다. 사춘기에 Coldplay의 Yellow를 듣고 영어 가사가 나오는 음악을 듣는 친구를 보며 단순히 멋있어 보인다는 이유로 Coldplay의 곡을 영어 가사를 필기하며 외웠다. 그렇게 밴드에 입문을 하고 현재까지 꾸준히 음악을 청취하고 있다.  음악을 듣고 아티스트를 알고 아티스트들의 배경을 듣다 보니 나도 이들과 함께 세상..

AI_관련_논문리뷰 2025. 3. 20. 17:37

LLM이 생성하는 텍스트를 잘 활용하기 위해서 고려해야하는 다양한 측면들을 사람의 관점에서 살펴보고, 텍스트 요약과 수정 등의 주제를 예시로 어떻게 상호작용할 수 있는지를 다룬 튜토리얼 " LLM이 생성한 텍스트를 어떻게 평가할 것인가? "" LLM이 생성한 텍스트를 사용자들에게 어떻게 단순화하여 제공할 것인가?  | 텍스트의 퀄리티를 평가하는 방식전통적인 평가방식 N개의 단어가 연속적으로 묶인 N-gram을 단위로 다양한 Metric을 구성하는 방법.EX) 생성된 텍스트에서 얼마나 많은 N-gram들이 정답에 포함되는가를 측정하는 BLEU Score나 생성된 텍스트와 정답 텍스트 간 N-gram이 겹치는 정도를 측정하는 ROUGE Score가 대표적입니다. 하지만 N-gram 기반의 평가 방식은 단어의..

AI_관련_논문리뷰 2025. 3. 16. 18:41

Convolution(축약) 과정 Pooling Flatten Pooling? CNN의 문제점 중 하나를 교정해주는 작업| Convolution이라는 과정을 통해서 많은 수의 이미지를 생성 -> 이미지의 수가 많아 메모리 할당량 부족하나의 이미지에서 이미지가 5배씩 생성되고 이미지의 크기 또한 줄지않음.하나의 이미지에서 파생된 여러장의 이미지 중 Null 값과 유사한(Correlation이 낮은 영역)을 판단하여1개의 이미지에 1개의 출력을 만들면서 동시에 기존 이미지에 Padding 없이 Filter만 적용해서 크기를 줄이는 방식. Flatten? Convolution과 Pooling을 반복하면 이미지의 숫자는 많아디며 크기는 줄어들게 된다.최종적으로 n✖️n 이미지는 특정 이미지에서 얻어온 하나의 특..

AI_관련_논문리뷰 2025. 3. 7. 17:40

논문 :  Unsupervised Visual Representation Learning by Context Prediction   Abstract   이 연구는 공간적 문맥(spatial context)을 풍부한 시각적 표현을 학습하기 위한 감독 신호로 사용하는 방법을 탐구합니다. 레이블이 없는 대규모 이미지 모음을 기반으로, 각 이미지에서 무작위로 선택한 두 패치의 상대적인 위치를 예측하도록 컨볼루션 신경망(ConvNet)을 학습시킵니다. 연구자들은 이 작업을 잘 수행하기 위해 모델이 객체와 그 부분을 인식하는 법을 학습해야 한다고 주장합니다. 학습된 표현은 이미지 간의 시각적 유사성을 포착하며, 이를 통해 고양이, 사람, 새와 같은 객체를 비지도 학습 방식으로 발견할 수 있음을 보여줍니다. 더 나아..

AI_관련_논문리뷰/Computer_Vision 2024. 11. 22. 16:33

https://github.com/microsoft/vidur GitHub - microsoft/vidur: A large-scale simulation framework for LLM inferenceA large-scale simulation framework for LLM inference - microsoft/vidurgithub.com  1. Abstract 대형 언어 모델(LLM)은 대화 시스템, 문서 요약, 코드 완성, 질의 응답 등 다양한 자연어 처리 응용 프로그램에서 필수적입니다. 그러나 LLM이 더 긴 시퀀스를 안정적으로 생성하도록 하기에는 한계가 있으며, 이는 주로 사전 훈련 시 설정된 주의(attention) 창 크기로 인해 발생합니다.   Figure 1: StreamingLLM과..

AI_관련_논문리뷰/Deep_Learning 2024. 11. 7. 21:30

https://arxiv.org/pdf/1409.1556  소개VGG-16 모델은 ImageNet Challenge에서 Top-5 테스트 정확도를 92.7% 달성하면서 2014년 컴퓨터 비전을 위한 딥러닝 관련 대표적 연구 중 하나로 자리매김하였다.Very Deep Convolutional Networks for Large-Scale Image Recognition 논문의 내용을 살펴보면서 VGG 모델이 어떻게 이미지 분류 문제에서 이토록 좋은 성과에 도달할 수 있었는지 확인해보자.참고로 VGG-16의 의미는 다음과 같다:VGG : Visual Geometry Group16 : 16 layers따라서, 신경망 모델의 깊이(레이어 수)에 따라 VGG-19 혹은 VGG-13이 될 수도 있다.VGG-16 모델..

AI_관련_논문리뷰/Computer_Vision 2024. 10. 24. 11:18

https://arxiv.org/pdf/1409.3215   1. Abstract기존의 DNN(Deep Neural Network)의 경우 Sequence한 Task에 적용이 불가.더보기고정된 입력 크기 문제: DNN은 입력 데이터를 고정된 크기의 벡터로 받습니다. 예를 들어 이미지나 고정된 길이의 텍스트를 처리할 때는 잘 동작하지만, 시계열 데이터나 자연어 처리(NLP)와 같은 순차적 과제에서는 입력 길이가 변할 수 있습니다. 예를 들어, 문장은 각각 다른 길이일 수 있고, 주식 가격처럼 시간이 흐르면서 길이가 변하는 데이터도 있습니다. DNN은 이 가변적인 길이를 처리할 수 없어 시계열 데이터에 적합하지 않습니다.시간적 의존성(Time Dependency): 시계열 데이터나 언어 데이터는 시간에 따라..

AI_관련_논문리뷰/Deep_Learning 2024. 10. 15. 16:24

https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf  3. 아키텍처번역더보기1. 서론   현재의 물체 인식 접근법들은 기계학습 방법을 필수적으로 사용합니다. 이들의 성능을 향상시키기 위해서는 더 큰 데이터셋을 수집하고, 더 강력한 모델을 학습시키며, 과적합을 방지하기 위한 더 나은 기술을 사용할 수 있습니다. 최근까지 레이블이 달린 이미지 데이터셋은 비교적 작았습니다 - 수만 개의 이미지 정도였습니다(예: NORB, Caltech-101/256, CIFAR-10/100). 이 정도 크기의 데이터셋으로도 간단한 인식 작업은 꽤 잘 해결할 수 있습니다. 특히 레이블을 보존하는 변환으로 데이터를 증강하..

AI_관련_논문리뷰/Machine_Learning 2024. 10. 2. 20:45