티스토리

e_u_n_h_y

검색하기

블로그 홈

e_u_n_h_y

limeh.tistory.com/m

eunhhyy 님의 블로그입니다.

구독자: 3

방명록 방문하기

주요 글 목록

Entropy | Cross-Entropy Entropy정보를 표현하는데 있어서 필요한 최소 (평균) 자원량 (→ 0 또는 1의 길이!)최소 자원량 ? 엄청 효율적으로 표현되어야함! 자주 사용되는 것은 자원 길이가 짧아야하고 거의 사용되지 않는 것은 길이가 길어야함!이를 그래프로 표현하면 -log그래프가 되는 것! $\sum_{i}^{}{P}_{i}*(-{log_{2}}^{P{i}})$ 기댓값이 최소 길이가 되어야하는것! 기댓값은 특정 확률 분포에서 평균적으로 기대할 수 있는 값! (모든 가능한 결과 값과 그 확률의 곱) 그럼 최소자원량이 최대가 될 때는? 확률이 Uniform할 때! (최악의 상황) Cross-Entropy두 확률 분포 사이의 차이를 측정하는 방법 $\sum_{i}P_{i}*{log_{2}}^{q_{i}}$q_i는? 내가 생.. 공감수 0 댓글수 0 2024. 11. 25.
Lasso (L1) Regularization | Ridge (L2) Regularization 정규화란?모델의 가중치에 제약을 주어 과적합을 방지하고 모델을 단순화하는 기법입니다. L1, L2 정규화를 살펴보기 전에 벡터의 norm먼저 살펴봅시다. 벡터의 norm벡터의 "크기"를 측정하는 방법으로 쉽게 말하면 원점에서 해당 점까지의 거리를 계산하는 방법입니다.("크기"라고 했으니 0 포함 양수 스칼라여야함.) Lasso(L1) 정규화와 Ridge(L2) 정규화에서는 각각 L1-norm과 L2-norm을 활용하고 아래와 같이 계산할 수 있습니다. * L2-norm (벡터의 물리적인 길이) (예시) $a = \begin{bmatrix}1 \\2\\3\end{bmatrix}$ ${||a||_{2}}= \sqrt{{a}^{T}a} = \sqrt{{1}^{2}+{2}^{2}+{3}^{2}} = (.. 공감수 2 댓글수 2 2024. 11. 19.
ConTextual Masked Auto-Encoder for Dense Passage Retrieval AbstractDPR(Dense Passage Retrieval)의 목표 query와 passages의 dense representations을 기반으로 대규모의 말뭉치에서 query와 관련된 passages를 검색하는 것 최근에는 dense retrieval 성능 향상을 위해 사전 학습된 언어 모델을 개선하는 연구를 진행. CoT-MAE (ConTextual Masked Auto-Encoder) : self-supervised, context-supervised masked auto-encoding을 통해 문장의 의미를 dense vector로 압축하는 비대칭 인코더-디코더 구조를 사용 self-supervised masked auto-encoding 모델이 입력 데이터(레이블이 없는 데이터)의 일부를.. 공감수 1 댓글수 0 2024. 2. 19.
Visual Instruction Tuning (LLaVA) Submitted on 17 Apr 2023 NeurIPS 2023 Abstract LLM을 Machine generated instruction following data로 instruction tuning하는 것은 new task에서 zero shot 능력이 향상되는 것이 입증됨. → Multi-modal에도! GPT-4를 활용해 multimodal language-image instruction-following data를 생성하고, 이를 활용해 instruction tuning한 LLAVA: Large Language and Vision Assistant 모델을 이 논문에서 소개함. 이는 vision encoder와 LLM을 연결한 end-to-end multimodal model. * End-t.. 공감수 3 댓글수 0 2024. 2. 4.
Active Retrieval Augmented Generation Abstract Large Language Model : 언어를 이해하고 생성할 수 있지만, hallucination이 존재하며 정확하지 않은 output을 제공하는 경향이 있음. 이를 해결하는 방법? 외부 정보를 검색하여 LLMs를 보강하는 것! 그러나 대부분의 Retrieval Augmented LM은 입력을 기반으로 정보를 한 번만 검색하는 retrieve-and-generate setup 사용. 긴 텍스트를 생성할 때는 계속해서 정보를 수집해야 하는데, 기존의 검색 보강 언어 모델은 입력을 기반으로 한 번만 정보를 검색하기 때문에 이러한 상황에서는 제한적일 수 있음. 이 논문에서는 active retrieval augmented generation을 제안 FLARE : Forward-Looking.. 공감수 0 댓글수 0 2024. 1. 28.
LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models Abstract 현재의 VLM은 image captioning과 visual question answering과 같은 task에서는 뛰어나지만, 긴 영상에서는 과도한 visual tokens로 인한 계산량이 많아지는 문제를 가지고 있다. 이 논문에서는 비디오 및 이미지 이해에 대한 토큰 생성 문제를 해결하기 위한 LLaMA-VID를 제안한다. LLaMA-VID는 각 프레임을 context token, content token 토큰을 사용하여 나타낸다. Context token은 사용자의 입력을 기반으로한 전반적인 image context를 인코딩한다. Content token은 각 프레임의 시각적 단서를 요약한다. 두가지 토큰을 사용함으로써 긴 비디오에 대한 계산적인 과부하를 줄이면서 중요한 정보를 보존.. 공감수 1 댓글수 3 2024. 1. 21.
CogAgent: A Visual Language Model for GUI Agents Abstract ChatGPT와 같은 모델? GUI를 이해하고 상호작용하는 데 어려움. GUI 이해와 탐색에 특화된 180억 개의 파라미터를 가진 Visual Language Model (VLM)인 CogAgent를 소개함 CogAgent는 저해상도와 고해상도 이미지 인코더를 모두 활용하여 1120 x 1120 해상도의 입력을 지원하며, 작은 페이지 요소와 텍스트를 인식할 수 있음. Introduction 대부분의 applications은 GUI를 갖추고 있어 언어 기반 agent가 처리하기 어렵다는 문제를 가지고 있음. 상호 작용을 위한 표준 API의 부족 아이콘, 이미지, 다이어그램 및 공간 관계와 같은 중요한 정보는 직접적으로 언어로 전달하기 어려움. 웹 페이지와 같은 텍스트 기반 GUI에서도 캔버.. 공감수 0 댓글수 0 2024. 1. 15.
Do PLMs Know and Understand Ontological Knowledge? Abstract 온톨로지(ontology) : 지식을 체계적으로 구성하고 표현하는 방법론으로 온톨로지 지식베이스는 개체, 개념 관계 등의 객체들 간의 의미론적인 관계를 기술하는 시스템이다. 온톨로지는 지식을 계층 구조로 정의하여, 객체들 간의 의미와 관계를 명확히 표현하고 이해하기 쉽게 해준다. "체계적인 지식 표현 방법" 이러한 지식을 Pretrained Language Models가 알고 이해하는지를 알아보는 것이 중요하지만 기존의 PLM-probing 연구는 사실적인 지식에 중점을 두고 있다. PLMs가 온톨로지 지식을 저장하고 이해하는지, 단순한 암기가 아닌 지식의 의미를 파악하는지를 알아본다. - 엔티티 유형, 계층 구조 관계, 속성의 도메인 및 범위 제약 조건을 얼마나 잘 기억하는지에 대한 .. 공감수 1 댓글수 0 2024. 1. 6.
[논문 읽기] Fine-Tuning Pre trained Language Models:Weight Initializations, Data Orders, and Early Stopping Abstract 동일한 하이퍼파라미터 값으로도 시드를 랜덤으로 설정하면 다른 결과를 낼 수 있음.(성능의 차이가 생길 수 있음) 각 데이터셋마다 BERT의 시드만을 변경하며 실험을 진행함. 이전 결과와 비교하여 상당한 성능 향상을 확인하였고, 최상의 모델 성능이 실험 횟수에 따라 어떻게 변하는지 정량화해봄. 시드 선택에 영향을 받는 두 가지 요소: 가중치 초기화와 훈련 데이터 순서가 모두 검증 세트 성능의 분산에 비례하여 기여한다는 것을 발견함. 일부 가중치 초기화는 잘 수행되지만 작은 데이터셋에서는 대부분 학습 중간에 발산하는 것을 관찰하였고, 실험을 조기에 중단하는 방법을 제안함. 1. Introduction MRPC ( Microsoft Research Paraphrase Corpus) : 문장 쌍.. 공감수 0 댓글수 0 2023. 12. 25.
[논문 읽기] RoBERTa: A Robustly Optimized BERT Pretraining Approach RoBERTa: A Robustly Optimized BERT Pretraining Approach 0. Abstract언어 모델의 pre-training은 성능 향상을 가져왔지만, 서로 다른 언어 모델의 pre-training 방법을 직접적으로 비교하는 것은 어려움. (각 모델의 성능을 평가하거나 비교할 때 데이터셋의 규모나 품질이 다르기 때문)이 논문에서는 BERT pre-training의 효과를 확인하고 핵심 하이퍼파라미터 및 학습 데이터셋 크기의 영향을 측정하는 복제 연구를 진행한다. (replication study : 특정 연구의 결과를 확인하거나 재현하기 위해 이전 연구를 다시 수행하는 과정을 말함.)이 연구에서는 BERT가 실제로 충분히 훈련되지 않았으며, 이를 개선한 모델이 RoBERTa.. 공감수 0 댓글수 0 2023. 12. 18.
[Boostcamp] 6주차 회고 네이버 부스트캠프 6주차 회고 1. 강의 복습 내용 이번주 강의는 이제까지 배웠던 여러 개념들을 다시 정리하는 강의였다. 복습이 잘 되어 좋았지만 이론과 실전은 너무나 다른 것을 너무나 느낀.. 한 주 였다.. 2. 과제 수행 과정 / 결과물 정리 미션 코드를 참고하며 프로젝트를 시도해보고 있다! 3. 프로젝트 진행과정 정리 4. 피어세션 정리 논문 리뷰.. 다들 너무 잘하신다 멋있다.. 나도 잘하고싶다~~~~~~~ 오늘 논문 리뷰하고 멘탈 와장창창... 다음주엔 더 잘 해보기로,, 45 학습 회고 6주차가 벌써 끝났다.. 배워야할게 너무 많지만 체력이 안좋은 나는 감자다,, 팀원분이 장난으로 감자라고 놀려도(장난 아닌거같긴함) 진짜 감자인걸 알아서 타격이 없다... 감자를 감자라고 부르지 그럼 뭐라고 .. 공감수 0 댓글수 0 2023. 12. 15.
[Boostcamp] 5주차 회고 네이버 부스트캠프 5주차 회고 1. NLP 저번주와 비슷하게 이번주도 실습이 메인이고 강의가 서브인 것 같은 느낌이었다. 머리에 되게 많은 것을 넣으려니 저녁만 되면 머리가 아픈 기분이다.. 2. 과제 수행 기본 과제만 열심히 했다. 심화과제는 시도할 수 있을까? 사실 시간은 만들면 된다.. 의지가 없는 것인가? 그건 또 아니다... 부족한 부분을 채우고 싶다는 생각에 매일 카페 가서 커피를 마시며 배운 것과 이해가 안 되는 부분을 더 찾아보는데 뭔가 아직까지 나에게 이러한 시간이 더 필요한 것 같다. 어느 정도 정리가 된다면? 다시 심화 과제를 켜서 도전하고 싶다.. 그런 날이 왔으면 좋겠다. 3. 피어세션 매일 논문 리뷰를 한다. 얻어가는 게 엄청 많은 피어세션이다. 4. 학습 회고 5주 차 회고를.. 공감수 1 댓글수 2 2023. 12. 8.
[Boostcamp] 4주차 회고 네이버 부스트캠프 4주차 회고 1. NLP 4주차부터 시작되는 도메인별 강의.. 주재걸 교수님의 NLP강의를 수강하였고, 첫 주차라서 RNN, LSTM, GRU, Seq2seq(with attention) 에 대하여 배웠다. 직접 예시를 들어서 설명해주시니 이해하기 쉬웠고 재밌었던것 같다.(귀에 "가령~"이 맴돌아요....) 이번 주차는 강의에 비해 실습이 많아서 그 코드를 이해하는데 시간을 더 많이 쏟았던 것 같다. 2. 과제 수행 NLP1주차에는 기본과제1, 기본과제2를 제출하였다... 생각보다 잘 되는듯 안되는듯..? 그래도 잘 돌아가는 결과물을 보면 너무 뿌듯하다. 여튼 이번주도 기본과제 열심히해서 다 제출했다.. 오피스아워가 시급하다.. 얼른 해설을 들어보고싶다. 3. 피어세션 이번주 피어세.. 공감수 0 댓글수 0 2023. 12. 1.
BLEU(Bilingual Evaluation Understudy) score HTML 삽입 미리보기할 수 없는 소스 자연어 처리에는 많은 평가 방법들이 존재하는데, 기계 번역의 성능이 얼마나 뛰어난지를 측정하기 위해 사용되는 대표적인 방법인 BLEU(Bilingual Evaluation Understudy) 대해서 학습해 보겠습니다. 목차 1. Unigram Precision 2. N-gram Precision 3. Modified N-gram Precision 4. Brevity Penalty BLEU score BLEU는 기계번역과 사람이 직접 번역한 결과가 얼마나 유사한지 비교하여 번역에 대한 성능을 측정하는 방법입니다. (번역에 있어서는 PPL 보다는 BLEU가 좀 더 신뢰성이 있다고 합니다.) BLEU은 언어에 구애받지 않고 사용할 수 있으며, 계산 속도가 빠르다는 장점.. 공감수 1 댓글수 1 2023. 11. 25.
[Boostcamp] 3주차 회고 네이버 부스트캠프 3주차 회고 1. DL Basic & Data Viz 3주차에는 Deep Learning Basic, Data Visualization(1/2) 강의를 수강하였습니다. 이론을 공부한 후, 코드를 보며 다시 이해를 해보는 과정을 여러번 반복하며 공부했던 것 같습니다. transformer와 Generative 모델 강의는 정말 여러 번 봐도 어려웠던.. 추가 학습 자료를 정말 많이 찾아봤던 부분이였습니다. 그에 비하여 data visualization 강의는 조금은 편하게 들을 수 있었습니다. 2. 과제 수행 기본 과제는 코드 빈칸을 채우는 형식이였는데 사실 앞의 실습 강의를 열심히 들었으면 충분히 채울 수 있는(사실 그냥 채울 수 있음) 과제였습니다. 최대한 이를 이해하고 채워보려고 노.. 공감수 1 댓글수 3 2023. 11. 24.
[Boostcamp] 2주차 회고 네이버 부스트캠프 2주차 회고 1. Pytorch 2주차에는 pytorch 프레임워크에 대한 강의를 들었습니다.(사실 강의보다 과제가 메인이였던것 같음) 강의는 파이토치의 전반적인 부분을 다루었고(활용보다는 프레임워크 구조 이해 등등) 과제로 파이토치 다큐먼트를 보면서 활용해봤습니다. 다큐먼트를 읽고 활용하는 것이 중요하다는 이야기를 많이 들었는데 다큐먼트의 진입장벽..(저에겐 꽤 높았습니다) 으로 인해 구글링과 책을 더 많이 활용하고 있었는데 이번 기회에 부덕이 덕분에 다큐먼트를 열심히 읽고 친해질 수 있어서 정말 좋은 한 주 였습니다. 2. 과제 수행 기본과제1, 2가 있었는데 강의 수가 적은 이유가 과제 때문이더라고요.. 특히 기본과제 1은 정말 오래 걸렸던 것 같습니다. 어려워서 오래걸렸다 보다는.. 공감수 0 댓글수 0 2023. 11. 17.
[Boostcamp] 1주차 회고 네이버 부스트캠프 1주차 회고 1. Python & AI Math 1주차에는 'Python & AI Math'라는 타이틀의 강의를 수강하였다. 파이썬을 다시 훑어보고, 넘파이, 판다스 복습하고 AI에 필요한 수학을 맛보는 느낌의 강의여서 처음에는 큰 부담을 가지지 않았는데, 막상 수강해 보니 엄청난 강의량이...나에게 부담을 주었다..(화요일 수요일은 아침 8시부터 강의를 들었던 것 같다,. 코어타임이 10시부터 7시라서 좋아했는데 그럴 필요가 없었다는...) 파이썬은 몇 번을 공부해도... 배울 때마다 부족한 부분이 많이 보인다.. 사실 하나씩 정리하면서 공부하고 싶지만 운영진 분들은 날 그렇게 놔두지 않는다... (대충 들어야 할 강의가 엄청 많다는 의미..) 그래도 하나씩 천천히 공부하고 정리하려한.. 공감수 0 댓글수 0 2023. 11. 10.
[CJ 올리브네트웍스] 과제 테스트 후기 미천한 저에게 CJ 과제를 볼 수 있는 기회를 주시다니... 일단 감사합니다 ㅋ ㅋ 사실 저는 이런 과제 테스트가 처음입니다.. 과제 테스트를 코딩테스트 처럼 보는 건 정말 몰랐읍니다.. 아 그리고 결론 부터 말씀드리면 일단 저는 과제 테스트를 떨어졌습니다. 그치만 정말 처음 경험하는 과제 테스트였어서.. CJ 감사합니다 ㅋ? 땡큐~ 언젠가는 또 볼 과제테스트를 위한 기록이라고 생각해주시면 아주 감사하겠습니다~~ 일단 저는 2023 하반기 DAE 직무에 지원했었습니다.(비장) 되게 애매한 시간에 봤어서 살짝 당황했지만? 이 기회를 놓칠 수 없지 ㅋ ㅋ (금요일 14시-16시에 봤어요..) 사전에 120분 2문제라고 공지를 받았습니다! 열심히 서치해보니 엄청난 포스트가 있더라고요? https://didu-.. 공감수 0 댓글수 1 2023. 10. 30.
드디어... 안녕하세요? 취업을 위해... 티스토리를 개설하였읍니다. (사실 아무도 안 보길 바람.. 혼자 주저리 주저리 쓰고 싶음) 저의 당찬 포부를 담은 첫 게시물 입니다만 아무 도움이 되지 않을 것을 장담합니다. 그냥 뭐하는 앤가 싶을겁니다.... 반 년을 미뤘습니다.. 나의 포트폴리오 정리 (사실 앞으로도 제대로 여기에 정리할지는 모르겠음) 드디어 기회가 왔습니다. . 두구두구두구 . 바로 제가 네이버 부스트캠프 AI Tech에 선발이 되어서 올 해 11월 6일부터 내년 4월 2일..(아닐 수도 있음)까지 열공 할 예정이라(제발) 공부하는걸 열심히 정리하기 위해 티스토리를 개설해버렸지뭡니까 호호(박수₩~) 부캠과 함께라면 취업? i am 신뢰 입니다 ㅋ ㅋ ㅋ 그냥 저를 응원해주세요.. 일상은.. 그냥 가끔 .. 공감수 1 댓글수 0 2023. 10. 30.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.