분류 전체보기 (101) 썸네일형 리스트형 논문스터디 | CarSNN | 2021.10.25 SNN : Spiking Neural Network AI 기술의 대표격이었던 심층신경망의 라이벌 생체 뉴런이 스파이크 신호를 이용하는 것을 모방 DNN : 입력층과 출력층 사이 여러 개의 은닉층 DNN : 전체를 학습하는 방식 SNN : 신경세포 각각에 대해서 학습 DNN에는 없는 특징 3가지 1) 신호의 강도를 빈도/타이밍 등으로 표현 : 소비 전력이 작고, 잡음에 강함 2) 시계열 데이터 분석에 우수해 인과관계 유추 가능 - 시간, 공간 모두 활용 3) 뉴런 간 서로의 동작 제어 가능(DNN : 직접 민주제 , SNN : 간접 민주제) STBP 학습 방법 STBP : 시공간 역전파 - ANN과 같은 계층별 공간데이터 흐름 외 시간데이터 흐름이 존재 - SD, TD 정보를 결합하여 SNN 특성 이해 L.. 논문스터디 | GAN | 2021.10.25 흐릿한 현상이 줄어든 결과물을 얻을 수 있게한 논문 개요) 적대적인 과정 : 생성자, 판별자 생성자 : 가짜를 진짜처럼 잘 만들려고함 판별자 : 진짜/가짜를 잘 구별해내려고함 -> 판별자가 진짜와 가짜를 50대50으로 판단하게 되는 경지까지 배경) ML 은 지도학습, 비지도학습, 강화학습 3가지로 나뉜다. 지도학습 vs 비지도학습 차이 : 레이블 존재 차이 비지도학습 빨간색 class, 파란색 class Discriminative : 빨간색과 파란색을 나누는 최적의 선을 긋는다. -> 선을 잘 찾았더라도 빨간색의 모양이나 파란색의 모양을 알 수 없다. Generative : 빨간색, 파란색의 모양을 파악해서 빨간색과 파란색의 분포를 알아난다. 분포에서 샘플링을 한다는 것은 확률 분포의 식을 이용해서 샘플.. 영어회화 | 자연스러운 영어 구사를 위한 연습가이드 #07 | look, look like, almost look as if, it was clear, judging by 어디가서 우리가 뭘 보고, 관찰하고나서의 느낌점(생각)을 다른 사람에게 얘기할때 사실과 생각을 구분해서 표현해야 한다. 방금 여기 오는 길에, 혼자서 방황하는 개를 봤는데요 - I saw a man smoking. - I saw a woman holding a baby. - There were children playing in the park. Just now(before), on my way here, I saw a dog wandering around by itself. 너무 지저분해 보이더라구요 - 지각동사 : look, feel - This feels heavy. - look + 형용사 : ~해보였어 It looked really dirty. 몇 달은 못 씻은것처럼 보였어요. - look lik.. 영어 스터디 #5, 일상적으로 사용하는 문맥으로 영어 말하기 훈련 어제 백화점에 갔었어. Yesterday, I went to the department store. 정말 마음에 드는 코드가 있었어 There was a coat that I really liked. (I saw / I found) 점검이 그게 마지막(꺼)라고 그랬어 The clerk said that it was the last one. 그래서 그냥 그걸 바로 살 수도 있었어. - could have p.p(could've p.p) : ~할 수도 있었어 So, I could've just bought(gotten) it, right away. 근데, 더 좋은게 있는지 한번(확인해)보고 싶었어. - I wanted to see if : ~인지 확인해보고 싶었어 I wanted to see if there.. 영어 스터디 #2, ~하려고 했는데 ~ 하게 됐다 연습가이드 #2, ~하려고 했는데 ~ 하게 됐다 0) 상황, 문맥, 뉘앙스에 따라 어휘 선택이 필요하다 hard 열심히 I cooked hard 열심히 요리했어요 (X) I slept hard 어제 열심히 잤어요 (X) 1) 원래는 ~하려고 했는데, ~해서 결국 ~하게 되었다. - was/were going to :~을 하려고 했었다 - suddenly had something to do: 갑자기 일이 생겨서 - end up ~ing : 결국 ~하게 되다 - going to는 gonna로 읽는다. 원래는 친구들 몇 명이랑 영화를 보고 점심을 먹으려고 했는데 친구 하나가 일이 생겨서 결국은 다 취소하게 되었다. I was actually going to(=gonna) go to the movie with .. 논문스터디 | ViLBERT | 2021.10.12 Image Captioning Video Captioning visual storytelling : 여러자의 이미지로 이야기 만들기 Object recognition : 이미지 내 객체 인식 visual QA : visual Question-Answering - 이미지와 야채를 자를 칼이 있나요가 같이 제시하면 AI System이 답을 한다. - 이미지풀과 텍스트를 제시하면 AI System이 텍스트에 해당되는 이미지 선택 각 Vision -> 인코더 -> CV(context Vector) 각 Word -> 인코더 -> CV(context Vector) 다른 곳에서 가져온 key, value를 넣어서 값 생성 후 softmax로 값 변환 BERT : 마스킹을 해서 다음 문장이 맞는지 아닌지 판단. - P.. 논문스터디 | BERT2 | 2021.10.12 BERT 선택 2018년 10월에 나온 논문 B Bidirectional 양방향 E Encoder 인코더 R Representations from 표현 T Transformers 트랜스포머s Encoder? 자연어 처리를 할때 메신지 전달자, 메신지 수신자가 있음 전달자가 메시지를 부호화하고 메시지를 해독하는 것을 인코딩 Transformers? RNN -> seq2seq -> Attention -> Self Attention -> Multi-head Self Attention 1. RNN - DNN : 히든레이어가 중간에 있다. i) 각 레이어에 있는 노드들을 계산해준다 : feedforward propagation ii) Back propagation - CNN - RNN i) 같은 레이어가 반복적으.. 논문리뷰 | GPT-1 | 1일차 Improving Language Understanding by Generative Pre-Training 요약 자연어 이해의 용도 Textual entailment : 텍스트 함의 질문 답변, semantic similarity assessment : 의미적 유사성 평가 문서 분류 등 레이블이 지정되지 않은 대량의 텍스트 데이터(거대한 텍스트 코퍼스, 영어: corpus, 복수형: corpora, 말뭉치)는 풍부하지만 특정 작업을 학습하기 위해 레이블이 지정된 데이터는 드물기 때문에 discriminatively하게(차별적으로) 훈련된 모델이 적절히 수행되기 어렵습니다. 우리는 레이블이 지정되지 않은 텍스트의 다양한 코퍼스에 대한 언어 모델의 GPT와 각 특정 작업에 대한 차별적 미세 조정(fine-t.. 이전 1 2 3 4 5 6 ··· 13 다음 목록 더보기
