목록전체 글 (134)
공부 기록장
클라우드클라우드 컴퓨팅이란?서버, 데이터베이스, 인공지능 등의 IT 리소스를 인터넷을 통해 온디맨드(on-demand)로 제공하고,필요에 따라 유연하게 사용할 수 있게 하는 기술 클라우드 네이티브란?클라우드 컴퓨팅 환경에서 어플리케이션을 설계, 개발, 배포, 운영하는 `방식`을 의미마이크로서비스 아키텍처, 컨테이너화, 데브옵스, 지속적 통합/배포(CI/CD), 동적 오케스트레이션 등이 있다 ⇒ 클라우드 네이티브는 클라우드 컴퓨팅의 하위 개념 (클라우드 네이티브 ⊆ 클라우드 컴퓨팅)⇒ 클라우드 컴퓨팅은 클라우드 네이티브 애플리케이션을 위한 인프라와 자원을 제공 클라우드를 사용하는 이유유연한 확장 : 리소스 사용량, 네트워크 트래픽 기준으로 사용량에 알맞게 확장/축소 가능비용 절감 : 하드웨어를 직접 구매해..
LlamaMeta AI에서 개발한 대형 언어 모델- 7B, 13B, 33B, 65B(70억, 130억, 330억, 650억 개)의 다양한 파라미터로 제공- 적은 자원으로 다양한 자연어 처리 작업에서 높은 성능을 발휘- 20개의 주요 언어 학습, 공개 데이터 사용 모델 아키텍처Transformer, Pre-normalization, SwiGLU 활성화 함수, Rotary Embeddings Finetuning파인튜닝(Finetuning)이란?사전 학습된 대규모 언어 모델을 특정 작업에 맞게 `추가 학습`시키는 과정 Finetuning VS Pre-trainingFinetuning- 특정 작업에 맞게 추가 학습시키는 단계- 특정 작업의 데이터셋 사용해 모델의 가중치 조정 Pre-training- 매우 큰 ..
LMM 모델의 종류와 평가언어 모델링 방법에 따른 언어 모델 종류자가회귀 모델(Autoregressive Model)- 이전의 단어들을 기반으로 `다음 단어를 순차적으로 예측`하는 모델- GPT 시리즈(GPT-1, GPT-2, GPT-3)- 텍스트 생성, 번역, 대화형 AI 등에 활용 마스크드 언어 모델(Masked Language Model)- 문장의 일부 단어를 `마스킹`하고, 마스킹된 단어를 예측하는 모델- BERT 모델- 텍스트 분류, 질문 응답, 자연어 추론 등에 활용 언어 모델의 평가퍼플렉시티(Perplexity)- 모델이 주어진 텍스트를 얼마나 잘 예측하는지를 나타내는 지표- 예측 확률의 역수의 기하평균으로 계산되며, 모델의 예측 불확실성을 나타낸다- 예측 확률이 높을수록 해당 값은 낮아진다..
객체문자열, 리스트도 객체다파이썬의 모든 코드는 객체를 만들고, 동작하게 만드는 내용이다 객체의 본질적인 특징은 보통 문자열의 문자, 리스트의 요소와 같은 상태뿐만 아니라해당 상태에서 동작하는 메서드를 가지고 있다는 것이다 메서드는 속성 연사자 `.`을 통해 객체에 연결된 함수처럼 호출된다 객체는 항상 연결된 타입이 있는데,연결된 타입은 type()을 사용해 확인 가능하다 객체는 해당 타입의 `인스턴스`라 부른다 class 문클래스는 보통 메서드를 만드는 함수의 모음으로 구성된다 인스턴스 메서드는 클래스의 인스턴스에서 동작하는 함수인데,첫 번째 인수로 클래스의 인스턴스가 전달되고, 관례적으로 self라고 쓴다(호출 시에 해당 인수는 생략된다) __init__()__repr__()위와 같이 언더바 2개를..