공부 기록장

CI/CDCI/CD(Continusous Integration/Continuous Delivery or Deployment)란?애플리케이션 개발 단계를 자동화하여, 더욱 짧은 주기로 고객에게 제공하는 방법론 지속적 통합(Continusous Integration, CI)애플리케이션 코드의 새로운 변경 사항이 정기적으로 빌드 및 테스트를 거쳐, `자동화된 프로세스`를 통해 공유 리포지토리에 지속적으로 통합되는 것을 의미 지속적 제공(Continuous Delivery, CD)소프트웨어를 항상 배포 가능한 상태로 유지하는 것을 목표로 하는 것을 의미 코드 변경사항 통합, 자동화된 테스트, 스테이징 환경까지 자동으로 배포되고,프로덕션 환경(실제 사용자가 제공되는 환경)으로의 배포는 여전히 수동으로 이루어진다⇒..

클라우드클라우드 컴퓨팅이란?서버, 데이터베이스, 인공지능 등의 IT 리소스를 인터넷을 통해 온디맨드(on-demand)로 제공하고,필요에 따라 유연하게 사용할 수 있게 하는 기술 클라우드 네이티브란?클라우드 컴퓨팅 환경에서 어플리케이션을 설계, 개발, 배포, 운영하는 `방식`을 의미마이크로서비스 아키텍처, 컨테이너화, 데브옵스, 지속적 통합/배포(CI/CD), 동적 오케스트레이션 등이 있다 ⇒ 클라우드 네이티브는 클라우드 컴퓨팅의 하위 개념 (클라우드 네이티브 ⊆ 클라우드 컴퓨팅)⇒ 클라우드 컴퓨팅은 클라우드 네이티브 애플리케이션을 위한 인프라와 자원을 제공 클라우드를 사용하는 이유유연한 확장 : 리소스 사용량, 네트워크 트래픽 기준으로 사용량에 알맞게 확장/축소 가능비용 절감 : 하드웨어를 직접 구매해..

LlamaMeta AI에서 개발한 대형 언어 모델- 7B, 13B, 33B, 65B(70억, 130억, 330억, 650억 개)의 다양한 파라미터로 제공- 적은 자원으로 다양한 자연어 처리 작업에서 높은 성능을 발휘- 20개의 주요 언어 학습, 공개 데이터 사용 모델 아키텍처Transformer, Pre-normalization, SwiGLU 활성화 함수, Rotary Embeddings  Finetuning파인튜닝(Finetuning)이란?사전 학습된 대규모 언어 모델을 특정 작업에 맞게 `추가 학습`시키는 과정 Finetuning VS Pre-trainingFinetuning- 특정 작업에 맞게 추가 학습시키는 단계- 특정 작업의 데이터셋 사용해 모델의 가중치 조정 Pre-training- 매우 큰 ..

LMM 모델의 종류와 평가언어 모델링 방법에 따른 언어 모델 종류자가회귀 모델(Autoregressive Model)- 이전의 단어들을 기반으로 `다음 단어를 순차적으로 예측`하는 모델- GPT 시리즈(GPT-1, GPT-2, GPT-3)- 텍스트 생성, 번역, 대화형 AI 등에 활용 마스크드 언어 모델(Masked Language Model)- 문장의 일부 단어를 `마스킹`하고, 마스킹된 단어를 예측하는 모델- BERT 모델- 텍스트 분류, 질문 응답, 자연어 추론 등에 활용 언어 모델의 평가퍼플렉시티(Perplexity)- 모델이 주어진 텍스트를 얼마나 잘 예측하는지를 나타내는 지표- 예측 확률의 역수의 기하평균으로 계산되며, 모델의 예측 불확실성을 나타낸다- 예측 확률이 높을수록 해당 값은 낮아진다..