교육/SK네트웍스 Family AI 캠프

[플레이데이터 SK네트웍스 Family AI캠프 14기] 12주차 회고

shining park 2025. 6. 29. 17:16

Class Daily Log

 

 

✏️12주차 진행 내용 : Deep Learning NLP + LLM

 

📍이번주의 중요 내용

 

⭐NLP > Transfer Learning > Bert⭐

  • ⭐BERT (Bidirectional Encoder Representations from Transformers)
    • Google에서 개발한 자연어 처리 모델
    • 트랜스포머(Transformer) 구조를 기반으로 하며, 텍스트의 전후 관계를 동시에 고려하여 문맥을 이해하는 데 강점이 있음
    • BERT는 양방향성을 통해 문장의 의미를 더 깊이 이해할 수 있음
    • Transformer의 인코더 부분을 가져와서 만듬
    • BERT 핵심 특징
      • 양방향성 (Bidirectionality) : 양방향 Trnasformer Encoder를 사용하여 입력 데이터의 전후 맥락을 동시에 학습
      • 사전학습 (Pre-training)과 미세조정(Fine-Tuning) : 대규모 코퍼스에서 사전학습한 후, 특정 작업에 맞게 미세조정 가능
      • 전이학습 (Transfer Learning) : 사전학습된 모델을 다양한 NLP 작업에 재사용하여 높은 성능을 얻음
      • ⭐Masked Language Model (MLM) : 입력 토큰의 일부를 마스킹하고 이를 예측하는 방법으로 학습 → 입력 문장의 일부 토큰을 [MASK]로 대체, 마스크된 단어 예측을 통해 단어 간의 문맥 학습
      • ⭐Next Sentence Prediction (NSP) : 두 문장이 연속적인 문장인지 여부를 예측하도록 학습 → 두 문장을 입력받아 실제로 연속적인 문장인지 예측

 

 

⭐LLM⭐

  •  LLM (Large Language Model) 
    • 대규모 데이터를 기반으로 학습된 초거대 언어 모델로, 자연어 생성, 번역, 요약 등 다양한 언어 관련 작업을 수행할 수 있는 딥러닝 모델
    • LLM의 종류
LLM의 종류
  • LLM의 한계 및 윤리적 문제
    • 환각 (Hallucination) : 모델이 사실이 아닌 정보를 생성하는 것, 학습 데이터의 불완정성과 과도한 일반화로 인해 발생
    • 편향 (Bias)
    • 프라이버시 문제
    • 계산 비용(비효율성)

 

 

 

Keep

  • 복습을 꾸준히 하고, 파이썬으로 코딩테스트 문제를 조금씩이라도 푼 것
  • PCCE 첫 시험을 도전한 것

Problem

  • 실습문제를 하나 미뤄둔 것
  • 평일에 운동을 자주 가지 못한 것

Try

  • 지하철 이용 시간에 독서나 Daily Log를 통한 복습을 진행할 것
  • 복습을 미루지 말 것
  • 운동을 꾸준히 해서 체력을 늘릴 것
저작자표시 (새창열림)