본문 바로가기

전체 글

 (109)
optimization / Vanishing / Exploding Gradient/Bias-Variance Trade-off ## 문제 7. Optimization 알고리즘 비교문제: SGD, Momentum, Adam의 차이를 설명하고, Adam을 학습에 자주 쓰지만 최종 성능 측정에서는 SGD를 다시 쓰는 이유를 설명하시오.### 핵심 내용최적화 알고리즘(Optimizer)의 목표는 손실 함수(Loss Function)의 값을 최소화하는 파라미터(가중치)를 가장 빠르고 효율적으로 찾는 것입니다.1. SGD (Stochastic Gradient Descent, 확률적 경사 하강법)핵심 아이디어: 전체 데이터가 아닌, 무작위로 선택된 일부 데이터(미니배치, mini-batch)의 기울기(gradient)를 계산하여 파라미터를 업데이트합니다.작동 원리: 눈을 가리고 산을 내려올 때, 현재 발밑의 경사가 가장 가파른 방향으로 딱 ..
overfitting 방지 Overfitting 방지 3가지 기법: Dropout, Weight Decay(L2), Early Stopping 비교Overfitting(과적합)은 모델이 학습 데이터에만 너무 치중하여 새로운 데이터에 대한 예측 성능이 떨어지는 현상을 말합니다. 이를 해결하기 위한 대표적인 세 가지 Regularization(정규화) 기법인 Dropout, Weight Decay(L2), Early Stopping에 대해 자세히 알아보고, 주관식 문제까지 풀어보겠습니다. 🤓핵심 내용1. Dropout (드롭아웃)핵심 아이디어: 학습 과정에서 각 뉴런(neuron)을 무작위로 일정 확률로 비활성화(0으로 만듦)시키는 기법입니다.작동 원리:매 학습 단계(iteration)마다 다른 구조의 "얇아진" 신경망을 학습시키는..
ops 총정리 https://dwin.tistory.com/165 [Ops] Ops 총정리 (DevOps, MLOps, DataOps, SecOps, AIOps, LLMOps)Ops 총정리 DevOps, MLOps, DataOps, SecOps, AIOps, LLMOps 1. Ops란? 'Ops'는 'Operations'의 줄임말로 기술 및 비즈니스 운영을 최적화하고, 효율성을 높이며, 지속 가능한 가치 창출을 목표로 하는 다양한 방법론,dwin.tistory.com 1. Ops란? 'Ops'는 'Operations'의 줄임말로 기술 및 비즈니스 운영을 최적화하고, 효율성을 높이며, 지속 가능한 가치 창출을 목표로 하는 다양한 방법론, 관행, 프로세스를 의미합니다. 'Ops'는 여러 다른 용어와 결합되어 특정 분야..
데이터 결측치 채우기 관련문제 문제 1수치형 데이터의 결측치를 대체하는 방법 중, 평균(Mean)을 사용하는 경우와 중앙값(Median)을 사용하는 경우의 장단점을 데이터 분포 및 이상치와 연관 지어 각각 설명하시오.답안수치형 데이터의 결측치를 대체할 때, **평균(Mean)**과 **중앙값(Median)**의 선택은 데이터 분포와 이상치의 존재 여부에 따라 결정됩니다.평균 (Mean) 사용:적합한 경우: 데이터 분포가 대칭적(예: 정규분포)이고 이상치가 없는 경우에 적합합니다. 데이터의 전반적인 경향을 잘 나타낼 수 있습니다.단점: 이상치(Outlier)에 매우 민감합니다. 소수의 극단적인 값이 평균을 크게 왜곡시켜 데이터의 실제 중심을 대표하지 못하게 될 수 있습니다.중앙값 (Median) 사용:적합한 경우: 데이터 분포가 왜곡되..
📝 분류와 회귀의 손실 함수 & 최적화 전략 비교 핵심 내용**분류 (Classification)**와 **회귀 (Regression)**는 지도학습의 대표적인 두 가지 유형이며, 풀고자 하는 문제의 성격이 다르기 때문에 사용하는 **손실 함수(Loss Function)**와 최적화(Optimization) 전략도 다릅니다.분류: 데이터가 어떤 **범주(Category)**에 속하는지 예측하는 문제입니다. (예: 스팸 메일 분류, 이미지 속 동물 맞추기)주요 손실 함수: Cross-Entropy Loss최종 출력: 주로 Softmax 함수를 통해 각 범주에 속할 확률로 변환됩니다.회귀: 데이터의 **연속적인 수치(Continuous Value)**를 예측하는 문제입니다. (예: 주택 가격 예측, 내일의 온도 예측)주요 손실 함수: Mean Squared..
ai 시스템 최적화 문제 / 전반적문제 주관식 참고:https://cloud.google.com/architecture/guidelines-for-developing-high-quality-ml-solutions?hl=kohttps://wikidocs.net/198989검색키워드..? 모델 자동 선택 배포 파이프라인머신러닝 모델 주기적 재학습 배포모델 성능 모니터링 자동 업데이트모델 자동화 운영 반영 프로세스A/B 테스트 기반 모델 선택 automatic model selection deployment machine learningmodel retraining and deployment pipeline MLOpsautomated model promotion production mlopsmodel monitoring retraining conti..
ai기술 트렌드 2025년 AI 기술, 이것만은 꼭 알아두세요! 핵심 트렌드 총정리2025년 인공지능(AI) 분야는 단순히 새로운 기술의 등장을 넘어, 기존 기술이 더욱 정교해지고 우리 삶과 산업에 깊숙이 통합되는 중요한 변곡점이 될 전망입니다. 시험을 준비하시는 만큼, 각 기술의 핵심 개념과 헷갈리기 쉬운 지점들을 명확히 이해하고 넘어가는 것이 중요합니다. 주요 AI 기술 트렌드를 알기 쉽게 정리해 드립니다.1. 멀티모달 AI (Multimodal AI): AI의 감각 확장핵심 내용: 멀티모달 AI는 인간처럼 여러 종류의 데이터를 동시에 이해하고 처리하는 AI 기술입니다. 기존의 AI가 텍스트(Text)면 텍스트, 이미지(Image)면 이미지 등 한 가지 종류의 데이터만 처리하는 '유니모달(Unimodal)' 방식에 ..
ai 모델 운용할때 발생하는 이슈들(AI 문제 상황 진단) 1. 피드백 루프 (Feedback Loop) / 필터 버블 (Filter Bubble)어떤 문제인가? 모델이 만들어낸 결과(예: 추천)를 사용자가 소비하고, 그 소비 데이터가 다시 모델 학습에 사용되면서 기존의 패턴이 점점 더 강화되고 편향이 심해지는 현상입니다. 결국 사용자는 자신이 만든 거품(버블)에 갇히게 됩니다.언제 의심해야 하는가? (문제 현상)"추천되는 콘텐츠의 종류가 점점 줄어들고 다양성이 사라져요.""인기 있는 상품만 계속 추천되다 보니, 신상품이 노출될 기회가 없어요.""처음 몇 번 클릭했던 광고와 비슷한 광고만 계속 떠요."핵심 검색어Feedback loop machine learning, Filter bubble recommendation, Self-reinforcing bias A..

티스토리툴바