데이터/처리 및 분석
-
SVD(Singular Value Decomposition)란 무엇인가? (파이썬으로 SVD 구현하기 실습 포함)데이터/처리 및 분석 2024. 10. 19. 10:51
SVD란 무엇인가?SVD(Singular Value Decomposition)는 복잡한 고차원 데이터를 더 적은 차원으로 축소하면서도 핵심 정보를 유지할 수 있는 방법입니다. 이를 통해 데이터의 분석이 더 간단해지고 시각화가 쉬워지며, 불필요한 노이즈를 제거하는 데도 유용합니다. 이번 포스팅에서는 Iris 데이터셋을 사용해 SVD를 직접 적용하는 방법을 배우고, 이를 통해 차원 축소된 데이터를 시각화하는 방법까지 살펴보겠습니다.SVD 계산 과정SVD는 \( A\)라는 행렬을 세 개의 행렬 \( U\), \( \Sigma\), \( V^T\)로 분해하는 과정을 말합니다. 수식으로 표현하면 다음과 같습니다.\( A = U \Sigma V^T\)여기서 각 행렬의 의미는 다음과 같습니다:\(A\): 원본 행렬입..
-
LDA(Linear Discriminant Analysis)란 무엇인가? (파이썬으로 LDA 구현하기 실습 포함)데이터/처리 및 분석 2024. 10. 18. 10:51
LDA(Linear Discriminant Analysis)는 무엇인가요?LDA(Linear Discriminant Analysis)는 복잡한 데이터를 쉽게 분류할 수 있도록 도와주는 방법입니다. 특히 여러 클래스(카테고리)로 데이터를 나눌 때 유용합니다. 데이터를 차원 축소하면서도 분류 정확도를 높일 수 있어, 데이터를 더 쉽게 이해할 수 있게 해줍니다. 예를 들어, 여러 변수로 이루어진 복잡한 데이터가 있을 때, LDA는 가장 중요한 정보만 남기면서도 각 클래스(카테고리)의 차이를 강조하여 분류를 더 쉽게 만듭니다.LDA와 PCA의 차이점은?LDA와 PCA의 차이점은 크게 두 가지로 나눌 수 있습니다. 목적과 학습 방식입니다. 먼저, PCA는 데이터를 단순화하는 데 중점을 둡니다. 데이터가 어떻게 퍼..
-
PCA(Principal Component Analysis)란 무엇인가? (파이썬으로 PCA 구현하기 실습 포함)데이터/처리 및 분석 2024. 10. 15. 10:24
PCA(Principal Component Analysis)란 무엇인가?PCA(Principal Component Analysis)는 복잡한 고차원 데이터를 더 적은 차원으로 효율적으로 축소하면서도 핵심 정보를 유지할 수 있는 방법입니다. 고차원 데이터는 변수가 많기 때문에 처리하는 데 시간이 많이 걸리고 분석이 복잡할 수 있습니다. PCA는 이런 문제를 해결하기 위해, 데이터를 새로운 좌표계로 변환하여 중요한 패턴을 유지하면서도 차원을 줄입니다. 이 새로운 좌표계의 축들은 주성분(Principal Components)이라고 불리며, 데이터의 핵심 정보를 잘 설명할 수 있는 새로운 변수들입니다. PCA의 핵심 아이디어는 데이터의 분산(Variance), 즉 데이터가 얼마나 퍼져 있는지를 기준으로 중요한 ..
-
차원축소(Dimensionality Reduction)란 무엇인가? 차원 축소 방법/데이터를 잘 다루는 방법데이터/처리 및 분석 2024. 10. 14. 10:43
차원축소란 무엇인가?차원축소(Dimensionality Reduction)는 데이터를 단순화하면서도 중요한 정보를 그대로 유지하는 방법이에요. 예를 들어, 우리가 고해상도 사진을 작은 파일로 압축하면서도 그 사진의 핵심 내용을 잃지 않는 것과 비슷한 개념이죠. 데이터도 마찬가지로, 많은 변수가 있을 때는 처리하기가 너무 복잡해져요. 이때 불필요한 정보는 줄이고, 핵심적인 부분만 남겨서 데이터를 더 효율적으로 다룰 수 있게 만들어 주는 것이 바로 차원축소입니다. 예를 들어, 3D로 표현된 데이터를 2D로 바꾼다고 생각해보세요. 차원을 줄이면서도, 우리가 관심 있는 중요한 패턴이나 구조는 그대로 남겨두는 것이죠. 이렇게 하면 데이터를 더 빠르게 처리할 수 있고, 모델의 성능도 좋아지게 됩니다.차원축소가 왜 ..