Machine Learning with PySpark for Beginners

데이터셋이 커짐에 따라 기존의 머신러닝 도구는 정보를 효율적으로 처리하는 데 어려움을 겪는 경우가 많습니다. PySpark를 활용하는 방법을 배우면 인프라 복잡성에 얽매이지 않고 분산 시스템 전반에 걸쳐 머신러닝 워크플로우를 원활하게 확장할 수 있습니다. 이 서면 과정은 분산 머신러닝의 핵심 개념을 안내합니다. Spark의 아키텍처와 기본 데이터 조작을 이해하는 것부터 시작하여 머신러닝 모델을 훈련, 평가 및 영구 저장하는 단계로 나아갈 것입니다. 명확한 설명과 구조화된 코드 예제를 통해 대규모 데이터 분석을 처리하고 강력한 예측 파이프라인을 구축할 수 있는 자신감을 얻게 될 것입니다. 배우게 될 내용: - PySpark의 기본 아키텍처와 분산 컴퓨팅이 머신러닝 워크플로우에 어떻게 적용되는지 이해합니다. - 최신 PySpark DataFrame 작업 및 특징 엔지니어링 기술을 사용하여 대규모 데이터셋을 준비하고 정리합니다. - 선형 및 로지스틱 회귀를 포함한 회귀 모델을 구축하고 평가하여 연속 및 범주형 예측을 수행합니다. - 재귀적 분할을 사용하여 결정 트리를 구현하여 복잡한 데이터를 분류하고 모델 결정을 해석합니다. - 데이터 사전 처리, 훈련 및 평가 단계를 자동화하기 위해 엔드투엔드 머신러닝 파이프라인을 구성합니다. - 훈련된 모델을 저장, 로드 및 영구 저장하여 향후 배포에 활용함으로써 기본 MLOps 원칙을 적용합니다. 이 과정은 필수 용어 및 데이터 준비 기본 사항으로 시작하여 지도 학습 알고리즘 및 모델 평가로 넘어갑니다. 재사용 가능하고 프로덕션 준비가 된 머신러닝 파이프라인으로 코드를 구성하는 방법을 배우면서 마무리됩니다. 이 과정은 초급 데이터 분석가, 지망하는 데이터 과학자 및 빅데이터 머신러닝으로 전환하려는 Python 개발자를 위해 설계되었습니다. 분산 컴퓨팅 또는 PySpark에 대한 사전 경험은 필요하지 않지만 Python에 대한 기본적인 이해는 도움이 됩니다. 지금 바로 읽기 시작하여 PySpark를 사용한 확장 가능한 머신러닝의 힘을 잠금 해제하세요.