shin.uos

written in 2022, Jan 26 우리가 마주하는 대부분의 CSV 파일에서 수치 데이터는 각 숫자가 나열된 상태로 되어있지만, 일부 수치 데이터는 매 천의 자리마다 콤마가 적힌 포맷으로 간주하여 객체 자료형, 즉 문자열로 읽어드리는 경우가 있다. 그러한 경우, .replace()함수를 통해 콤마를 제거한 후 수치 자료형으로 변경하면 간단하게 해결할 수 있다. 위와 같은 경우는 보통 우리가 다른 부서와 협업하며 얻어지는 데이터보다는 웹 크롤링에 의해 얻어진 데이터를 다루는 경우에 자주 발생하게 된다. 같은 상황을 가정하기 위해서 우리는 직접 웹 크롤링하여 분석하는 데이터 전처리하는 상황을 가정하고 체험해보도록 하자. 소스코드는 『파이썬 데이터 클리닝 쿡북』(마이클워커 지음)에서 발췌해서 일부 가공..

2 Main Languages/Python 2022. 1. 26. 20:09

특히나 교통 부문 데이터 분석 과정에서 자료가 시간과 결합하여 시계열 자료로써 분석해야 하는 경우가 많다. 시간대별 교통량이나 연도별 비행기 탑승객 수 등이 그 예시이다. 반면, Pandas 패키지에서는 통계프로그램 R이 ts class를 지원하는 것과는 다르게 pandas.Series가 시간과 관련된 index를 갖는 경우만 시계열 분석 관련 패키지를 활용할 수 있는 방식을 채택하고 있다. 그중 내가 가장 어려움을 겪었던 분기 관련 시계열 자료와 일반적인 시계열 자료에 대해 Pandas 패키지에서 정의하는 방법을 포스팅하고자 한다. 예제는 Pandas 공식 문서에 있는 코드를 일부 수정하여 활용하였다. Overview 기본적으로 Pandas 패키지는 시간과 관련된 개념을 4가지로 나누어 다룬다. Dat..

2 Main Languages/Python 2022. 1. 2. 04:37