-
2022.05.27
[Pandas] 데이터 타입과 입출력
데이터 타입과 입출력 판다스에서 제공하는 함수들을 이용해 직접 데이터를 읽고 출력할 수 있다. 판다스에서 데이터를 입력하고 출력하는 함수들의 세트를 I/O API 라고 한다. 판다스 I/O API를 이용해 다루는 데이터 타입은 텍스트 파일, 이진 데이터 그리고 SQL인 데이터베이스가 있다. 형식 데이터 타입 읽기 함수 쓰기 함수 텍스트 CSV read_csv to_csv JSON read_json to_json HTML read_html to_html Local Clipboard read_clipboard to_clipboard 이진 데이터 MS 액셀 read_excel to_excel HDF5 read_hdf to_hdf Feather read_feather to_feather Parquet read_..
-
2022.05.24
[Pandas] 판다스 데이터 구조
1
판다스 데이터 구조 판다스는 계층적으로 넘파이(NumPy) 바로 위에 위치하며, 시리즈(Series)와 데이터프레임(DataFrame) 데이터 구조를 지원함으로써 데이터를 빠르게 처리한다. 차원 이름 설명 1 시리즈(Series) 라벨 표시된 1차원의 동일한 형태의 배열 2 데이터프레임(DataFrame) - 동일하지 않은 형태의 열을 가짐. - 라벨 표시된 2차원의, 크기 변동이 가능한 테이블형 구조 판다스 데이터 구조는 저차원 데이터를 유연하게 포함하는 컨테이너이다. 따라서 데이터프레임은 시리즈의 컨테이너이고, 시리즈는 스칼라의 컨테이너이다. 딕셔너리 데이터에서 적용하는 방법을 이용해 이들 컨테이너에 객체들을 넣거나 지울 수 있다. 판다스를 사용하기 위해 다음의 모듈을 임포트(Import) 한다. #..
-
2022.05.24
[Pandas] 판다스(Pandas) 개요
판다스(Pandas) 개요 판다스(Pandas) Panel Data System의 약어 파이썬으로 빅데이터를 처리하고 분석하는 데 가장 빈번하게 사용하며, 데이터 전처리에사 큰 비중을 차지하는 라이브러리 수치 테이블과 시계열(Time Series)을 처리하는 데이터 구조와 연산 방법을 제공한다. 2008년 초, Wes McKinney에 의해 금융 데이터를 계량 분석하기 위해 개발됐다. 2015년, 비영리단체 NumFOCUS에 의해 오픈소스로 관리되기 시작하였다. 공식 홈페이지 : https://pandas.pydata.org/ 판다스(Pandas)와 넘파이(NumPy) 판다스는 패널 데이터(Panel Data) 구조를 제공하기 위해 넘파이(NumPy) 위에 구성되도록 개발되었으므로 넘파이에서 쉽게 사용할..
-
2022.04.14
[NumPy] 넘파이 적용
넘파이 적용 우리가 분석하고자 하는 대용량 데이터들은 어떤 파일 형태 안에 포함될 수 있다. 파이썬을 이용해 이 데이터들을 분석할 수 있고, 도표나 그림 형태로 나타난 결과를 데이터 파일 형태로 만들어 자장할 수 있다. 데이터 파일 입력과 출력 파이썬에서 제공하는 데이터 입력과 출력 방법은 크게 3가지로 분류할 수 있다. 파이썬 고유의 내장 함수를 이용해 처리하는 방법 open() read() write() close() 넘파이를 이용하는 방법 판다스에서 제공하는 read_csv(), to_csv() 함수를 사용하는 방법 넘파이는 파일을 읽고 데이터 파일로 쓰는 여러 방법을 제공한다. 넘파이 이진 파일 텍스트 파일 원시 이진 파일(Raw Binary File) 메모리 맵 파일(Memory-Mapped F..
-
2022.04.13
[NumPy] 배열 객체 관리와 연산
배열 객체 관리와 연산 넘파이는 수백만 개의 수치 데이터를 빠르게 처리함으로써 파이썬의 과학 계산을 빠르게 처리하는 라이브러리이다. 넘파이의 N차원 배열은 데이터를 빠르게 처리할 수 있는 구조이다. 이러한 구조는 요소의 데이터 타입과 크기가 정해져 있으며, 인덱싱으로 빠르게 필드에 접근하고 변경할 수 있는 장점이 있다. 넘파이는 메모리 버퍼에 있는 같은 타입의 매트릭스나 벡터 같은 배열 데이터를 하드웨어 레벨인 저수준 형태로 메모리에 저장하고 처리한다. 또한 넘파이는 같은 크기의 메모리를 할당받고, 연속된 메모리 공간에 존재하는 벡터 연산을 지원한다. 효율적인 인터페이스와 최적화된 관련 함수들, 그리고 최적화된 C 코드를 통해 CPU를 관리하는 벡터화 기능을 사용한 빠른 연산도 지원한다. 뷰와 복사 뷰(..
-
2022.04.13
[NumPy] 구조화된 배열
구조화된 배열 구조화된 배열(Structured Array)은 ndarrays 를 의미한다. ndarrays의 데이터 타입은 시퀀스로 조직화된 단순한 데이터 타입인 필드를 모은 것 필드 : 구조화된 데이터 타입의 각 서브 타입에서 이름(string), 데이터 타입(dtype) 및 제목(title) 예제 >>> arr = np.array([('jin', 25, 67), ('suho', 18, 77)], dtype=[('name', 'U10'), ('age', 'i4'), ('weight', 'f4')]) >>> arr array([('jin', 25, 67.), ('suho', 18, 77.)], dtype=[('name', '
-
2022.04.13
[NumPy] 넘파이 배열
넘파이 배열 넘파이 모듈 임포트 import numpy as np 넘파이 배열 생성 넘파이에서는 벡터(Vector)와 매트릭스(Matrics)를 배열(Array)이라고 한다. 벡터(Vector)의 의미 수학, 물리학 크기와 방향을 가지는 기하학적 양 또는 객체 넘파이 1차원 배열 2차원 이상의 배열을 매트릭스라고 한다. 배열을 생성하는 방법 리스트(List), 튜플(Tuple) 등 다른 파이썬 자료 구조에서 변환 arange(), ones(), zeros(), linspace() 등 넘파이 고유의 배열 생성 함수 사용 저장 디스크에서 배열을 읽어들임. 문자열이나 버퍼를 통한 바이트 스트림 데이터인 Raw Bytes 에서 배열 생성 random() 함수와 같은 특수한 라이브러리 함수 사용 넘파이에서의 배열..
-
2022.04.13
[NumPy] 넘파이(NumPy) 개요
넘파이(NumPy) 개요 넘파이(NumPy) Numerical Python 파이썬의 수치 해석 프로그램인 Numeric 을 개선, 보완한 패키지 2006년, Travis E. Oliphant가 개발 NumPy = SciPy + numarray 배열과 매트릭스의 빠른 처리 Pandas에서 데이터를 효율적으로 분석할 수 있게 한다. 이미지 처리, 신호 처리, 선형 대수 등 어플리케이션에서 사용 공식 홈페이지 : https://numpy.org/ 넘파이의 기능 강력한 다차원 배열 객체의 처리 탁월한 배열 브로드캐스팅 기능 C/C++ 및 Fortran 코드를 통합하는 도구 수학적 연산 선형 대수, 난수 생성, 푸리에 변환 이미지와 컴퓨터 그래픽을 빠르게 처리 패키지 설치 터미널에 다음과 같이 입력하여 넘파이를 ..
-
2022.04.12
[Python] 파이썬을 이용하여 함수 그래프 그리기 (NumPy, matplotlib.pyplot)
파이썬을 이용하여 함수 그래프 그리기 (NumPy, matplotlib.pyplot) 개요 파이썬의 넘파이(NumPy)와 matplotlib.pyplot을 사용하여 간단하게 그래프를 그릴 수 있다. 방법 코드 import numpy as np import matplotlib.pyplot as plt # (1) X축의 범위(Range) 설정 (입력) start = -10 # 시작점 # 입력 end = 10 # 끝점 + 1 # 입력 interval = 1 # 간격 # 입력 x = np.array(range(start, end, interval)) # print('X: ', x) # X 축의 범위를 확인하고 싶을 경우 주석 해제 # (2) 그래프의 축 이름 설정 name_X = 'Axis-X' # 입력 nam..
-
2022.03.19
[Python] 파이썬에서 넘파이(NumPy) 설치하기
파이썬에서 넘파이(NumPy) 설치하기 개요 파이썬에 간단하게 넘파이(NumPy)를 설치하는 방법을 알아보자. 방법 윈도우 터미널에 "python -m pip install numpy" 명령을 입력하면 된다. 테스트
