Skill Sets/Python (24) 썸네일형 리스트형 [python/pandas] 판다스(pandas) 활용한 데이터 전처리(2) 안녕하세요! 데코입니다! 오늘은 빅데이터분석기사(빅분기) 실기를 공부하면서 알아두면 좋을 데이터 전처리에 대하여 포스팅하려고 합니다! (출처 : https://www.datamanim.com/dataset/99_pandas/pandasMain.html) 출처에 있는 "1.2 데이터 전처리 100문제"를 python과 pandas를 활용해 풀면서 제가 잘 활용 안 하던 전처리 내용을 설명하려고 해요! 바로 시작하겠습니다! :) # 4. dataframe에서 중복 제거하고 첫번째/마지막 케이스 남기기(drop_duplicates 이용) DataFrame에서 중복하는 값을 제거해서 보는 경우가 있어요! 저와 같은 경우에는 '사용자'와 같은 PK값을 기준으로 중복된 행을 제거하고 데이터를 살펴보는 경우가 있어요.. [python/pandas] 판다스(pandas) 활용한 데이터 전처리(1) 안녕하세요! 데코입니다! 오늘은 빅데이터분석기사(빅분기) 실기를 공부하면서 알아두면 좋을 데이터 전처리에 대하여 포스팅하려고 합니다! (출처 : https://www.datamanim.com/dataset/99_pandas/pandasMain.html) 출처에 있는 "1.2 데이터 전처리 100문제"를 python과 pandas를 활용해 풀면서 제가 잘 활용 안 하던 전처리 내용을 설명하려고 해요! 바로 시작하겠습니다! :) # 1. dataframe에서 수치형/범주형 변수 출력하기(select_dtypes 이용) 수치형 변수는 숫자로 표현되는 변수를 의미해요! 수치형 변수를 통해 정량적인 데이터를 나타내고, 연속적인 값이나 이산적인 값으로 표현됩니다. ex) 나이, 키, 몸무게, 온도, 시간 범주형 변.. [python/numpy] 3차원 array를 dataframe으로 변환하는 방법 안녕하세요! 데코입니다! 오늘은 파이썬에서 많이 다루는 numpy를 이용해서 배열을 가로 세로로 쌓는 방법에 대하여 포스팅하려고 합니다! 저는 현재 모델링에 3차원 array를 활용하고 있어요! array를 dataframe으로 변환해서 csv로 저장하고 싶어서 코드를 구현했는데요! 이번 포스팅은 어떻게 3차원 array를 dataframe으로 구상했는지 설명하면서 코드 공유하는 포스팅입니다!! 1. 예시 데이터 생성 예시로 활용하기 위해 0부터 100까지의 값을 가지는 임의의 3차원 array을 만들었어요! 만든 data라는 array의 shape을 확인해 보면 (4,6,3)을 가지고 있어요! 2. 수동으로 dataframe으로 변환하기 위 코드는 Pandas를 사용하여 3차원 array 데이터를 재구.. [Python/파이썬] Python내 logging을 통한 log 파일 남기기(코드 포함) 안녕하세요! 데코입니다! 오늘은 포스팅은 파이썬에서 logging 모듈을 통해 py파일에서 로그(log)를 남기는 이유를 설명하려고 합니다! 그리고 이용 방법과 간단한 코드도 첨부해서 어떻게 log를 남기는지 직접 보여드리려고 합니다! 1. 로그(log)를 남기는 이유 로그(log)를 남기는 이유는 "디버깅"을 하기 위해서입니다! 디버깅은 모든 소스 코드의 오류 또는 버그를 찾아서 수정하는 과정이라고 할 수 있어요! 데이터 분석 업무에서 py 파일 생성해서 실행하면 여러 가지 오류를 만날 수 있어요! log를 통해 오류가 발생하는 위치도 파악하고 중요한 정보는 로그로 남겨서 결과를 비교할 수도 있습니다! 제가 22년 P사에서 분석 업무를 수행하면서 로그(log) 내역을 남길 때에는 아래와 같은 내용을 파.. [Python] 크기가 작은 부분 문자열(프로그래머스/코딩테스트) 안녕하세요! 데코입니다! 오늘은 프로그래머스 코딩테스트 연습에 있는 "크기가 작은 부분 문자열" 문제를 포스팅하려고 합니다! 바로 포스팅 시작할게요! :) (출처 : https://school.programmers.co.kr/learn/courses/30/lessons/147355?language=python3) 1. 문제 : 크기가 작은 부분 문자열(Lv. 1) 2. 문제 설명 숫자로 이루어진 문자열 t와 p가 주어질 때, t에서 p와 길이가 같은 부분문자열 중에서, 이 부분 문자열이 나타내는 수가 p가 나타내는 수보다 작거나 같은 것이 나오는 횟수를 return하는 함수 solution을 완성하세요. 예를 들어, t="3141592"이고 p="271" 인 경우, t의 길이가 3인 부분 문자열은 314.. jupyter notebook에 가상환경 커널 추가 이유 및 방법(python ipykernel 이용) 안녕하세요! 데코입니다!! 오늘은 이전 포스팅에서 분량 조절로 다루지 못한 가상환경 커널 추가 이유와 방법에 대하여 적어볼게요! 설명할 목록은 아래와 같아요! 혹시나 바쁘신 분들은 필요하신 부분으로 가셔서 필요한 정보 빠르게 획득하시길 바라요! 커널 추가하는 이유 커널 추가 방법 커널 목록 확인 방법 커널 삭제 방법 1. 커널 추가하는 이유 커널을 추가하는 이유는 가상환경을 생성한 커널의 이동을 빠르게 하기 위해서예요! 아래 상황을 가정해볼게요! 주어진 상황 > Project_A 가상환경에서 작업중인데 Project_B 가상환경에서의 코드를 수정해야 하는 게 생긴다면...? 1 ) 커널 추가 안한 경우 Step 1. Project_A 가상환경 비활성화 Step 2. Project_B 가상환경 활성화 St.. Python 내 가상환경 생성,구축 방법(Virtual Environments) 안녕하세요! 데코입니다!! 이전 포스팅에서 가상환경이 왜 필요한지! 가상환경의 필요성에 대한 간단한 글을 적었다면! 오늘 포스팅에서는 가상환경을 생성하고, 가상환경 접속, 패키지 설치, 패키지 목록 파일 저장 등 가상환경을 구축하는 방법과 가상환경 관련하여 자주 사용하는 코드에 대하여 적어보려고 해요! 설명할 목록은 아래와 같아요! 혹시나 바쁘신 분들은 필요하신 부분으로 가셔서 필요한 정보 빠르게 획득하시길 바라요! 가상환경 생성 가상환경 리스트 확인 가상환경 활성화 및 비활성화 패키지 목록 파일 생성(requirement.txt 생성) 패키지 목록 파일을 이용하여 패키지 설치(requirement.txt 이용) jupyter notebook 가상환경 커널 추가(kernel 추가) (다음 포스팅 글) 바.. Python 내 가상환경의 필요성(Virtual Environments) 안녕하세요! 데코입니다!! 오늘은 가상환경이 왜 필요한지! 가상환경 필요성에 대한 간단한 글을 적어보려고 해요! 현업에 계신 분들은 “에이 뭐야…!” 라고 하실 수 있으나 파이썬과 데이터 분석을 처음 접하는 분들은 “가상환경이 왜 필요하지…?”라는 생각이 들 수 있어 이렇게 포스팅합니다! (제가 그랬었거든요…!) 가상환경이란? 여기서 말하는 가상환경은 독립적으로 구성한 파이썬의 환경을 의미해요! 생성한 가상환경마다 버전과 패키지를 다르게 설치할 수 있어요! 가상환경을 만드는 이유는 진행하는 프로젝트에서 필요로 하는 버전과 패키지만을 설치하여 구성하기 위해서입니다! 데이터 분석을 처음 접하는 분들은 아나콘다와 파이썬을 설치하고 가상환경 없이 사용할 텐데요! 이렇게 사용하면 설치한 패키지들은 전부 “Base.. 이전 1 2 3 다음
