[파이썬데이터처리-방송통신대-26-1학기-중간과제물] 뉴스 데이터 수집 및 전처리 공공 API를 활용한 데이터 수집 및 분석 등

소개

과제물 내의 첨부파일은 총 5개로 구성되어있습니다.
- 문제 01-02번 보고서
- 문제 01번 : 파이썬 코드
- 문제 02번 : 파이썬 코드
- 문제 02번 : 테이블 csv파일
- 문제 02번 : 그래프 이미지 파일

[문제 01]
과제 내용 : 네이버 또는 다음 뉴스에서 서로 다른 두 개의 키워드(예: 'PC' vs '콘솔' 등 서로 대비되는 두 개념)를 검색하여 기사를 수집하고 비교 분석하시오.
요구사항 :
데이터 수집 (7점) : BeautifulSoup을 사용하여 키워드별로 최소 30건 이상의 기사(제목, 언론사, 요약문)를 수집합니다.

결측치 및 데이터 정제 (5점)
■ 결측치 탐지: 요약문이 없는 기사를 찾아내고, 이를 어떻게 처리했는지 설명하시오 (7강 '결측치의 탐지' 내용 활용).
■ 텍스트 정제 : 제목에서 특수문자나 불필요한 공백을 제거하는 전처리 코드를 작성하시오.

비교 분석 (3점) : 두 키워드 간의 언론사 분포 차이나 제목에 등장하는 주요 단어의 차이를 간단한 표나 그래프로 비교하시오.

[문제 02] 공공 API를 활용한 데이터 수집 및 분석 (15점)
과제 내용 : data.go.kr(공공데이터포털)에서 제공하는 API를 활용하여 유용한 데이터를 수집하고 분석하시오.
① 요구사항 :
■ 과제 내용 : 공공데이터포털에서 본인의 거주지 또는 관심 지역의 '대기오염 정보' 또는 '기상 관측 데이터'를 API로 호출하여 분석용 데이터셋을 생성하시오.

② 요구사항 :
■ Extract (7점): requests 라이브러리를 사용하여 JSON 형식의 데이터를 호출하고, 판다스 데이터프레임으로 변환하는 과정을 상세히 기술하시오. (06강 API 호출 과정 참고)
■ Transform (5점): 타입 변환: 문자열로 들어온 수치 데이터(예: 미세먼지 농도, 기온)를 산술 연산이 가능한 float 또는 int 형으로 변환하시오.
■ 파생 변수 생성: 기준 시간 데이터를 활용하여 '오전/오후' 또는 '주말/평일' 구분 컬럼을 추가하시오.
■ Load & Insight (3점): 정제된 데이터를 csv 파일로 저장하시오.
■ 시간대별 또는 지역별 데이터의 변동 추이를 간단한 꺾은선 그래프(Line Plot)로 시각화하고 1~2가지 특징을 서술하시오.

목차

[문제 01] Code.py
[문제 02] Code.py
[문제 02] 서울특별시 서초구 대기질-표.csv
[문제 02] 서울틀벽시 서초구 대기질-그래프.png
파이썬데이터처리_문제 1. 뉴스 데이터 수집 및 전처리.hwp

본문내용

[문제 01]
과제 내용: 네이버 또는 다음 뉴스에서 서로 다른 두 개의 키워드(예: 'PC' vs '콘솔' 등 서로 대비되는 두 개념)를 검색하여 기사를 수집하고 비교 분석하시오.
요구사항 :
① 데이터 수집 (7점) : BeautifulSoup을 사용하여 키워드별로 최소 30건 이상의 기사(제목, 언론사, 요약문)를 수집합니다.
② 결측치 및 데이터 정제 (5점)
■ 결측치 탐지: 요약문이 없는 기사를 찾아내고, 이를 어떻게 처리했는지 설명하시오 (7강 '결측치의 탐지' 내용 활용).
■ 텍스트 정제 : 제목에서 특수문자나 불필요한 공백을 제거하는 전처리 코드를 작성하시오
③ 비교 분석 (3점) : 두 키워드 간의 언론사 분포 차이나 제목에 등장하는 주요 단어의 차이를 간단한 표나 그래프로 비교하시오.

1. 데이터 수집 방법
데이터 수집은 파이썬의 requests 라이브러리와 BeautifulSoup 라이브러리를 활용하여 수행하였다. 다음 뉴스 검색 페이지의 HTML 구조를 분석하여 뉴스 기사 목록에서 필요한 정보를 추출하였다.

검색 URL에 페이지 번호 파라미터를 적용하여 각 키워드에 대해 총 10페이지의 뉴스 데이터를 반복적으로 수집하였다.

수집 항목은 뉴스 기사 제목, 언론사, 기사 요약문이며, 각 페이지에서 추출된 데이터를 리스트 형태로 저장한 후, 이를 Pandas 데이터프레임으로 변환하여 분석에 활용하였다.

2. 데이터 전처리
수집된 뉴스 데이터에는 일부 결측값이나 불필요한 특수문자가 포함되어 있을 수 있다. 따라서 데이터 분석의 정확성을 높이기 위해 다음과 같은 전처리 과정을 수행하였다.

참고자료

· 한종대, 민경하(2025). 파이썬데이터처리. KNOU PRESS.