KG에듀원 내일배움 원격평생교육원

[DS 뭐하니?] 웹크롤링

맛보기

학습기간

10주(27시간)
NCS코드

20010105:빅데이터분석
지원

모바일

학습기간 * 학습 유형별 학습기간을 선택해 주세요

국민내일배움카드 (재직자)
국민내일배움카드 (구직자)
일반
사업주위탁과정

수강신청이 마감되었습니다.

과정소개
평가항목
학습내용
수강후기

강사정보

[소속]

· KG에듀원 아이티뱅크

[경력]

· KG에듀원 아이티뱅크 강사(데이터사이언스 등)

· 인천국제공항공사: Web Application, 정보보호

· 대검찰청: Memory Forensic, Malware Analysis, System Hacking

[관련자격증/도서]

· HRD전문가(2023)

· 직업훈련교사(2022): AI, 정보보교육, 정보기술개발

· SQLP, SQLD, ADP, ADsP 등 보유

학습개요

웹크롤링이란?

거미줄 위를 거미가 기어다니 듯이 검색엔진 봇이 인터넷 웹상에서 떠돌아다니며 원하는 데이터를 자동으로 추출하는 것입니다.

시장을 개척하고 문제점과 해결책을 모색하는 등 빅데이터가 새로운 기회를 제공하면서 데이터 활용에 대한 니즈도 증가하고 있습니다.

그러나 아직은 빅데이터를 분석하여 활용할 수 있는 통찰력이 부족합니다. 데이터 전문가가 아니라도 쉽게 이해하고 간단히 활용할 수 있는 웹클롤링 기술.

방대한 데이터 속에서 웹크롤링을 활용해 유용한 정보를 찾아낼 수 있다면 데이터는 경쟁 우위를 제공할 것입니다.

학습목표

1.크롤링의 개념과 목적을 이해하고 활용할 수 있다.

2.데이터의 중요성을 이해하고, 실생활에서 활용 사례를 학습한다.

3.웹크롤링의 잘못된 사용방법으로 인한 문제점을 파악하고, 올바른 사용법을 익힌다.

학습대상

★ 국민내일배움카드 필수★

1.이직이나 취업을 준비 중인 구직자

2.코딩을 배웠지만 실무에 적용이 어려운 분

3.데이터 수집 기술을 이해하고 웹크롤링 프로그램을 만들고 싶은 분

평가기준

평가기준
	진도	진행단계평가	최종평가	과제	토론	총점
배점	-	-	-	100%	-	-
수료기준	80%이상 필수	-	-	필수	-	50점이상

· 진행단계평가(10%)+최종평가(90%) 합산점수 60점 이상 시 수료 / 진도율 80% 이상 수료
* 수료기준 2가지 모두 완료되어야 수료 가능합니다.
· 유의사항 : 진행단계평가를 반드시 응시해야 다음 차시 수강이 가능합니다.

학습내용

1.크롤링이란

2.크롤링을 위한 환경 설정

3.Jupyter Notebook 활용방법

4.reqeusts, response

5.requests 모듈

6.Dictionary 안의 Dictionary

7.문자열 formatting

8.Dataframe

9.시간을 다루는 도구 time

10데이터 형태 이해

11.XML 형식의 데이터 다루기 1

12.XML 형식의 데이터 다루기 213.

13.XML 형식의 데이터 다루기 3

14.BeautifulSoup 모듈 1

15.BeautifulSoup 모듈 2

16.뉴스 정보 수집하기

17.XML과 HTML의 차이점

18.HTML 형식의 데이터 다루기

19.Bottom-up 방식

20.Top-down 방식

21.select를 이용한 검색

22.웹 브라우저 조작의 자동화

23.기존 프로그램을 자동화 처리하기

24.웹 크롤링에 대한 정확한 이해, selenium을 사용하는 이유

25.selenium 활용 1

26.selenium 활용 2

27.법적 권고안

수강후기

<< < 1 2 3 4 5 6 7 8 9 10 > >>

교육과정전체보기