KT 에이블스쿨 :: 데이터 수집 - 정적 페이지 크롤링

     




    크롤링 원리

    client가 server에게 내가 원하는 정보를 달라고 url을 주며 request 하면

    server는 client에게 정보를 json, html, pdf 등 다양한 형태로 response해주는 것 

    크롤링은 사람대신 파이썬 크롤링 봇이 자동으로 request 한 뒤, response한 데이터를 보여주는 것 


    1. client에서 url을 get / post 방식으로 server 에게 request 

    2. server는 request 받은 정보를 response 해서 client에게 전달

    3. response 받은 정보를 parsing (html, pdf, img, json 형식으로 된 데이터를 받아서 화면에 출력하는것) 해서 출력 



    request 방식

    - get 방식 : URL에 쿼리가 포함 - 쿼리(데이터) 노출됨, 전송 가능 데이터 작음

    response = request.get(url, headers = headers)

    - post 방식 : body에 쿼리가 포함 - 쿼리(데이터) 비노출, 전송 가능 데이터 많음

    post 방식은 body에 쿼리를 넣어서, params 변수를 만들어서 post 파라미터로 같이 줘야함 

    response = request.post(url, params)



    response 상태 코드

    2xx : 성공 (크롤링 가능)

    3xx : 리다이렉션 (크롤링 가능)

    4xx : 요청 에러 (서버에서 막은경우나, 내가 코드를 잘 못쓴 경우 등)

    5xx : 서버 에러



    크롤링이 막힌 경우

    - 홈페이지 마다 다르지만 서버에서 크롤링 수집을 막은 경우가 있음. 

    그럴때는 headers의 user-agent, referer, cookies 정보를 파이썬 코딩으로 변경해야한다. 


    1. user - agent : 헤더에서 자신이 누구인지 밝히는 부분. 파이썬 크롤링 봇이 아니라, 나는 윈도우 브라우저에서 들어가는거라고 미리 설정해야함


    2. referer : 크롤링 수집할 웹사이트가 도착지라고 하면, 출발지를 나타내는 부분. 

    파이썬 크롤링 봇으로 수집하면, referer 부분이 비어있음. 

    그래서 미리 해당 홈페이지의 url로 설정하면 됨


    3. cookies : 임시적으로 ram에 저장되는 정보. 로그인이 필요한 경우에는 쿠키에 있는 로그인 (id, password) 정보를 확인함

    로그인 한 뒤에 크롤링을 하는 사이트인 경우에는 쿠키도 미리 설정해야한다.

    but, 로그인이 필요없는 경우에는 대부분 user-agent, referer 부분 만으로도 해결 가능 



    정적 vs 동적 페이지 

    홈페이지가 정적인지 동적 페이지인지는 크롬 개발자 도구(F12)를 봐야지만 확인 가능

    정보를 요청한 뒤 응답이 왔을때, 정적 / 동적의 차이는 

    1. 페이지 url이 변하는지 안변하는지 (새로고침되는지) 

    2. 응답의 형태 - html ? json ? 등 


    - 정적 페이지 : 웹 브라우져에 화면이 한번 뜨면 이벤트에 의한 화면의 변경이 없는 페이지

    정적페이지는 이미 만들어 둔 html페이지를 반환합니다. 

    1. 메인홈피에서 뭔가를 클릭했을때 페이지(+url)가 안 바뀌고 정보가 추가되는 것 

    2. 응답을 주로 json으로 받아서 파싱 , list, dict 형태로 되어있어서 파싱이 쉬움 

    응답 받은 텍스트를 출력한 예시





    - 동적 페이지  

    동적페이지는 클라이언트의 요청에 따라 db등과 상호작용하여 동적으로 컨텐츠를 생성합니다. 

    이에 대한 응답으로 html, json, xml등 다양한 형식의 데이터를 반환할 수 있습니다.

    1. 메인홈피에서 뭔가를 클릭했을때 페이지가 바뀌면서 URL도 바뀌는것 

    웹 브라우져에 화면이 뜨고 이벤트가 발생하면 서버에서 데이터를 가져와 화면을 변경하는 페이지

    2. 홈페이지가 html 태그로 되어있어서, 요청을 보낼때도 받을때도 주로 html 임. 

    html 계층적 구조로 되어있어서 파싱이 비교적 어려움 



    마트 웹페이지의 html 







    정적 페이지 

    1. 네이버 증권 페이지 

    - kospi, kosdaq, us dollar 수집 

    - 데이터 스케일링 후 시각화

    - 3개의 지수 상관관계 분석 



    2. 다음 환율페이지

    - 서버에서 크롤링봇을 막은 경우, 어떻게 크롤링 할지 

    -> headers의 user-agent, referer, cookie 정보를 파이썬으로 수정해야함



    3. REST API : 카카오 KoGPT  

    - kakao developer 사이트에서 rest api 키 값을 등록

    - koGPT의 api를 사용해서 "주어진 문장의 다음 내용 생성" 기능 사용 

    - 참고 사이트

    kogpt : https://developers.kakao.com/docs/latest/ko/kogpt/common

    개발 문서 : https://developers.kakao.com/docs/latest/ko/kogpt/rest-api






    4. REST API : 네이버 API 

    - 통합검색어 트렌드 API

    - 검색어 트렌드가 어떻게 되는지 파이썬에서 확인 

    - 참고 사이트 

    네이버 개발 : https://developers.naver.com/

    데이터랩 : https://datalab.naver.com/

    검색어 트랜드 : https://datalab.naver.com/keyword/trendSearch.naver

    검색어 트렌드 API : https://developers.naver.com/docs/serviceapi/datalab/search/search.md#통합-검색어-트랜드-api-레퍼런스




    5. geohash 라이브러리 : 직방

    - 1. 동이름 검색하고 위도, 경도 구하기 

    - 2-1. 검색한 동의 geohash 값 받아옴

    - 2-2. geohash2 라이브러리를 import해서 encode

    - 2-3. 받은 geohash 값으로 해당 동 근처의 매물 방 출력 

    - 3. 방 id 를 뽑아서 방을 보여주는 url에 정보를 post방식으로 전달


    * post 방식이기때문에, params 값으로 domain, item_ids 필요 

    * get 방식은 url에 추가됨 


    - 4. response 받은 값을 데이터프레임 형태로 출력

    + 데이터프레임 형태로 출력할때, 검색한 방에 해당하는 곳만 출력하도록 함

    + 필요한 열만 추출 


    - 5. 직방 방을 크롤링하는 코드를 함수화하고 모듈로 만들어서 재사용함 

    처음으로 모듈을 만들어봐서,, 싱기 












    댓글

    댓글 쓰기

    이 블로그의 인기 게시물

    KT 에이블스쿨 : 6-7차 미니프로젝트 - 제안서 기반 솔류션 기획 및 설계

    이미지
    6차 미니프로젝트 목적 : 서비스 구성도, 인프라 구성도 작성  주제는 "요구사항 기반 솔루션 기획 및 시스템 설계"로 IT 인프라 수업때 배운 서비스/인프라 구성도를 제안서에 맞게 작성하는걸 해봤다.  K회사의 DX 사업제안팀 컨설턴트가 되어서 시각장애인을 위한 궁사업소의 RFP에 맞는 ICT 서비스 및 인프라 구성도를 만드는 것 !  서비스 구성도 에이블스쿨에서 임의로 만든 궁사업소에서 제안하는 RFP 기반으로  궁사업소의 요구사항은 무엇인지, 이에 따른 서비스 구성도를 만들어봤다.  먼저 요구사항 분석표에 맞춰서, 제안사의 요구사항이 무엇인지 어떤 유형인지 구분을 했다. 요구사항 분석표를 만든걸 보면서, 서비스 구성도를 작성했다.  제공 서비스 5개를 두고,  프로세싱(기능 및 해결방법), 세부 솔루션, 연결된 장치가 각각 무엇인지 글로 정리한 뒤에  구성도로 시각화했다.  처음에는 이게 맞는걸까 확신이 없었지만, RFP와 요구사항 분석표를 보면서 여러번 확인을 거친뒤에 점점 확신이 생겼다.  인프라 구성도 수업때 사용했던 cacoo 툴을 사용했는데, 튜터님께 클라우드 부분과 네트워크 부분에 대해서 질문을 많이하면서 제대로된 인프라 구성도를 그릴 수 있어서 만족스러웠다.  인프라 구성도는 전체적인 흐름이 한눈에 잘 보이도록 작성을 하는게 중요한데,  처음에는 클라우드, 관제시스템, 사용자 환경, 서비스 제공 환경이 이리저리 산발적이라서 우리도 혼란스러웠지만, 튜터님이 인터넷을 기준으로 왼쪽에는 사용자 관점에서 쓰는 것을 두고, 오른쪽에는 서비스 관점에서 쓰는걸 두면 보기 좋을 것 같다는 피드백에 따라 수정했는데 확 달라진게 느껴져서 전문가는 다르다는걸 새삼 느꼈다 .. . 안보이지만 서비스 구성도 인프라 구성도 7차 미니프로젝트 목적 : 제안 발표 이번 7차는 가장 빅프로젝트스러운 미니프로젝트였다.  6차때 만든 서비스구성도와 인프라구성도...
    자세한 내용 보기

    [KT 에이블스쿨 - IT 트랜드] 국내외 AI 관련 규제

    이미지
    KT 에이블스쿨에 참여하면서 IT 트렌드 스터디하고있는데, 발표자료로 오늘은 ChatGPT 4-o 내용을 준비했다.  NIA (한국지능정보사회진흥원)의 디지털 법제 Brief 중  AI 규제와 관련된 내용 3개의 보고서를 읽고 발표에 참고했다.  해외 "사법기관 인공지능 이용지침" - 보고서 링크 - 발행일 24.02.15 이 보고서에는 사법기관에서 AI 를 어떻게 이용하면 되는지를 지침으로 정의한 캐나다와 영국 사례를 소개했다.  캐나다와 영국은 23년 12월에 이를 마련했고, 호주와 뉴질랜드 등 같은 영연방 국가들도 유사한 지침을 내렸다.  캐나다 캐나다 "법원의 인공지능 이용 원칙 및 지침" (23.12.10) AI 사용을 알리는 문구 명시   작성한 문서의 가장 앞쪽에 이런 문구를 명시해야함 "Artificial intelligence(AI) was used to generate content in this document" (인공지능을 사용하여 이 문서의 컨텐츠를 생성하였습니다) 7가지 원칙  (책무) 의사결정에 인공지능을 사용할 가능성에 대해 책임 (기본권 등 존중) 인공지능 사용으로 인해 사법 독립성, 사법 접근권 및 차별 없이 공정 한 심리를 받을 권리 등이 침해되지 않도록 보장 (비차별) 인공지능 사용으로 차별 이 재생산되고 악화되지 않도록 보장   (정확성) 인공지능의 이용에 사용된 데이터는 확인 및 검증된 데이터만 사용   (투명성) 인공지능이 사용하는 모든 데이터 처리방법에 대해 외부 감사 실시 (보안) 기밀성 프라이버시 출처표기 등이 보장되는 안전한 기술환경 에서 데이터 저장 및 관리   (사람의감시) 판사 및 재판 연구원은 인공지능 생성물을 자신들의 업무에 사용하고자 하는 경우 해당 생성물의 결과를 검증 공개협의(publicconsultation) 없이 자동화된 의사결정 도구 등 인공지능을 판결 명령에 사...
    자세한 내용 보기

    KT 에이블스쿨 : 핀테크 아이디어 공모전

    이미지
      KT 에이블스쿨을 하면서 발표 스터디를 했는데,  발표 스터디원의 일부랑 핀테크 아이디어 공모전에 참가했는데 그 과정을 정리해볼려고 한다.  조원 모집  처음에 핀테크 분야로 공모전을 찾은 것은 아니었다. 아이디어, 데이터분석과 관련된 공모전을 나가고 싶어서, KT 에이블스쿨의 발표 스터디에서 조원을 모집했다.  다들 열정이 많아서 바로 모을 수 있었다.  그뒤에, 공모전을 찾아서 투표를 했는데, 핀테크 아이디어 공모전의 표가 가장 많아서 이걸로 하게 되었다.  https://fintech.or.kr/web/expo/idea.do?menu_id=10300   공모전 일정은 이렇게 되어있고, 원래는 제출이 7월 초였으나 기한이 연장되었다.  며칠 뒤에 1차 발표가 나오는데, 좋은 결과가 있으면 좋겠다.  5월 30일에 시작을 했고,  팀즈로 주 1-2회씩 만나서 회의를 했다.  아이디어 선정 아이디어 부분은 구글 스프레드시트에서  각자가 가지고 있는 핀테크 관련 아이디어를 공유하고, 주1회 만나서 아이디어를 공유했다.  첫번째 회의에서는 여러 아이디어를 공유했지만, 모두 마음에 드는 아이디어가 없어서  기존 아이디어를 디벨롭하거나 추가해 다시 회의를 했다.   인당 최소 4개씩 찾아서 적기로 했고,   핀테크 샌드박스 규제 사이트, 핀테크 10가지 서비스 종류, 핀테크 기업의 신사업 등을 공유하면서 아이디어를 생각할려고 노력했다.  그러다가, 팀원 중 한분이 핀테크의 "STO (토큰증권)"라는 새로운 기술을 알려주셨다.  국내에 현재 1개 기업만 있고, 신기술이라서 규제가 제대로 마련되지 않은 새로운 분야였다.  팀원 모두 만장일치로 STO 기술을 활용한 아이디어를 제안하기로 결정했다 !  STO는 토큰증권으로 현재의 조각투자랑 비슷한 방식인 소액투자이다....
    자세한 내용 보기