KT 에이블스쿨 5기 : 첫 글 (1차 미프 끝)










    KT 에이블을 시작한지 어느덧 3주가 지났다...


    에이블교육 시작하기 전에 워밍업하는 사전교육을 들은게 얼마안된것 같은데,, 

    벌써 (1주차) 데이터 다루기, (2주차) 데이터 다듬기 수업을 끝내고 

    1차 미니프로젝트를 오늘 끝마쳤다. 


    시간이 빠르게 쓱쓱지나가는 나의 취준생활을 기록하고자, 에이블러 기자단을 신청했다. 

    이제 에이블러를 하면서, 배우고 느낀걸 틈틈히 자주 기록해보야겠다. 





    24년 3월 6일

    대구경북 DX팀의 반장이 뽑혔따



    박빙의 대결로 반장이 뽑혔다. ! 



    24년 3월 7일 (목요일)

    첫 ! 미니프로젝트날

    첫 조별 프로젝트다 보니 걱정도 되고, 한편으로는 재밌을 것 같아서 설레기도 했다. 


    구매, 고객 데이터를 활용해서 이탈고객을 예측하는게 프로젝트 목적이었다. 

    오전부터 오후 3시까지 개별로 실습을 했는데, 

    수업때 하나씩 차근차근히 배운것들을 한번에 쓰면서 데이터가 다듬어지는 과정을 보니까 보람도 차고 생각보다 별게아니였다. 

    데이터분석, 실습, 프로젝트 이 3단어들이 멀게만 느껴졌는데, 좀 친숙해진 느낌스 


    개별실습할때 중간에 데이터프레임을 merge할때 헷갈리는 부분이 많았다. 

    left랑 outer랑 헷갈리고, inner를 쓰는게 맞을지 outer를 쓰는게 맞을지 자신이 없었는데 팀원들이랑 의견을 나누고 물어보면서 이제 제대로 이해완료 ! 



    배운점 1

    출처: https://programmerpsy.tistory.com/17

    ㄴ 이게 left 조인 



    출처: https://programmerpsy.tistory.com/17

    ㄴ 이게 outer 조인이다. 


    그리고 merge는 단순히 하나의 컬럼을 다른 데이터프레임에 붙일때, 

    left 조인을 해서 쓸 수 있다. 



    배운점 2

    실습파일에서 2개의 데이터프레임(df1, df2)을 merge했을때, 불필요한 값들이 와다다 붙어서 

    합쳐진 데이터프레임의 활용성이 떨어진 상황이 있었다. 

    (ID_x, ID_y, Data_x, Data_y, Data_z 처럼 열이 생김) 


    문제 원인은, df1랑 df2에 중복되는 열이 하나 이상이라서, 똑같은 열들때문에 생기는 현상이었다. 

    해결 방법은, 기준이 아닌 데이터 프레임에서 merge 기준열을 제외한 열이 겹치지 않는 상태에서 merge 하시는것이 필요하다. 


    그래서 df1랑 df2를 합칠때, 기준이 되는 열 하나만 남겨두면된다. ! 

    cust03 = sales.loc[ sales['OrderDate'].between('2017-01-01', '2017-03-31') ]
cust03 = cust03.drop_duplicates('CustomerID', keep='first')  
cust03 = cust03[['CustomerID']]
cust03


    cust03 = sales.loc[sales['OrderDate'].between('2017-01-01', '2017-03-31'),['CustomerID']].drop_duplicates(keep='first')

    의미는 같은데, 1번째꺼는 풀어서 쓴거고 2번째는 강사님이 쓰신 한줄 코드 




    느낀점 2

    수업때 배우고 복습했던걸 요구사항에 맞춰서 사용하는게 재밌었다. 

    최대한 함수나, 메서드 문법 같은걸 안볼려고 매일매일 틈틈히 복습을 했는데, 그 효과를 체감해서 대 만족 ! 

    앞으로도 매일매일 복습은 디폴트로 해야겠다. 





    24년 3월 8일 (금요일)

    미니프로젝트 1차의 2일차 

    2일차 실습은 오히려 1차때보다 쉽게 느껴졌다. 

    토익점수 예측을 위한 데이터 전처리



    배운점

    실습을 다 하고, 정답 csv 파일과 내가한 csv를 비교해보니, 

    행 갯수가 달랐다. 


    그래서, 정답 csv 파일을 탐색해보니까, 2개의 행에 들어있는 데이터가 이상해서 차이가 났던 것

    df.drop_duplicates(subset= 'id') 아이디를 기준으로 중복 제거를 하면, 500개 행이 나오고, 

    매개변수를 기본값으로 주면, 502개가 나온다. 


    이거 때문에 많은 시간을 썼는데, 크게 중요한 문제는 아니었다. 



    인사이트 공유

    1차 미프를 마치고, 전국에 있는 DX 트랙 에이블러들이 모였다. 

    몇몇 조분들이 발표를 하면서 자기들만의 인사이트를 공유해줬는데, 

    전처리 데이터를 가지고, 깊이있는 인사이트를 고민하는게 대단했다. 



    데이터는 어떤 시각에서 보느냐에 따라서, 프로젝트 결과가 달라짐을 몸소 느꼈다. 

    다양한 인사이트를 보면서 각자 고민을 한 흔적이 느껴져서 배울 점이 많았다. 





    어떤 분은 데이터를 통해서 솔루션까지 도출해낸 팀이 있었다.

    (1일차) 이탈고객 데이터를 만들고, 이탈자를 위한 프로모션을 어떻게 진행할지에 대한 솔루션과 

    (2일차) 토익 csv에서 "토익기출 푼 횟수가 많을 수록 점수가 높다." 라는 결과를 도출하고

    매일매일 토익 문제를 푸는 '일일토익' 솔루션을 제안하셨다. 분석을 넘어서 솔류션까지 하다니 대단하시다. 



    이 모든 과정은 에이블스쿨의 마지막인 빅프로젝트를 위한 과정이라고 한다. 

    현상을 보고, 데이터를 분석하고, AI를 접목해, 결론은 도출하고, 솔루션을 제안하는 것 

    작은 미니프로젝트때부터 이 플로우를 기억하면서, 고민하는 습관을 들여야겠다. 






    미프 강사님의 조언 

    데이터 시각화할때, 데이터의 형식과 의미에 맞춰서 bar 형태로할지, 원으로 할지를 고민하는게 중요

    이후에는, 이 도출된 데이터 시각화를 보면서, 어디에 활용시킬 수 있을지 고민하는 게 좋다고 했다. ~ 






    1차 미프 완료 ! 





    그럼 이만


    댓글

    댓글 쓰기

    이 블로그의 인기 게시물

    [KT 에이블스쿨 - IT 트랜드] 국내외 AI 관련 규제

    이미지
    KT 에이블스쿨에 참여하면서 IT 트렌드 스터디하고있는데, 발표자료로 오늘은 ChatGPT 4-o 내용을 준비했다.  NIA (한국지능정보사회진흥원)의 디지털 법제 Brief 중  AI 규제와 관련된 내용 3개의 보고서를 읽고 발표에 참고했다.  해외 "사법기관 인공지능 이용지침" - 보고서 링크 - 발행일 24.02.15 이 보고서에는 사법기관에서 AI 를 어떻게 이용하면 되는지를 지침으로 정의한 캐나다와 영국 사례를 소개했다.  캐나다와 영국은 23년 12월에 이를 마련했고, 호주와 뉴질랜드 등 같은 영연방 국가들도 유사한 지침을 내렸다.  캐나다 캐나다 "법원의 인공지능 이용 원칙 및 지침" (23.12.10) AI 사용을 알리는 문구 명시   작성한 문서의 가장 앞쪽에 이런 문구를 명시해야함 "Artificial intelligence(AI) was used to generate content in this document" (인공지능을 사용하여 이 문서의 컨텐츠를 생성하였습니다) 7가지 원칙  (책무) 의사결정에 인공지능을 사용할 가능성에 대해 책임 (기본권 등 존중) 인공지능 사용으로 인해 사법 독립성, 사법 접근권 및 차별 없이 공정 한 심리를 받을 권리 등이 침해되지 않도록 보장 (비차별) 인공지능 사용으로 차별 이 재생산되고 악화되지 않도록 보장   (정확성) 인공지능의 이용에 사용된 데이터는 확인 및 검증된 데이터만 사용   (투명성) 인공지능이 사용하는 모든 데이터 처리방법에 대해 외부 감사 실시 (보안) 기밀성 프라이버시 출처표기 등이 보장되는 안전한 기술환경 에서 데이터 저장 및 관리   (사람의감시) 판사 및 재판 연구원은 인공지능 생성물을 자신들의 업무에 사용하고자 하는 경우 해당 생성물의 결과를 검증 공개협의(publicconsultation) 없이 자동화된 의사결정 도구 등 인공지능을 판결 명령에 사...
    자세한 내용 보기

    KT 에이블스쿨 : IT 인프라 (1일차~5일차) 공부 정리

    이미지
       IT 인프라 24.05.7 (화) ~ 13 (월)  네트워크, 서버, 저 장장치(IT 인프라)를 온프레미스 환경에서 어떻게 구성하는지를 배웠다. 1일차  개념 (네트워크)   IT 인프라 이해 온프레미스 하이브리드 클라우드 IT 인프라 구성도  네트워크 이해 네트워크 종류 PAN : personal area LAN : local  MAN : metropolitan (대도시) WAN : wide (광대역)  네트워크 구성요소 전송 단말기 전송매체 전송 프로토콜 네트워크 장비 OSI 7계층  스위치 네트워크 스위치 : MAC 주소를 기반으로 노드와 노드간 연결 중개(허브, 다리처럼) 스위치 동작방식 캡슐화 IP 주소 서브넷 마스크 : IP주소 중 네트워크 주소, 호스트 주소 구분해줌 서브넷팅 : 네트워크를 작은 단위의 네트워크로 분할(00구 > 00동, 00동)  공인IP, 사설IP NAT : 사설IP를 공인IP로 변환 ARP : IP 만 알고 있을 때 Mac 주소를 확인 할 수 있도록 해줌 라우터와 라이팅 DHCP : TCP/IP를 Client에게 자동으로 할당해 IP 충돌방지  DNS 게이트웨이 라우터 모드  실습 (Cisco 패킷트레이서) 스위치 동작  스위치를 통한 네트워크 구성해 통신 확인 (ping ip주소) 맥주소 테이블 확인하며 동작 방식 이해 (show mac-address-table) 참고출처 : cisco 1. pc에 ip 설정 2. 스위치와 pc 간 노드연결 (이더넷 포트에 연결) 사설 IP주소, 공인 IP 주소 확인 라우터  라우터 모듈 선택하고 장착해 설정  라우터 모드 사용자: Router> 기본 관리자: Router#  enable 전체 설정모드 : Router(config)#  conf t          ...
    자세한 내용 보기

    KT 에이블스쿨 : 핀테크 아이디어 공모전

    이미지
      KT 에이블스쿨을 하면서 발표 스터디를 했는데,  발표 스터디원의 일부랑 핀테크 아이디어 공모전에 참가했는데 그 과정을 정리해볼려고 한다.  조원 모집  처음에 핀테크 분야로 공모전을 찾은 것은 아니었다. 아이디어, 데이터분석과 관련된 공모전을 나가고 싶어서, KT 에이블스쿨의 발표 스터디에서 조원을 모집했다.  다들 열정이 많아서 바로 모을 수 있었다.  그뒤에, 공모전을 찾아서 투표를 했는데, 핀테크 아이디어 공모전의 표가 가장 많아서 이걸로 하게 되었다.  https://fintech.or.kr/web/expo/idea.do?menu_id=10300   공모전 일정은 이렇게 되어있고, 원래는 제출이 7월 초였으나 기한이 연장되었다.  며칠 뒤에 1차 발표가 나오는데, 좋은 결과가 있으면 좋겠다.  5월 30일에 시작을 했고,  팀즈로 주 1-2회씩 만나서 회의를 했다.  아이디어 선정 아이디어 부분은 구글 스프레드시트에서  각자가 가지고 있는 핀테크 관련 아이디어를 공유하고, 주1회 만나서 아이디어를 공유했다.  첫번째 회의에서는 여러 아이디어를 공유했지만, 모두 마음에 드는 아이디어가 없어서  기존 아이디어를 디벨롭하거나 추가해 다시 회의를 했다.   인당 최소 4개씩 찾아서 적기로 했고,   핀테크 샌드박스 규제 사이트, 핀테크 10가지 서비스 종류, 핀테크 기업의 신사업 등을 공유하면서 아이디어를 생각할려고 노력했다.  그러다가, 팀원 중 한분이 핀테크의 "STO (토큰증권)"라는 새로운 기술을 알려주셨다.  국내에 현재 1개 기업만 있고, 신기술이라서 규제가 제대로 마련되지 않은 새로운 분야였다.  팀원 모두 만장일치로 STO 기술을 활용한 아이디어를 제안하기로 결정했다 !  STO는 토큰증권으로 현재의 조각투자랑 비슷한 방식인 소액투자이다....
    자세한 내용 보기