[KT 에이블스쿨 - IT 트랜드] 7주차 | 야놀자 LLM, KT 믿음, 온디바이스AI와 sLM

        

          



     

    에이블스쿨 스터디로 조원들과 IT 트랜드 발표 및 토론한 내용을 정리하고 있습니다 



    7주차 (4월 29일 ~ 5월 03일)


    야놀자의 트래블테크와 LLM 


    • 야놀자의 LLM = EEVE-Korean 모델
      • 한국어 기반의 LLM 모델 중 가장 좋은 성능을 보임
      • NIA와 협력한 한국어기반 LLM 컨테스트에서 1위함
      • 마이크로소프트의 phi2와 업스테이지의 솔라(국내llm)가 기본모델
        • 프리튜닝, 파인튜닝 둘다 했음 

    • 3가지 모델에게 같은 질문을 했을때, 차이 
      • 1, 구글의 감마 : 답변은 해주는데, 답변 길이가 짧음
      • 2. 위자드 : 답변도 해주고, 답변의 길이가 길고, 환각현상이 있음
      • 3. EEVE-Korean : 정확하고 답변의 길이가 긺. 




                                         




    KT의 초거대 AI (믿음)

    AI 풀스택으로 자체 AI 생태계를 구축해 고객사에 합리적인 비용으로 초거대 AI를 사용할 수 있도록 함 

    자사의 파운데이션 모델을 튜닝함 

    AI 풀스택 : AI반도체와 클라우드 등 AI 인프라부터 고객이 사용하게 되는 AI 응용 서비스까지 모두 아우르는 통합 상품

    (혜택) 믿음의 기업전용 AI 클라우드팜을 패키지로 제공

    클라우드팜은 기관·기업의 수요에 맞춰 고객사만의 클라우드 서버팜(Farm)을 내부에 구축하고 관리할 수 있는 서비스


    글로벌, 제조, 금융, 공공, 교육의 5대 영역으로 초거대 AI 사업 영역을 확장


    KT에서 고객사의 서비스 특성에 맞춰서 믿음(LLM)의 파라미터를 조정해 제공하는것임 






                                         




    온디바이스AI와 SLM 

    서버를 거치는 AI와 달리 기계 안에서 AI를 처리하기에 처리속도가 빠름

    개인정보 보호 - 사용자의 데이터를 기기 내에서 처리

    초개인화 - 사용자의 데이터를 학습해 사용자에게 맞춤화된 정보 추천

    인터넷 없이도 사용 가능 


    LLM과 SLM 

    특정 영역에서 LLM보다 더 작은 파마리터로 LLM과 동일한 위력을 가짐

    (LLM은 수천억 ~ 수조개의 파라미터, SLM은 수십억개의 파라미터) 

    적은 파라미터로도 사용이 가능하기에 LLM을 대신해 sLM을 사용하는 기업이 늘고 있으며

    온디바이스 AI에 적용에 용이


    일부의 온디바이스 AI는 서버와 독립적이지 않아 인터넷이 되지 않는 환경에서 사용이 불가할 때도 있음

    디바이스 안에 AI를 넣는 것은 효과적이나 하드웨어 조건이나 기술력이 필요해 가격이 높아질 수 도 있음 


    삼성의 갤럭시 폰의 번역기능을 제공하는 온디바이스 AI의 경우에는 서버와 독립적이기에 인터넷이 없는 환경에서도 사용이 가능 








    댓글

    댓글 쓰기

    이 블로그의 인기 게시물

    [KT 에이블스쿨 - IT 트랜드] 국내외 AI 관련 규제

    이미지
    KT 에이블스쿨에 참여하면서 IT 트렌드 스터디하고있는데, 발표자료로 오늘은 ChatGPT 4-o 내용을 준비했다.  NIA (한국지능정보사회진흥원)의 디지털 법제 Brief 중  AI 규제와 관련된 내용 3개의 보고서를 읽고 발표에 참고했다.  해외 "사법기관 인공지능 이용지침" - 보고서 링크 - 발행일 24.02.15 이 보고서에는 사법기관에서 AI 를 어떻게 이용하면 되는지를 지침으로 정의한 캐나다와 영국 사례를 소개했다.  캐나다와 영국은 23년 12월에 이를 마련했고, 호주와 뉴질랜드 등 같은 영연방 국가들도 유사한 지침을 내렸다.  캐나다 캐나다 "법원의 인공지능 이용 원칙 및 지침" (23.12.10) AI 사용을 알리는 문구 명시   작성한 문서의 가장 앞쪽에 이런 문구를 명시해야함 "Artificial intelligence(AI) was used to generate content in this document" (인공지능을 사용하여 이 문서의 컨텐츠를 생성하였습니다) 7가지 원칙  (책무) 의사결정에 인공지능을 사용할 가능성에 대해 책임 (기본권 등 존중) 인공지능 사용으로 인해 사법 독립성, 사법 접근권 및 차별 없이 공정 한 심리를 받을 권리 등이 침해되지 않도록 보장 (비차별) 인공지능 사용으로 차별 이 재생산되고 악화되지 않도록 보장   (정확성) 인공지능의 이용에 사용된 데이터는 확인 및 검증된 데이터만 사용   (투명성) 인공지능이 사용하는 모든 데이터 처리방법에 대해 외부 감사 실시 (보안) 기밀성 프라이버시 출처표기 등이 보장되는 안전한 기술환경 에서 데이터 저장 및 관리   (사람의감시) 판사 및 재판 연구원은 인공지능 생성물을 자신들의 업무에 사용하고자 하는 경우 해당 생성물의 결과를 검증 공개협의(publicconsultation) 없이 자동화된 의사결정 도구 등 인공지능을 판결 명령에 사...
    자세한 내용 보기

    KT 에이블스쿨 : 6-7차 미니프로젝트 - 제안서 기반 솔류션 기획 및 설계

    이미지
    6차 미니프로젝트 목적 : 서비스 구성도, 인프라 구성도 작성  주제는 "요구사항 기반 솔루션 기획 및 시스템 설계"로 IT 인프라 수업때 배운 서비스/인프라 구성도를 제안서에 맞게 작성하는걸 해봤다.  K회사의 DX 사업제안팀 컨설턴트가 되어서 시각장애인을 위한 궁사업소의 RFP에 맞는 ICT 서비스 및 인프라 구성도를 만드는 것 !  서비스 구성도 에이블스쿨에서 임의로 만든 궁사업소에서 제안하는 RFP 기반으로  궁사업소의 요구사항은 무엇인지, 이에 따른 서비스 구성도를 만들어봤다.  먼저 요구사항 분석표에 맞춰서, 제안사의 요구사항이 무엇인지 어떤 유형인지 구분을 했다. 요구사항 분석표를 만든걸 보면서, 서비스 구성도를 작성했다.  제공 서비스 5개를 두고,  프로세싱(기능 및 해결방법), 세부 솔루션, 연결된 장치가 각각 무엇인지 글로 정리한 뒤에  구성도로 시각화했다.  처음에는 이게 맞는걸까 확신이 없었지만, RFP와 요구사항 분석표를 보면서 여러번 확인을 거친뒤에 점점 확신이 생겼다.  인프라 구성도 수업때 사용했던 cacoo 툴을 사용했는데, 튜터님께 클라우드 부분과 네트워크 부분에 대해서 질문을 많이하면서 제대로된 인프라 구성도를 그릴 수 있어서 만족스러웠다.  인프라 구성도는 전체적인 흐름이 한눈에 잘 보이도록 작성을 하는게 중요한데,  처음에는 클라우드, 관제시스템, 사용자 환경, 서비스 제공 환경이 이리저리 산발적이라서 우리도 혼란스러웠지만, 튜터님이 인터넷을 기준으로 왼쪽에는 사용자 관점에서 쓰는 것을 두고, 오른쪽에는 서비스 관점에서 쓰는걸 두면 보기 좋을 것 같다는 피드백에 따라 수정했는데 확 달라진게 느껴져서 전문가는 다르다는걸 새삼 느꼈다 .. . 안보이지만 서비스 구성도 인프라 구성도 7차 미니프로젝트 목적 : 제안 발표 이번 7차는 가장 빅프로젝트스러운 미니프로젝트였다.  6차때 만든 서비스구성도와 인프라구성도...
    자세한 내용 보기

    KT 에이블스쿨 : 클라우드 서비스 1일차 정리

    이미지
         클라우드 서비스  6일 과정 : 24.05.14 (화) ~ 22 (수) 1일차, 240514 (화) 교육 정리   1일차 DX 컨설턴트 고객 사용자 중심 변화에 민첩/유연한 대응 지속적인 차별화/혁신 : 데이터 기반의 고객 경험 향상 (CX), 혁신(기술, 내부프로세스)를 위한 지속적인 노력 컨설턴트 업무 : 기획 / 제안 / PMO 문제가 무엇인지 파악 → 분석 → 솔루션 도출 역량 지식 > 시장을 읽을 줄 알아야함. (business, trend) + 사업별 업무이해(process) + 기술 기술을 기반으로 의사소통이되고, 업무가 진행이 되기때문 논리적, 보고서 작성 능력, 설득력, 소통능력, 폭넓은 기술이해 아키텍처(구성도)를 제시 문제를 해결해 줄 수 있을 정도로 광범위한 지식과 소통 능력이 요구됨 클라우드 가상화 하나의 물리적 서버 위에 여러개의 앱을 사용 가능 하이퍼바이저 방식 베어메탈 : VM (앱) < Guest OS < 하이퍼바이저 <  Host OS 없이  < HW 호스트형 방식 : VM (앱) < Guest OS < 하이퍼바이저 < Host OS < HW 네트워크 가상화 물리적 네트워크 환경에서 여러 가상 네트워크를 실행해 VM간 통신 가능 데스크탑 가상화 (VDI 환경) 데이터는 서버에 저장하고, 서버에서 클라이언트에 가상 PC 환경만 제공 네트워크로 서버에 접속해 가상의 PC 환경 구성 가능 분산 처리 (클러스터링) 로드밸런싱(부하분산)과 오토스케일링은 같이 활용됨 scale in  은 리소스를 줄이는 것 (수평/병렬적 처리, 클러스터링) scale out  은 리소스 개수를 늘리는 것 (수평/병적 처리, 클러스터링) scale up  은 한개의 메모리, 용량을 늘리는 것 (수직적 처리) scale down  은 한개의 메모리, 용량을 줄이는 것 (수직적 처리) 서버리스 인프...
    자세한 내용 보기