생성형 AI(거대언어모델) 비즈니스에 활용하기: 경영자/서비스기획자/PM의 필수 상식

 

 

조직이 LLM(생성형 AI)를 활용하는 네 가지 방식

 

1.   조직 내 구성원들이 네이버, 구글 검색을 업무에 활용했던 것처럼 챗GPT 같은 잘 구축된 생성형 AI(SOTA LLM; State of the Art LLM) 서비스를 업무에 적극 활용

2.   조직 내 구성원들이 기존에 활용하던 업무툴(MS오피스, 슬랙, 노션, 팀즈, 어도비킷, 아웃룩 등. 즉, 조직 내부의 데이터가 아카이빙된 툴)에 통합된 생성형 AI 기능을 활용

3.   잘 구축되어 있는 LLM을 우리 조직의 니즈에 맞게 파인튜닝하여 활용

• 현대백화점 AI 카피라이터 <루이스> : 네이버 하이퍼클로바 기반 이에 현대백화점 과거 광고 문구를 학습시킨 서비스
• 모건스탠리 : 오픈AI와 파트너십을 맺고 회사 내 데이터로 파인튜닝 수행. 직원들의 수작업을 줄이고 복잡한 문서를 재빨리 분석해주는 챗봇 활용
• 블룸버그 : 고객사에 제공하는 솔루션에 본사가 보유한 유료 데이터를 기반으로 파인튜닝한 챗GPT(블룸버그GPT)를 갖다붙임. 고객사 직원들이 수월하게 솔루션을 사용

4.   빅테크 기업이 제공하는 SOTA LLM이 아니라 우리 조직의 비즈니스, 서비스 특성에 맞춘 고유한 LLM(Vertical LLM 혹은 Small Scale LLM)을 구축

 

 

 

방식별 고려사항

※ 내부 고객(조직원)이 아닌 외부 고객향 서비스를 위의 방식으로 구축한다고 가정할 때

	1~3번 방식 - LLM을 외주	4번 - LLM을 내재화
고민	누구나 사용할 수 있는 LLM으로 우리 기업만의 차별점을 제공할 수 있을까? 지금 우리 사업에서 LLM의 역할이 크고 계속 커지고 있는데… - LLM 사용료가 갑자기 올라가면 어떡하지? - LLM 제공업체가 제공량(Quota)을 줄이면 어떡하지? - 즉, LLM 제공업체의 협상력이 올라가고 우리 사업이 타사 정책에 종속되는 문제 - OpenAI API 모델 및 버전 마이그레이션. 지난 해의 11월 즈음, OpenAI에서 구형 API 모델에 대한… | by song for the mute | Jan, 2024 | Medium	SOTA LLM보다는 자연어 처리 성능이 떨어지는구나. - Open source LLM 중에 어떤 것을 선택해서 학습시켜야 할까? 파인튜닝(Fine-tuning)에 드는 비용 - 산업(Industry) 내 좋은 양질의 데이터 확보 - 확보한 데이터 학습(파인튜닝)을 위해 전처리 - 학습 - 평가의 루프 반복 모델 유지/보수/관리 - FMOps(Foundation model ops.) 비용 이 모든 투자에도 불구하고 모델의 성능이 만족스럽지 않을 가능성

 

 

+ 오픈AI가 사용자들의 데이터를 모두 샅샅이 확인하고 있는 것은 아니겠지만 일말의 유출 가능성이라도 있다면 반드시 재고하고 넘어가야 할 문제입니다. 그래서 기업들은 자체적으로 보안을 지킬 수 있는 맞춤형 커스텀 거대언어모델을 만들려고 하는 추세. 그것이 가능해진 이유가 메타에서 라마-2를 오픈소스로 공개했기 때문. 소스코드를 연구 목적은 물론 상업용으로도 사용 가능하도록 공개. 후발주자라는 단점을 극복하고 LLM 생태계 자체를 자사 중심으로 재편하겠다는 의도 - 업스테이지 CTO 이활석 강의 중 

 

+ 금융권은 철저한 방어모드

금융사 내부망-챗GPT 연동 안 된다 - 디지털투데이 (DigitalToday)

 

 

참고. OpenAI 파인튜닝 모델 사용료

계열	모델	설명	Input	Output	Output usage
Fine-tuning models	gpt-3.5-turbo gpt-3.5-turbo-1106 (recommended) gpt-3.5-turbo-0613	모델을 미세 조정하면 해당 모델에 대한 요청에 사용한 토큰에 대해서만 요금이 청구됩니다.	$0.0080 / 1K tokens	$0.0030 / 1K tokens	$0.0060 / 1K tokens
	davinci-002	모델을 미세 조정하면 해당 모델에 대한 요청에 사용한 토큰에 대해서만 요금이 청구됩니다. Instruction을 추종하는 데에 최적화되어 있지 않고 성능이 떨어지지만 협소한 과업에 맞게 미세 조정하면 효과적으로 사용할 수 있습니다.	$0.0060 / 1K tokens	$0.0120 / 1K tokens	$0.0120 / 1K tokens
	babbage-002		$0.0004 / 1K tokens	$0.0016 / 1K tokens	$0.0016 / 1K tokens
	gpt-4-0613 (experimental — eligible users will be presented with an option to request access in the fine-tuning UI) when creating a new fine-tuning job

 

 

참고. 세부 모델별 사용료

계열	설명	모델	Input	Output	Output usage(파인튜닝 완료 모델 해당)
GPT-4 Turbo	- 최신 모델 - 명령 수행, JSON 모드, 출력물 재현 가능, 병렬 함수 호출 등이 가능 - 최대 4,096개의 출력 토큰을 반환 - 현재는 미리보기(preview) 모델임로 프로덕션에 적용하기에는 부적합	gpt-4-1106-preview	$0.01 / 1K tokens	$0.03 / 1K tokens
	- GPT-4 Turbo의 기능 + 이미지를 이해하는 기능 추가 - 최대 4,096개의 출력 토큰을 반환 - 현재는 미리보기(preview) 모델임로 프로덕션에 적용하기에는 부적합	gpt-4-1106-vision-preview	$0.01 / 1K tokens	$0.03 / 1K tokens
GPT-4	- 대규모 멀티모달 모델(텍스트 또는 이미지 입력을 받아 텍스트로 답변 출력) - 광범위한 일반 지식과 고급 추론 기능 - gpt-3.5-turbo와 마찬가지로 GPT-4도 채팅에 최적화 - Completion API를 사용하는 기존 글 생성 작업에도 잘 작동	gpt-4	$0.03 / 1K tokens	$0.06 / 1K tokens
		gpt-4-32k	$0.06 / 1K tokens	$0.12 / 1K tokens
GPT-3.5 Turbo	- gpt-3.5 시리즈의 플래그십 모델 - 이전의 콘텍스트를 16K까지 기억(a.k.a. Context window) - 대화(Chat)에 최적화	gpt-3.5-turbo-1106	$0.0010 / 1K tokens	$0.0020 / 1K tokens
	- 인스트럭트 모델 - 이전의 콘텍스트를 4K까지 기억(a.k.a. Context window)	gpt-3.5-turbo-instruct	$0.0015 / 1K tokens	$0.0020 / 1K tokens
Assistants API	- 어시스턴트 API와 도구(검색Retrieval, 코드 인터프리터)를 사용해 자체 서비스 내에 AI 어시스턴트를 쉽게 구축 가능 - 지식 검색을 위해 전달된 파일에 따라 저장 비용이 발생 - 검색 도구는 벡터 데이터베이스에서 파일 콘텐츠를 청크하고 색인화 - 어시스턴트는 모델을 호출할 때 스레드에서 어떤 컨텍스트를 포함할지 추론해 선택   - 어시스턴트 API에 사용되는 토큰은 선택한 언어 모델의 토큰당 입력/출력 요금으로 청구	Code interpreter	$0.03 / session (free until 12/13/2023)
		Retrieval	$0.20 / GB / assistant / day (free until 01/12/2024)
Fine-tuning models	- 학습 데이터로 기본 모델을 파인튜닝하여 맞춤형 모델을 모델을 생성 가능 - 파인튜닝하면 해당 모델에 대한 요청에 사용한 토큰에 대해서만 요금 청구	gpt-3.5-turbo	$0.0080 / 1K tokens	$0.0030 / 1K tokens	$0.0060 / 1K tokens
	- 기본 모델로, Instruction 추종에 최적화되어 있지 않고 성능이 다소 떨어지지만, 협소한 특정 작업에 맞게 미세 조정하면 효과적	davinci-002	$0.0060 / 1K tokens	$0.0120 / 1K tokens	$0.0120 / 1K tokens
		babbage-002	$0.0004 / 1K tokens	$0.0016 / 1K tokens	$0.0016 / 1K tokens
Embedding models	- 텍스트 데이터를 벡터 데이터화하여 고급 검색, 클러스터링, 토픽 모델링 및 분류 기능에 활용 가능	ada v2	$0.0001 / 1K tokens
Image models	- 새로운 이미지를 생성하고 편집 - DALL-E 3는 최고급 모델 - DALL-E 2는 비용 효율적인 모델	DALL·E 3 - Standard		1024×1024 $0.040 / image
				1024×1792, 1792×1024 $0.080 / image
		DALL·E 3-HD		1024×1024 $0.080 / image
				1024×1792, 1792×1024 $0.120 / image
		DALL·E 2		1024×1024 $0.020 / image
				512×512 $0.018 / image
				256×256 $0.016 / image
Audio models	음성을 텍스트로 변환하고 다양한 언어를 영어로 번역할 수 있습니다.	Whisper	$0.006 / minute (rounded to the nearest second)
	텍스트를 음성 오디오로 변환할 수 있습니다.	TTS	$0.015 / 1K characters
		TTS HD	$0.030 / 1K characters

 

 

LLM 내재화 시

서비스 구조

서비스 맥락에 특화된 버티컬 LLM(Vertical LLM 혹은 Small scale LLM)을 마련하는 경우

 

 

 

• 오픈소스 LLM을 선택하여 맥락에 특화된 산업 데이터를 학습(파인튜닝)
• 필요하다면 대화 맥락에 맞게 다양한 도구(API 등)를 적절히 호출
• 이를 위해 필요한 하위 과업과 우선순위를 정의할 수 있는 에이전트 필요

 

참고. 오픈소스 진형의 플레이어

 

 

수반될 수 있는 과업

대화 품질 강화를 위한 기술의 방향성	기술 항목	구체적인 기술 항목
산출물의 품질 고도화(모델 강화와 운영 고도화)	LLM 기반 모델	LLM 모델 고도화
		MoE(Mixture of Expert) / LLM 콘트롤러 / 오케스트레이션
		오토GPT / 리액트 / 오토젠
	Foundation Model Ops.	프롬프트 엔지니어링 / 파인튜닝
		데이터 그라운딩
		임베딩과 벡터 데이터베이스
		세이프티(필터링, 퍼스펙티브 API)
		플러그인 / 펑션콜
사용자 인터랙션 강화(개인별 맞춤 상호작용)	UX / UI	멀티 모달
		다중 페르소나

 

 

우리 서비스에 적용

그러면 내가 IT 서비스 기획자라면, 우리 서비스의 초기 AI 프로젝트는 어느 방안을 지향해야 하나?

 

 

비즈니스 단계별 AI 프로젝트 선정 스킴

How to Choose Your First AI Project (Andrew Ng. Andrew Ng: How to Choose Your First AI Project (hbr.org))
※ Andrew Ng : Landing AI의 창립자이자 CEO이며, Baidu 전부사장이자 최고 과학자, Coursera의 공동 창립자이자 공동 의장, Google Brain의 창립 리더, Stanford University의 겸임 교수

• 빠른 성과
• 적절한 규모
• 산업 특화
• 신뢰할 수 있는 파트너 : 프로젝트를 가속화할 수 있는 신뢰할 수 있는 파트너의 존재
• 가치 창출 : 궁극적인 목표

 

AI 피보팅 : AI는 어떻게 기업을 살리는가?(김경준 - 딜로이트 컨설팅 부회장)

• 초기
  • 중요도 높음 / 시급성 낮음
  • 파급성 높음 / 난이도 낮음
• 확산
  • 중요도 높음 / 시급성 높음
  • 파급성 높음 / 난이도 낮음
• 안정
  • 중요도 높음 / 시급성 낮음
  • 파급성 낮음 / 난이도 높음

 

 

산업(Industry) 내에서 LLM은 어떤 과업(Task)을 수행하나?

산업별 생성형 AI 활용 현황

헬스케어와 생명과학

분야	설명	플레이어
단백질 및 약제 설계 Protein & drug design	제약 회사들이 분자 구조를 예측하고 약물 발견 및 설계하는 데 생성형 AI를 활용. 이를 통해 신약의 시장 출시까지 걸리는 기간을 대폭 단축(하는 것이 목표)	Biomatter Designs Cradle VARIATIONAL AI Diffuse BIO Generate:Biomedicines
생물의학 자연어 처리 Biomedical NLP	의학 문헌을 대량으로 학습하여 이를 추출, 요약, 분석해 임상과 관련된 의사결정을 지원 요구되는 과업 #Retrieval #정보 추출 #요약 #분류 #태깅 #질의응답 #텍스트 생성 #유해정보 탐지 #팩트 체크 #인과관계 분류 #데이터를 텍스트로 생성	Merck Eli Lilly Novo Nordisk Bristol-Myers Squibb (BMS) NVIDIA
환자의 디지털 쌍둥이 Patient digital twins	의료진과 연구원들이 생성형 AI를 사용해 환자의 디지털 쌍둥이를 만들어 시뮬레이션하거나 치료 계획 수립
의무 기록 자동화 EHR documentation	실시간으로 의사-환자 상호작용을 문서화하고 요약하는 데 생성형AI 활용 의료 제공자는 의료 문서 작성에 걸리는 시간을 줄이고, 환자와 더 많은 시간을 보내며, 환자 기록의 정확성과 완전성을 향상시키고, 진료에 집중 요구되는 과업 #STT #Retrieval #정보 추출 #텍스트 생성 #요약 #분류 #태깅 #인과관계 분류 #지시된 엔티티 식별 #데이터를 텍스트로 생성	Suki Speechmatics Fathom Regard Ambience Abridge DeepScribe Corti
웰니스 기술 Wellness tech	고객의 생체 데이터, 위치 데이터를 실시간으로 활용하여 사운드 스케이프(sound scape)와 몰입도 높은 VR 경험을 제공	Inflection charater.ai soul machines im Replika CHAI
환자 데이터 합성 Synthetic patient data	생성형 AI를 통해 실제 환자 데이터를 모사한 데이터셋을 생성하여 환자 개인정보를 보호하면서도 분석이나 연구 수행은 용이하게 함
영상의학 이미지 향상 Radiology image enhancement	영상 의무기록의 재구성하거나 영상물의 노이즈를 줄이기 위해 생성 AI를 활용. 이를 통해 재검사(와 이에 따른 방사능 추가 노출)를 줄임

 

 

참고. 생물의학 자연어 처리(Biomedical NLP) 분야 Big Player

기업명	사업 소개(Biomedical NLP 관련)
Merck	이 회사는 문서 리포지토리인 Documentum에 있는 안전성 평가 보고서에서 핵심 정보를 추출하는 데 NLP를 활용합니다. 이 프로세스는 신약 개발, 임상 개발, 시판 후 감시를 통해 관련 데이터에 대한 포괄적인 시각을 제공하고 현재 진행 중인 파이프라인에서 더 나은 의사결정을 내릴 수 있도록 지원합니다.
일라이 릴리	이 회사는 NLP 텍스트 마이닝을 사용하여 ClinicalTrials.gov와 같은 임상 시험 데이터베이스에서 정보를 찾아냅니다. 이 접근 방식은 다른 방법으로는 불가능한 임상시험 사이트, 선정 기준, 연구 특성 및 환자 수와 같은 관련 정보를 신속하게 식별하고 추출하는 데 도움이 됩니다. 예를 들어, 일라이 릴리는 ClinicalTrials.gov에 대한 NLP 쿼리를 통해 300개의 임상시험을 추가로 신속하게 찾을 수 있었습니다.
노보 노디스크	이 회사는 콜센터 피드 및 의료 정보 요청과 같은 다양한 소스에서 실제 데이터(RWD; Real World Data)를 분석하는 데 NLP를 사용합니다. 이 회사는 이 RWD를 변환하기 위해 NLP 워크플로우를 구축하여 전세계 인력 전체가 데이터를 실행 가능한 상태로 만드는 의료 및 환자 대시보드를 추진했습니다. 이 접근 방식은 상당한 리소스를 절약하고 인사이트에 대한 액세스를 확대했습니다.
브리스톨 마이어스 스퀴브(BMS)	BMS는 심부전 위험에 따라 환자를 계층화할 때 NLP를 사용합니다. 약 900명의 환자에 대한 전자 의무 기록과 영상 데이터를 확보하고 NLP를 사용하여 다양한 임상 변수를 추출하고 정규화했습니다. 이 과정을 통해 다양한 심부전 환자 계층을 식별하여 임상시험 설계 및 치료제 개발에 도움을 줄 수 있었습니다.
NVIDIA	바이오메디컬 및 임상 NLP를 위한 최첨단 언어 모델인 BioMegatron을 개발했습니다. 이 모델은 PubMed와 같은 대규모 말뭉치에서 학습되었으며, 명명된 개체 인식(NER), 관계 추출(RE), 질의응답(QA)과 같은 다양한 NLP 애플리케이션에 사용됩니다. 이 모델은 문서화 부담을 줄이고 임상 의사 결정을 개선하는 데 도움이 됩니다.

 

 

Big player들은 의료 서비스 공급자, 제약사 중심 - 왜 그런가?
출처 : AI at the Intersection: The a16z Investment Thesis on AI in Bio + Health | Andreessen Horowitz

 

 

LLM이 활용할 수 있는 중요하고도 복잡한 데이터들이 모두 공급자에게 있음

 

그리고 그 데이터를 기반으로 중요한 의사결정(어떤 치료방법을 사용할지, 신약을 출시할지 말지 등)을 내리는 주도권이 모두 그들에게 있기 때문

 

인력이 투입되던 기존 과업에 AI를 도입했을 때의 얻을 수 있는 가치의 증분이 더 큼 → 페이퍼 워크에 시달리는 고숙련 임상 전문가의 업무를 AI로 대체하여 임상 전문가들은 진료에만 집중

 

의료는 휴먼 에러의 비용이 큰 분야 → AI는 실수가 없음

 

 

금융과 보험

 

 

분야	설명	플레이어
대화형 금융 Conversational Finance	생성형 AI 챗봇 혹은 음성 비서가 고객의 금융 업무를 보조. 가령, 고객의 지시에 의해 계좌 잔액을 알려주고, 금융 거래 일정을 알려주고, 금융 관련 조언을 제공하는 등 요구되는 과업 #Retrieval #TTS, STT #정보 추출 #지시된 엔티티 식별 #분류 #태깅 #질의응답 #텍스트 생성 #유해정보 탐지 #데이터를 텍스트로 생성	ABN-AMRO AMERICAN EXPRESS BARCLAYS CapitalOne WELLS FARGO
금융 분석 Financial Analysis	생성형 AI 비서는 거대 언어모델을 통해 금융 데이터와 정보를 분석. 이를 통해 필요한 이에게 통찰을 제공하고 재무 전략을 제시하거나 벤치마크와 비교하는 등의 과업을 수행 요구되는 과업 #Retrieval #질의응답 #텍스트 생성 #정보 추출 #데이터를 텍스트로 생성 #분석 #요약	Citadel Deutsche Bank Morgan Stanley
합성 데이터 생성 Synthetic data generation	개인정보 이슈가 제거된 데이터를 생성함으로써 다량의 훈련 데이터를 금융모델을 고도화에 활용
보험 영업 Sales & distribution	복잡하고 비구조화된 데이터(약관 등)를 간단한 언어로 변환하여 영업사원이나 고객의 커뮤니케이션 보조 요구되는 과업 #Retrieval #요약 #텍스트 생성 #정보 추출 #스타일 변경 #텍스트 단순화	Experian Humana Morningstar
인수 Underwriting	보험금 청구를 위해 제출된 서류를 요약 및 평가하여 인수 결정을 자동화. 혹은 추가 조사가 필요한 부분을 하이라이트 하는 등 인수과정의 효율화 지원 요구되는 과업 #Retrieval #정보 추출 #유해 텍스트 탐지 #지시된 엔티티 식별 #협상 전략 탐지	Corvel Zurich
청구 Claims	비구조화된 청구 서류를 분석하여 특이 패턴을 식별. 보험사는 이 발견을 제품 전략, 인수 기준, 손실 통제 노력에 반영 요구되는 과업 위와 동일	Corvel Zurich

 

 

유통

분야	설명	플레이어
가상 사진 촬영 Virtual photoshoots	상품 사진이나 모델 착용샷을 생성형 AI로 만들어 제품 판매에 활용	DATAGRID FLEX STOCK Bigthinx LALALAND StyleScan CALA ZMO.AI NeuroPixel.AI
3D 제품 카탈로그 3D product catalogs	생성형 AI를 사용하여 텍스트나 2D 이미지를 3D 객체로 변환하고, 고객과 풍성하게 상호작용할 수 있는 3D 제품 카탈로그를 제공	Curie Alpha AR Pttrns.ai
고객 서비스 지원 Customer service support	CS부서가 고객의 문의에 더 빨리 응대하고 문제를 해결할 수 있도록 생성형 AI가 보조 요구되는 과업 #Retrieval #TTS, STT #정보 추출 #지시된 엔티티 식별 #분류 #태깅 #질의응답 #텍스트 생성 #유해정보 탐지 #데이터를 텍스트로 생성 #감성 분석 #함의 파악	Verneek HIVE Forethought
이커머스 제품 설명 E-commerce product descriptions	제품이나 상품에 대한 매력적인 설명문을 생성형 AI가 작성 요구되는 과업 #Retrieval #정보 추출 #데이터를 텍스트로 생성 #지시된 엔티티 식별 #분류 #태깅 #텍스트 생성 #제목 생성 #문법 오류 탐지	AX SEMANTICS anyword phrasee Instoried WRITER Jasper peppercontent contents.com Linguix Hypotenuse AI copy.ai Draft copysmith Shopify Amazon Ax Semantics
개인화된 마케팅 콘텐츠 Personalized marketing content	다양한 타겟 오디언스나 채널향으로 시각 콘텐츠를 확장할 때, 생성형 AI가 제작 보조	WRITER copy.ai Bluecore Writesonic text.cortex neuroflash
가상 패션 디자인 Virtual fashion design	2D 스케치를 디지털 렌더링으로 변환하는 생성형AI 도구를 사용하여 디자인 작업을 전개	DATAGRID FLEX STOCK Bigthinx LALALAND StyleScan CALA ZMO.AI NeuroPixel.AI

 

 

어떤 맥락(Job)에서 LLM을 사용할까?

출처 : Commercializing AI in Healthcare: The Jobs to be Done | Andreessen Horowitz (a16z.com)

 

	고객향	전문가향
임상(Clinical)	Talk Therapy - AI는 치료사와 내담자 사이에 오간 대화를 분석하여 어떤 지점을 공략해야 문제 해결을 효과적으로 할 수 있을지 식별 - 내담자가 편하게 속내를 끄집어낼 수 있게 유도 - AI를 활용한 talk therapy 사례: https://www.technologyreview.com/2021/12/06/1041345/ai-nlp-mental-health-better-therapists-psychology-cbt/ Care Management Patient Intake	Chapter 2.에서 나열된 Job들 Patient Triage(환자 분류) / Care Coordination
비임상(Non-clinical)	Benefits Navigation / Enrollment Patient Financial Assistance Scheduling

 

 

AI를 적용하기 좋은 Job을 결정할 때 삼을 수 있는 기준들

1.   고숙련 노동력이 많이 투여되어야 하는 영역

2.   AI를 통해 성과가 10배는 향상될 수 있는 영역

• 이 시간을 금액을 환산하면 얼마인가?

3.   소프트웨어의 도입이 더딘 영역

• 과업의 대부분을 인간이 수행하고 있는 부분

4.   법적 규제를 잘 이해하고 사용할 수 있는 영역

• 완전히 시스템으로 움직이는 시스템 vs. 사람이 개입하는 시스템
• (규제와 모니터링이 빡빡한) 임상 용도보다는 비임상 용도가 더 안전할 수 있음(우리 서비에게도, 고객에게도)

5.   수익과 재무적인 측면에서 이로울 것이 확실한 영역

• 수익화 방안. 즉, GTM을 고려