2022년 11월 챗GPT의 등장과 동시에 초거대 AI는 전 세계에서 많은 관심을 받고 있는데요. 글로벌 빅테크 기업들을 선두로 국내외 IT 기업들은 초거대 AI 모델과 이를 기반으로 한 다양한 생성형 AI 서비스를 지속적으로 출시하고 있습니다. 그렇다면 초거대 AI와 생성형 AI는 무엇이고, 공공부문은 어떤 초거대 AI 모델을 확보할 지에 대해 살펴보려고 합니다.
초거대 AI 시대의 도래
‘초거대 AI’는 인간 수준의 복잡한 작업을 수행하기 위하여 방대한 양의 파라미터와 데이터로 학습한 대규모 AI 시스템 또는 서비스를 의미하며, 일반적으로 대규모 언어 모델과 초거대 AI 모델 등으로 혼용되어 사용되고 있습니다. 이는 대량의 파라미터를 탑재하여 실제 인간과 유사한 문장을 생성하는 대규모 언어 모델(LLM)의 규모가 점차 커지면서 초거대 AI로 진화하고 있기 때문입니다.
초거대 AI라는 용어는 오픈 AI의 GPT-3 등장을 계기로 본격적으로 사용되기 시작했습니다. GPT-3모델은 이전 AI 모델 대비 크기가 100배 이상 큰 1,750억 개의 파라미터를 탑재했으며, 파라미터의 거대화를 통해 더 많은 데이터를 저장하고 처리할 수 있어 성능이 향상되었습니다. 2022년 말에 등장한 챗GPT는 GPT-3.5모델에 기반한 챗봇 서비스로, 방대한 데이터 처리 능력을 바탕으로 기존 AI 챗봇과 달리 훨씬 자연스러운 대화가 가능해졌고. 이처럼 초거대 AI 모델의 방대한 데이터 학습량과 매개변수 거대화를 통해 기존 AI 보다 학습 및 판단 능력이 향상되는 것이 증명되자, 국내외 IT 기업들은 자체 초거대 AI 모델을 구축하고, 초거대 AI 모델 기반 생성형 AI 서비스를 공개하고 있습니다.
생성형 AI 서비스 구현 위한 초거대 AI 모델 유형
‘생성형 AI’는 텍스트, 이미지, 음성, 동영상 등 기존 콘텐츠를 활용한 학습데이터를 기반으로 이용자의 특정 요구에 따라 새로운 콘텐츠를 생성해내는 인공지능입니다. 특히 다양한 데이터 모달리티를 동시에 처리하며 커뮤니케이션 능력이 강화된 멀티모달 AI를 기반으로 활용 가치가 다양해지면서 생성형 AI는 지속적으로 높은 관심을 받고 있습니다.
이러한 생성형 AI 서비스의 기능이 다양화되고 효용 가치가 높아지기 위해선 초거대 AI 모델 (파운데이션 모델)이 필수적으로 구축되어야 합니다. 이는 초거대 AI 모델이 자연어 처리(NLP) 기반의 딥러닝 기술을 이용하여 대량의 데이터를 학습하고, 다량의 파라미터로 연산 능력이 강화되어 복잡한 AI 서비스를 운영할 수 있기 때문입니다. 이처럼 생성형 AI 핵심에는 파운데이션 모델이 있어야 한다는 근거를 바탕으로 생성형 AI 서비스를 구현하기 위한 초거대 AI 모델(파운데이션) 유형을 총 3가지로 분류하였습니다.
- 사전학습된 파운데이션 모델을 그대로 이용하여 서비스 구현
- 파운데이션 모델을 파인튜닝하여 서비스 구현
- RAG 기술 적용하여 서비스 구현
1) 사전학습된 파운데이션 모델을 그대로 이용하여 서비스 구현
사전학습이란 방대한 양의 원시 데이터를 학습하여 훈련된 파운데이션 모델을 만드는 작업입니다. 우선 사진, 문서, 음성, 동영상 등 원시데이터를 AI가 인식할 수 있는 학습용 데이터로 만들기 위해선 데이터를 가공·변환하는 작업이 필요합니다. 대표적으로 음성을 문자로 변환하는 STT(Speech to Text), 문자를 자연어 음파로 변환하는 TTS(Text to Speech)가 데이터 변환 기술에 해당되는데요. 이후 비지도학습, 지도학습, 강화학습 등의 딥러닝 기술을 통해 방대한 양의 파라미터와 데이터를 학습하여 파운데이션 모델을 구축합니다.
오픈 AI를 비롯하여 생성형 AI를 서비스로서 제공하는 기업들은 대개 자사의 파운데이션 모델을 직접 공개하기보다는 해당 모델에 대한 웹API만을 공개하고 있습니다. 파운데이션 모델 API를 연결하면 질의응답, 번역, 요약 등 일반적인 생성형 AI 서비스를 바로 구현할 수 있으며, 추가학습 없이 새로운 AI 응용 서비스 또한 개발할 수 있습니다. 예를 들어 AI 콘텐츠 제작 플랫폼 재스퍼(Jasper)는 GPT-3 API를 이용하여 광고 카피나 블로그 기사, SNS 게시물 등 50여 가지 스타일의 문구 작성을 지원하는 생성형 AI 서비스 출시로 큰 인기를 얻어 유니콘 반열에 오르게 되었고. 이처럼 대규모 말뭉치로 사전학습된 파운데이션 모델을 이용하면 추가적인 데이터 수집과 학습과정이 없어 빠르게 서비스를 구현할 수 있습니다.
2) 파운데이션 모델을 파인튜닝하여 서비스 구현
파인튜닝은 이미 훈련된 파운데이션 모델을 사용하고자 하는 목적에 맞게 모델의 매개변수를 조정하는 것으로, 모델 성능을 향상시키는 기법입니다. 즉 특정 작업이나 도메인에 최적화하기 위해 도메인 데이터로 모델의 가중치를 미세조정하여 추가로 학습시키는 것입니다. 일반적으로 파인튜닝하는 기법으로는 인간피드백 강화학습(Reinforced Learning by Human Feedback; RLHF)이 사용됩니다. RLHF는 AI 모델이 제공한 결과에 대해 인간이 피드백을 제공하여 모델을 지도하는 방법으로, 모델의 일부 파라미터만 조정하여 피드백을 반영하고 성능을 업그레이드 시킬 수 있습니다.
파인튜닝된 파운데이션 모델을 활용한 사례로는 SK텔레콤이 있다. 올해 4월 오픈 AI는 SK텔레콤과 협력하여 GPT-4를 파인튜닝한 결과 통신 관련 대화의 한국어 성능을 향상시켰다고 밝혔는데요. 기존 GPT-4와 비교해 파인튜닝된 모델의 대화 요약 품질은 35% 향상되었고, 의도를 인식하는 정확성은 33% 올라갔다고 설명했습니다. 이처럼 특정 도메인 데이터로 파인튜닝한 파운데이션 모델을 기반으로 의미있는 AI 서비스를 개발하고 서비스 품질을 개선시킬 수 있습니다.
3) RAG 기술 적용하여 서비스 구현
검색증강생성(Retrieval Augmented Generation; RAG)는 기존의 데이터베이스 뿐만 아니라 외부 데이터베이스에서 관련 정보를 검색하고, 이를 바탕으로 답변을 생성하는 기술로, 파운데이션 모델의 정확성과 신뢰성을 향상시켜주는 기술입니다. RAG는 실시간 관련 정보 제공으로 AI 모델의 최신성· 정확성을 높여줄 뿐만 아니라 추가 데이터셋으로 모델을 재훈련하는 것보다 빠르고 저렴하게 새로운 데이터를 즉시 모델에 반영할 수 있다는 점에서 구현 용이성이 높습니다. 또한 RAG는 데이터가 인용된 리소스 제공으로 사용자가 출처를 확인할 수 있음에 따라 할루시네이션(환각) 문제를 감소시켜 AI 모델의 신뢰성을 높입니다.
RAG가 적용된 파운데이션 모델을 기반으로 생성형 AI 챗봇 서비스가 가장 많이 구현되고 있으며, 최근에는 기업 고유의 데이터 검색까지 가능하게 함으로써 디지털 워크플레이스 업무환경을 조성하고 있다. 올해 5월 삼성은 Samsung Gaus Language 모델을 기반으로 한 생성형 AI 서비스 플랫폼 ‘패브릭스(FabriX)’를 출시했습니다. 패브릭스는 사내 업무시스템 데이터와 연계할 수 있는 RAG 기능을 포함함으로써 사내 지식 정보에 최적화된 지식 기반 대화 서비스를 제공하여 임직원의 업무 생산성을 향상시키고 있습니다.
공공부문에서 도입할 초거대 AI 모델
공공부문에서 생성형 AI 서비스를 구현하기 위한 초거대 AI 모델 유형을 결정하기 위해선 우선 제공하고자 하는 AI 서비스를 명확히 하는 과정이 필요합니다. 사전학습된 파운데이션 모델 기반의 AI 서비스는 추가학습없이 빠르게 이용할 수 있다는 장점은 있지만, 도메인 데이터가 학습되어 있지 않아 정부부처와 공공기관에 특화된 서비스를 제공하고자 할 때 성능적 한계가 존재합니다. 물론 현재 AI 허브, 공공데이터 포털에 공개된 공공데이터로 사전학습된 파운데이션 모델도 있지만, 보다 공공 도메인에 정교한 파운데이션 모델을 구축하기 위해선 공공기관이 보유한 내부 데이터를 학습하는 파인튜닝 과정이 필요합니다.
공공 도메인에 맞게 파인튜닝된 파운데이션 모델을 도입할 경우 공공분야의 디지털 전환과 더불어 공무원의 행정업무 혁신을 이끄는 생성형 AI 서비스 구현이 가능해질 것으로 기대됩니다. 기밀, 개인정보 등 공공 데이터의 특수성을 고려한 보안체계와 AI 서비스 개발 및 운영 편이성을 고려한 활용체계가 마련되면, RAG가 적용된 파운데이션 모델 도입 또한 고려할 수 있습니다. RAG 적용된 파운데이션 모델은 개정 법률 등과 같이 기존 학습데이터와 모순되는 새로운 데이터를 반영하고, 서비스의 다양성과 기술 변화에 대한 신속한 대응이 가능하여 파인튜닝된 파운데이션 모델보다 전문성 있는 성능을 기대할 수 있습니다.
공공기관은 직접 파운데이션 모델을 구축하기에는 대규모 전문 인력과 상당한 시간∙비용을 필요로 하므로 민간의 초거대 AI 모델을 도입하는 것이 더 적합합니다. 공공기관별 내부 데이터로 파인튜닝한 파운데이션 모델과 외부 리소스 추가가 가능한 RAG적용된 파운데이션 모델을 활용하여 출시될 공공부문의 다양한 생성형 AI 서비스들이 기대됩니다.
<참고자료>
[1] 한국지능정보사회진흥원, 공공부문 초거대 AI 도입∙활용 가이드라인 (2024.04)
[2] 한국지능정보사회진흥원, 공공부문 거대언어모델(LLM) 오픈소스 활용방안 (2024.01)
[3] 국회도서관, 초거대 AI 한눈에 보기 (2023.11)
[4] TTA 저널, 초거대∙생성 AI의 국내외 현황과 이슈 (2023.06)
[5] 소프트웨어정책연구소, 초거대언어모델의 부상과 주요이슈: ChatGPT의 기술적 특징과 사회적· 산업적 시사점 (2023.02)
