AI 기술이 발전하면서 생성형 AI와 자동화 도구가 우리의 삶과 업무에 점점더 활용되고 있다. 이제 AI는 단순한 클라우드 서비스가 아닌, PC와 스마트 기기에서 실시간으로 동작하는 방향으로 진화하고 있다.
사용용도 및 언어모델 유형에 따라 AI 연산방식이 클라우드 환경뿐 아니라 PC와 스마트 기기와 같은 로컬 환경에서도 가능해지면서 지연 시간, 보안 강화, 네트워크 의존성, 에너지 효율성 등이 중요해지고 있다. 최근에는 로컬환경에서 CPU, GPU, NPU, DSP 프로세서를 결합하여 고성능 AI 기능과 자동화 작업을 수행하는 AI PC가 점차 주목받고 있다.
AI 기술발전과 클라우드 환경의 문제점
AI는 초기에 대규모 데이터와 연산이 가능한 클라우드 서버 기반에서 주로 운영되었다. 구글의 Cloud AI, 아마존의 AWS AI 등은 기업과 소비자가 클라우드 인프라를 통해 AI 서비스를 활용할 수 있는 환경을 제공하였다. 그러나 이 방식은 네트워크 의존성, 지연 시간, 데이터 보안 이슈, 그리고 서비스 운영 비용의 부담이 클라우드 의존에 따른 한계로 부각되었다.
엣지 컴퓨팅과 로컬 AI로의 전환
AI 기술이 발전하면서, 최근에는 클라우드 대신 데이터가 생성되는 엣지 기기에서 실시간으로 AI 연산을 수행하는 방식이 주목받기 시작했다. 스마트폰, PC와 노트북 등 엣지 디바이스에서의 연산 성능이 향상되면서 로컬 AI의 가능성이 열린 것이다. 이에 따라 실시간 데이터 처리와 지연 시간 감소, 보안 강화를 요구하는 시장이 등장하게 되었다. 애플의 Siri, 삼성의 Bixby 같은 음성 비서는 로컬 AI를 활용한 대표적인 사례이다.
서버 기반 AI와 로컬 AI(온디바이스 AI)
서버 기반 AI와 로컬 AI는 데이터 처리 위치, 지연 시간, 보안성, 운영 비용 등 여러 측면에서 차이를 보인다.
서버 기반 AI는 클라우드 서버와 데이터센터에서 대규모 연산을 처리한다. OpenAI의 ChatGPT, 마이크로소프트의 Azure AI나 아마존의 AWS AI는 강력한 AI 모델을 클라우드에서 실행하며, 음성 인식, 문서 분석, 번역 등의 기능을 제공한다. 그러나 네트워크 장애가 발생하면 성능에 문제가 생기며, 보안상 데이터 유출 위험도 존재한다.
로컬 AI는 PC나 스마트폰 등 엣지 기기에서 실시간으로 데이터를 처리한다. 애플의 Siri와 삼성의 Bixby는 네트워크 연결 없이도 명령 수행이 가능하며, 데이터를 로컬에서 처리하므로 보안성을 높인다. 로컬환경 AI는 인터넷 없이도 안정적으로 AI 기능을 활용할 수 있어, 실시간 반응이 중요한 애플리케이션에 적합하다.
AI PC의 주요 하드웨어 구성과 프로세서 발전 흐름
AI PC는 내장 프로세서로 인공지능 기능을 수행할 수 있는 컴퓨터를 의미하며, 정확하게는 AI 기능에 최적화된 성능으로 설계된 프로세서를 탑재한 PC, 노트북 등을 의미한다.
일반적으로 컴퓨터의 기본 처리 장치는 CPU, GPU로 구성되는데, 여기에 인공지능 연산을 위한 전용 장치인 NPU, 음성이나 이미지 데이터를 빠르게 처리하는 DSP를 추가한 것이 AI PC의 특징이다.
NPU(Neural Processing Unit)는 AI와 딥러닝 연산을 가속화하는 데 최적화된 특수 프로세서이며, 기존의 CPU와 GPU와 차별화된 점은 신경망 처리와 같은 AI 연산을 저전력으로 실시간 데이터 처리하며 스마트폰, 태블릿, 노트북 등 다양한 기기에 탑재되어 음성 인식, 이미지 처리와 같은 AI 기능을 지원한다.
AI PC는 CPU, GPU, NPU, DSP의 조합을 통해 AI 연산을 최적화하며, 클라우드 없이도 복잡한 AI 작업을 수행할 수 있게 한다. 각 제조사들이 AI PC를 출시한 이후 AI 기능을 수행하기 어려운 프로세서의 비중은 점차 낮아질 전망이다.
CPU (Central Processing Unit)
- 범용 연산과 운영체제 관리를 담당
- 최근에는 하이브리드 아키텍처를 도입해 고성능과 저전력을 동시에 제공
GPU (Graphics Processing Unit)
- 병렬 연산과 딥러닝 훈련에 강점을 가지며, 엔비디아와 AMD가 주요 제조사
- AI PC에서는 이미지 처리와 영상 분석을 가속화하는 데 사용
NPU (Neural Processing Unit)
- AI 연산에 최적화된 프로세서로, 저전력으로 실시간 예측과 인식 작업을 수행
- 스마트폰과 PC에 탑재되어 음성 인식, 사진 보정과 같은 AI 기능을 지원
DSP (Digital Signal Processor)
- 신호 처리에 특화된 칩으로, 음성이나 이미지 데이터를 빠르게 처리
- AI PC에서는 음성 명령과 오디오 최적화 작업에 주로 활용
CPU도 꾸준히 발전하며 AI 기능을 지원하는 하이브리드 아키텍처로 진화하고 있으며, 인텔과 퀄컴은 NPU를 통합한 SoC를 개발해 엣지 환경에서의 AI 성능을 극대화하고 있다.
CPU 발전 방향성
- 하이브리드 아키텍처 도입: 고성능 코어와 저전력 코어를 결합해 다양한 작업 부하를 효율적으로 처리
- NPU 통합 SoC: 퀄컴과 인텔은 CPU에 NPU를 통합, 엣지컴퓨팅 환경에서 성능을 극대화
- AI 최적화 명령어 세트: CPU는 AI 연산 전용 명령어를 추가하여 연산 성능을 높이고, 전력 소비를 줄임
*NPU가 포함된 스마트폰, 태블릿, PC에서 제공되는 AI 특징 예시
앞서 이야기 한 바와 같이 CPU와 NPU는 성능과 전력 효율성을 동시에 개선하며 발전해왔으며, 특히 퀄컴은 SoC(System on Chip)에 NPU를 통합해, 엣지 AI 성능을 높이는 데 주력하고 있다.
최근 기사를 살펴보면 대부분의 안드로이드 디바이스에 프로세서를 제공하고 있는 퀄컴과 영국의 반도체 설계회사인 ARM의 법정 분쟁이 이슈로 떠오르고 있다. ARM은 퀄컴의 라이선스 계약 60일 뒤 취소라는 통지 발송을 통해 라이선스 정책을 재조정하여 칩 설계에 대한 통제력을 강화하려 하고 있으며, 이에 퀄컴은 RISC-V 아키텍처로 전환을 모색하며 대응하고 있다. 퀄컴의 신형 프로세스 탑재를 통해 신규 모델 출시를 앞두고 있는 삼성이나 주요 안드로이드 디바이스 제조사도 양사의 분쟁 결과에 큰 관심을 가지고 있는 상황이다.
위의 결과로 인해 호환성 문제와 소프트웨어 개발 비용 증가 등 CPU 생태계에 변화를 초래할 가능성이 크며, 기업들은 호환성과 소프트웨어 최적화에 대비해야 하며, 퀄컴이 추진중인 RISC-V가 확산되면 AI PC 생태계에도 새로운 기회와 도전이 생길 것으로 보인다.
AI PC 등 로컬AI 주요 활용 방안
2025년 윈도우 10의 지원 종료는 AI PC의 도입 가속화를 촉진할 것으로 예상된다. 많은 사용자가 윈도우 11로 전환하면서 자연스럽게 생성형 AI 기능을 활용하게 되며 윈도우 11은 로컬에서 AI 작업을 수행해 응답 속도를 높이고 보안을 강화하게 될 것으로 보인다.
가트너는 올해 전 세계 AI 반도체 시장 매출이 710억 달러(약 98조 원대)에 달할 것으로 예측했고, 2025년까지 데스크톱과 노트북을 포함한 AI PC가 전체 PC 출하량의 43%를 차지할 것이라고 예상했다. 그리고 오는 2026년이면 대기업들이 사용할 수 있는 노트북의 유일한 선택지가 AI 노트북이 될 것이라고 예측했다.
IDC 역시 2024년에 AI PC가 5,700만 대가 출하될 것으로 전망하며, 2028년에는 전 세계 PC 출하량의 92%가 AI PC가 될 것이라고 예측했다.
이 이야기는 사용자의 의사와는 큰 관계없이 앞으로의 신제품 PC는 거의 대부분 AI PC가 된다는 이야기이기도 하다.
그리고 우리는 AI PC 사용 이전이라도 신형 스마트폰, 태블릿 같은 최신 디바이스를 통해 로컬 AI 환경을 이미 경험하고 있다. 우리는 AI PC를 포함한 다양한 디바이스의 로컬 AI 로 지금과는 다른 어떤 활용을 할 수 있을지 고민해보게 된다.
[로컬 AI 디바이스별 주요 활용 예시]
디바이스의 특징에 따라 동일한 기능을 모든 디바이스에서 활용할 수 도 있고, 디바이스의 특징에 따라 특화된 기능을 활용할 수도 있다.
기업은 고객 응대 자동화, 문서 관리 시스템 강화에도 로컬AI를 활용할 수도 있을 것이다.
다만 고려할 사항으로는 보안 및 데이터 프라이버시를 신중히 검토해야 하며, AI 작업에 따른 에너지 소비와 운영 비용을 효율적으로 관리할 필요가 있다.”
검토 및 고려사항
AI PC는 CPU, GPU, NPU, DSP를 통합해 고성능 AI 연산을 지원하며, 클라우드와 로컬 간의 균형을 유지하면서 지연 시간과 보안을 개선한다. 윈도우 10 종료는 AI PC 도입을 가속화하며, 향후 NPU 표준화와 로컬 AI 기능 강화를 예상하게 한다. 기업과 개인 사용자는 AI PC를 통해 더 높은 생산성과 효율성을 경험할 수 있을 것이다.
AI 의 향후 발전 방향 및 고려사항
AI는 우리의 업무와 일상을 더욱 효율적이고 직관적인 방식으로 변화시키고 있으며, 서버 기반 AI와 로컬 AI의 균형이 중요해지면서, NPU와 CPU 발전이 그 역할을 강화할 것으로 보인다.
향후 AI의 발전에 따라 용도에 따른 서버 기반 AI와 로컬 AI의 적절한 균형을 찾는 것이 중요하다. 예를 들어, 애플 인텔리전스와 같이 핵심 데이터는 로컬에서 처리하고, 고도화된 분석과 모델 훈련은 클라우드에서 수행하는 하이브리드 AI 전략이 필요할 것으로 보인다.
기업과 개인은 이러한 변화의 흐름을 주도하며 새로운 기회를 창출할 수 있으며, 앞으로 AI PC를 포함한 로컬 AI는 우리의 삶에서 많은 부분을 변화시킬 것으로 보인다.
¢ 참고자료
- IT World : https://www.itworld.co.kr/news/352916,
https://www.itworld.co.kr/news/351425 - AI 타임즈 : https://www.aitimes.com/news/articleView.html?idxno=161408
- OpenAI ChatGPT 4o