Skip to main content

인트로

안녕하세요, 한국과학기술연구원의 김재욱입니다. 저는 오늘 차세대 인공지능 반도체로 불리우는 뉴로모픽 칩에 대해서 한번 이야기해 보고자 이 자리에 나왔습니다. 뉴로모픽의 뉴로는 신경 또는 우리 두뇌와 같은 신경망을 의미하고 모픽은 어떤 형태를 모방한다는 뜻으로 뉴로모픽 칩은 두뇌 신경망의 형태를 하드웨어 차원에서 모방한 반도체 칩이라고 볼 수가 있습니다.

 

  1. 뉴로모픽 칩의 기원

그런데 이 뉴로모픽이라는 개념을 창시한 사람은 무어의 법칙을 명명할 정도로 반도체의 미래를 예측하는데 일가견이 있던 미국 캘리포니아 공대의 세계적인 석학 카버 미드 교수입니다. 이 뉴로모픽 개념에 있어 카버 미드 교수님은 어찌 보면 무어의 법칙 이후의 더 먼 미래를 내다본 셈인데요. 무어의 법칙은 반도체가 소형화되면서 CPU의 속도라든지 메모리의 용량이 거의 2년마다 2배씩 향상된다는 이야기입니다. 이러한 트렌드가 지속되다 보면 컴퓨팅 시스템 산업은 CPU 메모리와 같은 부품 차원에서의 성능 향상에만 너무 의존하게 될 것이라고 본 거죠. 그런데 이 트렌드가 영원할 수는 없을 것이고. 어느 시점에 가서는 기존 폰노이만 구조를 탈피하는 하드웨어 구조 차원에서의 혁신이 필요하게 될 텐데. ‘우리는 도대체 어디서 영감을 얻어야 할 것인가?’에 대해서 카버 미드 교수님은 고민한 것이고. 결국 우리의 두뇌 신경망 구조에서 그 답을 찾을 수 있을 것이라 생각 한 것이죠.

 

  1. 폰노이만 구조 vs 두뇌 신경망

그럼 기존 컴퓨팅 시스템의 근간이라고 할 수 있는 폰노이만 구조와 우리의 두뇌 신경망의 구조는 어떻게 다른 걸까요? 한번 생각해보면, 폰노이만 구조는 processing unit에 해당하는 CPU 한 개가 존재하는 거고. 두뇌는 processing unit에 해당하는 뉴런이 다수, 인간의 뇌에는 1000억개의 뉴런이 있다고 하죠. 이렇게 다수로 존재하고 서로 연결되어 네트워크를 이루고 있습니다. 폰노이만 구조는 processing unit이 하나밖에 없어서 CPU가 한 번에 하나씩 순차 처리를 할 수밖에 없고, 컴퓨터의 애플리케이션, 즉 기능들은 이 processing unit의 처리 방식에 맞춰서 한 줄씩, 한 줄씩 코딩하는 식의 ‘소프트웨어 형태’로 구현을 하게 되죠. 반면에 우리 두뇌는 processing unit이 굉장히 많이 있죠. 그러면 이 processing unit들이 물리적 네트워크 구조를 통해서 기능, 그러니까 애플리케이션을 하드웨어적으로 구현할 수 있을 것이고. 이 processing unit이 엄청나게 많은 만큼, 다양한 기능들을 지닌 여러 네트워크를 공간상에 배치하는 형태로 하드웨어적으로 구현을 할 수가 있을 것입니다. 그래서 기능을 하드웨어적으로 구현하면 좋은 점은, 개개의 processing unit 또는 이들로 이루어진 특정 네트워크들을 얼마든지 병렬 형태로 연결을 할 수가 있다는 것이죠. 다시 말해 대량의 동시 처리, massively parallel processing이 가능해진다는 거예요.

 

  1. 차세대 인공지능 반도체, 뉴로모픽 칩

이러한 이유로 머신 러닝 분야에서 인공지능을 구현할 때 바로 우리 두뇌 신경망을 모티브로 한 인공신경망이 현재 핵심적으로 사용되고 있죠. 어찌 보면 머신 러닝 분야에 여러 알고리즘 중에서 이 신경망 방식이 살아남은 것이라 해석할 수 있습니다. 결국 지능이라는 것이 구현되기 위해서는 동시에 여러 속성의 데이터가 들어올 때 이것으로부터 상황을 입체적으로 인지 해야 하고. 빠른 시간 안에 최적의 대응을 할 수 있어야 하는데. 두뇌 신경망이 이런 면에서 매우 효율적이라는 것이죠. 그런데 지금의 인공지능 기술에 사용되는 인공신경망은 대부분 폰노이만 구조의 컴퓨팅 시스템에서 소프트웨어 형태로 구현이 되고 있습니다. 문제는 순차 처리를 하는 폰노이만 구조에서 인공신경망의 대규모 병렬 연산이 매우 비효율적이라는 것이고, 병렬 연산이 가능한 GPU 덕분에 인공지능 시대가 열리기는 했지만, 전력 효율 측면에서 개선이 시급하다고 여겨지는 상황이죠. 구글 딥 마인드의 알파고가 이세돌 9단과 바둑 한판 두는데 쓴 전기료가 약 7000만원 정도였다 하고, 화제가 되는 오픈 AI가 챗 GPT를 운영하는데 쓰는 전기료만 한 해 6000억원이라고 합니다. 물론 GPU보다 인공신경망 연산에 특화된 NPU를 개발해서 전력 효율을 개선할 수 있겠지만. 여전히 폰노이만 구조를 어느 정도 기반으로 해서 가속하는 형태이기 때문에, 아예 하드웨어적으로 두뇌 신경망을 모방하는 뉴로모픽 칩을 보다 근원적인 해결책으로 생각해볼 수가 있는 것입니다. 아직은 이 뉴로모픽 시장이 제대로 열리지는 않았지만 이러한 기대감으로 인해서 뉴로모픽 칩을 차세대 인공지능 반도체로 분류하고 있다고 볼 수 있습니다.

 

  1. 인텔의 뉴로모픽 칩 개발현황

그럼 우리의 컴퓨팅 시스템의 아키텍처가 인공지능 시대로 접어들면서 폰노이만 구조에서 두뇌 신경망 구조, 즉 뉴로모픽으로의 패러다임 전환이 일어날 수 있다는 이야기인데. 이것에 가장 민감하게 반응할 기업은 과연 어디일까요? 폰노이만 구조의 핵심은 CPU고. 뉴로모픽으로의 전환에 가장 위기감을 느낄 기업은 CPU 제조사일 가능성이 높겠죠. 그런 이유 때문인지는 모르겠지만, 공교롭게도 아직 시장이 열리지조차 않은 이 뉴로모픽 칩 분야를 선도하고 있는 곳은 바로 CPU의 강자 인텔이에요. 인텔이 뉴로모픽 칩 개발을 처음 발표한 시점은 2017년인데, 그 이전인 2000년대 중반부터 미국, 유럽을 중심으로 국가 R&D 프로젝트를 통해 뉴로모픽 칩 개발이 본격적으로 이루어졌었습니다. 그 대표적인 사례가 바로 IBM의 TrueNorth인데 2008년에 미국 DARPA(방위고등연구계획국)로부터 지원을 받아 2014년에 발표했죠. 굉장히 잘 만든 칩이긴 하지만 칩 자체적으로 학습은 안 되는, 추론(inference) 전용의 칩이었습니다. 그로부터 3년 후인 2017년에 인텔이 칩 자체적으로 학습이 가능한 뉴로모픽 칩 로이히를 발표했죠. 이 로이히 칩 안에는 13만개의 뉴런과 1억 3000만개의 시냅스가 집적되어 있고 칩 결합을 통해 신경망 규모의 확장이 가능한데. 최근에 발표된 바에 의하면 최대 768개의 칩을 결합하여 약 1억개 뉴런, 1000억개 시냅스 규모까지 확장이 가능하다고 합니다. 인텔은 이 로이히 뉴로모픽 칩을 상용화 목적이 아닌 ‘뉴로모픽 연구용 칩’이라고 명시하고 있는데요. 2018년부터 인텔 뉴로모픽 리서치 커뮤니티, INRC를 결성하여 로이히 칩을 사용해 다양한 응용 애플리케이션을 개발할 수 있는 150개 이상의 리서치 그룹을 선정하여 뉴로모픽의 상용화를 앞당기고 또 뉴로모픽 분야의 연구 생태계를 조성하는 매우 선도적인 행보를 이어가고 있습니다. 그런데 앞서 말씀드린 인공지능 시대에 있어 폰노이만 구조에서 뉴로모픽으로의 패러다임 전환은 하나의 범용 하드웨어, CPU에 맞는 다수의 애플리케이션 소프트웨어를 개발하던 방식에서, 애플리케이션 별로 특화된 다수의 하드웨어를 개발하는 방식으로의 전환을 의미합니다. 최근 들어 애플·아마존·테슬라 이런 빅테크 글로벌 IT 기업들이 소프트웨어 개발을 넘어 독자적인 반도체 개발에 나선 것도 어쩌면 하나의 범용 하드웨어에서 특화된 다수의 하드웨어로 전환 트렌드가 반영된 것으로 해석할 수 있습니다. 그런데 인텔의 로이히는 이러한 범용에서 특화로의 전환 측면에서 볼 때 ‘신경망의 구조’에 있어서 programmability 즉 범용성을 여전히 추구하고 있습니다. 물론 연구용 칩이라서 응용 애플리케이션 개발자들이 신경망 구조를 프로그램할 수 있어야 하기 때문으로 생각할 수도 있지만, 어찌 보면 범용 CPU 하나로 모든 응용 애플리케이션을 다 실행시키던 폰노이만 구조와 같은 접근법을 뉴로모픽에서도 시도하고 있는 것일지 모릅니다. 즉 로이히라는 범용 하드웨어 하나로 모든 뉴로모픽 애플리케이션을 구현하려는 전략으로 해석될 수 있는 것이지요. 이유야 어떻든 로이히가 추구한 신경망 구조에서의 programmability, 범용성으로 인해, 보다 효율이 높을 수 있는 응용 애플리케이션에 따라 신경망 구조마저 특화된 뉴로모픽 칩 개발을 생각해 볼 수 있습니다. 지금의 GPU가 인공신경망 연산에 있어 범용 하드웨어로 여겨지고 있고, 전력 효율을 올리기 위해 특정 인공신경망 연산마다 특화된 NPU를 개발하려는 것과 같은 맥락인 것이죠. 챗 GPT용 NPU와 자율주행용 NPU를 따로 개발하는 것처럼, 신경망 구조가 특화된 뉴로모픽 칩도 인공지능 애플리케이션의 종류만큼 다양한 형태로 특화된 뉴로모픽 칩이 개발될 수 있을 것입니다.

  1. () 폰노이만 구조뉴로모픽 칩 개발전략

그럼 지금부터는 제 이야기를 한 번 해보도록 하겠습니다. 저는 현재 한국과학기술연구원 KIST에서 특화된 신경망 구조를 지닌 뉴로모픽 칩을 연구하고 있는데요. 제가 어떤 연구를 하고 있는지 간략하게 소개해 드리도록 하겠습니다. 인텔 로이히 이야기를 다시 해야 하는데 로이히를 보면 한 칩에 128개의 코어가 있고, 한 개의 코어에는 1024개의 뉴런이 있어요. 그런데 1024개의 뉴런들이 물리적인 개별 블록으로 존재해서, 배선(hard-wiring)으로 연결되어있는 것이 아니라. 구조를 프로그램하기 위해 메모리 안에 가상(virtual)으로 연결되어있습니다. 무슨 말이냐면, 뉴런마다 숫자를 매겨 놓는 거예요, 1번 뉴런, 2번 뉴런, 3번 뉴런 이런 식으로. 그리고 어떤 뉴런과 어떤 뉴런이 연결되어 있는지 그 pair 정보를 1번 3번, 2번 6번 이런 식으로 메모리에 적어 놓는 겁니다. 실제 동작할 때는 1번 뉴런이 스파이크를 내보냈다 하면, 아까 구조가 들어있는 메모리로 가서 1번 뉴런이 어떤 뉴런이랑 연결되어있는지 찾는 거예요. 예를 들어서 그게 3번이다. 그러면 3번 뉴런의 막전위를, 막전위만 모아놓는 메모리에서 찾아서 연산해서 다시 집어넣고, 마찬가지로 시냅스 가중치도 시냅스 가중치만 모아놓는 메모리에서 찾아서 학습방식대로 연산하고 다시 집어넣고. 이게 다 끝나면 다시 구조 메모리에서 1번 뉴런과 연결된 뉴런이 더 이상 없을 때까지 반복하게 되는 겁니다. 이러한 순차적 연산, 잦은 메모리 엑세스는 폰노이만 구조의 특성으로 그만큼 구조에서의 programmability, 즉 범용성을 추구한 일종의 대가로 해석할 수가 있습니다. 그래서 저는 바로 이 로이히의 코어에서의 폰노이만 구조 특성을 야기하는 가상 연결 방식이 아닌, 실제 뉴런 시냅스 블록이 개별적으로 존재하고 이것들을 물리적인 배선(hard-wiring)으로 연결하는 비-폰노이만 구조를 지닌 뉴로모픽 칩을 개발해 보면 좋겠다는 생각을 가지게 되었습니다. 그런데 두 가지 이슈가 있죠. 첫 번째는 신경망 구조를 어떻게 확보할 것이냐, 물리적 연결을 한다면 한번 이으면 끝이거든요, 칩 한번 만드는데 수천만원에서 많게는 수억원까지 드는데. 그 solid한 신경망 구조를 어떻게 확보할 것이냐, 그리고 두 번째는 어떤 기능, 어떤 애플리케이션을 타깃 할 것이냐의 이슈가 있었습니다. 그런데 사실 인텔 로이히 칩을 통해 신경망 구조 연구가 이뤄지고 있는 시점에서 비-폰노이만 구조를 구현하려면, 구조 연구가 아닌 구조 모방으로 가야 한다고 생각했고, 그래서 뇌과학에서 어느 정도 신경망 구조가 밝혀진, 우리 두뇌의 특정 뇌 부위를 한번 모방해보는 게 좋겠다고 생각했습니다. 그러면 과연 두뇌에서 어떤 기능을 하는 뇌 부위를 선택해야 다가오는 뉴로모픽 시장에서 경쟁력을 가질 수 있을지 고민하게 되었고, 고민 끝에 두뇌의 운동 지능(motor intelligence)을 모방해보기로 하였습니다. 우리 두뇌를 큰 범주에서 놓고 통찰해보면 두뇌의 본질은 움직임, 운동성과 관련이 깊다는 것을 알 수 있어요. 일단 식물에는 뇌가 없죠. 원시 생명체 중에 움직이는 애들은 뇌는 없어도 신경계는 존재하거든요. 그러다가 움직임이 고도화되면서 감각 운동을 통합 처리하려는 목적으로 뇌가 생겨나고 움직임이 더 고도화되면서 뇌가 점점 커지고 진화하게 된 거라고 볼 수 있어요. 그러니까 우리의 두뇌에는 그 오랜 세월 진화를 거쳐 고도화된 움직임, 운동 지능에 관한 신경망 설계의 노하우가 축적되어있다고 볼 수 있는 것이죠. 그리고 시기적으로 봤을 때도 인공지능은 결국 상황 인지와 대응인데 지금까지 딥러닝을 통해 인지 기술이 굉장히 발전을 해왔죠. 그럼 챗 GPT처럼 대응형 인공지능이 나올 타이밍인데. 운동 지능이 여기에 포함이 된다는 거죠. 그러면 결국 뉴로모픽 칩의 애플리케이션은 움직이는 개체인 로봇이 될 텐데. 자율주행·드론·휴머노이드·서비스 로봇 등 다양한 로봇이 우리의 삶으로 들어오려고 하는 시기이기 때문에 시장성 측면에서도 나름 경쟁력있을 것 이라고 생각했습니다. 그럼 우리 두뇌에 운동 관련해서 다양한 뇌 부위가 있는데. 이걸 다 모방할 수는 없는 일이고 어떤 뇌 부위를 특정해야 할 것이냐. 시장성 측면에서 봤을 때 기존 로봇 시스템을 크게 건드리지 않고 칩을 추가해주는 것만으로 로봇 움직임의 완성도를 올려줄 수 있는, 즉 보완 형태의 뉴로모픽 칩이 경쟁력이 있을 것이라 생각했고, 이것에 가장 부합하는 ‘소뇌 CEREBELLUM’을 신경망 구조 모사의 대상으로 최종 선택하게 되었습니다. 소뇌는 우리 인체의 운동을 조절하는 중추로서 두뇌 전체의 뉴런이 1000억개가 있는데. 한 800억개, 절반 이상이 이 소뇌에 밀집되어 있다고 합니다. 그런데 소뇌는 어떤 운동을 할지 말지 선택하는 기관은 아니에요, 그런 선택된 운동을 구현하는데 있어 굉장히 조화롭고 정교하게, 완성도 있게 움직일 수 있도록 일종의 보완을 해주는 기관이라고 볼 수 있어요. 우리가 움직인다는 것은 어떤 의도, 힘을 줘서 어떤 상태를 이루려는 내부적인 기준이 있는 것이고. 실제 힘을 줘서 변화된 상태는 그 기준과는 다른 오차가 발생할 수 있죠. 소뇌는 바로 이러한 오차를 매 순간 보정 해나가면서 완성도 높은 움직임을 가능하게 하고. 반복되는 경우 학습을 통하여 우리가 무의식적으로도 의도대로 움직일 수 있게 해주는 것입니다. 그래서 이렇게 소뇌 신경망의 구조를 물리적으로 모사하는 비-폰노이만 구조의 뉴로모픽 칩을 개발함으로써 인텔 로이히 계열의 뉴로모픽 칩들과는 구조에서의 차별성을 가지게 되는 건데요. 이에 더해 칩의 설계 방식에 있어 아주 중요한 차별성을 하나 더 가져갈 수가 있습니다. 바로 디지털이 아닌 아날로그 설계 방식을 중점적으로 도입할 수 있다는 거에요. 디지털과 아날로그 중 뭐가 더 좋다기보다는, 정확도가 매우 높아야 하는 경우에는 디지털로 구현하는 것이 전력이나 면적 측면에서 훨씬 유리하고, 반대로 정확도가 낮아도 되는 경우에는 아날로그로 구현하는 것이 전력이나 면적 측면에서 훨씬 효율적입니다. 그동안의 프로세서에서 디지털 방식이 압도적으로 많이 사용된 것은 그만큼 정확도가 높아야 했기 때문입니다. 응용프로그램 소프트웨어를 만드는 사람들이 저 CPU가 어떻게 동작하는지에 맞춰서 개발해놨는데 CPU가 정확하게 동작을 안 하면, 사실 대책이 없는 거죠. 그런데 이 소뇌를 모사한 뉴로모픽 칩처럼 실시간으로 피드백을 받으면서 칩 자체적으로 학습을 할 수 있는 경우에는 구성하는 회로의 정확도가 그렇게 높지 않아도 괜찮아요. 왜냐하면 어차피 오차를 보정해서 학습하기 때문에 구성하는 회로가 뭐 mismatch나 PVT variation에 의해 정확도가 떨어진다 해도 그로 인한 오차까지도 실시간으로 보정해서 학습을 해버리기 때문이죠. 그래서 정밀도는 떨어지지만 전력소모가 훨씬 낮을 수 있는 아날로그 회로나 아날로그로 동작하는 뉴로모픽 신소자들을 중점적으로 사용해서 보다 에너지 효율이 높은 뉴로모픽 칩을 개발해 볼 수 있는 것입니다. 그럼 이렇게 움직임에 있어 완성도를 올려줄 수 있고 또 저전력이 가능한 소뇌 모사 뉴로모픽 칩은 로봇 분야에 어떻게 적용이 될 수 있을까요? 자율주행을 한 번 예로 들어보면, 자율주행이 어떤 움직임에 있어 완성도를 올릴만한 니즈가 있는지를 파악해보면 되겠죠. 자율주행이 레벨5 수준까지 도달하게 되면 아마도 사람들은 멀미가 나지 않는 편안한 승차감을 원할 것이고. 또 자신의 스타일대로 자율 주행을 길들이려는 customizing을 원할 수도 있겠죠. 그래서 편안한 승차감을 원하는 경우에는 숙련된 인간 운전자, 기생충의 송강호와 같은, customizing을 원할 경우에는 차 주인이 직접 자율주행차를 몰아주게 하는 겁니다. 그리고 소뇌 모사 뉴로모픽 칩이 이 인간운전자의 운전과 자율주행의 내재 된 운전의 차이를 실시간으로 학습하고 자율주행 모드에서 그 차이를 반영하게 하는 것이죠. 그러면 마치 인간 운전자가 운전하듯이 자율주행의 완성도를 올려주는 형태로 이 뉴로모픽 칩을 활용해볼 수 있을 것입니다. 그래서 저는 이 소뇌 신경망을 모사한 비-폰노이만 구조의 아날로그 뉴로모픽 칩을 개발하고 있고. 여러 연구개발과제들을 통해 뇌과학, 신소자, 알고리즘, 로보틱스 분야의 전문 연구자분들과 협력하는 융합 연구를 진행하고 있습니다. 현재 과기정통부 차세대지능형반도체기술개발사업에서는 앞서 말씀드린 자율주행을 애플리케이션으로 하면서 멤리스터, OTS와 같은 뉴로모픽 신소자들이 적용될 수 있는 소뇌모사 칩 개발 과제를 수행하고 있구요. 그리고 인텔이 INRC를 결성해서 뉴로모픽 연구 생태계를 조성하고 있듯이, 저희 KIST에서도 자체적으로 개발한 뉴로모픽 칩들을 외부 연구자분들께 제공하고 응용 애플리케이션을 함께 개발하는 KIST K-DARPA 사업을 진행중인데요. 이 사업과제를 통해 웨어러블 로봇, 로봇팔 등 다양한 로봇 분야로의 확장 응용 연구를 로보틱스 분야의 전문 연구자분들과 함께 열심히 수행하고 있습니다.

 

아웃트로

제가 오늘 뉴로모픽 칩 관련해서 준비한 내용은 여기까지입니다. 경청해 주셔서 대단히 감사합니다.

정리_최홍석 PD nahongsuk@thelec.kr

Leave a Reply