NTT와 도쿄 대학, 인간 두뇌에서 영감을 얻은 알고리즘을 사용하여 세계 최초의 광학 컴퓨팅 AI 개발

협업을 통해 광학 컴퓨팅 기반 저전력, 고속 AI의 실용화 진행

도쿄 – (비즈니스 와이어) –#TechforGood-NTT 공사 (사장 겸 CEO: Akira Shimada, "NTT") 및 도쿄 대학 (도쿄도 분쿄구, 사장: Teruo Fujii)는 뇌의 정보 처리에서 영감을 얻어 아날로그 연산을 사용하여 다층 인공 신경망(DNN)에 적합한 새로운 학습 알고리즘을 고안했습니다. 이 혁신은 AI의 전력 소비 및 계산 시간 감소로 이어질 것입니다. 이 개발 결과는 영국 과학 저널에 게재되었습니다. 자연 통신 12 월 26^th.

연구원들은 고속, 저전력 기계 학습 장치를 가능하게 할 것으로 예상되는 광학 아날로그 연산을 사용하는 DNN에 알고리즘을 적용하여 효율적으로 실행되는 광학 DNN 학습을 세계 최초로 시연했습니다. 또한 아날로그 연산을 이용한 다층 인공신경망의 세계 최고 성능을 달성했다.

기존에는 고부하 학습 연산을 디지털 연산으로 진행했지만 이번 결과는 아날로그 연산을 활용해 학습 부분의 효율성을 높일 수 있음을 입증한 것이다. DNN(Deep Neural Network) 기술에서는 광 펄스를 뉴런으로 가정하고 비선형 광학 링을 재귀 연결을 갖는 신경망으로 가정하여 Deep Reservoir Computing이라는 순환 신경망을 계산합니다. 출력 신호를 동일한 광 회로에 다시 입력함으로써 네트워크가 인위적으로 깊어집니다.

DNN 기술은 기계 번역, 자율 주행, 로봇 공학과 같은 고급 인공 지능(AI)을 가능하게 합니다. 현재 필요한 전력 및 계산 시간은 디지털 컴퓨터의 성능 성장을 초과하는 속도로 증가하고 있습니다. 아날로그 신호 연산(아날로그 연산)을 이용하는 DNN 기술은 뇌의 신경망과 유사한 고효율·고속 연산을 구현하는 방식이 될 것으로 기대된다. NTT와 도쿄 대학 간의 협력은 DNN에 포함된 학습 매개변수의 이해를 가정하지 않는 아날로그 연산 DNN에 적합한 새로운 알고리즘을 개발했습니다.

제안하는 방법은 네트워크의 최종 계층을 기반으로 학습 파라미터를 변경하고 원하는 출력 신호(오류 신호)의 오류를 비선형 무작위 변환하여 학습합니다. 이 계산을 통해 광 회로와 같은 것에서 아날로그 계산을 보다 쉽게 ​​구현할 수 있습니다. 물리적 구현을 ​​위한 모델뿐만 아니라 DNN 모델을 비롯한 다양한 AI 모델, 기계 번역 등의 애플리케이션에 사용되는 최첨단 모델로도 활용할 수 있다. 이번 연구는 인공지능 컴퓨팅과 관련해 새롭게 떠오르는 전력소모 문제, 연산시간 증가 문제 해결에 기여할 것으로 기대된다.

이 백서에서 제안한 방법을 특정 문제에 적용할 수 있는지 검토하는 것 외에도 NTT는 광학 하드웨어의 대규모 및 소규모 통합을 촉진하여 미래의 광학을 위한 고속, 저전력 광학 컴퓨팅 플랫폼 구축을 목표로 합니다. 네트워크.

이 연구에 대한 지원:

JST/CREST는 이러한 연구 결과의 일부를 지원했습니다.

잡지 출판:

매거진 : 자연 통신 (온라인판：26월 XNUMX일)

기사 제목: 생물학적 영감을 받은 교육 방법을 사용한 물리적 딥 러닝: 물리적 하드웨어에 대한 기울기 없는 접근 방식

저자：나카지마 미츠마사, 이노우에 카츠마, 타나카 겐지, 구니요시 야스오, 하시모토 토시카즈, 나카지마 고헤이

용어 설명:

1. 광 회로: 전자 회로 제조 기술을 사용하여 실리콘 또는 석영 광 도파관을 실리콘 웨이퍼에 통합한 회로. 통신에서 광통신 경로의 분기 및 병합은 광간섭, 파장 다중화/역다중화 등에 의해 수행된다.
2. BP(Backpropagation) 방법: 딥러닝에서 가장 일반적으로 사용되는 학습 알고리즘. 네트워크에서 가중치(파라미터)의 기울기는 오류 신호를 역전파하면서 구하고 가중치는 오류가 작아지도록 업데이트됩니다. 역전파 과정은 네트워크 모델의 가중치 행렬의 전이와 비선형 미분을 필요로 하기 때문에 살아있는 유기체의 뇌를 포함한 아날로그 회로에 구현하기 어렵다.
3. 아날로그 컴퓨팅: 실제 값을 표현하는 컴퓨터 빛의 세기와 위상, 자기스핀의 방향과 세기 등의 물리량을 이용하여 물리법칙에 따라 이러한 물리량을 변화시켜 계산을 수행합니다.
4. DFA(Direct Feedback Alignment) 방식: 최종 계층의 오차 신호를 비선형 랜덤 변환하여 각 계층의 오차 신호를 의사 계산하는 방식. 네트워크 모델의 미분 정보가 필요하지 않고 병렬 랜덤 변환으로만 계산할 수 있으므로 아날로그 계산과 호환됩니다.
5. 저장소 컴퓨팅: 은닉층에 순환 연결이 있는 순환 신경망 유형입니다. 저장소 레이어라는 중간 레이어에 임의로 연결을 고정하는 것이 특징입니다. Deep Reservoir Computing에서는 Reservoir 레이어를 여러 레이어로 연결하여 정보 처리를 수행합니다.

NTT 및 NTT 로고는 NIPPON TELEGRAPH AND TELEPHONE CORPORATION 및/또는 계열사의 등록 상표 또는 상표입니다. 다른 모든 참조 제품 이름은 해당 소유자의 상표입니다. © 2023 일본전신전화주식회사

Contacts

스티븐 러셀

와이어사이드 커뮤니케이션®

NTT의 경우

+ 1-804-362-7484

[이메일 보호]