자율주행자동차가 도로표지판을 인식하고 있다. 컴퓨터 비전과 인공 지능 ... [+]
게티
시각은 강력한 인간의 감각 입력입니다. 우리가 당연하게 여기는 복잡한 작업과 프로세스를 가능하게 합니다. 운송 및 농업에서 로봇 공학 및 의학에 이르기까지 다양한 응용 분야에서 AoT™(사물 자율성)가 증가함에 따라 인간과 유사한 시각 및 인지를 제공하는 카메라, 컴퓨팅 및 기계 학습의 역할이 중요해지고 있습니다. 학문 분야로서의 컴퓨터 비전은 1960년대에 주로 부상하는 인공 지능(AI) 및 기계 학습 분야에 종사하는 대학에서 시작되었습니다. 반도체 및 컴퓨팅 기술이 크게 발전함에 따라 향후 XNUMX년 동안 극적으로 발전했습니다. 최근 딥 러닝 및 인공 지능의 발전으로 인해 컴퓨터 비전의 적용이 더욱 가속화되어 환경에 대한 실시간, 저지연 인식 및 인식을 제공하여 다양한 애플리케이션에서 자율성, 안전 및 효율성을 가능하게 합니다. 교통은 상당한 혜택을 받은 분야 중 하나입니다.
LiDAR(Light Detection and Ranging)는 레이저를 사용하여 물체 주변의 3D 환경을 결정하는 능동 광학 이미징 접근 방식입니다. 이것은 컴퓨터 비전 솔루션(순수하게 주변광에 의존하고 3D 인식을 위해 레이저를 사용하지 않음)이 방해하려고 하는 기술 중 하나입니다. 공통 주제는 인간 운전자는 깊이 인식을 위해 LiDAR가 필요하지 않으므로 기계도 필요하지 않다는 것입니다. 현재 상용 L3 자율 주행 기능(특정 지역 및 기상 조건에서 완전한 자율성, 몇 초 안에 운전자가 제어할 준비가 됨) 제품 LiDAR 사용. 순수한 비전 기반 기술은 여전히 이 기능을 상업적으로 제공할 수 없습니다.
ADVERTISEMENT
테슬라
Phiar, Helm.ai 및 NODAR와 같은 다른 회사 또한 컴퓨터 비전 분야를 추구하고 있습니다. NODAR는 특허 받은 기계 학습 알고리즘을 통해 카메라 오정렬 및 진동 효과를 조정하는 방법을 학습하여 스테레오 카메라 시스템의 이미징 범위와 3D 인식을 크게 확장하는 것을 목표로 합니다. 최근 12만 달러를 모금했다. "기성품" 자동차 등급 카메라와 표준 컴퓨팅 플랫폼을 활용하는 주력 제품인 Hammerhead™의 제품화를 위해
비용과 크기를 제외하고 LiDAR 사용에 대한 빈번한 논쟁은 카메라에 비해 범위와 해상도가 제한적이라는 것입니다. 예를 들어, 200m 범위와 5-10M 포인트/초(해상도와 유사한 PPS)의 LiDAR를 현재 사용할 수 있습니다. 200m에서는 벽돌이나 타이어 파편과 같은 작은 장애물이 매우 적은 지점(수직으로 2-3개, 수평 방향으로 3-5개)을 등록하여 물체 인식을 어렵게 만듭니다. 더 긴 범위에서는 상황이 더욱 거칠어집니다. 이에 비해 30Hz에서 실행되는 표준 메가픽셀 카메라는 30M 픽셀/초를 생성할 수 있어 장거리에서도 우수한 물체 인식이 가능합니다. 고급 카메라(12만 화소)는 이를 더욱 높일 수 있습니다. 문제는 이 방대한 데이터를 어떻게 활용하고 밀리초 수준의 대기 시간, 낮은 전력 소비 및 저하된 조명 조건으로 실행 가능한 인식을 생성하는지입니다.
ADVERTISEMENT
레코 그니, 캘리포니아에 기반을 둔 회사는 이 문제를 해결하기 위해 노력하고 있습니다. CEO Mark Bolitho에 따르면, 그 사명은 "완전 자율 주행 차량을 위한 초인간적인 시각적 인식 제공.” 이 회사는 2017년에 설립되었으며 현재까지 75만 달러를 모금했으며 70명의 직원이 있습니다. 주니퍼 네트웍스의 졸업생인 RK Anand는 공동 창립자이자 최고 제품 책임자입니다. 그는 높은 프레임 레이트(예: OnSemi, Sony 및 Omnivision)에서 실행되는 120dB 이상의 다이내믹 레인지를 가진 고해상도 카메라를 사용하여 AV 구현에 중요한 고해상도 3D 정보를 생성하는 데 필요한 데이터를 제공한다고 믿습니다. 이를 가능하게 하는 요소는 다음과 같습니다.
- 데이터를 효율적으로 처리하고 자동차 환경의 정확한 고해상도 3D 지도를 생성하기 위한 맞춤형 ASIC. 이들은 7GHz 주파수에서 작동하는 100mm²의 칩 크기로 TSMC 1nm 공정에서 제조됩니다.
- 수백만 개의 데이터 포인트를 오프라인으로 처리하여 학습된 신경망을 생성하는 독점 기계 학습 알고리즘은 효율적으로 작동하고 지속적으로 학습할 수 있습니다. 이 네트워크는 인식을 제공하며 객체 분류 및 감지, 의미론적 분할, 차선 감지, 교통 표지 및 신호등 인식을 포함합니다.
- 전력 집약적이고 높은 대기 시간을 생성하는 오프칩 저장 및 곱셈 작업을 최소화합니다. Recogni의 ASIC 설계는 대수 수학에 최적화되어 있으며 덧셈을 사용합니다. 훈련된 신경망에서 최적으로 가중치를 클러스터링하여 효율성을 더 높일 수 있습니다.
훈련 단계에서 상용 LiDAR는 깊이 정보를 추출하고 오정렬 및 진동 효과에 대해 견고하게 만들기 위해 고해상도, 높은 동적 범위 스테레오 카메라 데이터를 훈련하는 실측 데이터로 사용됩니다. Anand 씨에 따르면 그들의 기계 학습 구현은 매우 효율적이어서 보정 LiDAR(100m 범위에 실측을 제공함)에서 제공하는 훈련 범위를 넘어 깊이 추정치를 추정할 수 있습니다.
ADVERTISEMENT
그림 1: 녹색 상자는 3에서 훈련된 데이터에 대한 Recogni의 인식 스택의 100D 성능을 보여줍니다. ... [+]
레코 그니
위의 훈련 데이터는 8.3Hz 프레임 속도(초당 ~30B 픽셀)에서 실행되는 0.5메가픽셀 카메라의 스테레오 쌍으로 낮에 수행되었습니다. 훈련된 네트워크가 훈련된 3m 범위를 넘어 장면에서 100D 정보를 추출하는 능력을 보여줍니다. Recogni의 솔루션은 주간 데이터를 사용한 학습을 야간 성능으로 추정할 수도 있습니다(그림 2).
그림 2: 주간 데이터로 훈련된 Recogni의 인식 스택은 낮은 조명 수준에서도 작동합니다. ... [+]
레코 그니
ADVERTISEMENT
Anand 씨에 따르면 범위 데이터는 5% 이내(장거리) 및 2%(단거리)에 가깝습니다. 이 솔루션은 1000 TOPS(초당 6조 작업)의 대기 시간과 25ms의 대기 시간과 40W 소비 전력(10TOPS/W)을 제공하여 업계를 선도하고 있습니다. 정수 수학을 사용하는 경쟁업체는 이 지표에서 1배 이상 낮습니다. Recogni의 솔루션은 현재 여러 자동차 Tier XNUMX 공급업체에서 시험 사용 중입니다.
예언자 ("행동이 어디에 있는지 예측하고 보는"), 프랑스에 기반을 둔 이 회사는 AV, 첨단 운전자 지원 시스템(ADAS), 산업 자동화, 소비자 애플리케이션 및 의료용 이벤트 기반 카메라를 사용합니다. 2014년에 설립된, 회사는 최근 50천만 달러의 C 라운드 펀딩을 마감했습니다., 현재까지 총 127억 120만 달러를 모금했습니다. 대표적인 휴대폰 제조사인 샤오미(Xiaomi)도 투자자 중 하나다. Prophesee의 목표는 망막의 수용체가 동적 정보에 반응하는 인간의 시각을 모방하는 것입니다. 인간의 뇌는 장면(특히 운전)의 변화를 처리하는 데 중점을 둡니다. 기본 아이디어는 임계값(이벤트) 이상의 조명 강도 변화를 감지하고 추가 처리를 위해 이 데이터만 컴퓨팅 스택에 제공하는 카메라 및 픽셀 아키텍처를 사용하는 것입니다. 픽셀은 기존의 프레임 기반 카메라와 같이 광자를 통합하고 데이터를 읽기 전에 전체 프레임이 완료될 때까지 기다릴 필요가 없기 때문에 비동기식으로(일반 CMOS 카메라처럼 프레임이 지정되지 않음) 훨씬 더 빠른 속도로 작동합니다. 데이터 대역폭, 의사 결정 지연 시간, 스토리지 및 전력 소비가 낮다는 이점이 있습니다. 이 회사의 첫 번째 상용 등급 VGA 이벤트 기반 비전 센서는 높은 동적 범위(>26dB), 낮은 전력 소비(센서 수준에서 3mW 또는 이벤트당 5nW)를 특징으로 합니다. 업계 최고의 픽셀 크기(< XNUMXμm)를 갖춘 HD(고화질) 버전(Sony와 공동 개발)도 출시되었습니다.
그림 3: 공동 개발한 5um 픽셀 피치의 고화질 형식 이벤트 기반 이미징 센서 ... [+]
예언자
ADVERTISEMENT
이러한 센서는 AI를 사용하여 자율 애플리케이션에 대한 스마트하고 효율적인 인식을 제공하고 운송 공간의 여러 회사에서 평가 중인 Metavision® 감지 플랫폼의 핵심을 형성합니다. AV 및 ADAS에 대한 전방 인식과는 별도로 Prophesee는 L2 및 L3 애플리케이션의 운전실 내 모니터링을 위해 고객과 적극적으로 협력하고 있습니다(그림 4 참조).
그림 4: numan에서 영감을 받은 뉴로모픽 비전을 기반으로 하는 XPERI 실내 운전자 모니터링
예언자
자동차 기회는 수익성이 높지만 설계 주기가 길다. 지난 XNUMX년 동안 Prophesee는 산업용 애플리케이션을 위한 머신 비전 분야에서 상당한 관심과 견인을 받았습니다. 여기에는 고속 계수, 표면 검사 및 진동 모니터링이 포함됩니다.
ADVERTISEMENT
그림 5: 이벤트 기반 카메라를 사용한 높은 카운팅
예언자
Prophesee는 최근 콜라보레이션을 발표했습니다. 머신 비전 시스템의 선두 개발자와 함께 산업 자동화, 로봇 공학, 자동차 및 IoT(사물 인터넷)의 기회를 활용합니다. 다른 즉각적인 기회는 휴대폰 및 AR/VR 애플리케이션을 위한 이미지 흐림 보정입니다. 이들은 장기적인 ADAS/AV 기회에 사용되는 것보다 낮은 형식의 센서를 사용하고 훨씬 더 낮은 전력을 소비하며 훨씬 더 낮은 대기 시간으로 작동합니다.
이스라엘은 상당한 벤처 투자와 활발한 창업 환경을 갖춘 첨단 기술 분야의 선도적인 혁신 기업입니다. 2015년부터 기술 부문에 대한 벤처 주도 투자가 약 70억 달러 발생했습니다.. 이 중 일부는 컴퓨터 비전 영역에 있습니다. Mobileye는 1999년에 히브리 대학의 선도적인 AI 연구원인 Amnon Shashua가 ADAS 및 AV에 대한 카메라 기반 인식에 중점을 두고 회사를 설립했을 때 이 혁명을 주도했습니다. 이 회사는 2014년 IPO를 신청했고 Intel에 인수되었습니다.
ADVERTISEMENT
챔펠 캐피탈, 예루살렘에 기반을 둔 회사는 운송 및 농업에서 보안 및 안전에 이르기까지 다양한 애플리케이션을 위한 컴퓨터 비전 기반 제품을 개발하는 회사에 투자하는 데 앞장서고 있습니다. Amir Weitman은 공동 설립자이자 관리 파트너이며 2017년에 벤처 회사를 시작했습니다. 첫 번째 펀드는 20개 회사에 14천만 달러를 투자했습니다. 그들의 투자 중 하나는 2018년 SPAC 합병을 통해 상장되어 LiDAR 유니콘이 된 Innoviz였습니다. Omer Keilaf(이스라엘 방위군의 정보부대 기술부 출신)가 이끄는 이 회사는 오늘날 ADAS 및 AV용 LiDAR 배포의 선두 주자이며 BMW와 Volkswagen에서 여러 차례 디자인 우승을 차지했습니다.
Champel Capital의 두 번째 펀드(Impact Deep Tech Fund II)는 2022년 30월에 시작되어 현재까지 100천만 달러를 모금했습니다(목표는 2022년 말까지 12억 달러). 주요 초점은 XNUMX개 회사에 XNUMX만 달러가 배치된 컴퓨터 비전에 있습니다. 이 중 XNUMX개는 운송 및 로봇에 컴퓨터 비전을 사용합니다.
탱크유, 하이파에 기반을 둔 이 회사는 2018년에 운영을 시작하여 10천만 달러의 자금을 조달했습니다. Dan Valdhorn은 CEO이며 신호 정보 및 암호 해독을 담당하는 이스라엘 방위군의 엘리트 하이테크 그룹인 Unit 8200을 졸업했습니다. TankU의 SaaS(Software as a Service) 제품은 차량과 운전자에게 서비스를 제공하는 복잡한 실외 환경에서 프로세스를 자동화하고 보호합니다. 이러한 제품은 자동 금융 거래에서 도난 및 사기를 방지하기 위해 차량 소유주, 자가용 차량, 주유소 및 전기 충전소에 사용됩니다. 차량 연료 서비스는 연간 ~$2T의 글로벌 수익을 창출하며 이 중 개인 및 상업용 차량 소유자는 40% 또는 $800억을 소비합니다. 소매업체와 차량 소유자는 절도 및 사기(예: 승인되지 않은 개인 차량에 차량 연료 카드 사용)로 인해 연간 ~$100B의 손실을 봅니다. CNP(Card not present) 사기 및 변조/유류 도용은 특히 모바일 앱에서 도난당한 카드 정보를 결제에 사용할 때 추가적인 손실 원인입니다.
ADVERTISEMENT
회사의 TUfuel 제품은 원터치 보안 결제를 용이하게 하고 대부분의 사기 유형을 차단하며 사기가 의심되는 경우 고객에게 경고합니다. 이는 이러한 시설에 있는 기존 CCTV의 데이터와 디지털 거래 데이터(POS 및 기타 백엔드 데이터 포함)로 훈련된 AI 엔진을 기반으로 합니다. 차량 궤적 및 역학, 차량 ID, 주행 시간, 주행 거리, 주유 시간, 연료량, 연료 이력 및 운전자 행동과 같은 매개변수는 사기를 감지하기 위해 모니터링되는 일부 속성입니다. 또한 이 데이터는 소매업체가 사이트 운영을 최적화하고 고객 충성도를 높이며 비전 기반 마케팅 도구를 배포하는 데 도움이 됩니다. CEO Dan Valdhorn에 따르면 그들의 솔루션은 차량의 70%, 신용 카드의 90%, 변조 관련 사기 사건의 70%를 감지합니다.
그림 6: TUfuel은 주유소 CCTV 카메라의 실시간 데이터와 기타 디지털 데이터를 사용합니다. ... [+]
탱크유
소놀 이스라엘 전역에 240개의 스테이션과 편의점 네트워크를 소유하고 운영하는 에너지 서비스 회사입니다. TUfuel은 해당 사이트에 배포되어 보안, 사기 방지 및 고객 충성도가 향상되었음을 입증했습니다. 제품 시험은 주유소 및 편의점 장비의 세계적인 공급업체와 협력하여 미국에서 진행 중입니다. 아프리카와 유럽에서도 유사한 이니셔티브가 진행 중입니다.
ADVERTISEMENT
텔아비브 기반 ITC Ben-Gurion University의 머신러닝 학자들이 2019년에 설립했습니다. ITC는 다음과 같은 SaaS 제품을 만듭니다. "교통 흐름을 측정하고, 혼잡을 예측하고, 교통 신호등을 스마트하게 조작하여 교통 체증이 시작되기 전에 이를 완화하십시오." TankU와 유사하게 기성 카메라(여러 교통 교차로에 이미 설치됨)의 데이터를 사용하여 실시간 교통 데이터를 얻습니다. 도시 전역에 있는 수천 대의 카메라 데이터를 분석하고 독점 AI 알고리즘을 적용하여 차량 유형, 속도, 이동 방향 및 차량 유형 시퀀스(트럭 대 자동차)와 같은 매개변수를 추출합니다. 시뮬레이션은 최대 30분 전에 교통 흐름과 잠재적인 교통 체증 상황을 예측합니다. 이 결과를 사용하여 신호등을 조정하여 교통 흐름을 원활하게 하고 정체를 방지합니다.
그림 7: 수천 대의 카메라에서 수집된 데이터는 도시 운영 교통 통제 내의 VMS에 의해 컴파일됩니다. ... [+]
ITC
AI 시스템을 교육하는 데는 일반적인 도시에서 한 달 동안의 시각적 데이터가 필요하며 지도 학습과 비지도 학습의 조합이 포함됩니다. ITC의 솔루션은 이미 텔아비브(25년 세계에서 가장 혼잡한 도시 2020위)에 배포되었으며 신호등으로 제어되는 수백 개의 교차로에 수천 대의 카메라가 배포되어 있습니다. ITC의 시스템은 현재 75대의 차량을 관리하고 있으며 계속해서 증가할 것으로 예상됩니다. 회사에서 설치 중 비슷한 능력 룩셈부르크에 있으며 미국 주요 도시에서 시험을 시작하고 있습니다. 전 세계적으로 이 솔루션은 이스라엘, 미국, 브라질 및 호주에 사업장을 두고 300,000대의 차량을 관리합니다. CTO인 Dvir Kenig는 사람들에게 개인적인 시간을 제공하고 온실 가스를 줄이며 전반적인 생산성을 높이고 가장 중요한 것은 혼잡한 교차로에서 사고를 줄이기 위해 이 문제를 해결하는 데 열정을 쏟고 있습니다. Kenig 씨에 따르면, "우리의 배치는 교통 체증을 30% 감소시켜 비생산적인 운전 시간, 스트레스, 연료 소비 및 오염을 줄이는 것을 보여줍니다."
ADVERTISEMENT
실내 로봇 공학 였다 2018에 설립 됨 와 최근에 18억 달러의 자금을 조달했습니다.. 이스라엘 텔아비브 근처에 위치한 이 회사는 실내 보안, 안전 및 유지 관리 모니터링을 위한 자율 드론 솔루션을 개발 및 판매합니다. CEO이자 공동 설립자인 Doron Ben-David는 IAI에서 축적된 상당한 로봇 공학 및 항공 경험을 보유하고 있습니다.
그림 8: 실내 로보틱스의 자율 드론 함대는 천장에 장착된 장치를 통해 자체적으로 전력을 공급할 수 있습니다. ... [+]
실내 로봇 공학
Ofir Bar-Levav는 최고 비즈니스 책임자입니다. 그는 GPS가 없기 때문에 실내 드론이 건물 내부에서 위치를 파악하는 데 방해가 된다고 설명합니다(일반적으로 GPS가 거부되거나 부정확함). 또한 편리하고 효율적인 도킹 및 전원 공급 솔루션이 부족했습니다. 실내 로보틱스(Indoor Robotics)는 드론에 장착된 80개의 카메라(위, 아래, 왼쪽, 오른쪽)와 실내 공간과 그 내용을 정확하게 매핑하는 간단한 범위 센서로 이 문제를 해결합니다. 카메라 데이터(카메라는 위치 파악 및 매핑 데이터 제공) 및 열 센서(드론에 장착됨)는 잠재적인 보안, 안전 및 유지 관리 문제를 감지하고 고객에게 경고하기 위해 AI 시스템에 의해 분석됩니다. 드론은 소중한 바닥 공간을 절약하고 충전하는 동안 데이터 수집을 허용하는 천장에 장착된 "도킹 타일"을 통해 스스로 전원을 공급합니다. 인력 채용, 유지 및 교육 측면에서 인력 노동이 복잡하고 비용이 많이 드는 이러한 일상적인 프로세스를 자동화함으로써 얻을 수 있는 재정적 이점은 분명합니다. 공중 무인 항공기와 지상 기반 로봇을 사용하는 것은 자본 및 운영 비용, 더 나은 바닥 공간 사용, 장애물에 부딪치지 않고 이동할 수 있는 자유 및 카메라 데이터 캡처의 효율성 측면에서 상당한 이점이 있습니다. Bar-Levav에 따르면 실내 지능형 보안 시스템의 실내 로보틱스 TAM(Total Addressable Market)은 2026년까지 XNUMX억 달러가 될 것입니다. 오늘날 주요 고객 위치에는 선도적인 글로벌 기업의 창고, 데이터 센터 및 사무실 캠퍼스가 포함됩니다.
ADVERTISEMENT
컴퓨터 비전은 이동 자동화, 보안, 스마트 빌딩 모니터링, 사기 탐지 및 트래픽 관리에서 자율성 게임에 혁명을 일으키고 있습니다. 반도체와 AI의 힘은 강력한 원동력입니다. 컴퓨터가 확장 가능한 방식으로 이 놀라운 감각 양식을 마스터하면 가능성은 무한합니다.
출처: https://www.forbes.com/sites/sabbirrangwala/2022/10/04/advances-in-computer-vision-propel-transportation-autonomy/