Tesla FSD가 어린이를 덮칠 것인지 아니면 더미 어린이가 요점을 놓칠 것인지에 대한 논쟁

A 최근 동영상 테슬라에서TSLA
- 비평가인 "Dawn Project"의 Dan O'Dowd는 원뿔형 도로가 있는 테스트 트랙을 보여줍니다. 그곳에서 Tesla의 FSD 프로토타입을 사용하는 운전자가 어린이 충돌 더미를 향해 운전하여 충돌합니다. Telsa FSD는 어린이를 위해 안정적으로 제동하지 못한다는 주장이 있습니다. O'Dowd의 비평가들은 비디오가 위조되었거나 잘못 제작되었다고 주장했으며 일부는 실제 "자원 봉사" 어린이들과 함께 테스트를 하는 것을 포함하여 모두를 고통스럽게 하는 자체 데모를 했습니다. Tesla FSD와 같은 프로토타입이 어린이를 위해 안정적으로 제동해야 하는지 여부에 대한 질문을 고려한 사람은 거의 없었습니다. 이는 정말 흥미로운 문제입니다.

O'Dowd는 Tesla FSD가 금지되기를 원한다고 자주 썼습니다. 나는 이전에 그의 캠페인을 다루었지만, 그리고 최근에는 오로지 반테슬라 FSD 캠페인 광고를 게재하기 위해 캘리포니아 상원 후보로 출마했습니다. 그는 자연스럽게 Elon Musk와 보컬 친 Tesla 커뮤니티의 분노를 불러일으켰습니다. 따라서 즉각적인 스파링이있었습니다. 위에 링크된 원본 비디오에는 FSD가 활성화된 것으로 표시되지 않았지만 이후 릴리스에서는 활성화된 것으로 나타났습니다. 어떤 사람들은 운전자가 페달을 밟고 있다는 화면 이미지를 읽기 어렵다고 제안했습니다. 다른 데이터는 자동차가 속도를 줄이거나 경고를 발령하는 것을 보여주며, 시연이 얼마나 실제적인지에 대한 논쟁이 계속되었습니다.

ADVERTISEMENT

자동차가 아이들을 때리는 것보다 더 무서운 것은 없기 때문에 시위는 도발적으로 선택되었습니다. 미국에서는 매일 3명의 어린이가 교통사고로 사망하고, 매년 약 170명의 어린이 보행자가 자동차로 사망합니다. 많은 사람들에게 반응은 어린이에게 적용되는 기술은 용납될 수 없다는 것입니다. NHTHT
SA는 Tesla Autopilot(출시된 제품) 배포에 대한 조사를 시작했으며 FSD 프로토타입을 살펴보기 시작했습니다. Ralph Nader와 같은 다른 사람들도 FSD 프로토타입을 도로에서 없애야 한다고 요청했습니다. 극소수의 사람들이 실제 아이들을 대상으로 테스트를 반복하자 NHTSA는 이를 하지 말라는 경고를 내렸고, 유튜브는 사람들이 하는 영상을 가져왔다. 테슬라는 테스트 더미에 충돌하는 차량의 동영상도 삭제해 달라고 요청한 것으로 알려졌다. Washington Post는 Tesla의 중단 서한을 보았다고 보고했습니다.

이 문제는 매우 복잡하며 너무 드문 일이 아니기 때문에 아무도 정확하게 이해하지 못합니다. FSD 시스템은 베타라고 하지만 더 정확하게는 프로토타입이라고 합니다. 자율주행 프로토타입(및 베타)은 대부분의 개발자가 볼 때 도로에서 많은 양의 테스트가 필요하며 모든 팀이 이를 수행하며 인간 "안전 운전자"가 시스템을 모니터링하고 사고를 방지하기 위해 실수할 때 정기적으로 개입합니다. Tesla는 일반 고객이 이 테스트에 참여할 수 있도록 허용하는 반면, 다른 모든 회사에는 직원이 있고 일정 수준의 교육을 받고 이 작업을 수행하며 일반적으로 차량당 2명의 직원이 있다는 점에서 이례적입니다.

프로토타입은 본질적으로 길에서 보행자를 위해 정지하는 것과 같은 중요한 사항을 포함하여 실패합니다. Waymo와 같은 최고의 팀부터 최악의 팀까지 모든 팀은 개입을 제외하고는 정기적으로 심각한 나쁜 일을 하는 차량을 도로에 배치했습니다., 그리고 대부분은 이러한 초기 단계의 차량을 테스트하는 것이 진전을 이루고 궁극적으로 자동차를 배치하는 데 필요했고 지금도 여전히 필요하다고 생각합니다. 일단 배치되면 자동차는 훨씬 더 높은 품질과 생명을 구하게 될 것입니다. 그래서 많은 사람들이 가능한 한 빨리 배치가 이루어지기를 원하지만 그 지점에 도달하는 방법과 도달 시점에 대해 논의해야 할 많은 문제가 있습니다. 그것.

ADVERTISEMENT

운전자 지원 vs. 자가 운전

Tesla가 프로토타입을 테스트하기 위해 고객을 사용하는 것이 좋은 생각인지에 대한 질문 외에도 많은 문제는 운전자가 운전에 완전히 참여하지만 물리적으로 움직이는 것이 아니라 시스템을 감독하는 운전자 지원 시스템 간의 차이점을 중심으로 합니다. 사람의 감독이 필요하지 않은 제어 및 자율 주행 시스템(실제로 차량은 아무도 탑승하지 않은 상태에서 주행할 수 있음)

많은 업계 관계자들은 이 두 가지가 상당히 다른 것이며 NHTSA가 자동화 기술의 두 가지 다른 "수준"으로 선언한 것은 오류라고 생각합니다. Aurora 자율 주행의 공동 설립자인 Sterling Anderson은 운전자 지원(또는 고급 운전자 지원의 경우 ADAS)에서 자율 주행으로 전환하는 것은 더 높은 사다리를 만들어 달에 도달하려는 것과 같다고 생각합니다.

페달에서 발을 떼는 최초의 대형 고급 운전자 보조 시스템은 크루즈 컨트롤, 특히 어댑티브 크루즈 컨트롤이었습니다. 나중에 핸들에서 손을 뗄 수 있는 차선 유지 기능이 등장했고 곧 이 두 가지가 Tesla "Autopilot"과 같은 제품에 결합되었습니다. ADAS(운전자 보조) 도구로서 이러한 도구는 주의를 기울여 사용해야 합니다.

ADVERTISEMENT

처음에는 모두가 믿지 않았지만 오늘날 일반적인 결론은 이러한 시스템이 작동하며 도로에서 위험을 초래하지 않는다는 것입니다. 사람들은 처음에는 기본적인 크루즈 컨트롤조차 의심했지만 곧 자동차에서 매우 흔한 기능이 되었습니다.

Tesla Autopilot은 다양한 이유로 새로운 질문을 제기했지만 가장 흥미로운 문제는 더 단순한 크루즈 컨트롤을 포함하여 이전 제품보다 기능면에서 분명히 우수하다는 사실에 관한 것입니다. 시스템이 좋을수록 결과는 더 나빠질 수 있다는 이상한 역설이 발생합니다. 상위 시스템이 감독하는 운전자가 도로에 덜 주의를 기울이는 "자동화 안주"를 유도하기 때문입니다. (일부는 Tesla의 "Autopilot" 및 FSD 이름이 이러한 안일함을 조장하고 이러한 제품에 대한 공개 메시지도 그렇게 한다고 믿습니다.)

이것은 좋은 역설이 아닙니다. 우리는 더 나은 시스템을 개발하기를 원하지만 시스템을 개선함에 따라 전반적으로 더 나빠지면 상황이 더 나빠지기 전에 더 나빠지는 위험의 계곡을 여행하면서 정말 좋은 시스템을 얻는 것이 훨씬 더 어렵습니다. 오늘날, 우리는 표준 크루즈 컨트롤이 어린이를 치거나 빨간불을 뚫을 것이라는 사실에 대해 결코 잘못을 저지르지 않을 것입니다. 이러한 시스템은 훨씬 간단하고 이러한 실수를 피할 수 있는 능력이 전혀 없었습니다. 그러나 많은 사람들은 100% 정지하지 않기 때문에 대부분의 장애물에 대해 정지하는 훨씬 우수한 시스템을 탓하고 싶어합니다. 어떤 시스템도 100% 오류를 피할 만큼 완벽할 수는 없고 인간도 완벽하지 않을지라도 말입니다.

ADVERTISEMENT

저는 네바다와 캘리포니아에서 세계 최초의 자율주행 시험법 제정에 참여했습니다. 플레이어는 도로에서 테스트를 수행하는 방법에 대한 몇 가지 기본 규칙이 있어야 한다는 데 동의했습니다. ADAS 자동차가 자율주행 테스트 규정의 대상이 되는 것을 원하지 않았기 때문에 ADAS 작동은 해당 규정에서 다루지 않는 것으로 조각되었습니다.

특히 캘리포니아에서는 이것이 열린 질문을 만들어 냈습니다. 모든 자율 주행 테스트(최근 몇 가지 예외 제외)는 감독하는 안전 운전자와 함께 수행됩니다. 그런 식으로 ADAS 자동차를 운전하는 것과 매우 흡사합니다. 몇 가지 흥미로운 상황을 야기한 구분에 대해 법이 명확하지 않았습니다. 규정 초안 작성에도 참여했던 Anthony Levandowski는 나중에 Uber의 수장이 되었습니다.우버
ATG. 그는 당시 모든 차량이 안전 기사와 함께 작동했기 때문에 이것이 ADAS이며 Uber는 자율 주행 테스트 규정을 따를 필요가 없다고 선언했습니다. 캘리포니아 DMV는 이 논리에 따라 아무도 자율 주행을 테스트하지 않았으며 이는 법의 의도가 아니라고 말했습니다. 그들은 Uber에게 자율주행 시험 차량으로 등록해야 하며, 그렇지 않으면 Uber 차량의 번호판을 특수 능력으로 뽑을 것이라고 말했습니다. 우버가 준수했습니다.

ADVERTISEMENT

DMV는 자율주행 시스템을 만들려고 하면 초기 미완성 시스템이라 감독이 필요하고 항상 감독을 받았지만 규칙에 따라 운영되는 자율주행 테스트 업체로 봐야 한다는 접근 방식을 취했다.

그럼에도 불구하고 Tesla는 동일한 접근 방식을 계속하고 있습니다. Tesla는 확실히 ADAS 제품을 가지고 있기 때문에 자율 주행 테스트를 국가에 보고하지 않습니다. 지금까지 DMV는 이 슬라이드를 허용했습니다. Tesla 직원이 Tesla FSD를 테스트한 경우에도 Uber가 하지 못하게 한 것과 구별하기가 매우 어렵습니다. DMV는 이것을 잘 규제할 수 있습니다. 그러나 공식적으로(작은 글씨를 읽고 이름을 무시하는 경우) 운전자 지원 도구인 고객 사용은 어떻습니까?

하지만 효과가 있는 것 같다

이에 대한 주요 솔루션은 감독의 주의를 높은 수준으로 유지하는 방법이었습니다. 이를 위한 다양한 기술이 있습니다. 다양한 방법으로 운전자를 모니터링하고 주의를 기울이지 않으면 잔소리를 하거나 전문 운전자 또는 도로를 여러 눈으로 보는 팀을 훈련시킨 것으로 알려졌습니다. 수십 년 동안 우리는 운전대를 잡을 수 있고 차를 멈출 수 있는 자체 브레이크가 있는 강사를 두어 운전 학교에서 십대 운전자들을 훈련시켰고 그 시스템은 매우 잘 작동했습니다.

ADVERTISEMENT

지금까지 강력한 결론은 이것이 효과가 있다는 것입니다. Waymo와 같은 주요 자율주행 회사의 안전 기록은 모범적입니다. Waymo는 20년에 안전 운전자와 함께 2021천만 마일 이상의 테스트를 수행했으며 그 동안 2건의 과실 사고가 발생했다고 보고했습니다. 인간은 평균적으로 그 기간 동안 40건에 가까운 사고를 겪을 것입니다. 운전 강사와 함께 운전하는 학생이 새로 면허를 받은 운전자보다 훨씬 더 잘하는 것처럼 모니터링 시스템은 분명히 작동하며 이러한 차량은 실제로 일반인이 유사한 운전보다 대중에게 덜 위험합니다.

미국에서는 최소한 아무도 다치지 않거나 위험 수준이 일반 운전보다 낮으면 일반적으로 활동이 규제되지 않습니다. 미국의 접근 방식은 훨씬 더 관대합니다. 자신이 하는 일이 안전하다는 것을 증명할 필요는 없지만 안전하지 않은 것으로 판명되면 중단되고 귀하가 야기한 모든 피해에 대해 책임을 져야 할 수 있습니다. 일부 다른 국가에서는 규제 기관이 혁신에 훨씬 덜 도움이 되는 훨씬 높은 기준인 안전한지 여부를 사전에 결정하도록 요구할 것입니다.

물론 한 유명한 사건에서 Uber ATG의 차량이 애리조나에서 보행자를 죽인 안전 운전자 접근으로 사망했습니다. NTSB 조사와 이후의 법원 소송에서 안전 기사가 부주의한 것으로 밝혀졌지만(그녀는 일을 하는 대신 TV를 보고 있었습니다) Uber는 이 오류에 기여한 안전 기사 관리의 열악한 문화로 인해 비난을 받았습니다. 그러나 중요한 결론은, 안전 운전자 시스템이 작동하고 그 자체로 대중을 부당한 위험에 빠뜨리지 않습니다., 그러나 인간 안전 운전자가 부주의하여 높은 위험을 초래할 수 있음은 분명합니다.

ADVERTISEMENT

훈련된 유료 운전자가 있는 시스템입니다. Tesla는 더 나아가 일반 고객에게 작업을 수행합니다. Tesla 운전자가 Autopilot 제품을 감독하는 데 분명히 소홀했으며 치명적인 사고를 포함한 충돌이 발생하는 많은 사건이 있었습니다. 그러나 Tesla 차량은 Autopilot으로 어떤 자율 주행 팀보다 훨씬 더 많은 마일을 운전하므로 부정적이고 심지어 비극적인 사건의 존재가 시스템이 대중을 더 큰 위험에 노출시키고 있다는 증거는 아닙니다.

분기마다 Tesla는 일부 Autopilot 사용자가 부주의하더라도 Autopilot을 사용하는 운전자가 그렇지 않은 운전자보다 더 나은 안전 기록을 가지고 있다는 잘못된 통계를 발표합니다. 이 수치는 거짓말에 가깝지만, 나와 다른 사람들은 실수를 리버스 엔지니어링하려고 시도했지만, 실제 숫자는 그렇게 나쁘지 않으며 Autopilot 사용자가 비 사용자와 유사한 안전 기록을 가지고 있음을 시사합니다. 그것이 우월하지는 않지만 사람들을 추가 위험에 노출시키지도 않습니다. NHTSA가 긴급 차량으로 인한 Tesla 사고에 대한 조사를 수행할 정도로 결과는 가깝습니다. 그들이 예방적 접근을 취할 것인지 또는 전반적인 안전 기록을 볼 것인지는 알 수 없습니다.

많은 사람들이 Tesla가 더 나은 운전자 모니터링으로 기록을 향상시킬 수 있다고 제안했습니다. 표준 모니터링은 단순히 운전자가 정기적으로 휠에 힘을 가하도록 요구합니다. 다른 회사에는 운전자가 도로를 주시하고 있는지 확인하기 위해 운전자의 눈을 감시하는 카메라가 있습니다. Uber ATG가 이렇게 했다면 사망을 예방했을 것입니다. Tesla는 최근에 운전자 시선 모니터링도 사용하기 시작했습니다.

ADVERTISEMENT

Tesla Autopilot 안전성을 일반 운전과 유사하게 보여주는 계산은 실용적인 계산이라는 점에 유의해야 합니다. 실제로 도로를 무시하거나 자동화에 안주하는 소수의 부주의한 오토파일럿 사용자 사이에서 더 높은 사고율과 부지런한 사람들의 더 나은 안전 기록의 조합입니다. 우리는 이것에 대해 철학적으로 어려움을 겪고 있습니다. 우리는 더 많은 사람들이 더 낮은 위험을 감수하더라도 일부 사람들을 더 높은 위험에 노출시키는 것을 좋아하지 않습니다. 우리는 그것이 우리의 목표는 아니지만 부지런한 사람들을 보호하기 위해 더 안전하게 만드는 도구를 부지런히 일하는 사람들에게 빼앗기는 것을 너무 좋아하지 않습니다.

FSD는 어떻습니까?

위의 데이터는 배송 제품인 Autopilot에 관한 것입니다. Tesla FSD는 배송 제품이 아닙니다. 그들은 그것을 "베타"(출시 전 마지막 테스트 단계에서 거의 완성된 제품)라고 부르지만 전혀 그렇지 않습니다. 그들은 현재 100,000명이 넘는 Tesla 소유자가 이 테스트를 시도하고 있습니다. 그것을 사용하기 위해 소유자는 최종 FSD 시스템을 사전 주문하기 위해 수수료(현재 $15,000로 인상됨)를 지불하고 테스트 집단에 입학하기 위해 일종의 안전 운전 테스트를 통과해야 합니다. 안전 운전 테스트는 대부분 가짜이며 이 작업에 대해 실제로 원하는 것을 테스트하지 않지만 비용을 지불하는 모든 사람이 테스트를 받는 것은 아닙니다.

그들은 시스템에 버그가 많고 ADAS와 같은 지속적인 감독이 필요하다고 운전자에게 경고하며 "최악의 시간에 잘못된 일을 할 것입니다." 상당히 명료한 말이지만 동시에 '완전 자율주행'이라는 이름은 분명히 ADAS와 다른 이미지를 불러일으킵니다. 이 시스템으로 운전을 해본 결과 자율주행 시스템으로서는 성능이 상당히 좋지 않다고 판단했습니다.

ADVERTISEMENT

그럼에도 불구하고 반대의 직관에도 불구하고 Tesla의 접근 방식은 효과가 있는 것 같습니다. 100,000명의 운전자와 함께 시스템은 수백만 마일의 작동을 겪고 있습니다(각 운전자가 시스템을 얼마나 많이 사용하는지에 대한 공개 데이터는 없음). 또한 우리는 FSD 테스트와 관련된 모든 사고에 대해 많은 공개 조사가 있다는 것을 알고 있습니다. 시스템과 소수의 사소한 사건만 공개되었습니다. 일부 Tesla FSD 테스터는 Tesla 팬이므로 사고를 숨길 수도 있지만, 공개되지 않은 상태에서 상당수의 주요 사고가 발생하는 경우는 극히 적습니다. 심각한 경찰 보고 사고, 특히 부상 사고는 Autopilot과 마찬가지로 주의를 끌 가능성이 매우 높습니다.

그러나 우리는 그들을 보지 못합니다. 이것이 진정한 과학적 분석은 아니지만 Tesla의 FSD 프로그램이 현재 대중을 위험에 빠뜨리고 있지는 않은 것 같습니다. 이것은 시스템이 얼마나 나쁜지 원인이 될 수 있습니다. 대부분의 운전자는 현재 상태에서 이 시스템에 주의를 기울이지 않는 것이 정말 어리석은 일이라는 것을 알고 있습니다. 이것이 좋아지면 바뀔 가능성이 있습니다. 훨씬 더 원시적인 기본 크루즈 컨트롤을 생각해보면, 사용하면서 누구도 감히 도로에 주목하지 않을 것이기 때문에 작동합니다.

ADVERTISEMENT

테슬라의 네이밍

Tesla는 제품 이름으로 스스로를 돕지 않습니다. 많은 사람들이 Autopilot을 이름으로 비판했습니다. 왜냐하면 (잘못된) 대중의 인식은 항공기 자동 조종 장치가 스스로 비행기를 조종한다는 것입니다. 사실, 항공기 자동 조종 장치는 Tesla의 자동차 자동 조종 장치보다 훨씬 더 단순한 시스템이며, 공중에서 부딪힐 수 있는 어떤 것과도 매우 거리가 멀기 때문에 작동합니다. 그러나 그것이 잘못된 대중의 인식을 막지는 못합니다. FSD를 사용하면 더욱 악화됩니다. 아직 자율주행 수준도 아니고 가깝지도 않고, 확실히 '완전'하지도 않다. 이러한 혼란으로 인해 Waymo는 Tesla가 대중의 마음에서 용어를 잘못 정의했다는 두려움 때문에 자사 제품을 설명하기 위해 자율 주행이라는 용어를 사용하는 것을 포기했습니다.

Tesla는 제품에 대해 더 이상 과대 광고가 필요하지 않습니다. 그들은 그들이 만들 수 있는 모든 것을 판매합니다. 그들이 과소평가하고 과장하지 않고 의도적으로 이러한 이름을 사용한다는 것은 당혹스럽습니다. 그들은 "모든 홍보는 좋은 홍보입니다"와는 다른 많은 슬픔을 덜어줄 것입니다.

Tesla가 어린이 크기의 더미를 치더라도 괜찮습니까?

놀라운 대답은 "아마도"입니다. 모든 테스트 프로토타입 시스템은 이와 같은 작업을 수행하며 모든 프로토타입 테스트를 금지하지 않는 한 어린이 충돌과 같은 연상되는 문제에 대해서도 완벽을 요구할 방법이 없습니다. 수백만 명의 생명을 구할 매우 중요한 기술의 개발을 금지하거나 늦추지 않는 Tesla FSD를 금지하는 규제 체제를 만드는 것은 어렵습니다. 수백만 명의 생명은 작은 일이 아니며 인류 역사상 가장 큰 안전 발전 중 하나가 될 것입니다.

ADVERTISEMENT

기껏해야 그러한 테스트 시스템을 감독하는 사람들이 특정 기준을 충족하도록 정의하려고 할 수 있습니다. 우리는 그들이 더 나은 모니터링을 받아야 한다고 주장할 수도 있습니다(Tesla가 하고 있는 일). 우리는 그들에게 전문가에게 물어보거나 테스트를 통과할 수 있지만, 그런 다음에는 이러한 테스트를 정의하고 시행하는 기관을 만들게 되며, 이는 번거로운 일이 될 것입니다. 필기시험에 합격하고 건강증명서만 취득하면 운전 강사가 될 수 있으며 실기 시험은 없습니다.

그럼에도 불구하고 프로토타입 시스템을 누가 감독할 수 있는지에 대한 일련의 규칙을 정의할 수 있으며 이는 Tesla의 활동을 중단시킬 수 있습니다. 그러나 그렇게 하는 것은 “좋을수록 더 마음에 들지 않는다”는 역설에 빠지는 것입니다. 우리는 더 나은 시스템이 되기 위해 그 계곡을 건너는 것을 더 어렵게 만들고 싶지 않습니다. 진짜 질문은 아무도 다치지 않는데도 우리가 그곳에 가고 싶어하는 이유입니다. 현재로서는 사람들이 다쳤다는 보고가 없으며, 확실히 일반 운전보다 더 큰 위험이 있음을 나타내는 수준은 아닙니다. 우리는 위험하다는 직관을 가지고 있기 때문에 금지의 함정에 빠지고 싶지 않습니다. 우리는 실제로 위험한 것들만 금지하고 싶습니다.

Tesla FSD 테스트가 나중에 너무 위험해지기 시작할 가능성이 큽니다. 이것은 자동화 안주 또는 시스템 변경으로 인해 발생할 수 있습니다. Tesla가 시스템을 테스트하는 동안 얼마나 많은 사고가 발생했는지 당국에 보고하도록 요청하는 것이 합리적입니다. 그래야 시스템이 위험한지 여부와 시기를 알 수 있습니다. O'Dowd의 "위험할 것 같아서 금지해야 합니다"라는 접근 방식은 적어도 미국에서는 잘못된 접근입니다.

ADVERTISEMENT

여기에서 읽고 의견을 남겨주세요