보안 전문가 Bar Lanyado는 최근 생성 AI 모델이 소프트웨어 개발 세계에서 엄청난 잠재적 보안 위협에 어떻게 의도치 않게 기여하는지에 대한 몇 가지 연구를 수행했습니다. Lanyado의 이러한 연구는 놀라운 추세를 발견했습니다. AI는 가상의 소프트웨어 패키지를 제안하고 개발자는 자신도 모르는 사이에 이를 코드베이스에 포함시킵니다.
공개된 문제
이제 문제는 생성된 솔루션이 AI의 전형적인 이름인 가상의 이름이라는 것입니다. 그러나 이러한 가상 패키지 이름은 AI 모델 프로그래밍에 어려움을 겪는 개발자에게 자신있게 제안됩니다. 실제로 일부 고안된 패키지 이름은 부분적으로 Lanyado와 같은 사람을 기반으로 했으며 일부는 이를 실제 패키지로 전환했습니다. 이로 인해 실제적이고 합법적인 소프트웨어 프로젝트에 잠재적인 악성 코드가 실수로 포함되었습니다.
이러한 영향을 받은 기업 중 하나는 기술 산업의 주요 기업 중 하나인 알리바바였습니다. Lanyado는 GraphTranslator 설치 지침에서 Alibaba에 가짜 "huggingface-cli"라는 패키지가 포함되어 있음을 발견했습니다. 실제로 PyPI(Python Package Index)에 호스팅되는 같은 이름의 실제 패키지가 있었는데 알리바바 가이드에서는 란야도가 만든 패키지를 참고했다.
지속성 테스트
Lanyado의 연구는 이러한 AI 생성 패키지 이름의 수명과 잠재적인 활용을 평가하는 것을 목표로 했습니다. 이러한 의미에서 LQuery는 가상의 이름이 효과적으로, 체계적인 방식으로 추천되었는지 이해하는 과정에서 프로그래밍 문제와 언어 간 고유한 AI 모델을 수행했습니다. 이 실험에서는 유해한 주체가 AI 생성 패키지 이름을 악용하여 악성 소프트웨어를 배포할 위험이 있음이 분명합니다.
이러한 결과는 깊은 의미를 갖는다. 악의적인 행위자는 수신된 권장 사항에 대한 개발자의 맹목적인 신뢰를 악용하여 허위 신원으로 유해한 패키지를 게시하기 시작할 수 있습니다. AI 모델을 사용하면 발명된 패키지 이름에 대해 일관된 AI 권장 사항이 제공되므로 이를 인식하지 못하는 개발자가 맬웨어로 포함할 위험이 증가합니다. **앞으로 나아가는 길**
따라서 AI가 소프트웨어 개발과 더욱 통합되면서 AI가 생성한 권장 사항과 연결되면 취약점을 수정해야 할 필요성이 발생할 수 있습니다. 이러한 경우 통합을 위해 제안된 소프트웨어 패키지가 적법하도록 실사를 실시해야 합니다. 또한 소프트웨어 저장소를 호스팅하는 플랫폼은 악의적인 품질의 코드가 배포되지 않도록 검증하고 충분히 강력해야 합니다.
인공지능과 소프트웨어 개발의 교차점에서 우려되는 보안 위협이 드러났습니다. 또한 AI 모델은 실수로 가짜 소프트웨어 패키지를 추천하게 되어 소프트웨어 프로젝트의 무결성에 큰 위험을 초래할 수 있습니다. 알리바바가 지시에 있어서는 안 되는 상자를 포함시켰다는 사실은 사람들이 로봇적으로 권장 사항을 따를 때 실제로 어떤 가능성이 발생할 수 있는지를 보여주는 확실한 증거입니다.
AI가 제공한 것입니다. 앞으로는 소프트웨어 개발에 AI가 오용되는 일이 없도록 선제적인 조치를 취해야 할 것입니다.
출처: https://www.cryptopolitan.com/ai-generated-software-packages-threats/