techcrunch 통신에 따르면 AI 훈련 데이터의 한계가 도달했다는 논의가 업계에서 뜨거운 화두로 떠오르고 있다. 일론 머스크(Elon Musk)는 8일(현지 시간) X 플랫폼에서 진행된 Stagwell 회장 마크 펜(Mark Penn)과의 대화에서 "우리는 인간 지식의 누적 총합을 기본적으로 다 써버렸다"고 주장하며 AI 훈련 데이터의 부족 문제를 지적했다. 그는 이 같은 현상이 지난해부터 발생했다고 밝혔다.
머스크의 발언은 AI 업계에서 데이터 부족 문제를 처음 제기한 것이 아니다. 지난해 머신러닝 컨퍼런스 뉴IPS(NeurIPS)에서 전 오픈AI 수석 과학자 일리야 수츠케버(Ilya Sutskever)는 '피크 데이터'에 도달했다며, 기존 훈련 데이터 방식의 한계를 지적한 바 있다.
머스크는 기존의 실제 데이터를 대체할 방법으로 합성 데이터를 제안했다. 합성 데이터란 AI가 자체적으로 생성한 데이터를 의미하며, AI 모델 훈련에서의 자급자족 방식을 지향한다. 그는 "AI가 스스로 데이터를 생성하고 평가하며 자가 학습 과정을 거치는 합성 데이터가 앞으로 나아갈 길"이라고 강조했다.
현재 마이크로소프트, 메타, 오픈AI, 앤스로픽 등 주요 기술 기업들은 이미 합성 데이터를 활용해 AI 모델을 훈련시키고 있다. 가트너의 보고서에 따르면 2024년에는 AI 및 분석 프로젝트에서 사용되는 데이터의 60%가 합성 데이터일 것으로 전망된다.
마이크로소프트의 Phi-4, 구글의 젬마, 앤스로픽의 Claude 3.5 Sonnet, 메타의 Llama 시리즈 등 최신 모델들이 합성 데이터를 기반으로 개발되며 합성 데이터 활용이 점차 일반화되고 있다.
합성 데이터는 비용 절감이라는 중요한 장점을 제공한다. 예를 들어, AI 스타트업 라이터(Writer)는 거의 전적으로 합성 데이터를 활용한 팔미라 X 004 모델을 70만 달러의 비용으로 개발했는데, 이는 비슷한 크기의 오픈AI 모델의 추정 비용(460만 달러)에 비해 매우 저렴하다.
그러나 합성 데이터 사용에는 단점도 존재한다. 연구에 따르면 합성 데이터는 AI 모델의 창의성 저하와 편향된 결과를 초래할 수 있다. 합성 데이터를 생성한 AI 모델이 본래의 편향성을 포함할 가능성이 높아, 이후 모델 성능과 결과물의 품질에 부정적인 영향을 미칠 수 있다는 우려가 나온다.
AI 업계는 이러한 문제를 해결하기 위해 합성 데이터의 질을 개선하고, 데이터 생성 및 평가 과정에서 편향성을 최소화하기 위한 노력을 지속하고 있다.
AI 훈련 데이터 부족 문제는 업계 전반에 걸쳐 새로운 도전 과제를 제시하고 있다. 합성 데이터가 새로운 대안으로 떠오르고 있는 가운데, 기술적 혁신과 윤리적 고민이 함께 필요할 것으로 보인다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
