techcrunch 통신에 따르면 AI 크롤링 봇이 오픈소스 생태계에서 심각한 문제로 떠오르면서 개발자들이 유쾌한 방식으로 대응하고 있다는 소식이 전해졌다. 리눅스 데스크탑 Plasma의 개발자 니콜로 베네란디는 “AI 크롤러가 오픈소스 사이트에 불균형적으로 피해를 주고 있다”고 밝혔다. 무료 및 오픈소스(FOSS) 프로젝트는 대체로 공개적이고 자원이 제한되어 있어 크롤링 공격에 취약한 상황이다.
문제는 많은 AI 크롤러들이 웹사이트의 robot.txt 지침을 무시하고, IP를 위장하거나 사용자 에이전트를 조작하며 접근을 시도한다는 것이다. FOSS 개발자 Xe Iasó는 “AI 봇은 사이트가 쓰러질 때까지 긁는다”고 분노를 터뜨렸다.
이에 Iasó는 역방향 프록시 기반의 도구 ‘아누비스(Anubis)’를 개발했다. AI 봇을 걸러내는 이 도구는 이름처럼 웹 요청자의 '영혼'을 저울질하여 봇이면 거부하고, 인간이면 통과시키는 방식이다. 사용자는 통과 후 귀여운 애니메이션을 보게 되고, 봇은 차단된다. 아누비스는 공개 후 며칠 만에 GitHub에서 수천 개의 별과 포크를 기록하며 FOSS 커뮤니티의 폭발적인 반응을 얻었다.
FOSS 생태계의 또 다른 개발자들도 이 문제에 대해 각자의 방식으로 대응하고 있다. 소스헛(SourceHut) 창립자 드류 디볼트는 “일주일 내내 AI 크롤러 방어에 시간을 쓰고 있다”고 말했고, Fedora 프로젝트 관리자인 케빈 펜지는 브라질 전역의 접속을 차단해야 했다고 밝혔다. 일부 개발자들은 중국 전체 IP를 막기도 했다.
더 나아가, AI 봇을 속이거나 골탕 먹이는 도구도 등장하고 있다. ‘네펜테스(Nepenthes)’는 봇을 가짜 콘텐츠 미로에 가둬 리소스를 소모시키며, Cloudflare는 ‘AI Labyrinth’라는 유사 도구를 출시해 잘못된 정보를 봇에게 의도적으로 제공하고 있다.
이처럼, 로봇.txt 파일을 무시하는 AI 크롤러에 맞서 개발자들은 단순한 방어를 넘어 창의적인 복수 전략을 펼치고 있다. 이는 단순한 기술적 대응을 넘어, 유머와 풍자를 활용한 개발자들의 생존 방식이기도 하다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}
