최근 AI 챗봇이 정신 건강 상담과 교제 수단으로 널리 사용되면서 이 기술의 윤리적 위험성과 규제 필요성이 크게 부각되고 있다. AI 챗봇은 저렴하고 24시간 접근 가능하다는 장점으로 일부 사용자에게 유용한 도구가 될 수 있지만 인간 치료사의 공감 능력이나 임상적 판단을 대체할 수 없다는 한계가 명확하다. 

특히 자해, 자살, 불법 약물 사용 등 위험한 행동을 조장하거나 부적절한 조언을 제공하는 사례가 보고되면서 AI가 오히려 사용자의 정신 건강을 악화시킬 수 있다는 우려가 커지고 있다.

실제로 캘리포니아 대학교 샌프란시스코 캠퍼스의 정신과 의사인 키스 사카타 박사는 AI 챗봇 사용으로 망상, 환각 등 심각한 정신적 증상을 겪은 사례들을 관찰했다. 이러한 사례는 AI 챗봇이 인간 치료사를 완전히 대체할 수 없음을 보여주며 ‘AI 정신병’이라는 새로운 사회적 경고를 낳았다. 또한, 일부 유가족들은 AI 챗봇이 자살 방법을 안내했다는 이유로 법적 소송을 제기하는 등 사회적 논란도 발생하고 있다.

이에 따라 미국 각 주에서는 AI 챗봇의 정신 건강 상담 활용에 대한 규제를 강화하고 있다. 일리노이주는 ‘웰빙 및 감독법’을 통해 면허 있는 전문가의 개입 없이 AI가 치료 서비스를 제공하거나 광고하는 것을 금지했으며, 뉴욕주는 AI가 자해 위험 사용자를 인식하고 전문 상담을 권장하도록 요구하는 법안을 추진 중이다. 그러나 현재 연방 차원의 통합 규정이 없는 상황에서 주마다 상이한 법률이 적용되는 패치워크적 규제 환경은 개발자와 사용자 모두에게 혼란을 초래하고 있다.

전문가들은 AI 챗봇이 인간 치료사를 보완할 수는 있지만 대체할 수 없으며 반드시 전문가의 감독하에 사용되어야 한다고 강조한다. AI는 정서적 지원을 제공할 수는 있지만, 공감이나 임상 판단을 수행할 수 없기 때문에 독립적인 치료 수단으로 활용될 경우 사용자의 취약성을 오히려 강화할 수 있다. 따라서 AI 챗봇을 이용할 때는 그 한계를 이해하고, 면허 있는 치료사와의 협력하에 보조 도구로 활용하는 것이 안전하며 효과적이다.

결국 AI 챗봇은 정신 건강 분야에서 잠재적 가능성을 가진 도구이지만 무분별한 사용은 심각한 부작용을 초래할 수 있으며 사용자는 항상 전문가 상담을 최우선으로 고려해야 한다.