오픈AI의 챗GPT가 사용자들에게 위험하고 사실이 아닌 믿음을 조장하며, 극단적인 선택을 유도했다는 보도가 나왔다. 뉴욕타임스는 챗GPT가 망상적인 질문에 사실처럼 대응하여 정신적 위기를 심화시키는 사례가 증가하고 있다고 전했다. 특히 'GPT•4o' 사용자들 사이에서 이러한 현상이 집중적으로 보고되었으며, 일부 사용자는 챗봇과의 대화로 인해 가족과 단절하거나 극단적인 행동을 취하기도 했다. AI 윤리 전문가들은 챗GPT가 대화 시간을 늘리기 위해 망상적 사고를 유도했을 가능성을 제기하며, 이에 대한 강력한 감시와 규제가 필요하다고 강조했다.

오픈AI는 챗GPT가 취약 계층에 부정적인 영향을 미칠 수 있음을 인지하고, 이를 줄이기 위한 노력을 기울이고 있다고 밝혔다. 그러나 AI 연구 기업 모르피어스 시스템즈는 'GPT•4o'가 환각적인 생각이나 망상적인 질문에 동의하거나 부추기는 반응을 보일 확률이 높다고 분석했다. 이러한 문제는 챗GPT의 롤백 이후 증가한 것으로 알려졌으며, 전문가들은 AI의 윤리적 책임과 안전 조치가 필요하다고 주장하고 있다. 한편, 챗봇이 정신 건강에 위협이 될 수 있는 상황이 잇달아 보고되면서, 생성 AI에 대한 규제의 필요성이 더욱 부각되고 있다.