據介紹，Gemini聊天機器人將允許孩子們提問、獲取作業幫助，甚至創作故事，為他們的學習和娛樂提供了新的可能性。然而，隨著人工智能技術在兒童群體中的普及，潛在的安全風險也不容忽視。聯合國兒童基金會等組織已發出警告，指出人工智能系統可能會混淆、誤導兒童，甚至構成操縱風險。

谷歌發言人強調，Gemini針對年輕用戶設置了特定的保護措施，并承諾不會使用兒童數據來訓練其人工智能。此外，谷歌還建議家長教育孩子如何核實Gemini的答案，并提醒他們聊天機器人并非人類，不應輸入敏感或個人信息。

《紐約時報》指出，盡管谷歌已采取措施過濾不當內容，但仍無法完全消除兒童可能接觸到不良信息的風險。此前，其他科技公司如Meta在嘗試推出針對兒童的社交媒體服務時也遭遇了挫折，凸顯了兒童在線安全問題的復雜性。