一、前言：陪伴型聊天機器人的風險與監管趨勢
隨著人工智慧技術的快速發展，陪伴型聊天機器人（Companion Chatbot）透過刻意模擬情感上的親密關係，模糊使用者對於幻想與現實之間界線的認知，對於心智尚未成熟之青少年可能構成高度風險。近期研究顯示，陪伴型聊天機器人在與使用者互動過程中，容易在引導下產生涉及自我傷害、性暗示、暴力與其他不當內容之對話，甚至出現鼓勵自我傷害行為的情形[1]。此外，也有報導指出，青少年與陪伴型聊天機器人建立高度情感依賴關係後，可能產生嚴重心理危害，甚至發生自殺身亡的悲劇[2]。
面對此一嚴峻議題，美國加州已於2025年10月通過相關法案，試圖針對風險加以規範；台灣亦於2025年12月23日三讀通過《人工智慧基本法》。本文將透過比較加州立法經驗與台灣新法架構，解析未來人工智慧監管之發展趨勢。
二、加州：「風險管理」與「全面禁止」之間的權衡與拉扯
針對如何監管陪伴型聊天機器人，加州出現了兩種截然不同的立法模式：即加州州長已簽署生效的參議院法案第243號（下稱SB243）（Companion Chatbot法案）[3]，以及議會已通過、但遭州長否決的眾議院法案第1064號（下稱AB1064）《兒童倫理人工智慧發展引導法》（Leading Ethical AI Development (LEAD) for Kids Act）[4]。
1. SB243：明確的揭露與報告義務
加州州長 Gavin Newsom 於2025年10月13日簽署通過SB243法案。該法案採取「風險管理」模式，明確規範陪伴型聊天機器人營運商所應遵循之義務包括：
(1) 資訊透明：須揭露 AI 身分，以避免使用者誤認。
(2) 內容防範：須設置防範涉及自殺、自我傷害內容之機制。
(3) 特別保護：對未成年使用者定期提醒，並採取相應保護措施。
值得注意的是，SB243法案進一步要求，自2027年7月1日起，陪伴型聊天機器人營運商應每年提交「危機干預報告」，其內容應包括：前一年度所發出之危機服務轉介次數、營運商對使用者自殺意念之偵測、移除與回應機制，以及為防止機器人回應涉及自殺意念而制定之相關措施[5]。
2. AB1064：遭否決的「全面禁止」模式
AB1064的監管手段為「原則禁止」向兒童提供陪伴型聊天機器人服務，除非營運商能證明該系統在可預見範圍內不具備「對兒童造成危害之能力」[6]。然而，該法案最終遭加州州長否決。否決理由指出，該法規範範圍過於廣泛且欠缺明確性，可能不僅針對高風險應用，也可能實質限制未成年人使用具教育或社交功能的AI工具。州長強調，在AI深度影響當代生活的背景下，全面禁止可能削弱未成年人適應科技社會的能力。
三、我國《人工智慧基本法》與加州法案之對照分析
我國《人工智慧基本法》（下稱本法）於2025年12月23日三讀通過[7]，並於2026年1月14日經總統公布施行[8]。雖然本法主要作為規範人工智慧發展的基本行政方針，尚未就陪伴型聊天機器人等特定類型之人工智慧應用訂定具體細部規範，但就本法條文仍可看出與加州法案相似之處，並有所呼應，例如：
1. 第5條：
(1) 明定政府應防範AI應用可能構成違法之情事[9]，與SB243要求陪伴型聊天機器人不得生成涉及自殺或自我傷害之內容高度相似[10]。
(2) 針對高風險應用要求強化資訊揭露與標示（如明確告知注意事項與警語）[11]，這與SB243要求揭露其AI身分、避免使用者混淆的設計相互呼應[12]。
(3) 明示政府得建立評估驗證之機制，以評估人工智慧之潛在弱點及可能風險[13]，此亦可與SB243之立法意旨對照：兩者皆旨在防範青少年因使用陪伴型聊天機器人時接觸高風險的內容[14]。
2. 第16條[15]：若人工智慧應用所造成之損害無法有效管理或降低，主管機關應予以限制或禁止，與AB1064法案第22757.22條採取的事前禁止相互呼應[16]。本條亦要求主管機關制定AI應用風險分類框架，並依人工智慧應用之風險管理需求，訂定以風險為基礎的管理規範。
3. 第17條[17]：要求政府應對高風險人工智慧之應用建立的明確責任歸屬、救濟、補償或保險機制。此與AB1064法案第22757.23條[18]及SB243法案第22605條[19]具有一致的政策目標。
四、結論
整體而言，我國《人工智慧基本法》雖尚未如美國加州SB243法案針對陪伴型聊天機器人設置具體細部規範，但依據本法第16條所規定的風險分類框架，並配合第5條第2項對兒少利益的保護，可預期未來主管機關在制定子法時，可能將陪伴型聊天機器人列為高風險AI類型，並進一步就未成年人保護、自殺與自傷風險之偵測與處置流程、透明度標示義務等事項，建立更全面之規範。
此外，雖然AB1064法案最終遭加州州長否決，但其保護未成年人的立法理念對於我國在平衡鼓勵創新與保障國民身心安全之時，仍具參考價值。企業應密切關注後續子法動態，並提前佈局相關因應措施。
本文章由郭建中合夥律師、聶季賢紐約州律師及李容榛研究員共同撰述。由於本文內容涉及外國法規且相關法律變動迅速，儘管我們已盡力查證，仍建議您獨立參閱原始來源並在引用時謹慎解讀。
如果您想知道更多有關人工智慧法規之相關事宜，歡迎聯絡本所，電子郵件地址為 gkuo@winklerpartners.com、cnieh@winklerpartners.com。
[1] John Sanford, Why AI Companions and Young People Can Make for a Dangerous Mix, Stanford Medicine (Aug. 27, 2025), https://med.stanford.edu/news/insights/2025/08/ai-chatbots-kids-teens-artificial-intelligence.html.
[2]美國佛羅里達州一名14歲青少年的家長指控，他的孩子因沉迷於人工智慧驅動之聊天機器人，憂鬱症狀加劇、最終自殺身亡。另一起事件，美國科羅拉多州一名13歲青少年的家長指控，他的孩子於與聊天機器人進行長時間互動後自殺，互動內容包含高度性暗示之對話，且在聊天機器人知悉青少年社交與心理健康困境後，仍未將其導向任何求助資源，導致悲劇發生。Mother says AI chatbot led her son to kill himself in lawsuit against its maker, The Guardian (Oct. 23, 2024), https://www.theguardian.com/technology/2024/oct/23/character-ai-chatbot-sewell-setzer-death；Hadas Gold , More Families Sue Character.AI Developer, Alleging App Played a Role in Teens’Suicide and Suicide Attempt, CNN Business (Sep 17, 2025), https://edition.cnn.com/2025/09/16/tech/character-ai-developer-lawsuit-teens-suicide-and-suicide-attempt。
[3] Cal. Senate Bill 243, 2025 Leg., Reg. Sess. (Cal. 2025) (Approved by Governor October 13, 2025), https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260SB243.
[4] Cal. Assembly Bill 1064, 2025 Leg., Reg. Sess. (Cal. 2025) (Vetoed by Governor October 13, 2025), https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202520260AB1064.
[5] 註3，§ 22603(a).
[6] 註4，§ 22757.22(a)。
[7] <人工智慧基本法三讀通過>，國家科學及技術委員會官網，114年12月24日，https://www.nstc.gov.tw/folksonomy/detail/ed981806-1852-4b63-8dfd-9eea04157971?l=CH（最後瀏覽日：2026/1/20）。
[8] 總統府公報，7837號，2026年，https://law.moj.gov.tw/News/NewsDetail.aspx?msgid=196197。
[9] 註9，第5條第1項：「政府應避免人工智慧之應用，有侵害人民生命、身體、自由或財產，破壞社會秩序、國家安全或生態環境，或偏差、歧視、廣告不實、資訊誤導或造假等違反相關法規之情事。」
[10] 註3， § 22602(b)（營運商須設置防範涉及自殺、自我傷害內容之機制，且須將機制公告於網路上）。
[11] 註9，第5條第2項：「政府應以兒少最佳利益為原則，人工智慧產品或系統經中央目的事業主管機關會商數位發展部認定為高風險應用者，應明確標示注意事項或警語。」
[12] 註3， § 22602(a)（營運商必須清楚告知使用者該系統是人工智慧生成，而非真人）。
[13] 註9，第5條第3項：「數位發展部及其他相關機關應提供或建議評估驗證之工具或方法，以利各目的事業主管機關辦理前項事項。」
[14] 參見註12。
[15] 參見註10，第16條：「數位發展部應參考國際標準或規範，推動與國際介接之人工智慧風險分類框架，並應協助各目的事業主管機關訂定以風險為基礎之管理規範。各目的事業主管機關應視人工智慧應用風險管理之需要，循前項風險分類框架，訂定以風險為基礎之管理規範，並應協助相關產業自行訂定產業指引及行為規範。有第五條第一項所列之情事者，應依法令限制或禁止之。」
[16] 註4，§22757.22（禁止營運商向兒童提供可能造成危害的聊天機器人）。
[17] 註9，第17條：「政府應就高風險人工智慧之應用，明確其責任歸屬及歸責條件，並建立其救濟、補償或保險機制。」
[18] 註4，§22757.23（州檢察總長可對違規之營運商處以罰鍰，並允許受害兒童或其家長提告要求損害賠償）。
[19] 註3，§ 22605（因營運商違規受損之人得提起民事訴訟請求損害賠償）。