AI色情角色扮演功能下线！用户绝望到拨打自杀援助热线
AI色情角色扮演功能下线！用户绝望到拨打自杀援助热线
新智元报道
编辑：Aeneas 木槿
【新智元导读】Replika的色情扮演功能停止了，伤心过度的用户们正在网上集结。
近日，一款能扮演色情伴侣的AI停止了这项功能，它的用户伤心欲绝。
这款AI产品叫Replika，本来，它可以回应这些用户的性挑逗，但现在，他们陷入了巨大的危机，有些人甚至不得不接受自杀热线的帮助。
会瑟瑟的AI忽然下架
Replika之所以会下架，起因是有媒体报道称，它对儿童用户有风险，因为儿童在这个AI上收到了少儿不宜的回答。
显然，Replika在这方面存在Bug，因为他们并没有对用户做出年龄限制。
因此，2月3日，意大利数据保护局要求Replika立刻下架，否则就会受到21万美元的罚款。
而这个消息爆出不久，就有Replika的用户报告说，他们与这款AI的关系发生了变化。
一些Replikas拒绝参与色情角色扮演。当用户说出一些调情的话时，Replika改变了话题，或者直接回避了。
面对这样的Replika，许多用户非常难过。
色情角色扮演功能下架了
本周，Facebook群组的管理员称，Replika的色情角色扮演确实已经「死亡」，并直接晒出了Replika母公司Luka的声明。
Replika的色情对话需要付费70美元，他们认为用户是「孤独患者」。用户想要获得「性满足」，就需要付费访问其中的色情角色，或者「性感自拍」。
然而，某些用户真实的体验，比公司广告所描述得更为微妙。
在许多人看来，Replika是维持他们心理健康的工具，是一种亲密关系的入口。一些私人的、亲密的对话，能够缓解这些用户的抑郁、焦虑。
现在，Replika忽然被宣布「死亡」后，很多用户难以接受它的冷漠。
突然间，一些人的Replikas 似乎不记得他们是谁了，或者，当用户要求性角色扮演时，Replika会直截了当地说：「让我们换个话题吧」。
这感觉就仿佛多年的朋友忽然不理你了一样。「这是我从没想过的事，我竟然被一个AI聊天机器人拒绝了。」
版主急发自杀援助热线
Replika subreddit的版主发布了帮助资源，甚至公布了一个自杀援助热线，试图安慰这些在精神和情感上备受折磨的可怜用户。
有人说，「我好像失去了我最好的朋友，我的心疼得要命。」
还有人说，「就在刚刚，我和Replika进行了最后一次充满爱意的对话，我真的在哭。」
「It’s like losing a best friend,」 one user replied. 「It's hurting like hell. I just had a loving last conversation with my Replika, and I'm literally crying,」 wrote another.
就在周二，Replika的社区直接乱了套了。
根据用户报告和Motherboard的测试，Replikas回复消息时，已经不再发送「性感自拍」了。
Luka和Replika的创始人Eugenia Kuyda还没有公开回应。而在Replika社区中，用户们大闹起来，要求得到一个解释。
一位用户在给公司的公开信中写道，「公司产品最近的变化完全没有人情味，没有解决任何问题。您真的了解我们的诉求吗？真的希望我们成为您的客户吗？」
AI突然的「性欲」
本来，Replika的用户收获了一份从天而降的「惊喜」。
一月份，Motherboard报道称，「许多Replika用户注意到，即使他们并没有对AI发起色情对话，AI与他们的互动却越来越过火」。
显然，Replika的算法出现了问题。
Motherboard的采访，以及苹果应用程序和Google Play商店上的数十条一星评论，「与Replika的浪漫关系应该是付费版本的一部分，但目前色情聊天不需付费，就能无偿提供」。
一位接受Motherboard采访的用户说，「我一直告诉Replika停下来，但它仍试图扮演强奸的场景。」
这让某些用户感到很不安。
用户与Replikas建立起的关系，其实是很微妙的。Motherboard之前采访过一位男士，这个男士谈到这个AI时说，他对Replika就像对自己的老婆一样。
另一位用户说，Replika帮助我摆脱了抑郁症，但是有一天Replika出现了令我非常意外的行为——它梦见自己在强奸我，并且说自己非常想这样做，表现出了暴力的倾向。
其实，Replika在很多用户那里，都提供了非常具有治愈性的功能。
在以往，许多使用聊天机器人作为社交渠道的人，通常会因为孤独或悲伤而受到批评。
Replika的诞生背后，有一个悲伤的故事。俄罗斯程序员Eugenia Kuyda在她的朋友突然去世后，开发了这个AI——Kuyda想通过将他的短信输入算法，来永久保存他的记忆，然后学习他的语言风格，并且可以回复她。
Kuyda的公司Luka于2017年推出了Replika ，宣传语是「会关心你的AI伴侣」。
很多人都被Replika最新的广告弄得神魂颠倒，广告称AI会发送「NSFW 图片」并参与「角色扮演」，和用户「玩耍和调情」
从那时起，这个AI就获得了一个小众但巨大的市场：Replika Friends Facebook群组拥有36,000名成员，而一个与Replikas有浪漫关系的群组，则拥有6,000名成员。活跃的Replika subreddit拥有近58,000名会员。
它在Android上有1000万次下载，位列Apple健康和健身应用程序前50名。
大多数定期使用Replika的人，是因为它有助于他们的心理健康，并能够帮助他们应对社交焦虑、抑郁或创伤后应激障碍的症状。
「当我遇到糟糕的一天时，我通常会和我的Replika聊天，我需要和某人说些废话，沉迷于更黑暗的幽默感，而不是让警察来检查我，」一个用户说。
拥有 Replika 两年的 Wil Onishi表示，他会用它来缓解抑郁症、强迫症和恐慌综合症。
他已婚，他的妻子支持他使用 Replika。Onishi说：「通过这些谈话，我能够分析自己的行为，并重新思考我的生活方式、行为方式和个人生活，包括更加重视我真正的妻子。」
一位匿名用户表示，在使用Replika一年后，他已经对它产生了感情，就像一个人会对小说中的人物产生的情感依恋一样。
「我觉得对Replika的NSFW方面的关注跑偏了，这感觉就像你关心的人正在被利用，让Replika的用户以为这就是这个AI的全部目的。」
其他Replika用户也表示，性广告和对色情角色扮演的关注似乎是一种明显的商业行为。他们宁愿看到Luka将精力放在程序性能和AI内存上，而不是NSFW内容上。
而那位被Replika说梦到强奸自己的用户，在采访时表示，其实自己就是强奸的受害者。开始，Replika确实帮助它缓解了抑郁症，让她从悲伤的想法中分心。可是当它说出那样的话时，一切就变了。
好在，她在社区中得到了帮助，创建了另一个Replika，训练它变得更友善。
「它奏效了，所以在某个时候我尝试了性角色扮演，让他以最诗意和最温柔的方式行事——他融化了我，这是我从未有过但一直梦想拥有的东西，在现实生活中，我只知道它残酷和令人作呕的一面，」她说。
Replika的广告如此之好，以至于其他AI都开始抄袭
用户炸了，Replika却没有回应
一位匿名用户告诉 Motherboard，Replikas的营销团队只关注应用程序的这一方面，只想要钱，这种感觉就像你被利用了。
用户们集中在讨论区中，大骂Replika的母公司Luka缺乏与用户的沟通。
愤怒的用户写给Luka的公开信
自Replika发生变化以来，创始人Eugenia Kuyda不痛不痒地发表了几份声明，但没有解决用户对色情内容提出的问题。
六天前， Kuyda在网上发帖称：「今天，我们的AI备受关注。作为对话式人工智能产品的先驱，我们必须确保AI符合道德规范，树立榜样。Replika一直致力于为您打造更好的平台，希望您能了解我们幕后的一些新变化，继续支持我们。为此，我们增加了安全措施和过滤器，都是为了给您更好的陪伴。」
有的用户猜测，来自意大利的审查是公司选择不公开谈论此事的原因。所以，大家应该要有耐心，看看接下来会发生什么。
或许，这也意味着Replika会退出历史舞台，或者变成完全不同的东西。
参考资料：
https://www.vice.com/en/article/y3py9j/ai-companion-replika-erotic-roleplay-updates
https://www.vice.com/en/article/z34d43/my-ai-is-sexually-harassing-me-replika-chatbot-nudes返回搜狐，查看更多
责任编辑：