把算法关进法律的笼子

随着算法应用的场景拓展，算法技术的触角伸入数字化生活的每个角落：电商购物、信息知识浏览、金融信贷、绩效管理、AI辅助量刑、生物识别及监控安保都有算法的身影，人们无时无刻不笼罩在算法之网中。

面对大数据杀熟、算法歧视、算法黑箱、算法共谋等算法问题，早前的《电子商务法》与《消费者权益保护法》相继从立法层面作出回应。

2021年8月20日通过的《个人信息保护法》（下称《个保法》）引入自动决策概念并设置专条进行规制。2021年9月17日，网信办等九部门发布《关于加强互联网信息服务算法综合治理的指导意见》，提出“利用三年左右时间，逐步建立治理机制健全、监管体系完善、算法生态规范的算法安全综合治理格局”。2022年1月4日，国家网信办、工信部、公安部和市场监管总局等四部门联合发布《互联网信息服务算法推荐管理规定》（下称《规定》），该规定将自2022年3月1日起施行。

至此，中国形成了从部门法、数据法到联合部门规章形式的专门算法管理规定等，三个层面的算法初步规制体系。如果说中国2021年开启算法治理元年，从零散传统部门法应对算法过渡到从数据源头端规制算法阶段，伴随《规定》的出台，中国则从2022年开始迈向对算法进行事前事中全流程、动态规制与监管的“算法法”时代。

“算法歧视、大数据杀熟、诱导沉迷等算法不合理应用导致的问题也深刻影响着正常的传播秩序、市场秩序和社会秩序，给维护意识形态安全、社会公平公正和网民合法权益带来挑战，迫切需要对算法推荐服务建章立制、加强规范，着力提升防范化解算法推荐安全风险的能力，促进算法相关行业健康有序发展。”国家网信办的官方解读揭示了《规定》算法风险规制的出发点，也是我们解读该规定的底层逻辑：算法自动化决策带来效率、便捷的同时，也蕴含着技术风险。

算法技术红利的另一面是算法侵害，包括算法标签、算法操纵、算法歧视等等。如何在分享算法红利的同时抵御算法侵害与风险，是算法法律规制的逻辑基点。

一、算法标签：精准营销与过度推荐

算法对用户进行大数据画像，形成便于算法服务提供者或网络平台进行产品或服务推销的电子身份标签，该标签一旦形成便会存档，在不同算法服务提供者之间流通，对个人或社会造成长期负面影响。

大数据画像将用户贴上不同的标签进行分型，便于商家进行精准营销与过度推荐。例如社交App可将包含拜金炫富、色情低俗类的信息关键词记入用户标签，并向其推送类似信息，助长拜金、奢靡或低俗之风。

南都网络内容生态治理研究中心测评曾发现，蜻蜓FM App青少年模式主页推荐界面存在成人内容或情趣交友、低俗短视频等广告链接。一些社交类App此前也被曝向搜索亲子话题的用户推送未成年人隐私图片、色情擦边球视频，可能是对这部分用户以未成年人色情的违法信息关键词设置用户标签，并据此推送相关信息。

为应对不当算法标签及其可能带来的损害，禁止以违法和不良信息关键词对用户贴标签、归类并针对性推送信息，《规定》第10条规定，“算法推荐服务提供者应当加强用户模型和用户标签管理，完善记入用户模型的兴趣点规则和用户标签管理规则，不得将违法和不良信息关键词记入用户兴趣点或者作为用户标签并据以推送信息。”如果算法推荐服务者能够在用户模型和标签管理这一算法设计部署环节加强管理，规范行为，杜绝违法不良信息关键词出现在用户模型兴趣点规则或用户标签中，将能够减少色情、低俗信息对用户的滋扰，净化信息网络空间，也有利于主流价值观维护与未成年人保护。

值得注意的是，相较于《征求意见稿》第10条，生效文本删除了“不得设置歧视性或者偏见性用户标签“的规定，鉴于“歧视性和偏见性”的范围过大、含义模糊弹性，将禁止性标签限定于违法、不良信息关键词显然更为宽松，也更具有可操作性。

此外，《规定》第17条规定算法推荐服务提供者应当向用户提供不针对其个人特征的选项，或者向用户提供便捷的关闭算法推荐服务的选项，以及向用户提供选择或者删除用于算法推荐服务的针对其个人特征的用户标签的功能，通过对用户赋权的方式将主动权交给用户，避免其被贴上不当的算法标签。但用户标签不同于个人信息，如何在技术上比照《个保法》赋予的个人信息删除权支持用户标签的删除、管理权，尚待实践进一步检验。

二、算法操纵：信息茧房与劳动压榨

算法能够利用搜集、汇聚的用户数据形成巨大的信息优势，向用户推送信息，影响其选择与决策，实现对个人和群体的操纵。例如，新闻推荐造成“信息茧房”、投其所好，只给用户推送其喜欢的信息内容，可能导致用户意见观点偏执甚至沉迷。今日头条的算法推荐通过对用户浏览内容数据的抓取、汇聚、分类、排序、提取，根据其兴趣爱好进行匹配并向其精准推送，不仅存在一味迎合取悦用户及追求流量最大化问题，而且可能侵犯用户隐私，违反公德甚至法律，曾被官媒点名批评。包裹在信息茧房中的人们接受信息单一，难以获得全面的观察视角、形成正确的价值观，导致社群鸿沟甚至社会撕裂、阻碍公共议题的共识达成。

2021年8月10日，中宣部等五部门联合印发了《关于加强新时代文艺评论工作的指导意见》，强调“加强网络算法研究和引导，开展网络算法推荐综合治理，不给错误内容提供传播渠道”。该意见仅是一种行政指导，而此次《规定》从部门联合规章层面对算法屏蔽信息、过度推荐、操纵榜单及控制热搜等可能造成信息茧房的算法操纵行为作出规定。包括，“算法推荐服务提供者应当向用户提供不针对其个人特征的选项，或者向用户提供便捷的关闭算法推荐服务的选项”（第17条），禁止“利用算法屏蔽信息、过度推荐、操纵榜单或者检索结果排序、控制热搜或者精选等干预信息呈现，实施影响网络舆论或者规避监督管理行为”（第14条）。在未成年人保护方面，禁止算法推荐服务提供者“向未成年人推送可能引发未成年人模仿不安全行为和违反社会公德行为、诱导未成年人不良嗜好等可能影响未成年人身心健康的信息，不得利用算法推荐服务诱导未成年人沉迷网络”（第18条）。

值得肯定的是，《规定》未局限在诱导沉迷、舆论影响等算法应用的结果端，也将规制与监管前置到算法开发、设计的行为端，深入算法技术层面，明确算法推荐服务公开透明的原则，鼓励算法推荐服务提供者综合运用内容去重、打散干预等策略、增强规则透明度和可解释性等，为信息茧房、舆论操纵等算法操纵乱象设置技术护栏（第12条）。该规定引入了人工智能法律规制技术与法律融合的视角，也彰显了“算法法”的事前事中全流程、动态性、技术性规制特征。

除了信息茧房与引诱沉迷，算法对人的操纵也体现在算法绩效管理、平台算法派单等方面。外卖平台利用配送算法对骑手进行压榨与操纵，侵害骑手劳动权甚至威胁骑手的生命健康，引发交通安全事故，2020年《外卖骑手，困在系统里》一文引起舆论对算法与数字劳动关系的广泛关注。在强大的舆论压力面前，美团对配送算法进行调整，整合多种估算时间模型，将原先的订单预计送达“时间点”变更为弹性的“时间段”，在算法设置中引入骑手劳动权利保护考量。

在人工智能算法时代，困在系统里的不仅仅是外卖骑手，快递员、网约车司机等职业工作模式都越来越多地依赖算法、受算法的指挥与制约。有鉴于此，《规定》专门为针对劳动者的算法应用设规立范，规定“算法推荐服务提供者向劳动者提供工作调度服务的，应当保护劳动者取得劳动报酬、休息休假等合法权益，建立完善平台订单分配、报酬构成及支付、工作时间、奖惩等相关算法”（第20条）。

可以预计，随着《规定》的颁行，平台经济数字劳动权益保护将告别仅靠热点事件和网络爆文推动的时代，数字劳动权益保护将作为平台企业合规的重要内容予以制度化贯彻。期待上述规定能够真正发挥作用，引导平台作为算法推荐服务提供者设计及应用更具有人情味的、有温度的算法，劳动者也不再被算法裹挟、沦为冰冷的系统里任人摆布的棋子。

三、算法歧视与大数据杀熟

数字经济中颇受消费者诟病的“大数据杀熟”通过算法实现“价格歧视”，也属于一种算法歧视。算法通过搜集用户数据进行用户画像，根据其偏好提供不同定价，实现精准营销和收益最大化。

2020年11月26日南都反垄断研究课题组发布的《消费者对在线平台行为与市场竞争的态度和认知》问卷调查报告显示：最受受访者重视的问题依序是个人数据被滥用（占比50%）、大数据杀熟（占比20%）、过度精准推送、难以辨别付费搜索结果、平台二选一、互联网屏蔽、强制搭售和平台自我优待。其中73%受访者对“大数据杀熟”持反对态度。

此前，文旅部2020年8月发布《在线旅游经营服务管理暂行规定》，禁止在线旅游经营者利用定价算法实施大数据“杀熟”。《电子商务法》第18条与《个保法》第24条规定信息推送、商业营销算法应同时提供不针对其个人特征选项的义务。2021年2月7日发布的《国务院反垄断委员会关于平台经济领域的反垄断指南》也从反垄断法角度对具有市场支配地位的平台经济领域经营者基于大数据和算法实施差别待遇行为进行规制。

此次《规定》针对性地对算法推荐服务提供者设置行为规范，规定其向消费者销售商品或者提供服务的，应当保护消费者公平交易的权利，不得根据消费者的偏好、交易习惯等特征，利用算法在交易价格等交易条件上实施不合理的差别待遇等违法行为（第21条）。

鉴于平台的数据与算法技术优势，要抵御上述算法侵害，除了从结果端与行为端规制算法推荐服务主体的行为，《规定》也延续了GDPR与《个保法》数据赋权的理念，对用户进行“算法赋权”，同时对平台施加相应义务。例，如规定算法可解释性、保障用户知情权，要求平台以显著方式告知算法基本原理、目的意图和主要运行机制；要求平台向用户提供不针对其个人特征的选项、提供便捷的关闭算法推荐服务选项的义务等赋予用户退出个性化推荐的权利；赋予用户对标签的管理权及提供输入数据干预的可能性，尽管相关技术可操作性尚待检验，其在算法赋权方面的创新性努力值得肯定。

同时，《规定》也基于算法问责性原则，要求算法推荐服务提供者落实算法安全主体责任，建立健全算法机制机理审核、科技伦理审查、用户注册、信息发布审核、数据安全和个人信息保护、反电信网络诈骗、安全评估监测、安全事件应急处置等管理制度和技术措施，并在第31条-34条设置了相应法律责任条款，为算法侵害问责及追责提供依据。

综上，《规定》超越数据保护的GDPR个人赋权思维，引入以算法决策及其侵害风险为出发点的风险规制思维，也与欧盟相关AI政策指引与规制路径不谋而合。

欧盟《可信AI伦理指引》指出AI系统在给个人和社会带来实质性利益的同时也带来风险与负面影响，其中一些风险是很难预料、识别及测量的，并提出AI系统的开发、配置及适用需符合尊重人的自治、预防侵害、公平和可解释性的三大伦理原则。

欧盟《人工智能白皮书——通往卓越与信赖的欧洲路径》延续这一以风险和侵害为导向的思维，指出AI侵害可能是物质性的（个人安全健康、生命与财产损失）和非物质性的（侵犯隐私、侵犯人类尊严、就业歧视、妨害意思自治等方面），规制框架需集中于降低不同的潜在侵害的风险，尤其是那些最为严重的侵害。

因此，《规定》确立区分监管、分级分类管理的思路，要求根据算法推荐服务的舆论属性或者社会动员能力、内容类别、用户规模、算法推荐技术处理的数据重要程度、对用户行为的干预程度等对算法推荐服务提供者实施分级分类管理，并对具有舆论属性或者社会动员能力的算法推荐服务实施备案管理制度。

在理解算法技术风险与侵害的基础上，依据算法侵害类型及其严重程度确立不同规制与监管路线，针对性地监管、赋权制衡、问责追责，是法律应对人工智能新兴技术风险与挑战的妥当方案。