中国人民大学未来法治研究院前沿讲座“开源软件与人工智能的未来挑战”讲座于2019年7月2日16点在中国人民大学法学院明德法学楼205会议室顺利举行。会议由中国人民大学未来法治研究院副院长王莹老师主持，德国奥迪股份公司法律部产品开发IT软件部总法律顾问Daniel Patnaik先生进行了主题演讲。

Daniel Patnaik先生首先介绍了开源软件的来源、构建流程、运行/分发/销售的二进制可执行版本包含的内容。随后，Daniel Patnaik先生指出构建过程的二进制繁殖性是一种确保给定的可执行文件确实可以用这种方式构建的简单方式。但二进制繁殖性并不能说明任何关于可执行软件的功能安全性（Safety）或技术安全性（Security）的问题。为了信任该软件，软件制造商必须详述该软件应该做什么，及其安全策略和威胁模型是什么。开源软件安全审查，不仅仅出于法律原因，还有质量方面的考量。我们通常理解的安全包括功能安全（Safety ）和技术安全（security）。功能安全（Safety）是指保证某软件会按照设计运行，在这一层面应当注意相应的行业标准和先进的形式化方法；技术安全（security）关注的是某一特定系统在多大程度上可以抵御恶意攻击。

   专有软件和开源软件是两个相对的概念。专有软件（Proprietary Software）属于制造商导向，用户不能评估、改变专有程序，甚至不能阅读和理解该程序。而对于开源软件（Open Source Software, OSS），每个人都能了解源代码。无论作者如何，使用者可以在任何时候修改、移交程序，或公布故障解决方案。使用开源软件的优点包括：开源软件通常是免费的（体现在其节约潜力和可持续降低发展成本两方面）、质量优势、缩短开发时间/上市时间、灵活性的提高、成本民主化以消除错误、独立于个别供应商、透明度等方面。但开源软件同时存在一定的劣势：为检验源代码和编纂完整的强制性陈述将支付的高昂机构成本、即使是轻微违规也可能给公司带来严重损害的风险、扫描工具昂贵、可能被削弱的IT安全等。

Daniel Patnaik先生提出对于开源软件，目前存在很多误解：如很多人认为开源软件是免费的、尚无人因侵犯开源软件被定罪、开源条件只是形式要求、开源软件只用许可且通过许可我们就可以以想要的方式看到所有东西、合同能为当事人提供充分保障、我们无须对供应商负责、无人能期待我们提供完整的源代码和条件、开源软件中没有能提出诉讼请求的权利人。事实上，尽管开源软件是“免费”的，其仍受版权法的保护。违反许可条款意味着可能引发版权所有者的索赔，或其他人提起的侵权之诉。但由于缺少许可费，损失难以量化。特别是停止侵害，可以由联合作者之一提起，但存在执法成本高、停工成本高的问题。

使用开源软件也存在可能的风险。对于开源软件作者而言，其可能会要求制造商、进口商或者销售商主张以下权利：停止使用、支付警告费用、损害赔偿、删除、召回、信息披露、提出刑事追诉（最高5年有期徒刑）。即使是轻微侵权也可能导致严重的后果：作者可以提出赔偿请求，禁令也将导致销售停工、召回、更换的成本等。强大的公共版权许可证可以影响专有软件代码。此外，违反开源软件许可证的规定，如违反禁止商用的规定，或同时使用许可证不兼容的开源软件，还可能导致罚款。

Daniel Patnaik先生接着讲述了人工智能的相关内容。

人工智能是值得信赖的。值得信赖的AI有三个组成部分，应该在整个系统的生命周期中满足:(1)它应当是合法地，符合所有适用法律、法规的规定；(2)它应当具有伦理性，确保遵守伦理原则和价值观；(3)它应当是强有力的，无论从技术角度还是从社会角度来看，人工智能都应该是强大的。因为即使有良好的意图，人工智能系统也可能造成无意的伤害。这三个组成部分中的每一个都是必要的，但本身不足以实现值得信赖的人工智能。理想情况下，这三个组成部分都能和谐地工作，并在运作上相互重叠。

我们应当以符合道德原则的方式开发、部署和使用人工智能系统，包括尊重人类的自主性、预防伤害、保障公平性和可解释性。我们应当承认并解决这些原则之间的潜在紧张关系。我们需要特别注意涉及弱势群体,如儿童、残疾人和其他历史上一直弱势或有被排斥风险的其他人,以及权力或信息不对称的情况,如雇主和雇员之间,企业和消费者之间的关系。承认人工智能系统在给个人和社会带来巨大利益的同时，也会带来一定的风险，并可能产生负面影响，包括难以预测、识别或衡量的影响(例如对民主、法治和分配正义的影响，或对人类思维本身的影响)。在适当的时候，采取与风险的大小相称的适当措施来减轻这些风险。

人工智能是强有力的、值得信赖的。确保AI系统的开发、部署和使用符合可信赖AI的七个关键要求包括：人的代理和监督、技术坚固性和安全性、隐私与数据治理、透明度、多样性、不歧视、公平、环境和社会福利、责任。我们应当考虑技术和非技术方法，确保这些要求的实施。促进研究和创新，帮助评估人工智能系统，并进一步实现需求。向更广泛的公众传播结果和公开问题，系统地培训新一代人工智能伦理专家。以清晰和主动的方式与利益相关者沟通AI系统的功能和限制信息，实现现实的期望设置，以及需求实现的方式。关于他们正在处理人工智能系统的事实应当透明。特别是在关键环境下，促进人工智能系统的可跟踪性和可审核性。在人工智能系统的整个生命周期中，让利益相关者参与进来。促进培训和教育，使所有利益相关者都意识到并接受可信的人工智能培训。同时还要注意不同的原则和要求之间可能存在根本的紧张关系，并持续识别、评估、记录和沟通这些权衡和解决方案。

Daniel Patnaik先生在讲座最后就与中国的交流合作提出了展望。他表示他们已经开始了与中国的对话，并强调了信息交流的重要性。

刘孔中教授、郭禾教授、李琛教授、丁晓东副教授、郭锐副教授、熊丙万助理教授进行了评议。

刘孔中老师说，未来的交通工具会是自动驾驶的时代，大数据将在其中发挥至关重要的作用。但大数据的管控任务非常艰巨，将使汽车制造商在国际竞争中处于不利地位。

Daniel Patnaik先生回应称我们应该要直面挑战。机器人制造，监管领域等面临的挑战非常强大，顾客需要理解我们为什么需要这个技术以及它能够做什么。我认为全球的大数据正在增加，解决大数据用一个正式的渠道可以形成一种价值观。

郭禾老师认为对于人工智能而言，算法可能不是最重要的，相比起算法，在人工智能领域大数据才是最重要的。郭禾老师对于怎么平衡在开源软件中,有没有标准来选择开源软件以及是否介意其他公司利用贵公司开源软件进行开发进行了提问。

Daniel Patnaik先生回应称我们有一个系统进行软件的选择，对于开源软件标准技术人员已经在寻求最佳的技术解决方案。有些领域不重要的，如果你可以利用这个软件并且可以对做出贡献，那么在这个领域你可以使用这个软件。但在一些重要的领域我们会做出限制。

李琛老师提出近年来，在中国 AI是一个非常热的话题，讨论这个话题非常需要想象力。我最近在看一本美国作者的书：叫做《机器人是第二种人类》AI需要承担责任，我在想AI怎么承担责任呢，如果设计者无责任，生产者无责任，AI应该怎么承担责任呢？我们应该从法律的角度来规制相关责任。不只是现行法律而是从法律的基本原则来进行规制。

Martin siemann先生回答：我们会在实践中总结经验，听取专家、律师、高校教授的意见来改革现行法律以解决人工智能可能面临的法律问题。

丁晓东老师认为法律原则在开源软件中是非常重要的问题并针对预防原则在未来如何运用到具体场景中进行了提问。

Martin先生回答应该有高度的指导方针指示我们在实践中如何运用，在这个问题上指导方针发挥着非常重要的作用。而充分遵守指导方针实际上是非常困难的，还有很长的路要走。

郭锐老师提出对于AI，应当强调其危险管理路径。企业需要在内部建立报告系统，内部定期报告，跟踪以及公司以外灵活的风险管理体系来解决AI带来的风险。应当严肃对待人工职能伦理问题的预防问题。

Hubert Nieswandt回应以自动驾驶为例，最重要的之一是与人类交流关于恐惧的想法。从人类对机器的恐惧开始谈起，慢慢转变观念，进而一步一步解决，长远来看，还有社会问题需要解决。

熊丙万老师对于使用开源软件的密码问题进行了提问， 开源软件的使用顾客并非占据领导地位，如果顾客失去了所期望的权利可能会诉诸诉讼，制造者也可能会提起诉讼要求制止滥用。

评议环节结束后，王莹老师为嘉宾颁发了讲座荣誉证书，讲座在热烈的掌声中顺利结束。