用鼓或萨克斯管画出一幅多乐器的作品。看着网络摄像头，说话，看着你的嘴在屏幕上跳动——这是一系列可爱而笨拙的连锁反应的输入。

这是麻省理工学院刘易斯音乐图书馆的游客在与两个新的数字装置“涂鸦曲调”和“来自嘴巴的声音”互动时遇到的情况，这是由艺术与技术中心(CAST)访问艺术家Andreas Refsgaard与音乐技术和数字媒体图书馆员Caleb Hall合作创作的。刘易斯音乐图书馆部门负责人艾弗里·博迪(Avery Boddie)发起了驻留计划，他认识到雷夫斯加德在揭示新兴技术的趣味性方面的天赋。编码和机器学习的复杂性对新人来说似乎令人生畏，但作为一名创意编码员、交互设计师和教育家，Refsgaard的实践试图向所有人开放这一领域。包括工作坊、艺术家谈话、班级参观和展览，驻地充满了他独特的幽默感——活泼的古怪和随和的相关性的结合。

笑中学习

在哥本哈根工作的雷夫斯加德是机器学习领域真正的特立独行者。“我对我们通过代码表达自己的方式很感兴趣，”他解释道。

“我喜欢在输入和输出之间建立非常规的联系，让电脑充当翻译器——一个工具可以让你用眼睛播放音乐，或者它可以从一张墨西哥卷饼的照片生成一首情诗。”雷夫斯加德对创新的特别解读并不在于直接解决问题或创办改变世界的初创公司。相反，他只是试图“找出可以做什么”，提供可访问的开源模板，以激发新的创造性想法和应用程序。

由Refsgaard编程，并以霍尔创造的自定义声音为特色，“涂鸦曲调”和“从嘴里发出的声音”展示了如何通过自发的人类手势和算法生成的输出混合来生成原创作品。在“涂鸦曲调”中，机器学习算法在不同乐器的图纸数据集上训练:钢琴、鼓、贝斯吉他或萨克斯管。当用户在触摸屏上画出这些图像之一时，就会产生声音;你加入的乐器越多，作曲就越复杂。“从嘴里发出的声音”通过面部跟踪和自我捕捉图像来实现。当参与者面对网络摄像头并张开嘴巴时，一个自动快照就会被钢琴的音符弹开。要亲自尝试这些项目，请滚动到本文的末尾。

库,无限的

萨克斯管的尖叫和数字鼓点并不是安装这些项目的地方发出的唯一声音。“我的办公室就在附近，”霍尔说。“所以当我突然听到笑声时，我就知道发生了什么事。”刘易斯音乐图书馆的这个新的声音维度符合整个环境的气质——设计为音频实验的校园中心，图书馆从来没有打算完全安静。Refsgaard的驻地体现了由Boddie带头的渐进式编程的新强调，随着图书馆的战略转向数字馆藏和音乐技术。

“除了作为一个安静的学习和获取物理资源的空间，我们希望图书馆成为一个用户聚集、合作和探索的地方。”Boddie说。“在这方面，这次实习非常成功。通过研讨会，我们能够将来自麻省理工学院社区和他们独特学科的个人联系起来。我们有来自斯隆管理学院、苏世民计算学院、音乐和戏剧艺术的人，所有人都在一起工作，搞得一团糟，创造出有时有用、有时没用的工具。”

错误和意外

误差的整合是Refgaard工作的一个关键品质。偶尔的小故障是艺术的一部分，它们也会慢慢削弱围绕AI的炒作;一个算法的好坏取决于它的数据集，而这个数据集会受到人类偏见和疏忽的影响。在一场名为“机器学习与艺术”的公开艺术家演讲中，观众们被介绍给了雷夫斯加德的另类艺术范式，并展示了Booksby等项目。ai(出售人工智能制作的科幻小说的网上书店)，是不是很FUNKY?(试图区分“有趣”和“无聊”的图像)，以及“眼睛指挥”(通过眼球运动和面部动作播放音乐的界面)。展览装置上的小故障被坦率地承认了(《涂鸦曲调》确实偶尔会把萨克斯管的画误认为松鼠)，雷夫斯加德鼓励观众提出潜在的改进建议。

这种开放的态度为“艺术、算法和人工智能”和“交互设计师的机器学习”研讨会奠定了基调，旨在适合新人和好奇的专家。雷夫斯加德对音乐技术课程的访问探索了机器学习放大人类创造力的方式，以及如何在艺术意图和意想不到的结果之间进行调整。“在我看来，成功是当参与者参与材料并提出新的想法时。学习的第一步是理解所教的内容，接下来就是以老师无法预见的方式应用这种理解。”

不确定性和机遇

Refsgaard的工作体现了麻省理工学院图书馆发展的一些核心价值观和核心问题——数字化、计算和开放获取的问题。通过选择让他轻松的演示文稿免费访问，他放弃了对自己想法的所有权;机器学习模型可以作为学生的学习设备，也可以由公司进行货币化。对于雷夫斯加德来说，玩耍是一种与新兴技术的伦理影响接触的方式，霍尔发现自己在为这两个装置创作声音的过程中也在努力解决这些问题。“如果我写了声音样本，但其他人把它们编成了乐曲，那么谁拥有音乐?还是AI拥有音乐?在音乐技术领域工作是一个非常有趣的时代;我们正在进入一个未知的领域。”

对于雷夫斯加德来说，不确定性是他算法艺术的秘密武器。“我喜欢制作让我对最终结果感到惊讶的东西。”他说。“我正在寻找熟悉和意外之间的甜蜜点。”正如他解释的那样，太多的惊喜只是噪音，但机器可能会把萨克斯管误认为松鼠，这也有一些令人高兴的地方。一个有创造力的编码员的任务是不断地调整人类和机器能力之间的关系——找到并跟随音乐。

“涂鸦曲调”和“从嘴里发出的声音”在麻省理工学院刘易斯音乐图书馆(14E-109)展出，直到12月20日。点击链接与项目进行在线互动。

注：本文由院校官方新闻直译，仅供参考，不代表指南者留学态度观点。