“一般来说,机器学习是一门教机器类似人类行为的科学,”他说 穆罕默德·罗斯塔米,研究主管 南加州大学维特比的信息科学研究所(ISI)。他最新论文的主题是让机器在没有人监督的情况下学习,通过整合内部分发克服域软件设置中的概念转变,他将在第37届AAAI人工智能会议2023年2月7日至14日在华盛顿特区举行。
罗斯塔米解释了机器学习通常是如何完成的:“我们收集由人类注释的数据,然后我们教机器在给定数据的情况下如何与人类相似。我们遇到的问题是机器获得的知识仅限于用于训练的数据集。”此外,培训过程完成后,用于培训的数据集通常不可用。
由此产生的挑战?如果机器接收到的输入与训练时使用的数据有足够的差异,则机器会感到困惑,并且不会做出与人类相似的行为。
一只斗牛犬或西施或其他什么?
罗斯塔米举了一个例子, “狗有很多种类,不同种类的狗在视觉上不是很相似,而且变化很大。如果你训练一台机器来对狗进行分类,它的知识仅限于你训练时使用的样本。如果你有一种不在训练样本中的新种类的狗,机器将无法要知道这是一种新型的狗。”
有趣的是,人类比机器更擅长于此。当人类被给予一些东西进行分类时,如果只给他们一些新类别的样本(即一种新品种的狗),他们就会调整并学习新类别是什么。罗斯塔米说,“一个六岁的孩子可以使用两个、三个或四个样本学习一个新类别,而大多数现代机器学习技术需要至少几百个样本才能学习这个新类别。
面对概念转变的分类
通常,这不是学习全新的类别,而是能够随着现有类别的变化进行调整。
如果机器在训练过程中学习一个类别,然后随着时间的推移发生了一些变化(例如,添加了一个新的子类别),罗斯塔米希望通过他的研究,机器能够学习或扩展该类别的概念(例如,包括新的子类)。
类别不断变化的本质就是所谓的“概念转变”概念类别是什么班次随着时间的推移。罗斯塔米提供了另一个真实的例子:垃圾邮件文件夹。
他解释道:“你的电子邮件服务有一个模型,可以将收件箱中的电子邮件分为合法的电子邮件和垃圾邮件。它经过训练,可以使用某些功能识别垃圾邮件。例如,如果一封电子邮件不是写给你个人的,那么很可能是垃圾邮件。”
不幸的是,垃圾邮件发送者知道这些模型,并不断添加新功能,以欺骗模型,防止他们的电子邮件被归类为垃圾邮件。
罗斯塔米继续说道:“这意味着‘垃圾邮件’的定义会随着时间的推移而改变。这是一个依赖时间的定义。概念是一样的——你有‘垃圾邮件’概念——但随着时间的流逝,概念的定义和细节会发生变化。这就是概念的转变。”
一种新的训练方式
在他的纸张Rostami开发了一种用于训练机器学习模型的方法,用于解决这些问题。
由于原始训练数据并不总是可用的,罗斯塔米的方法并不依赖于这些数据。合著者和ISI首席科学家Aram Galstyan公司解释了“模型如何学习旧数据在潜在空间中的分布,然后它可以生成潜在表示,就像通过学习旧数据的表示生成合成数据集一样。”
因此,该模型可以保留在初始培训阶段所学的内容,从而使其能够随着时间的推移适应和学习新的类别和子类别。
重要的是,它还意味着它不会忘记原始训练数据或从中学习到的内容。这是机器学习中的一个主要问题。高尔斯蒂安解释说:“当你训练一个新模型时,它会忘记一些以前有用的模式。这就是所谓的灾难性遗忘。”。
Galstyan表示,使用本文中开发的方法,“灾难性遗忘是隐含的,因为我们引入了旧数据分布与新数据分布之间的对应关系。因此,我们的模型不会忘记旧数据分布。”
接下来是什么?
Rostami和Galstyan对结果感到满意,特别是因为它不依赖于源数据的可用性。Galstyan说:“我很高兴地看到,与大多数最先进的现有基线相比,该模型具有更好的优势。”
Rostami和Galstyan计划继续研究这一概念,并将提出的方法应用于实际问题。
但首先,罗斯塔米将在即将举行的第37届AAAI人工智能会议 .AAAI会议由该领域最大的专业组织主办,旨在促进人工智能研究以及人工智能研究人员、从业者、科学家和相关学科工程师之间的科学交流。今年,会议的接受率为19.6%。
一场决赛突出
除了发表这篇论文,罗斯塔米还入选了AAAI“23新教员亮点”演讲者计划,该计划以刚刚开始新教员职业生涯的有前途的AI研究人员为特色。罗斯塔米(Rostami)于2021年7月成为南加州大学(USC)的一名教员,他将作30分钟的演讲,介绍他迄今为止的研究以及他对人工智能未来的展望。该项目竞争激烈,通常包括不到15名新教员,这主要取决于他们当前研究的承诺和影响(例如,在顶级论坛上发表的论文、引文、奖项或部署的系统)及其未来计划。
注:本文由院校官方新闻直译,仅供参考,不代表指南者留学态度观点。