本文比较了美国的《2022年算法责任法案》（US AAA）与欧盟的《人工智能法案》（EU AIA），探讨了两者在监管自动化决策系统（ADS）方面的异同及相互学习的可能性。文章指出，尽管两项法案在政治背景和立法传统上存在差异，但它们都旨在建立治理基础设施，以确保ADS的伦理、法律和安全使用。US AAA通过定义关键术语和规定ADS所有者必须满足的要求，采取了一种相对高层次的方法，而EU AIA则提供了一个详细的欧洲范围内的保证生态系统。文章强调，两项法案都需要进一步完善，特别是在确保所有ADS的一致性要求和提供中小企业针对性的支持方面。
Read more...
本文由Jakob Mökander, Justin Curl, 和 Mihir Kshirsagar 等人撰写，针对生成式人工智能（Generative AI）系统广泛应用带来的伦理和社会挑战，提出了一种新颖的审计蓝图。文章指出，现有的审计程序未能充分解决生成式AI系统所展现的涌现能力和广泛适应性带来的治理挑战。为此，作者提出了一种三层审计方法，包括治理审计（针对设计和传播生成式AI系统的技术提供者）、模型审计（在预训练后但在发布前对生成式AI系统进行）和应用审计（针对基于生成式AI系统的应用），这些审计相互补充并相互通知。文章还讨论了这种审计方法的局限性，并强调了审计在确保生成式AI系统合法、伦理和技术稳健性方面的重要性。
Read more...
本文主要探讨了参数高效微调（PEFT）的相关问题。随着大型基础模型的发展，传统的全参数微调方法在计算和资源方面变得不可行，因此PEFT技术应运而生。然而，目前对于不同PEFT方法的数学基础和性能差异的研究还不够深入。本文通过分解理论，统一了所有PEFT方法，并提出了一个名为子空间调优的框架。该框架包括子空间重建、扩展和组合三个过程。此外，本文还提出了两种新的PEFT方法，并通过实验验证了其有效性。最后，本文还介绍了一个开源工具包Subspace-Tuning，以支持子空间调优的研究。
Read more...
本文探讨了开放词汇3D物体检测（OV-3DDet）的问题，旨在在任何新的3D场景中定位和识别已见和未见过的物体类别。由于训练数据的有限性，这一任务面临重大挑战。尽管视觉-语言模型（VLM）和大型语言模型（LLM）在处理各种开放词汇任务上取得了成功，但这些基础模型的全部潜力尚未在OV-3DDet中得到充分开发。本文通过利用语言和视觉基础模型，解锁了文本和视觉智慧，以解决开放词汇3D检测任务。具体来说，本文利用视觉基础模型为发现3D场景中的新类别提供图像级指导，并通过分层对齐方法，将3D特征空间与视觉-语言特征空间在实例、类别和场景级别上对齐。实验结果显示，本文的方法在准确性和泛化性上取得了显著改进，强调了基础模型在推进开放词汇3D物体检测在实际场景中的潜力。
Read more...
本文是一篇关于认知诊断模型的综述，旨在为认知诊断模型的初学者提供全面的理解，并强调其最新发展和研究趋势。文章介绍了认知诊断模型的背景、发展阶段、工作原理、工作流程、应用前景等内容，并对未来的研究方向进行了讨论。
Read more...
本文针对深度神经网络（DNNs）在自动驾驶和人脸识别等领域的广泛应用中存在的后门攻击问题，提出了一种基于进化触发器检测和轻量级模型修复的高效后门防御方法。后门攻击通过在模型训练阶段注入带有触发器的毒化输入，使得模型在推理阶段对带有特定触发器的输入产生错误的预测，从而引发严重的安全问题。现有的防御方法在有限的计算资源下难以有效消除后门，尤其是在物理世界中触发器的大小和数量可变的情况下。本文提出的CAM-focus进化触发器过滤器（CETF）通过样本预处理和进化算法有效检测触发器，并结合轻量级遗忘方法进行模型修复，实验结果显示该方法不仅能够准确区分毒化图像和干净图像，而且在不同的后门攻击情况下具有简单性和稳定性。此外，本文还发现了后门与批量归一化（BN）层之间的关联，并提出了基于BN层的轻量级模型修复方法，通过大量实验验证了其有效性。
Read more...
本文介绍了一种基于机器学习的高效、轻量级且可解释的恶意软件检测系统，该系统能够检测出训练数据中未出现的新型混淆恶意软件变种。研究团队通过训练15个不同的随机森林模型，每个模型针对CIC MalMem-2022数据集中的不同恶意软件子类型，实现了对15种恶意软件子类型的检测，尽管这些模型仅在一个恶意软件子类型（即间谍软件家族中的Transponder）上进行了训练。该系统通过仅使用最重要的五个特征，提高了模型的解释性，并实现了超过99.8%的高准确率和每文件5.7微秒的平均处理速度。此外，研究还展示了如何使用Shapley加法解释技术来解释模型预测，为网络安全防御提供了透明且深入的见解。
Read more...
本文探讨了在第六代无线网络（6G）中通信与控制系统的协同设计问题。文章指出，由于通信与控制子系统之间的复杂交互，传统的独立设计方法已不再适用，因此需要一种新的协同设计方法。为此，研究者提出了一种基于马尔可夫决策过程（MDP）的离线学习框架，该框架整合了大型语言模型（LLM）和强化学习（RL）技术，以优化通信和控制参数的序列决策。文章通过一个关于语义感知通信和控制协同设计的案例研究，展示了所提框架的潜在优势，并讨论了实现该框架在实际应用中的可行性及未来研究方向。
Read more...
本文介绍了一种名为“Curriculum by Masking (CBM)”的创新课程学习策略，该策略通过图像块（token）的掩蔽来有效地创建从易到难的训练计划。CBM利用梯度幅度来优先掩蔽显著图像区域，通过一种新颖的掩蔽算法和掩蔽块，显著提高了传统训练制度和先前课程学习（CL）方法的准确性。CBM通过逐步引入更难的样本，控制样本难度通过掩蔽比例，为对象识别和检测提供了一种多功能的课程学习方法。实验在五个基准数据集上进行，比较了CBM与传统及课程学习训练制度，结果显示CBM策略相较于现有课程学习制度具有优越性，并在迁移学习环境中显示出显著的准确性提升。
Read more...
本文介绍了一种名为RAMO的新型课程推荐系统，专门设计用于解决大规模开放在线课程（MOOCs）中的“冷启动”问题。RAMO系统结合了大型语言模型（LLMs）和检索增强生成（RAG）技术，通过对话界面提供个性化的课程推荐，旨在提升在线学习体验。该系统利用RAG的优势，改善了课程推荐的质 量，特别是在处理新用户缺乏历史数据的情况下。
Read more...