本文介绍了一种名为“Differentially Private Synthetic Data Aided Federated Learning Using Foundation Models (DPSDA-FL)”的新型数据增强策略，旨在解决联邦学习（FL）中数据分布不均匀（Non-IID）的问题。通过利用基于基础模型的差分隐私合成数据，DPSDA-FL能够改善本地模型的训练，从而提高全局模型的分类准确性和召回率。实验结果显示，在CIFAR-10数据集上，DPSDA-FL能够将全局模型的分类准确率提高9%，召回率提高26%。
Read more...
本文探讨了在大型语言模型（LLMs）中实现工具调用功能的新方法，该方法无需进行微调，仅通过提示工程和巧妙的代码设计即可实现。当前，大多数本地部署的开源LLMs和部分商业模型接口不支持稳定的工具调用功能，而现有的解决方案涉及对LLMs进行微调，这会消耗大量时间和计算资源。本文提出的方法在多个缺乏工具调用功能的LLMs上进行了实验，成功率达到了100%，显著提高了效率和实用性。
Read more...
本文探讨了如何通过神经编译库增强大型语言模型（LLMs）的算法能力。传统LLMs在推理和规划等任务上表现不佳，主要因为神经网络优化算法的限制和架构表达能力的不足。本文提出了一种新方法，通过向LLMs添加基本操作和复杂可微分程序的库，使得常见算法无需从头学习。具体实现上，文章在LLaMA3架构基础上增加了内存、寄存器、基本操作和自适应循环，并定义了一种直接将算法编译成可微分起始库的方法，以便原生使用并传播梯度进行优化。初步研究表明，这种方法在简单算法任务上具有可行性，特别是在小规模变换器上进行微调时。
Read more...
本文介绍了一种名为“BeyondX”的新型基准测试，专门用于评估大型语言模型（LLMs）在解决包含多个未知数的复杂数学问题上的能力。研究发现，现有的LLMs在处理包含多个未知数的问题时性能显著下降。为了解决这一问题，作者提出了一种名为“Formulate-and-Solve”的新策略，该策略通过自动生成和解决多未知数问题，显著提高了LLMs的性能，并揭示了这些模型在处理复杂数学挑战时的计算极限。
Read more...
本文由Andrei Popescu和Johannes P. Wallner等人撰写，探讨了在计算论证（computational argumentation）领域中，如何通过算法方法处理基于星座方法（constellation approach）的概率性论证框架（probabilistic argumentation frameworks, PAFs）中的不确定性问题。文章指出，使用概率进行论证推理通常面临高计算复杂性，特别是在星座方法中。为此，作者提出了一种新的算法方法，通过动态规划和树分解（tree-decompositions）来克服这一障碍。实验评估显示，该方法在处理包含多达750个论证的PAFs时表现出良好的前景。
Read more...
本文探讨了机器学习模型在处理大量真实或合成数据时，尽管能够实现卓越的预测性能，但同时也引发了日益严重的隐私担忧。为了缓解这些担忧，提出了“机器遗忘”（machine unlearning）技术，旨在从机器学习模型中移除特定数据样本的信息。然而，最近的研究表明，恶意用户可能通过请求对经过扰动的数据进行遗忘来破坏遗忘模型。本文提出了一种新的攻击方法，称为“遗忘可用性攻击”（Unlearning Usability Attack），该攻击方法不依赖于模型或遗忘算法，且成本较低。通过将数据分布信息提炼成少量数据，这些数据被自动中毒检测工具标记为良性数据，尽管对机器学习有益，但在遗忘过程中会导致模型中大量数据信息的丢失。评估显示，在不同攻击场景下，遗忘这些不超过训练数据1%的良性数据，模型准确率最多可下降50%。这些发现促使未来研究重新思考机器遗忘背景下的“数据中毒”问题。
Read more...
本文由Tianheng Ling等人撰写，题为“Towards Auto-Building of Embedded FPGA-based Soft Sensors for Wastewater Flow Estimation”，探讨了在资源有限的物联网设备上使用基于深度学习（DL）的软传感器进行废水流量估计的问题。文章指出，尽管DL技术在流量估计方面显示出可靠性和能效的潜力，但在废水流量估计领域的应用仍面临数据集缺乏、设备上AI模型开发和部署工具链不便以及硬件平台未针对能效软传感器应用进行优化等挑战。为此，研究提出了一种自动化、端到端的解决方案，通过原型物联网设备实现废水流量估计。
Read more...
本文介绍了一种名为DLICP（Deep Learning Integrated Community Parks）的创新方法，旨在通过深度学习技术，特别是面部识别技术，结合一种新颖的步行活动测量算法，提升社区公园用户的体验。DLICP系统利用摄像头和面部识别软件精确识别和追踪公园用户，同时通过步行活动测量算法计算用户的平均步速和消耗的卡路里，这些计算考虑了个体属性如体重和步速。研究结果显示，DLICP在测量卡路里消耗方面具有高精度，其平均绝对误差（MAE）为5.64卡路里，平均百分比误差（MPE）为1.96%，与市场上广泛使用的健身测量设备如Apple Watch Series 6相比，显示出其先进性和实用性。该研究对于开发智能公园系统，实现实时卡路里消耗更新和个性化健身追踪具有重要意义。
Read more...
本文介绍了一种名为DMTG（One-Shot Differentiable Multi-Task Grouping）的创新方法，旨在解决多任务学习（MTL）中任务数量庞大的问题。DMTG通过同时识别最佳任务组并训练模型权重，充分利用高阶任务亲和性，从而提高训练效率并减少由顺序处理可能导致的次优解。该方法将多任务分组（MTG）问题形式化为一个可微分的网络剪枝问题，通过学习一个连续放松的可微分分类分布，确保每个任务被唯一且独占地分类到一个分支中。实验结果表明，DMTG在CelebA和Taskonomy数据集上表现出色，具有高效性和准确性。
Read more...
本文介绍了一种名为FedTSA的新型聚类基础两阶段聚合方法，专门针对模型异构联邦学习中的系统异构性问题。FedTSA通过首先根据客户端的能力进行聚类，然后进行两阶段聚合：第一阶段是对同构模型的常规权重平均，第二阶段是使用扩散模型进行异构模型的深度互学习。实验结果表明，FedTSA不仅优于基线方法，还探讨了影响模型性能的各种因素，验证了其在模型异构联邦学习中的潜力。
Read more...