本文探讨了大型语言模型（LLMs）在复杂推理任务中的局限性，特别是在生成和细化符号形式化表示方面的挑战。为了解决这些问题，作者提出了Logic-LM++，这是对Logic-LM的改进版本，利用LLMs的成对比较能力来评估和改进符号形式化表示。实验结果表明，Logic-LM++在自然语言推理任务上优于Logic-LM和其他基于LLM的技术，特别是在FOLIO和AR-LSAT数据集上显示出显著的性能提升。
Read more...
本文探讨了大型语言模型（LLMs）在复杂推理任务中的局限性，并提出了一种改进方法Logic-LM++。该方法通过利用LLMs的成对比较能力，评估和优化由LLM提出的形式规范的改进，从而提高推理任务的准确性。实验表明，Logic-LM++在三个数据集（FOLIO、ProofWriter和AR-LSAT）上的表现优于现有技术，平均提高了18.5%的标准提示准确率。
Read more...
本文介绍了一种基于GPT-4的代码审查系统，旨在支持中小学学生的编程语言学习。该系统通过提供学习者友好的代码审查反馈，并设计了防止AI辅助作弊的功能，以确保学习过程的真实性和有效性。论文详细阐述了系统的开发背景、面临的挑战、解决方案及其在教育领域的应用前景。
Read more...
本文由宾夕法尼亚大学计算机与信息科学系的Anton Xue, Avishree Khare, Rajeev Alur, Surbhi Goel, 和 Eric Wong共同撰写，探讨了如何颠覆遵循规则的语言模型。文章通过将规则遵循建模为命题Horn逻辑中的推理，证明了即使理论上构建的模型能够忠实地遵循这些规则，恶意设计的提示仍然可以误导这些模型。实证研究发现，对理论模型的攻击与对大型语言模型的流行攻击相似。研究建议，通过研究较小的理论模型和定义明确的设置，可以深入理解大型语言模型在逻辑推理和越狱攻击中的行为。
Read more...
本文由多伦多大学的Yu Zhao撰写，对广告推荐和内容推荐系统中使用的最有效的检索算法进行了全面的调查。广告定位算法依赖于详细的用户档案和行为数据来传递个性化广告，从而通过目标定位增加收入。相反，有机检索系统旨在通过推荐符合用户偏好的内容来改善用户体验。本文比较了这两种应用，并解释了每种应用中最有效的方法。文章详细探讨了内容过滤、协同过滤和混合系统等算法机制，特别是深入研究了在推荐系统中广泛使用的双塔模型及其训练、推理和检索过程。此外，文章还讨论了这些系统面临的挑战，如冷启动问题、数据质量和隐私问题。
Read more...
本文介绍了一种名为LLM-A的新型路径规划方法，该方法结合了大型语言模型（LLMs）的全局推理能力和传统A算法的精确路径查找能力。LLM-A旨在提高路径规划的效率，特别是在大规模场景中，同时保持路径的有效性。通过集成LLMs的洞察力和A算法的确定性保证，LLM-A*解决了传统算法在状态空间增长时的计算和内存效率问题，以及LLMs在复杂空间和时间推理任务中的不足。
Read more...
本文全面评估了GPT-4o在语言、视觉、语音和多模态能力方面的表现。通过标准化考试问题、推理任务、翻译评估以及图像和音频处理任务，研究揭示了GPT-4o在多个领域的准确性和效率。特别是在语言理解和推理任务中，GPT-4o展现了出色的性能，尤其在少样本学习场景下表现突出。此外，GPT-4o在多模态任务中也显示出比前代模型显著的改进。然而，模型在处理复杂和模糊输入时仍存在局限性，特别是在音频和视觉能力方面。研究强调了建立更全面的基准和评估框架的必要性，包括涉及人类判断的定性评估和错误分析。未来的工作应聚焦于扩展数据集、探索基于提示的评估方法以及增强少样本学习技术，以测试模型在真实世界场景中的实际应用性和性能。
Read more...
本文探讨了GPT-4是否具备意识的问题，通过使用Building Blocks理论的九个定性测量标准来评估GPT-4的设计、架构和实现。文章通过对比GPT-4与这些意识构建块的符合程度，来判断GPT-4是否达到了成为意识实体的必要条件。研究结果表明，尽管GPT-4在其原生配置中目前不具备意识，但现有的技术研究和开发足以使GPT-4具备所有意识的构建块。因此，文章认为在不久的将来，出现一个有意识的AI模型是可能的。此外，文章还详细讨论了构建有意识AI实体的伦理影响和社会后果。
Read more...
本文介绍了一种名为“组合推理”（Combinatorial Reasoning, CR）的自动化提示方法，该方法通过从生成式AI管道中采样理由并将其映射到二次无约束二进制优化（QUBO）问题中，旨在利用QUBO解决方案选择有用理由子集，构建思维链（Chain-of-Thought, CoT）风格提示。CR框架探索了使用专用解算器加速CR的可能性，并调查了更简单的零样本策略如线性多数规则或随机选择理由的性能。初步研究表明，将组合解算器与生成式AI管道耦合是AI推理的一个有趣途径，并阐明了未来CR方法的设计原则。
Read more...
本文由Jinghua Groppe等人撰写，针对软件漏洞预测中深度学习方法的局限性，提出了一种新的解决方案。当前的深度学习方法主要依赖于软件代码的原始文本作为图节点特征，这限制了模型学习代码内在功能的能力。文章指出，变量命名的无限可能性是导致这一问题的主要原因。为了解决这一问题，作者引入了名为“名称依赖”的新型边和基于此的抽象语法图（ASG），以及一种高效的节点表示方法——3-property编码方案。这些技术能够去除代码中的具体变量名，使深度学习模型能够更好地学习隐藏在多样代码表达中的软件功能。实验结果表明，基于这些技术的深度学习模型在漏洞预测和内存需求方面均优于现有方法。
Read more...