CAKE：大模型驱动的贝叶斯优化新配方，让黑箱优化更智能、更高效

在科学与工程实践中，常会遇到计算成本高、评估耗时的函数优化问题，例如复杂机器学习模型的超参数调整或新型材料的设计。贝叶斯优化（Bayesian Optimization，BO）作为针对这类 “黑箱” 问题的优化方法，已被证明具备良好效果。然而，该方法的性能很大程度上受限于其内部代理模型的选择，特别是当采用高斯过程（Gaussian Process，GP）作为代理模型时，核函数的设定尤为关键。若核函数与问题特性不匹配，优化进程可能收敛缓慢，甚至无法得到理想的结果。

为解决这一问题，来自香港中文大学（深圳）、伊利诺伊大学厄巴纳 - 香槟分校（University of Illinois at Urbana Champaign）和雅典大学（University of Athens）的研究人员共同提出了一种名为Context-Aware Kernel Evolution (CAKE) 的新方法。该成果已被第 39 届 Conference on Neural Information Processing Systems（NeurIPS 2025）接收，论文题为 “Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs”. 该工作提出一个突破性的框架，利用大语言模型（LLMs）的推理与生成能力，在优化过程中自动、动态地设计最优的高斯过程（GP）核函数。这项研究为构建更智能、高效且可解释的贝叶斯优化系统迈出了重要一步。

论文标题：Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs论文链接：https://arxiv.org/abs/2509.17998代码链接: https://github.com/richardcsuwandi/cake

贝叶斯优化的核心思想是：为未知目标函数构建一个概率代理模型（通常是高斯过程 GP），并通过一个 “获取函数” 智能地选择下一次评估点，从而在 exploit（在已知较优区域采样）与 explore（探索高不确定性区域）之间取得平衡。

GP 的核心是核函数，它决定了模型对函数 结构的基本假设，比如平滑性、周期性或线性趋势。传统方法往往选用通用核函数（如 Matérn 或 SE 核）并保持不变。这种 “放之四海皆准” 的策略在关于核函数的假设与真实目标函数特征不匹配时，容易导致性能下降。

核函数语法 (Kernel Grammar)

为了构建更具表达能力的核函数，Duvenaud 等人（2013）引入了 “核函数语法”。其核心思想是核函数在加法和乘法下是封闭的：如果 k1 和 k2 是有效的核函数，那么 k1 + k2 和 k_1 × k_2 也是有效的核函数。

通过一组基础核函数 B（例如线性 LIN、周期 PER、平方指数 SE 等），我们可以递归地构建一个无限的核函数空间 S：

S → B (替换核)S → S + B (加法组合)S → S × B (乘法组合)

例如，LIN + PER 可以捕捉带线性趋势的周期性数据，而 SE × PER 可以捕捉局部周期性成分。然而，如何在这个无限空间中高效搜索，特别是在 BO 要求的 “小样本” 场景下，一直是业界的难题。LLM 卓越的上下文学习（in-context learning）与小样本推理能力，为解决这个问题提供了全新的思路。

核心方法：CAKE 与 BAKER

该论文提出了两个相互协作的核心创新模块，共同构建出强大的自适应贝叶斯优化框架：

1. Context-Aware Kernel Evolution (CAKE)

CAKE 将核函数的设计问题重新构想为一个 “进化过程”，并巧妙地利用大语言模型（LLM）作为生成新核函数的 “引擎”。该系统维护着一个由多个核函数组成的 “种群”。在每次优化迭代中，LLM 根据已有的观测数据执行以下两类 “遗传操作”：

交叉（Crossover）：LLM 接收两个性能较好的 “父代” 核函数及其对应的性能评分，将其特点进行融合，生成一个新的 “子代” 核函数；变异（Mutation）：LLM 接收一个性能较好的核函数，并对其结构的一部分进行修改，以探索可能更优的新形式。

所有新生成的核函数都会被加入到种群中，并根据贝叶斯信息准则（BIC）评估其性能优劣。随后，系统会筛选出表现最好的一批核函数，保留固定数量进入下一代，从而完成种群的更新。

2. BIC-Acquisition Kernel Ranking (BAKER)

研究者发现，最能拟合已有数据的核函数，不一定能提出最具价值的下一采样点。为此，他们提出了 BIC-Acquisition Kernel Ranking （BAKER）方法，通过同时考虑两个指标对核函数进行排序：

1.模型拟合度：核函数对现有数据的解释能力；

2.采样潜力：核函数所建议的下一个查询点的潜在价值（acquisition value）。

通过加权平衡这两项指标，BAKER 能在优化代理模型与实际推进最优解之间取得稳健的平衡。

实验设置：基线与测试平台

为了证明 CAKE 的有效性，研究者将其与三大类基线方法进行了比较：

固定核 (Fixed)：使用单一的 SE 或 M5 (Matérn-5/2) 核，这是 BO 的默认设置。自适应核 (Adaptive)：包括随机选择 (Random)、按获取函数值选择 (Utility) 或按 BIC 选择核的方法。组合与高级方法 (Compositional)：包括深度高斯过程 (DGP)、高斯过程集成 (EGP)、组合核搜索 (CKS) 和自动化贝叶斯优化 (ABO)。

测试平台覆盖了三个具有挑战性的真实领域：

1.超参数优化 (HPOBench)：共 60 个任务，涉及 5 种 ML 模型（LR, SVM, RF, XGB, MLP）和 12 个 OpenML 数据集。

2.控制器调优 (Controller Tuning)：两个高维动态仿真任务：机器人推送 (d=14) 和月球着陆 (d=12)。

3.光子芯片设计 (Photonic Chip Design)：一个复杂的多目标 (5 个目标) 物理反向设计问题。

实验结果与深入分析

综合性能

超参数优化：在 60 个 HPO 任务上，CAKE 在所有测试的 ML 模型中均取得了最高最终准确率。尤其在优化早期（如前 25% 的预算内），CAKE 能迅速收敛到高性能区域，展现出极高的样本效率。

控制器调优：在动态仿真任务中，CAKE 显著优于所有基线。它不仅能更快地收敛至高回报控制策略，还表现出对环境变化的强鲁棒性 —— 在难度较高的月球着陆任务中，CAKE 是少数能成功达到 200 分目标分数的 BO 方法之一。

光子芯片设计：在复杂的多目标优化中，CAKE 使用预期的超体积改进 (EHVI) 作为获取函数，有效地在 5 个相互竞争的目标间权衡，取得了更优的帕累托前沿 (Pareto front)。与基线方法相比，其求得高质量解的速度提升近十倍，大幅节省设计时间与成本。

LLM 驱动的进化：研究者通过实验证明（图 7），LLM 并非随机组合核。与随机重组或传统遗传算法 (GA) 相比，LLM 作为遗传算子能更迅速地引导核函数种群朝更高适应度（Fitness）的方向进化，其适应度分布曲线能更快地向高分区域移动。

消融研究 (Ablation Study)：关键的消融研究（表 1）证实了 CAKE 和 BAKER 两个组件的必要性。CAKE + BAKER（完整模型）的效果远超 CKS + BAKER（证明 LLM 优于传统搜索）和 CAKE + BIC（证明 BAKER 的平衡策略优于单独的 BIC）。

可解释性：CAKE 的独特优势

CAKE 的另一显著优势在于可解释性。由于 LLM 能用自然语言推理，它可以在生成核结构的同时给出解释。例如，在调优 SVM 的 (C, gamma) 超参数时，CAKE 发现了一个复杂核，并给出了如下的自然语言分析：

这种人类可读的解释性，使得对 “黑箱” 函数的理解成为可能，是传统方法所不具备的特性。

成本与未来展望

计算成本：研究者坦诚，使用 LLM 会增加每次迭代的 “墙上时钟时间”（wall-clock time）（表 5）。然而，在 BO 的典型应用场景中（如药物研发、芯片设计），函数评估的成本（数小时或数天）远高于 LLM 的推理成本（秒级）。CAKE 通过显著减少所需的函数评估次数（即提高样本效率），在总体上极大地节约了优化总成本。

LLM 的选择：实验（表 6）表明，CAKE 的性能随着 LLM（如 Claude, Gemini）能力的提升而提升，证明了该框架具有良好的 “未来兼容性”。

CAKE 不仅是一项性能更优的贝叶斯优化算法，更标志着 AI for Science 范式下的一次根本性跃迁，它将大语言模型的角色从文本生成工具提升为参与算法级结构设计的智能协作者。通过在优化过程中动态演化高斯过程的核函数，CAKE 实现了代理模型的自适应构建，显著提升了在数据稀缺场景下的样本效率与泛化能力。

未来，作者计划进一步扩展 CAKE 框架，引入更具通用性的核函数语法，并将其核心思想推广至其他基于核方法的机器学习任务，如支持向量机（SVM）、核主成分分析（Kernel PCA）以及度量学习等。这项工作为构建更加自主、可解释且持续进化的智能优化系统开辟了新路径，有望成为推动自动化实验室与加速科学发现进程的关键技术之一。

研究团队

Richard Cornelius Suwandi

Richard Cornelius Suwandi于2023年在香港中文大学（深圳）获得统计学学士学位，目前为香港中文大学（深圳）博士研究生，师从尹峰教授和张纵辉教授。他的研究方向包括贝叶斯优化、概率机器学习以及大模型。他曾获IEEE Signal Processing Society（SPS）奖学金及深圳大运留学基金会资助。

尹峰于上海交通大学电子信息工程专业获得本科学位，在德国达姆施塔特工业大学电子信息工程专业分别获得硕士和博士学位。他曾获得国家优秀自费留学生奖学金（每年全球500名）和欧盟玛丽居里青年学者称号。尹峰博士的主要研究方向为统计信号处理、贝叶斯机器学习、与传感器信息融合。他目前在人工智能学院任职长聘副教授。他已主持和参与了多个国家、省、市科技项目，其中包括主持和参与国家自然科学基金各级项目（重大专项、重点项目、面上项目、青年项目）。此外，他还获得2022年度华为公司价值火花奖。截止目前，他已发表国际顶级期刊长文50余篇（包括IEEE Signal Processing Magazine, IEEE Transactions on Signal Processing 10余篇），旗舰会议论文60余篇（包括ICML, NeurIPS, ICLR, AAAI, UAI, ICASSP等顶级会议正刊论文），申请/授权中国专利20余项，另有授权美国专利1项。 他目前是IEEE Senior Member，IEEE机器学习与信号处理技术委员会(SPS MLSP TC)核心成员，自2019年以来担任爱思唯尔出版社旗下的信号处理期刊(JCR-Q1)副主编，自2023年以来担任信号处理顶级期刊IEEE Transactions on Signal Processing (JCR-Q1)副主编。

王俊涛于2022年在香港中文大学（深圳）获得统计学学士学位，现为香港中文大学（深圳）博士研究生，由深圳大数据研究院联合培养。他的研究方向包括贝叶斯机器学习、图神经网络以及时空数据建模。

李任杰于2024年6月在香港中文大学（深圳）获得计算机与信息工程博士学位，师从张昭宇教授。他目前在伊利诺伊大学厄巴纳-香槟分校（University of Illinois at Urbana Champaign）担任博士后研究助理，合作导师为L.Goddard教授。他的主要研究方向包括面向光子学/材料自主发现的人工智能、自驱动实验室以及纳米光子学。

张纵辉教授，国际电气电子工程师学会会士（IEEE Fellow）、亚太人工智能学会会士（AAIA Fellow），现为香港中文大学（深圳）人工智能学院教授、副院长（教育）和广东省大数据计算基础理论与方法重点实验室副主任。长年入选全球前2%顶尖科学家榜单和Research.com评选的最佳计算机科学家榜单。担任多个国际信号处理顶级期刊的编辑工作，包括IEEE Trans. Signal Processing资深领域编委（Senior Area Editor)，并担任IEEE信号处理协会感知通信一体化工作组发起人与首届主席、通信与网络技术委员会委员和董事会亚太区独立主席（国内第一人）。张纵辉教授专注于面向移动网络优化、机器学习、无线通信的关键信号处理和优化方法的基础研究，已发表IEEE国际顶级期刊/会议论文170余篇，包括6篇ESI高被引论文，总计引8800余次。“以优化及信号处理技术对无线通信的贡献”获得2015年IEEE通信学会亚太区杰出青年学者奖；与合作者在鲁棒波束赋形优化方面的基础性工作于2018年获得国际信号处理领域最具影响力的IEEE信号处理协会最佳论文奖；2021年以高效分布式优化方法的开创性工作第二次获得IEEE信号处理协会最佳论文奖。近年来主持和参与包括国家自然科学基金重点项目、面上项目、深圳市杰出青年项目以及华为、中兴等企业的横向项目10余项。其中获得华为公司2022年技术合作成果转化二等奖、2023年无线产品线优秀技术合作项目奖、2024年技术合作成果转化一等奖。

Sergios Theodoridis

Sergios Theodoridis是希腊雅典国立和卡波迪斯特里安大学信息与通信系信号处理与机器学习方向的荣誉教授。他是《机器学习：从经典方法到深度网络、Transformer与扩散模型》（Academic Press，第3版，2025年）一书的作者，也是畅销书《模式识别》（Academic Press，第4版，2009年）以及《模式识别导论：基于MATLAB的方法》（Academic Press，2010年）的合著者。他作为合作者发表了七篇获得最佳论文奖的论文，其中包括2014年IEEE信号处理学会杂志最佳论文奖和2009年IEEE计算智能学会《神经网络汇刊》杰出论文奖。他曾担任IEEE信号处理学会副主席、欧洲信号处理协会（EURASIP）主席，并曾任IEEE电路与系统学会（CAS）理事会成员。他是IET会士、爱丁堡皇家学会通讯会士、EURASIP会士以及IEEE终身会士。

参考材料

Suwandi, R.C., Yin, F., Wang, J., Li, R., Chang, T.H. and Theodoridis, S., 2025. Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs. arXiv preprint arXiv:2509.17998.