image: WiFo-2基于异构三维空-时-频信道数据集LH-CSI开展掩码去噪预训练,并采用任务感知的稀疏专家混合架构。模型由此获得可跨场景、系统配置和无线通信与感知任务迁移的通用表征,支持零样本信道重建和少样本下游适配。 view more
Credit: ©《中国科学》杂志社
从1G到5G,无线通信系统不断演进,实现了从连接人到连接万物的跨越。为连接并服务无处不在的智能体,6G及未来无线通信系统将实现从万物互联迈向万物智联,并朝着超越连接、深度融合AI与感知能力的综合基础设施演进,在多个维度呈现高度异构性。这种异构性同时挑战传统的模型驱动物理层算法和现有任务专用人工智能模型。一个基站可能需要维护数百个独立设计的模型,而当信道环境变化时,许多模型还需要重新采集标注数据并训练。
为解决碎片化设计问题,北京大学程翔教授团队联合香港科技大学(广州)研究人员提出WiFo-2,构建面向无线通信与感知系统统一设计的通用无线基座模型。WiFo-2不再为每一种场景和配置单独设计网络,而是学习可跨场景、系统配置和任务迁移的信道状态信息(CSI)通用表征。相关论文以“WiFo-2: a generalist foundation model unifies heterogeneous wireless system design”为题发表于《国家科学评论》(National Science Review)。北京大学博士生刘伯珣为第一作者,程翔教授为通讯作者。
WiFo-2的预训练基础是异构三维空-时-频数据集LH-CSI。该数据集包含来自8种数据来源、78个粗粒度和细粒度子数据集的116亿个CSI数据点,覆盖统计信道建模、射线追踪和真实测量三类获取方式,频率范围从sub-6 GHz延伸至太赫兹,并涵盖多样的天线配置和移动速度。丰富的数据异构性有助于避免模型依赖某一数据集或系统特有的统计捷径。
在模型设计上,WiFo-2将掩码去噪自编码器与CSI稀疏专家混合机制结合。任务感知路由仅激活与当前输入相关的部分专家,在保持模型容量的同时降低计算开销。两阶段预训练首先开展混合掩码与去噪任务,随后加入置信度增强训练,使模型既能重建缺失或受噪声影响的CSI,也能估计重建结果的可靠性。
研究团队在时域信道预测、频域信道预测和信道估计3项任务上评估了零样本重建能力。面对未见场景和系统配置,WiFo-2无需针对任务微调,性能仍超过使用完整任务数据训练的全监督模型。模型还能准确输出重建结果的置信度,其对重建NMSE的预测平均绝对误差约为2.3 dB。准确的置信度输出可为实际系统中的AI模型更新提供依据,并有助于维持通信链路可靠性。进一步实验还揭示了由数据规模、数据异构性和模型规模共同塑造的无线缩放定律。
在下游适配方面,WiFo-2覆盖场景分类、到达角估计、多普勒估计、CSI反馈、无线定位、跨频段信道预测、sub-6 GHz至毫米波波束预测、信号检测和视觉辅助信道预测9项通信与感知任务。仅使用任务专用模型全量标注训练样本的1%,WiFo-2便在这些任务上取得领先性能,从而显著降低无线AI适配新任务时的数据采集和模型训练成本。
团队还搭建了无线基座模型赋能的硬件原型开展真实空口测试。收发端采用Ettus USRP X410软件无线电平台,接收端使用NVIDIA Jetson AGX Orin部署WiFo-2;系统遵循5G NR帧结构,并在选定时频资源上配置解调参考信号导频。整个测试覆盖室内、室外等多种真实环境,以及sub-6 GHz、毫米波等多个频段。在这一较为广泛的场景与频段覆盖下,团队围绕频域信道预测、信道估计和场景分类3项代表性任务开展了验证。结果显示,WiFo-2相较任务专用模型和参数化基线均表现出性能优势,展现出跨场景、跨频段的良好泛化能力。
该原型仍属于早期验证平台,而非可直接商用的下一代无线系统,其时延和功耗在走向实际移动部署前仍需进一步优化。尽管如此,仿真和空口实验共同表明,一个经过预训练的模型有望替代碎片化无线AI流程,并将基座模型范式拓展至无线信道这一物理模态。项目已经在GitHub开源。开源地址:https://github.com/PKU-PCNI/WiFo-2。
Journal
National Science Review
Method of Research
Computational simulation/modeling