Google Research 推出 SensorFM:面向可穿戴健康数据的通用基础模型
阅读原文· research.googleSensorFM 在 500 万人、万亿分钟传感器数据上训练出一个通用生理基础模型,35 项任务全面领先,自动调参的代理教室也很有想法,做健康 AI 的人值得细读。
Google Research 发布 SensorFM,一个在超过 100 万亿分钟多模态传感器数据上预训练的大规模基础模型,数据来自 500 万同意参与者,涵盖 100 多个国家及 20 余款 Fitbit 和 Pixel Watch 设备。SensorFM 学习通用的人体生理表征,可迁移至心血管、代谢、睡眠、心理健康及生活方式等 35 项健康预测任务,支持标签高效适配与数据填充,并可作为个人健康智能体的基础工具。该模型旨在解决传统可穿戴健康模型针对单一终点、难以泛化的问题。
我们推出 SensorFM,这是一个可穿戴健康基础模型,基于来自五百万人的超过一万亿分钟传感器数据进行了预训练。通过协同扩展模型规模与数据量,SensorFM 学习到一种通用的人体生理表征,该表征可迁移至 35 项健康预测任务,支持标签高效适配与数据填充,并能作为个人健康智能体的基础工具。
快速链接
论文
-
- 复制链接 ×
据估算,目前已有数十亿台可穿戴设备在使用中,它们精确追踪着心率、运动、皮肤温度、血氧水平和睡眠情况,时间跨度从数天、数周到数月不等。这种持续、纵向的生理与行为数据流,为预防性、个性化健康提供了最有前景的原材料之一。然而,将这些底层信号转化为有意义的洞察仍然困难重重。首先,每个人的基础生理状况、生活方式和健康水平差异巨大,因此在一个人身上预示风险的模式,在另一个人身上可能并不适用。其次,训练模型所需的标签——确诊诊断、实验室结果、经过验证的问卷——成本高昂、收集缓慢,且基本上无法回溯获取。因此,大多数可穿戴健康模型都是逐个结果构建的,采用定制化的监督学习流程,针对狭窄的终点指标,难以在人类健康的广泛领域中进行泛化。
在《迈向可穿戴健康数据的通用智能与接口》一文中,我们采取了不同的方法。我们推出了 SensorFM,这是一个大规模传感器基础模型,直接在人群规模的无标签可穿戴数据上进行学习。该模型在来自五百万名知情同意参与者的超过一万亿分钟多模态传感器信号上进行了预训练,学习到一种单一、可复用的感知人体生理表征——这种表征可迁移至心血管、代谢、睡眠和心理健康,以及生活方式和人口统计学因素。据我们所知,这是迄今为止用于训练模型的最大、最多样化的可穿戴数据集。
从一万亿分钟传感器数据中学习
为了构建预训练语料库,我们从五百万名已同意将其数据用于健康与福祉研究的用户中采样了去标识化数据,数据采集时间为2024年9月至2025年9月。该数据集覆盖超过100个国家、美国全部50个州,以及20余种Fitbit和Pixel Watch设备型号。我们从每位用户处获取了数周的数据,最终得到超过20亿小时(即超过一万亿分钟)的分钟级分辨率信号。
SensorFM 接收来自五种传感器模态的34个一分钟聚合特征:光电容积脉搏波(PPG)、加速度计、皮肤电活动(EDA)、皮肤温度和高度计。这些特征共同捕捉了完整24小时窗口内的心率与心率变异性、血氧饱和度、睡眠阶段、运动与步数、皮肤电导以及体温。
SensorFM 不依赖标签,而是通过自监督重建进行学习,其基础是 LSM-2 方法及其自适应与继承掩码(AIM)框架。这是一个关键的设计选择,因为可穿戴设备的数据通常存在缺失和碎片化(例如,一段时间内数据不可用),其原因多种多样,包括传感器电源循环、设备脱离手腕、省电运行模式以及传感器开关切换。传统的自监督方法假设输入是完整且连续的,因此要么被迫对缺失部分进行插补(这可能会引入偏差),要么丢弃不完整的窗口(这会浪费宝贵的数据)。AIM 不走这两条路:它将现实世界中的数据缺失视为一种自然现象,并直接从不完整的记录中学习,将来自真实数据空缺的继承 token 与为了重建目标而人为掩码的 token 结合起来,并将两者视为等价。由此产生的表征在构建时就天然具备对数据缺失的感知能力。SensorFM 不仅容忍碎片化数据,还能高效地利用它,如下文的生成结果所示。
SensorFM 通过感知缺失的掩码重建方法,在超过一万亿分钟的多模态传感器数据上进行了预训练。
同时扩展模型和数据规模是值得的。
任何基础模型的核心问题都在于:规模扩大是否真的能转化为能力提升。我们开展了一系列系统性的规模扩展实验,在预训练数据量(从约200万传感器小时到20亿传感器小时)和模型规模(从10万参数到1亿参数)两个维度上均跨越了四个数量级。
实验结果传递出一个清晰且令人鼓舞的信号:随着数据量和模型容量的增长,预训练损失呈现出可预测的下降趋势——而且至关重要的是,这些收益能够延续到下游健康任务中。在包含完整500万人群语料库上训练的最大模型(SensorFM-B),相较于最小版本,重建损失降低了31%,在下游分类任务上平均性能提升9%(AUC),在回归任务上性能提升21%(皮尔逊系数)。
最大的改进来自于同时扩展两个维度。按比例增加数据和模型容量,在生成式预训练和判别式下游任务性能上均产生了近乎线性的提升——而且这条曲线尚未显现出饱和迹象。在多个模型变体中,SensorFM-B在35项任务中胜出33项。
将数据和模型容量协同扩展数个数量级,能在预训练和下游任务性能两方面都带来收益,且未出现饱和迹象。
单一表征,覆盖多个健康领域
为了检验所学表征的通用性,我们在35项判别式健康任务上对SensorFM进行了评估。这些任务来自三项独立的、经机构审查委员会批准的前瞻性研究,共涉及13,985名参与者。任务涵盖六大类别:心血管健康、代谢风险、心理健康、睡眠、人口统计特征和生活方式。
为了直接探究嵌入向量的质量,我们冻结了SensorFM编码器,仅在其之上训练了一个轻量级的线性分类头——然后将其与基于人工设计特征训练的监督基线模型进行了对比。以下是我们的发现:
- 广泛泛化能力:在SensorFM嵌入向量上训练的线性探针,在35项任务中的34项上超越了基于人工特征工程的监督基线模型,且无需任何针对特定任务的架构设计。
- 隐式习得的生理学:加入人口统计学特征(年龄、性别等)会带来小幅提升——但随着模型规模扩大,这种提升会缩小,这表明更大的模型在预训练过程中已隐式捕捉到了与生理相关的特征。
- 在难以测量的病症上表现强劲:扩展预训练对于抑郁症和焦虑症等病症尤其有价值,这些病症因人而异,且在传感器数据中只留下微弱痕迹。SensorFM 似乎能够学习到通常掩盖此类信号的个体差异,并提取出跨人群共有的模式。
- 标签效率:仅使用一小部分带标签样本,SensorFM 就能迅速超越仅依赖人口统计学特征和手工特征工程的基线模型——这在高质量标签稀缺的医疗领域是一项重要特性。
在冻结的 SensorFM 嵌入向量上使用线性探测进行判别式健康任务的相对性能提升。
一个用于构建预测头的智能体“课堂”
一个通用嵌入向量的价值,取决于将其适配到具体任务所需的工作量。传统上,要将嵌入向量转化为每个新端点的强预测器,需要手动进行特征工程、架构选择和超参数调优——这些繁琐的工作会随着任务数量的增加而变得更加困难。
为了实现自动化,我们构建了一个智能体“课堂”:一组协作与竞争的大语言模型智能体,它们迭代地生成、测试和优化可执行代码,以在 SensorFM 嵌入向量之上构建预测头。在我们的实验中,该系统探索了超过 30,000 个候选解决方案。
智能体设计的预测头在 20 个分类任务中的 16 个以及 15 个回归任务中的 12 个上,击败了简单的线性探测。两个模式尤为突出:解决方案的质量随搜索过程单调提升,并且与底层大语言模型的能力成正比——能力更强的模型(如更新版本的 Gemini)能产生更好的解决方案,而智能体之间的协作则有助于能力较弱的模型缩小差距。
一个大语言模型智能体的“课堂”迭代地编写、测试和优化代码,以在 SensorFM 嵌入向量上构建预测头,并随时间推移不断改进解决方案。
为个人健康智能体奠定基础
最后,我们探究了 SensorFM 是否具备端到端的实用性——即作为一种工具,将 AI 健康教练锚定在用户自身的生理数据上。我们将 SensorFM 集成到一个个人健康智能体中,并比较了三种从 31 位真实参与者档案生成健康摘要的条件:
- 人口统计信息 + 日常可穿戴设备指标 + SensorFM 预测
- 人口统计信息 + 日常可穿戴设备指标 + 真实测量值
- 人口统计信息 + 日常可穿戴设备指标(基线)
一组临床医生在不知晓条件分组的情况下,依据五个评分维度——背景、相关性、可论证性、个性化程度及潜在危害——对生成的摘要进行评分,在超过 40 小时的专家评估中产生了 1,860 条评分。研究结果令人瞩目。在每一个评分维度上,加入 SensorFM 预测都显著改善了智能体的响应,使其优于基线水平。并且,将智能体基于 SensorFM 预测与基于真实测量值之间,没有统计学上的显著差异——这意味着模型的推理结果对智能体的辅助效果几乎与真实标签相当。
将 SensorFM 作为个人健康智能体的工具,能够提升临床医生对响应的评分。
结论
SensorFM 预示着可穿戴健康研究领域的一个转变:从众多定制化的、单一结果的模型,转向一种单一的、通用的人类生理表征,这种表征可以灵活、高效且大规模地进行适配。通过从超过一万亿分钟的无标签传感器数据中学习,它能够泛化应用于心血管、代谢、睡眠和心理健康领域;支持高效利用标签的适配和稳健的日常指标估计;能够通过智能体课堂自动进行专业化;并能将个人健康智能体锚定在用户自身的信号上。
致谢
我们感谢来自 Google Research、Google DeepMind 及学术界的合著者和合作者对本工作的贡献。
- 标签:
- 生成式 AI
- 机器智能
快速链接
论文
-
- 复制链接 ×
其他相关文章
- 2026 年 6 月 30 日 推出 TabFM:面向表格数据的零样本基础模型 * 数据管理 · * 机器智能 · * 产品
- 2026年6月26日 在Pixel设备上通过冻结的多token预测加速Gemini Nano模型 * 机器智能 · * 移动系统 · * 自然语言处理
- 2026年6月24日 思考即回忆:推理如何解锁大语言模型中的参数化知识 * 生成式AI · * 机器智能 · * 自然语言处理
×❮❯
×