Soli雷達(dá)是由谷歌和英飛凌合作，專門為近距離感知任務(wù)研發(fā)的一款60GHz毫米波雷達(dá)產(chǎn)品，其中谷歌負(fù)責(zé)開發(fā)信號(hào)處理和軟件部分，而英飛凌科技公司享有芯片硬件技術(shù)的知識(shí)產(chǎn)權(quán)。一代Soli芯片于2016年發(fā)布，借助谷歌的開發(fā)者計(jì)劃，谷歌與全球高校和開發(fā)者合作推出了一系列創(chuàng)新應(yīng)用。二代Soli芯片于2018年發(fā)布，并被應(yīng)用在手機(jī)Pixel 4的手勢(shì)識(shí)別模塊和智慧屏Nest Hub中的睡眠監(jiān)測(cè)功能。本文將深度剖析谷歌Soli雷達(dá)近年來在學(xué)術(shù)和產(chǎn)品化方面的進(jìn)展， 主要內(nèi)容如下：
1. Soli雷達(dá)芯片
2. 基于Soli雷達(dá)的手勢(shì)識(shí)別
3. 谷歌Pixel 4手機(jī)中的Soli雷達(dá)設(shè)計(jì)
4. ?谷歌Nest Hub睡眠監(jiān)控中的Soli雷達(dá)設(shè)計(jì)
5. 消費(fèi)級(jí)雷達(dá)的發(fā)展前景
用于人體感知的消費(fèi)級(jí)雷達(dá)主要可以分為兩個(gè)頻段：24GHz和60GHz。24GHz雷達(dá)探測(cè)距離可達(dá)70米，可以同時(shí)檢測(cè)追蹤多目標(biāo)，被用于全屋智能等應(yīng)用，隨著24GHz的UWB頻段被廢除，其可用頻段為24～24.25 GHz，距離分辨率比較低。60 GHz頻段包括57～66 GHz，共7GHz可用帶寬，雖然探測(cè)距離為10米左右，但是距離分辨率很高，被用于近距離的人體感知，例如手勢(shì)識(shí)別，生命體征檢測(cè)等；由于其芯片尺寸較小，可以直接部署在嵌入式設(shè)備中。廣義的Soli雷達(dá)可以認(rèn)為是英飛凌推出的一系列60GHz雷達(dá)。
初代Soli雷達(dá)芯片（英飛凌BGT60TR24[1]）于2016年亮相，專門為了近距離的感知任務(wù)而設(shè)計(jì)。雷達(dá)采用了60GHz頻段，可以實(shí)現(xiàn)最高2厘米的距離分辨率。芯片采用了350nm SiGe BiPolar工藝，減少了閃爍噪聲（1/f noise）。集成的寬調(diào)諧范圍VCO（Voltage Controlled Oscillator）實(shí)現(xiàn)了?80 dBc/Hz @ 100 kHz的低噪聲系數(shù)（FN）。該芯片在拐角頻率（fc）和噪聲系數(shù)（FN）的優(yōu)勢(shì)實(shí)現(xiàn)了高系統(tǒng)信噪比，從而提高了最大感知距離和對(duì)多目標(biāo)的分辨能力。對(duì)于近距離手勢(shì)識(shí)別，接收器的線性度比噪聲對(duì)系統(tǒng)的影響更大，因此Soli為了增加線性度而取消了低噪聲放大器（Low Noise Amplifier ，LNA）的使用，實(shí)現(xiàn)了小于0.1%的線性誤差。
天線設(shè)計(jì)采取了2發(fā)4收的配置：如下圖所示，4根接收天線形成了2x2陣列，上下天線之間的距離為一個(gè)波長(zhǎng)，從而保證了四個(gè)接收通道相位對(duì)齊,增益為10dBi，半功率波束寬度40°x42°；發(fā)射端采用了差分天線，以加強(qiáng)收發(fā)天線的隔離度,增益為7dBi，半功率波束寬度為40°x42°。采用了數(shù)字波束形成，從而追蹤手勢(shì)在四個(gè)象限的運(yùn)動(dòng)。芯片采用了eWLB封裝技術(shù)，為了實(shí)現(xiàn)小型化，采用了天線封裝技術(shù)（Antenna in Package, AiP），天線封裝在eWLB的再分配層中。芯片的封裝尺寸為12x12 mm，收發(fā)器芯片在封裝芯片的中心，接收通道與4根接收天線連接，發(fā)射通道與兩側(cè)的兩個(gè)發(fā)射天線連接。在6個(gè)通道全部開啟且發(fā)射功率設(shè)置為最大的情況下，功耗約為900mW。
第二代Soli芯片（英飛凌BGT60TR13[2]）在小型化和低功耗方面進(jìn)行了改進(jìn)，以便嵌入到手機(jī)中。最大的變化是，天線設(shè)計(jì)由2發(fā)4收變?yōu)?發(fā)3收，接收天線成L形布局，視場(chǎng)角可達(dá)150度，芯片封裝尺寸由12x12mm縮小到6.5x5.0mm。工藝采用了130nm的BiCMOS技術(shù)，峰值功率約為1.8V供電下400 mW。雷達(dá)可以配置3種模式，分別為長(zhǎng)距模式（最大距離9.6m，1Tx1Rx），短距模式（最大距離96cm），以及低功耗短距模式（最大距離48cm，占空比3.6%，功耗30.25mW）。
英飛凌于2020年獨(dú)立推出了BGT60LTR11AiP[3] 60GHz雷達(dá)芯片，天線采用了單發(fā)單收，封裝尺寸進(jìn)一步縮小到3.3x6.7x0.56mm，視場(chǎng)角為80度。該雷達(dá)可以在沒有外部MCU控制的情況下以自主模式運(yùn)行，提供目標(biāo)的運(yùn)動(dòng)和方向信息。在該模式下，可以實(shí)現(xiàn)以低于5mW的低功耗檢測(cè)出5米以內(nèi)的人類目標(biāo)。這款芯片還支持半自動(dòng)和SPI模式，可以捕獲雷達(dá)原始ADC數(shù)據(jù)，并傳輸?shù)絇C或外部SoC上進(jìn)行信號(hào)處理，實(shí)現(xiàn)定制的算法功能。
基于毫米波雷達(dá)的手勢(shì)識(shí)別是一個(gè)熱門的研究方向。調(diào)頻連續(xù)波（FMCW）雷達(dá)可以測(cè)得目標(biāo)的距離，方位角和速度。由于小型化的限制，手勢(shì)識(shí)別雷達(dá)天線孔徑較小，因此角分辨率很低，算法往往不依靠角分辨率，而是靠距離和速度變化帶來的信號(hào)表征進(jìn)行分類。由于整個(gè)手掌都會(huì)被雷達(dá)波束照射，手不能當(dāng)作點(diǎn)目標(biāo)，而應(yīng)該建模為許多動(dòng)態(tài)的散射中心。不同散射中心有著不同的距離和速度，雷達(dá)接收的回波信號(hào)是這些散射中心回波的疊加[4]。與其他傳感器不同的是，雷達(dá)不需要依賴空間分辨率區(qū)分出不同手指的動(dòng)作，而是可以直接通過整體疊加的運(yùn)動(dòng)表征進(jìn)行手勢(shì)分類。
對(duì)于FMCW雷達(dá)來說，通過兩次FFT可以得到距離-多普勒（Range-Doppler）圖。距離-多普勒?qǐng)D包含了雷達(dá)散射中心距離和速度的分布信息。接下來的信號(hào)處理可分為兩種方式：一種是利用CFAR提取峰值作為散射中心點(diǎn)，然后捕捉散射點(diǎn)的統(tǒng)計(jì)信息和動(dòng)態(tài)變化；另一種是直接在疊加的距離-多普勒?qǐng)D上提取特征。對(duì)于第一種方案，由于Soli雷達(dá)的幀周期（RRF）高達(dá)1到10KHz，手勢(shì)動(dòng)作相對(duì)很緩慢，因此可以認(rèn)為散射中心在一個(gè)周期內(nèi)的性質(zhì)是穩(wěn)定的，通過追蹤散射中心并提取速度和空間分布的變化，可以實(shí)現(xiàn)手勢(shì)的追蹤和分類。對(duì)于第二種方案，為了更方便的找到規(guī)律，可以將高維的距離-多普勒?qǐng)D投影到低維空間：通過在速度維上非相參積累可以得到距離像（Range Profile），即散射中心在距離上的能量分布；通過在距離維上非相參積累可以得到多普勒像（Doppler Profile），即散射中心在速度上的能量分布。通過在時(shí)間維的積累，我們可以得到時(shí)間-距離圖（Time Range Map）和時(shí)間-多普勒?qǐng)D（Time Doppler Map)，時(shí)間-多普勒?qǐng)D又稱微多普勒譜（Micro Doppler Spectrogram）。如果采用多發(fā)多收雷達(dá)，還可以提取時(shí)間-角度圖，從而更好地對(duì)不同方向的手勢(shì)進(jìn)行分類。
接下來，我們通過論文[5]中幾個(gè)具體例子來了解不同手勢(shì)在這三個(gè)維度上不同的運(yùn)動(dòng)模式特征。
如下圖所示，“拉”和“推”的手勢(shì)在時(shí)間-距離圖（最左側(cè)）上有著明顯的差異：“拉”導(dǎo)致了距離增長(zhǎng)，“推”導(dǎo)致了距離減小。
如下圖所示，“左掃”和“右掃”的手勢(shì)在時(shí)間-角度圖（最右側(cè)）上有著明顯的差異：左掃是從正到負(fù)，右掃是從負(fù)到正。
如下圖所示，“揉搓”和“輕點(diǎn)”的手勢(shì)在時(shí)間-多普勒?qǐng)D（中間）上有著明顯的差異：由于手指運(yùn)動(dòng)引發(fā)了速度抖動(dòng)，導(dǎo)致了在速度維上有不同的信號(hào)表征。
根據(jù)上述原理，谷歌一共發(fā)布過三篇利用Soli雷達(dá)進(jìn)行手勢(shì)識(shí)別的工作，接下來讓我們逐篇對(duì)他們進(jìn)行分析。
2016年，谷歌基于第一代Soli開發(fā)了一套基于手工特征的手勢(shì)識(shí)別算法[6]。作者先依照雷達(dá)信號(hào)處理流得到了I/Q信號(hào)，距離-多普勒?qǐng)D，距離像，多普勒像以及三維位置等信息，然后從這些信息中提取細(xì)粒度的特征。作者總結(jié)了三大類特征，包括散射中心的特征，RF信號(hào)的特征以及用于數(shù)據(jù)驅(qū)動(dòng)的原始數(shù)據(jù)。對(duì)于散射中心，作者先利用CFAR檢測(cè)散射中心，然后根據(jù)距離，速度和加速度，對(duì)中心點(diǎn)進(jìn)行追蹤，并提取反射率信息。對(duì)于RF信號(hào)，作者先對(duì)距離維度進(jìn)行了截取，得到手掌大致的位置，然后分別在速度和距離維提取特征：在速度-時(shí)間譜上提取了速度中心，速度中心在兩個(gè)時(shí)刻的相對(duì)位移，和能量在速度上的分布；在距離維上提取了能量的分布，接收到的總能量，以及能量在兩幀的相對(duì)變化。對(duì)于原始數(shù)據(jù)，作者先對(duì)雷達(dá)張量進(jìn)行了歸一化，并在能量中心附近截取ROI作為特征。作者提取了這些特征，并把他們作為輸入訓(xùn)練隨機(jī)森林分類器。在訓(xùn)練過程中，針對(duì)不同手勢(shì)進(jìn)行了特征篩選。在推理階段，作者采用了貝葉斯濾波，同時(shí)考慮了時(shí)序和上下文信息提供的先驗(yàn)，從而得到平穩(wěn)的預(yù)測(cè)結(jié)果。
數(shù)據(jù)集方面，作者定義了4種交互手勢(shì)，包括“虛擬按鍵（捏）”，“虛擬滑”， “橫掃”， “豎掃”。共招募了5名參與者，每位參與者對(duì)4種手勢(shì)各重復(fù)100次，手勢(shì)在距離雷達(dá)30cm內(nèi)的不同位置采集。結(jié)果實(shí)現(xiàn)了92.1%的手勢(shì)識(shí)別準(zhǔn)確率和78.22%的逐幀識(shí)別準(zhǔn)確率，其中7.9%的幀錯(cuò)誤是由于在手勢(shì)初始或者結(jié)尾處被識(shí)別為背景造成的。實(shí)時(shí)性方面，基于隨機(jī)森林的算法可以實(shí)現(xiàn)在樹莓派上1480幀每秒和高通驍龍400上2880幀每秒的推理速度。
在谷歌與蘇黎世聯(lián)邦理工大學(xué)合作的文章[7]中，作者采用了端到端的CNN-LSTM模型進(jìn)行手勢(shì)識(shí)別。作者擴(kuò)展了上一篇文章提出的任務(wù)，對(duì)11種動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別，包括“用大拇指和食指捏”，“用大拇指和小指捏”，“大拇指滑動(dòng)”，“搓”，“慢掃”，“快掃”，“推”，“拉”，“手掌傾斜”，“畫圈”以及“手掌懸浮”。其中，大部分手勢(shì)可以通過距離-速度特征進(jìn)行分類，對(duì)于在距離-速度維難以區(qū)分的近似手勢(shì)，可以通過時(shí)序上的運(yùn)動(dòng)特征分類。因此，作者采用了CNN-LSTM網(wǎng)絡(luò)，網(wǎng)絡(luò)直接以距離-多普勒?qǐng)D作為輸入，先將數(shù)據(jù)進(jìn)行背景噪聲去除和歸一化，并將尺寸壓縮到224x224，然后利用8層的CNN進(jìn)行特征提取；接下來利用LSTM對(duì)CNN提取的特征進(jìn)行時(shí)序特征的提取和手勢(shì)分類，序列長(zhǎng)度設(shè)置為40幀。數(shù)據(jù)集包括10個(gè)測(cè)試人對(duì)11種手勢(shì)每組重復(fù)25次，共2750個(gè)數(shù)據(jù)序列。實(shí)驗(yàn)結(jié)果實(shí)現(xiàn)了平均87%的準(zhǔn)確率。其中，兩類捏的手勢(shì)由于相似度很高分類結(jié)果最差（a：59%，b：68%），但是僅僅限于互相混淆，合并之后對(duì)該類可達(dá)85%的準(zhǔn)確率。算法在i7 CPU的電腦上實(shí)現(xiàn)了140Hz的實(shí)時(shí)監(jiān)測(cè)。該文章的數(shù)據(jù)集和代碼開源在https://github.com/simonwsw/deep-soli
2021年，谷歌在人機(jī)交互頂會(huì)ACM CHI發(fā)布了手勢(shì)識(shí)別網(wǎng)絡(luò)RadarNet[8]，并得到了最佳論文獎(jiǎng)。硬件方面，RadarNet采用第二代1發(fā)3收的Soli雷達(dá)，從文章內(nèi)容可以推測(cè)，該網(wǎng)絡(luò)就是部署在谷歌Pixel 4手機(jī)中的算法。作者簡(jiǎn)化了任務(wù)，目標(biāo)是更為實(shí)用的“掃”手勢(shì)的方向分類。為此作者把方向解耦為三個(gè)任務(wù)，包括手勢(shì)在x軸的方向，手勢(shì)在y軸的方向，以及任意方向。由于需要預(yù)測(cè)手勢(shì)的方向，不僅需要保存運(yùn)動(dòng)信息，還需要方位角的相位信息。因此，作者采用復(fù)數(shù)的距離-多普勒?qǐng)D作為輸入，一幀的維度為64 距離單元,16 多普勒單元, 3 接收天線, 2 復(fù)數(shù)信號(hào)。為了減少網(wǎng)絡(luò)尺寸，作者限制雷達(dá)最大感知距離為0.79米，即在第24個(gè)距離單元處截?cái)啵玫降淖儞Q后的輸入維度為（24，16，6）。由于作者沒有對(duì)輸入數(shù)據(jù)進(jìn)行歸一化處理，一方面為了處理距離維度的高動(dòng)態(tài)范圍，另一方面也是為了降低計(jì)算量，作者先采用了幾層1x1卷積核沿著距離維度進(jìn)行特征提取，然后再將各個(gè)特征沿著多普勒維連接在一起，利用3x3卷積提取運(yùn)動(dòng)信息。提取到的特征被送入LSTM模型進(jìn)行分類預(yù)測(cè)，時(shí)間序列長(zhǎng)度被設(shè)置為12幀。
數(shù)據(jù)集方面，作者收集了總共包含558,000個(gè)正樣本以及3,920,000個(gè)負(fù)樣本的大規(guī)模數(shù)據(jù)集。作者從谷歌內(nèi)部招募了7647名志愿者，每人進(jìn)行12次不同的手勢(shì)，并收集了不同場(chǎng)景下的數(shù)據(jù)，包括實(shí)驗(yàn)者站著或坐著，手機(jī)放在手中或者桌子上，手機(jī)橫放豎放等。作者還收集了285小時(shí)的負(fù)樣本，這些負(fù)樣本包括人與手機(jī)的正常交互，用來測(cè)試在日常生活中的誤檢率，以及一些和目標(biāo)手勢(shì)很相似的動(dòng)作，作為對(duì)抗樣本測(cè)試魯棒性。在訓(xùn)練過程中，作者選取手離雷達(dá)最近的一幀作為中心，截取兩邊共12幀作為輸入，并對(duì)數(shù)據(jù)進(jìn)行了隨機(jī)的尺度縮放作為數(shù)據(jù)增強(qiáng)，訓(xùn)練集的正負(fù)樣本比例為1：6。實(shí)驗(yàn)結(jié)果表明，在三個(gè)方向的分類準(zhǔn)確度都超過了99%。在實(shí)時(shí)性方面，作者通過Tensorflow Lite進(jìn)行了模型輕量化：模型尺寸僅為0.14MB，在谷歌Pixel 4 XL手機(jī)上的推理時(shí)間僅為0.147ms。在負(fù)樣本數(shù)據(jù)集上的實(shí)驗(yàn)表明，在0.8檢出率的條件下，模型在一小時(shí)內(nèi)對(duì)向左/向右/背景的誤檢率分別為0.03/0/0.06，可以認(rèn)為算法滿足了現(xiàn)實(shí)使用的需求。
在下表中，我們對(duì)以上三篇基于Soli雷達(dá)進(jìn)行手勢(shì)識(shí)別的文章做了歸納總結(jié)。可以看到，谷歌分別在模型，數(shù)據(jù)和任務(wù)三方面做了一系列改進(jìn)：模型方面，谷歌的研究人員更加充分利用了數(shù)據(jù)驅(qū)動(dòng)的方法，從最早的手工特征，到直接從雷達(dá)原始數(shù)據(jù)用CNN提取特征，并用LSTM嵌入時(shí)間序列信息；在數(shù)據(jù)方面，谷歌收集了大規(guī)模高質(zhì)量的數(shù)據(jù)集，這也是保證其數(shù)據(jù)驅(qū)動(dòng)算法泛化性的基礎(chǔ)；在任務(wù)方面，谷歌簡(jiǎn)化了需要識(shí)別的手勢(shì)信息，降低了任務(wù)難度，提升了手勢(shì)識(shí)別準(zhǔn)確率，從而滿足了日常生活中的使用需求。
自從2016年在谷歌I/O大會(huì)上宣布Soli計(jì)劃以來，經(jīng)過三年的研發(fā)，Soli雷達(dá)終于在2019年作為亮點(diǎn)功能在谷歌Pixel 4手機(jī)上亮相。手機(jī)作為消費(fèi)者日常使用最為頻繁的電子產(chǎn)品，如果基于雷達(dá)的手勢(shì)交互被消費(fèi)者接納，無疑Soli雷達(dá)將獲得巨大的成果；同時(shí)，手機(jī)對(duì)尺寸，美觀，能耗，以及用戶體驗(yàn)都有著很高的要求。選擇手機(jī)作為Soli的主要應(yīng)用場(chǎng)景，困難和機(jī)會(huì)并存。
為了將Soli整合到Pixel手機(jī)中，谷歌的雷達(dá)系統(tǒng)團(tuán)隊(duì)與產(chǎn)品設(shè)計(jì)團(tuán)隊(duì)進(jìn)行了緊密的合作。第二代Soli采用了1發(fā)3收的天線布局，使得整個(gè)雷達(dá)系統(tǒng)縮小到5.0x6.5mm，可以嵌入到手機(jī)內(nèi)部。在布置方面，由于射頻信號(hào)可以穿透玻璃和塑料組成的外殼，所以芯片上方?jīng)]有開孔，這有利于外形美觀，也有利于實(shí)現(xiàn)防水等功能。但實(shí)際上，外殼對(duì)雷達(dá)信號(hào)有著很大的影響，團(tuán)隊(duì)通過優(yōu)化芯片的位置和芯片上方的堆料，最大程度地提高了雷達(dá)信號(hào)的傳輸，減少了周圍組件的反射和遮擋。團(tuán)隊(duì)還發(fā)現(xiàn)，麥克風(fēng)導(dǎo)致的音頻振動(dòng)對(duì)雷達(dá)信號(hào)影響比較大，對(duì)此他們開發(fā)了一種濾波算法，以減少音頻振動(dòng)的影響，從而實(shí)現(xiàn)在播放音樂的同時(shí)進(jìn)行手勢(shì)檢測(cè)。Soli團(tuán)隊(duì)還引入了幾個(gè)創(chuàng)新的硬件電源管理方案，并優(yōu)化了Soli的計(jì)算周期：在一個(gè)猝發(fā)周期內(nèi)，雷達(dá)一次性發(fā)射16個(gè)chirp，然后等待下一個(gè)猝發(fā)周期。通過設(shè)計(jì)2000 Hz的脈沖重復(fù)頻率(PRF)和25 Hz的猝發(fā)率(burst rate)，雷達(dá)的發(fā)射占空比僅為2%，從而實(shí)現(xiàn)5米之內(nèi)5mW的低功耗檢測(cè)，滿足智能手機(jī)的功耗需求。
軟件方面，Soli被應(yīng)用在名為Motion Sense（運(yùn)動(dòng)感知）的應(yīng)用服務(wù)中，用戶能夠在不接觸設(shè)備的情況下以多種方式與手機(jī)互動(dòng)。Motion Sense提供的交互可以分為三類：第一種類型是感知存在。例如，當(dāng)用戶把手機(jī)放在桌子上時(shí)，如果Soli檢測(cè)到用戶遠(yuǎn)離手機(jī)，則會(huì)關(guān)閉顯示屏以節(jié)省電量。第二種類型是靠近檢測(cè)，例如當(dāng)鬧鐘或鈴聲響起，當(dāng)Soli檢測(cè)到用戶伸手去夠時(shí)，無需真的觸碰到，手機(jī)便會(huì)自動(dòng)安靜下來。當(dāng)Soli檢測(cè)到用戶伸手拿手機(jī)時(shí)，會(huì)迅速點(diǎn)亮屏幕，并激活面部解鎖傳感器，從而實(shí)現(xiàn)更快的響應(yīng)。第三種是手勢(shì)交互，但是Soli只實(shí)現(xiàn)了兩種情境下的手勢(shì)，包括用“快速掃”的手勢(shì)關(guān)閉來電或者鬧鐘，以及用“左右掃”的動(dòng)作來切換音樂曲目。
一個(gè)新功能的使用，離不開軟件生態(tài)，但遺憾的是，谷歌并沒有向開發(fā)者公開Soli雷達(dá)的安卓API。谷歌僅僅提供了一個(gè)名為Soli Sandbox的展示程序，它允許開發(fā)者從用戶事件中讀取識(shí)別到的手勢(shì)結(jié)果。這些事件被保存為json格式的數(shù)據(jù)結(jié)構(gòu)，可以打印到控制臺(tái)。雖然這些代碼片段可用于在JavaScript和HTML5中創(chuàng)建網(wǎng)絡(luò)應(yīng)用，但它們不能用于設(shè)計(jì)安卓應(yīng)用。對(duì)于部分得到官方授權(quán)的應(yīng)用，Motion Sense提供了名為Oslo的服務(wù)，用于把手勢(shì)消息發(fā)布給這些應(yīng)用程序。但得到授權(quán)的應(yīng)用數(shù)量很少，包括 Pokemon Wave Hello，以及一些音視頻應(yīng)用，不在白名單中的應(yīng)用則無法使用該服務(wù)。因此，Soli未能成功建立其應(yīng)用生態(tài)。
在發(fā)布僅僅十個(gè)月后，谷歌就宣布在下一代Pixel 5中不再使用Soli雷達(dá)，并且將Pixel 5的定價(jià)下調(diào)100美元到699美元。
盡管Soli在手機(jī)中的應(yīng)用以失敗告終，但谷歌并未完全放棄Soli計(jì)劃。2021年，谷歌宣布將Soli應(yīng)用在他的智慧屏Nest Hub中，用于睡眠監(jiān)控。近年來，睡眠跟蹤的功能越來越受歡迎，大多數(shù)智能手表和健身手環(huán)都提供了這一功能。與可穿戴設(shè)備相比，基于Soli的睡眠追蹤不需要佩戴傳感器，不需要反復(fù)充電，在使用方面更加便利。
最初，Soli雷達(dá)被用于睡眠跟蹤功能[9]，即分辨使用者處于清醒還是睡眠狀態(tài)。該功能可以分為定位和動(dòng)作檢測(cè)兩步：首先，研究人員設(shè)計(jì)了自動(dòng)校準(zhǔn)算法，把波束對(duì)準(zhǔn)用戶的睡眠區(qū)，從而降低同床的人以及房間內(nèi)的運(yùn)動(dòng)物品，例如擺動(dòng)的吊扇和窗簾，造成的干擾。第二步是在睡眠區(qū)內(nèi)進(jìn)行運(yùn)動(dòng)模式的檢測(cè)。雷達(dá)頻譜可以分辨不同的運(yùn)動(dòng)模式，包括大幅度的姿勢(shì)變化，小幅度的肢體運(yùn)動(dòng)，以及休息時(shí)呼吸產(chǎn)生的亞厘米級(jí)的胸部和軀干位移。研究人員通過端到端的機(jī)器學(xué)習(xí)算法對(duì)雷達(dá)頻譜進(jìn)行分類，實(shí)現(xiàn)了三種狀態(tài)的預(yù)測(cè)，包括無人、醒著或者睡著。為了訓(xùn)練和評(píng)估該模型，研究人員收集了來自數(shù)千人的超過一百萬小時(shí)的雷達(dá)數(shù)據(jù)，以及對(duì)應(yīng)的睡眠日志。為了驗(yàn)證算法的準(zhǔn)確性，研究人員將雷達(dá)得到的結(jié)果與醫(yī)療領(lǐng)域常用的多導(dǎo)睡眠圖進(jìn)行了比較，實(shí)驗(yàn)對(duì)象包括33名年齡跨度較大的健康睡眠者，實(shí)驗(yàn)結(jié)果表明基于雷達(dá)的睡眠-蘇醒估計(jì)相當(dāng)于或在某些情況下甚至優(yōu)于目前的醫(yī)療級(jí)睡眠跟蹤。
在發(fā)布睡眠跟蹤功能3個(gè)月后，谷歌團(tuán)隊(duì)又對(duì)該功能進(jìn)行了升級(jí)，實(shí)現(xiàn)了對(duì)睡眠階段的監(jiān)測(cè)[10]。睡眠可以分為深度、淺度和快速眼動(dòng)（REM）三個(gè)階段，大腦特殊的神經(jīng)回路可以對(duì)睡眠周期進(jìn)行調(diào)節(jié)，在三種階段切換。結(jié)合階段信息和對(duì)干擾事件的檢測(cè)，可以更好的了解睡眠狀態(tài)。醫(yī)學(xué)上對(duì)睡眠階段監(jiān)測(cè)的標(biāo)準(zhǔn)是多導(dǎo)睡眠圖，它采用了一系列可穿戴的傳感器來監(jiān)測(cè)睡眠期間的一些身體功能，如大腦活動(dòng)、心跳、呼吸、眼球運(yùn)動(dòng)等。這些信號(hào)可以由技術(shù)專家進(jìn)行解讀，以確定睡眠階段。為了實(shí)現(xiàn)Soli雷達(dá)對(duì)睡眠階段的監(jiān)測(cè)，研究人員采用了遷移學(xué)習(xí)的方法。他們采用了一個(gè)多導(dǎo)睡眠圖的公開數(shù)據(jù)集，該數(shù)據(jù)集使用了胸腔呼吸感應(yīng)測(cè)壓（RIP）傳感器，通過把傳感器佩戴在測(cè)試者胸前，測(cè)量由呼吸引起的運(yùn)動(dòng)。與之類似，雷達(dá)也可以通過震動(dòng)測(cè)量呼吸和運(yùn)動(dòng)的信號(hào)，兩個(gè)傳感器之間的這種相似性使得遷移學(xué)習(xí)成為可能。因此，開發(fā)團(tuán)隊(duì)利用了基于遷移學(xué)習(xí)的小樣本學(xué)習(xí)，先利用源域數(shù)據(jù)集中RIP傳感器提取的頻譜圖和對(duì)應(yīng)標(biāo)簽進(jìn)行預(yù)訓(xùn)練，然后以雷達(dá)頻譜圖作為輸入，在收集的Soli雷達(dá)的小數(shù)據(jù)集進(jìn)行微調(diào)。測(cè)試結(jié)果表明，微調(diào)后的雷達(dá)模型與其他消費(fèi)級(jí)睡眠追蹤器表現(xiàn)相當(dāng)。
圖18 睡眠階段檢測(cè)
除了睡眠狀態(tài)監(jiān)控外，Nest Hub還實(shí)現(xiàn)了睡眠障礙檢測(cè)和分析的功能。咳嗽和打鼾是睡眠障礙的兩種主要來源，研究人員通過Soli雷達(dá)和麥克風(fēng)的協(xié)同，對(duì)咳嗽和打鼾實(shí)現(xiàn)了精準(zhǔn)的監(jiān)測(cè)。首先，雷達(dá)的入睡檢測(cè)功能為語(yǔ)音監(jiān)控算法提供了觸發(fā)信息[9]。一旦檢測(cè)到用戶已經(jīng)入睡，它就會(huì)激活語(yǔ)音模型，并借助神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)咳嗽和打鼾的監(jiān)測(cè)。一個(gè)在實(shí)際場(chǎng)景中存在的問題是，在雙人同時(shí)睡眠的情況，僅僅通過音頻很難區(qū)分出不同的聲音來源。研究人員結(jié)合音頻監(jiān)測(cè)結(jié)果和基于Soli的運(yùn)動(dòng)和呼吸信息解決了這一問題[10]。當(dāng)主要用戶打鼾時(shí)，音頻信號(hào)中的鼾聲將與Soli雷達(dá)傳感器檢測(cè)到的吸氣和呼氣緊密相關(guān)。相反，當(dāng)在校準(zhǔn)的睡眠區(qū)外檢測(cè)到打鼾時(shí)，這兩個(gè)信號(hào)將獨(dú)立變化。因此，當(dāng)檢測(cè)到咳嗽或打鼾，但音頻和運(yùn)動(dòng)特征之間沒有足夠的相關(guān)性時(shí)，算法將從用戶的咳嗽或打鼾信息中排除這些事件，并將其記為 "其他聲音"。
谷歌Soli在手機(jī)中的應(yīng)用以失敗告終，由此引發(fā)了一個(gè)討論，隔空的手勢(shì)操作是不是一個(gè)偽需求？首先，從產(chǎn)品完成度上看，Pixel中的手勢(shì)識(shí)別功能十分簡(jiǎn)單。在谷歌早期的論文中，他們?cè)噲D建立一套完整的基于手勢(shì)的交互語(yǔ)言，但是在Pixel 4產(chǎn)品中，他們只保留了幾個(gè)簡(jiǎn)單的動(dòng)作，實(shí)現(xiàn)了極其有限的交互方式。背后的原因或許是，不同人的手勢(shì)區(qū)別很大，而神經(jīng)網(wǎng)絡(luò)算法暫時(shí)還無法對(duì)復(fù)雜的手勢(shì)實(shí)現(xiàn)低誤觸率的檢測(cè)。其次，盡管隔空手勢(shì)識(shí)別在一些應(yīng)用場(chǎng)景確實(shí)可以提供一些便利，但是對(duì)于用戶來說，養(yǎng)成一種新習(xí)慣是很困難的，況且谷歌在手機(jī)市場(chǎng)上的份額有限，無法把自己的這套交互語(yǔ)言進(jìn)行大范圍推廣。第三點(diǎn)，Soli雷達(dá)帶來的溢價(jià)（取消Soli之后的Pixel 5售價(jià)下調(diào)了100美元）與其帶來的便利性沒有很好的匹配。因此，谷歌在手機(jī)發(fā)布之后短短10個(gè)月，就砍掉了這個(gè)功能。但是，雷達(dá)在手機(jī)中的使用并未就此劃上句號(hào)，其他手機(jī)廠商也在探索雷達(dá)的應(yīng)用，例如國(guó)產(chǎn)手機(jī)廠商一加，在其概念機(jī)中集成了毫米波雷達(dá)，實(shí)現(xiàn)了通過手勢(shì)隔空接聽或者掛掉電話，還可以檢測(cè)呼吸頻率。學(xué)術(shù)界也在嘗試，使得算法可以在線的學(xué)習(xí)用戶定制化的手勢(shì)，實(shí)現(xiàn)更豐富的手勢(shì)識(shí)別，例如在英飛凌最新發(fā)表的文章[11]中，他們探索了利用元學(xué)習(xí)實(shí)現(xiàn)基于少樣本的新手勢(shì)識(shí)別。在未來，毫米波雷達(dá)依然有機(jī)會(huì)作為差異化功能應(yīng)用于手機(jī)旗艦級(jí)中。
除了手機(jī)之外，健康檢測(cè)也是一個(gè)極富潛力的應(yīng)用場(chǎng)景。除了谷歌之外，全球智能音箱市場(chǎng)的老大亞馬遜也于2021年7月獲得了美國(guó)聯(lián)邦通信委員會(huì)（FCC）的批準(zhǔn)，未來可以生產(chǎn)用于睡眠健康監(jiān)控的雷達(dá)設(shè)備。英飛凌也于去年宣布和瑞士數(shù)字健康技術(shù)公司 Sleepiz合作，推出一套更為專業(yè)的居家睡眠監(jiān)測(cè)解決方案，能夠通過呼吸頻率來判斷睡眠過程中是否有伴有呼吸暫停，以及暫停的嚴(yán)重程度。毫無疑問雷達(dá)在隱私和無接觸方面的特點(diǎn)，使其相較監(jiān)控?cái)z像頭或者智能手表有著明顯的優(yōu)勢(shì)，但是睡眠監(jiān)控市場(chǎng)仍在起步中，未來的發(fā)展還不明朗。除了睡眠監(jiān)控外，雷達(dá)在生命體征檢測(cè)方面也有著大量的應(yīng)用，例如Blumio開發(fā)的非接觸式血壓傳感器，以及國(guó)內(nèi)清雷科技實(shí)現(xiàn)的非接觸式心率變異性(Heart Rate Variability, HRV)檢測(cè)等。Invoxia更是創(chuàng)造性地把雷達(dá)應(yīng)用在智能狗項(xiàng)圈中，對(duì)狗狗的生命體征進(jìn)行監(jiān)控。
與汽車?yán)走_(dá)的火熱相比，毫米波雷達(dá)在人體感知市場(chǎng)還方興未艾。汽車?yán)走_(dá)市場(chǎng)的發(fā)展往往是自上而下的，需求主要由整車廠提出，而消費(fèi)者本身與雷達(dá)產(chǎn)品距離較遠(yuǎn)；對(duì)于人體感知市場(chǎng)，需求是自下而上的，且對(duì)價(jià)格敏感，即使產(chǎn)品足夠好，也要考慮用戶接受度，使用習(xí)慣以及性價(jià)比的問題。因此，廠家需要詳細(xì)分析用戶的需求，發(fā)揮創(chuàng)造力，開發(fā)出好用而且易用的產(chǎn)品。雷達(dá)走向消費(fèi)級(jí)市場(chǎng)仍然有很長(zhǎng)的路要走，很難準(zhǔn)確預(yù)測(cè)什么樣的應(yīng)用場(chǎng)景真正適合雷達(dá)。找到合適的應(yīng)用的過程中，需要大量的嘗試，因此降低研發(fā)成本變得至關(guān)重要。谷歌和英飛凌分別在軟件和硬件方面各自進(jìn)行了一些努力。谷歌起草了通用雷達(dá)API標(biāo)準(zhǔn)Ripple[12]，通過定義標(biāo)準(zhǔn)化的硬件抽象API和信號(hào)處理庫(kù)，目的把軟件和硬件解耦，從而加速雷達(dá)產(chǎn)品開發(fā)；英飛凌則是在原有24GHz雷達(dá)的基礎(chǔ)上，把60GHz雷達(dá)也加入了其智能傳感器XENSIV生態(tài)，并提供了開發(fā)板和SDK，降低了開發(fā)難度，并積極培育全產(chǎn)業(yè)鏈生態(tài)系統(tǒng)，與不同類型的合作伙伴攜手，開拓更多新的應(yīng)用場(chǎng)景，共同發(fā)掘商機(jī)。
本文以谷歌Soli雷達(dá)為案例，簡(jiǎn)要的介紹了毫米波雷達(dá)在手勢(shì)識(shí)別和睡眠監(jiān)控市場(chǎng)的應(yīng)用。未來，隨著硬件廠商，開發(fā)者以及研究人員的共同努力，毫米波雷達(dá)在消費(fèi)級(jí)市場(chǎng)有望迎來更快的發(fā)展。
參考文獻(xiàn)：
