Kubernetes:微內(nèi)核的分布式操作系統(tǒng)

Linux閱碼場 2022-03-11 08:00

如今,Kubernetes 已經(jīng)成為分布式集群管理系統(tǒng)和公有云/私有云的事實標(biāo)準(zhǔn)。實際上,Kubernetes 是一個分布式操作系統(tǒng),它是 Google 在分布式操作系統(tǒng)領(lǐng)域十余年工程經(jīng)驗和智慧的結(jié)晶,而 Google 一直以來都管理著世界上最大的分布式集群,在分布式操作系統(tǒng)領(lǐng)域的研究和認(rèn)識領(lǐng)先于全世界。因此,2014年發(fā)布的 Kubernetes 能在短短幾年時間內(nèi)就超越了諸多前輩,大獲成功。
作為分布式操作系統(tǒng),Kubernetes(包括其前代產(chǎn)品 Google Borg)的出現(xiàn)遠遠晚于 UNIX、Linux、Windows 等著名的單機操作系統(tǒng),Kubernetes 架構(gòu)設(shè)計自然地繼承了很多單機操作系統(tǒng)的珍貴遺產(chǎn),微內(nèi)核架構(gòu)就是這些遺產(chǎn)中最重要的一份。在本文接下來的部分,我們將專注于微內(nèi)核(microkernel)這個概念及其對 Kubernetes 架構(gòu)的影響。

什么是微內(nèi)核?


在介紹微內(nèi)核的時候,我們有必要同時回顧一下單機操作系統(tǒng)的歷史,以理解其價值所在。本章中以「操作系統(tǒng)」指代「單機操作系統(tǒng)」。


UNIX 的興起
電子計算機誕生之后,在上個世紀(jì)70年代以前,出現(xiàn)過許許多多的操作系統(tǒng),DOS、OS/360、Multics 是其中的知名代表,這是操作系統(tǒng)領(lǐng)域的拓荒時代。20年來的拓荒孕育出了偉大的成果:隨著 CPU 技術(shù)的發(fā)展,UNIX 于1969年誕生了,這是一個真正意義上的分時操作系統(tǒng)。

圖片來源:維基百科

借助新的 CPU 技術(shù)的支持,UNIX 將軟件系統(tǒng)劃分為內(nèi)核(kernel)用戶態(tài)程序(userland programs)兩部分。內(nèi)核是一組中斷處理程序的集合,把硬件的能力封裝為操作系統(tǒng)功能調(diào)用(system calls),用戶態(tài)程序通過系統(tǒng)調(diào)用使用硬件功能,用戶態(tài)程序運行于各自的進程中,所有用戶態(tài)進程都共享同一個內(nèi)核,每當(dāng)系統(tǒng)調(diào)用或中斷發(fā)生,UNIX 便陷入(trap)內(nèi)核,內(nèi)核執(zhí)行系統(tǒng)調(diào)用,與此同時,內(nèi)核中的分時調(diào)度算法將決定把 CPU 交給哪個進程,并管理進程的上下文切換。另外,UNIX 把(幾乎)所有硬件都封裝為文件。UNIX 還提供了一個特殊的用戶態(tài)程序 shell,供用戶直接使用系統(tǒng),通過內(nèi)核提供的進程間通信能力,shell讓 用戶可以把一系列應(yīng)用程序組合起來,處理復(fù)雜的需求,作者稱這個設(shè)計思想為「KISS」(Keep It Simple and Stupld)。UNIX 的所有設(shè)計思想在當(dāng)時是都是非常了不起的創(chuàng)舉。
UNIX 不但自身對業(yè)界產(chǎn)生了巨大的直接貢獻,還成為所有現(xiàn)代操作系統(tǒng)的藍本,兩位作者 Ken Tompson 和 Dennis Ritchie 因此榮獲1983年度的圖靈獎。
UNIX 誕生于貝爾實驗室,該實驗室屬于美國國家電信電報公司(AT&T),見識到 UNIX 的強大威力之后,AT&T 做出了一個看似無私的決定:將 UNIX 開源(初期只對大學(xué)開源),這使得所有現(xiàn)代操作系統(tǒng)得以誕生。雖然 AT&T 最終被分拆,輝煌不再,但這個決定對人們的貢獻綿延至今。在21世紀(jì)20年代的今天,無論是 MacOS、Windows、Linux,都直接受到 UNIX 的影響,而 iOS 來自 MacOS,Android 來自 Linux,因此 UNIX 的靈魂仍然活在每個人的手機中、活在每個手機 App 后臺的服務(wù)中。
此外,UNIX 誕生之時,還附送了一項比操作系統(tǒng)本身價值更大的副產(chǎn)品:Dennis Ritchie 為開發(fā) UNIX 設(shè)計了C語言,C語言成為了所有流行的現(xiàn)代編程語言的主要設(shè)計來源,不僅如此,C語言在其誕生近40年后的今天,仍然是最重要的編程語言之一。
值得一提的是,當(dāng)時 UNIX 的主要開放對象是伯克利、卡內(nèi)基梅隆等研究型大學(xué),文理學(xué)院規(guī)模較小,沒有研究生項目,不屬于 AT&T 的主要開放目標(biāo),因此 Olivet College 畢業(yè)的一位小哥未受到 UNIX 思潮的影響。這位名叫 David Cutler 的軟件天才于1975年在 DEC 設(shè)計了 VMS 操作系統(tǒng),VMS 和最初的 UNIX 一樣,運行在 PDP-11 上,但并不是基于 UNIX,而是獨立設(shè)計的。VMS 在業(yè)界沒有掀起大浪,以兼容 UNIX 告終。后來 David Cutler 離開 DEC,加入微軟,在那里譜寫了屬于他自己的傳奇。有趣的是,喬布斯也曾在文理學(xué)院就讀,看來美國文理學(xué)院的學(xué)生是不走尋常路的。

微內(nèi)核的興起
UNIX「一切皆文件」的設(shè)計帶來了用戶程序設(shè)計的很多便利,但它要求所有對硬件的封裝都要在內(nèi)核態(tài),因此內(nèi)核中模塊的 bug 會讓整個系統(tǒng)受到影響,比如說,如果某個設(shè)備驅(qū)動有內(nèi)存泄漏,所有使用該設(shè)備的用戶態(tài)進程都會有內(nèi)存泄漏,如果某個內(nèi)核模塊有安全漏洞,整個系統(tǒng)的安全性將不再可控。
為了解決這類問題,上個世紀(jì)70年代,操作系統(tǒng)研究者們開始發(fā)展「微內(nèi)核」的概念,微內(nèi)核的本質(zhì)是讓操作系統(tǒng)的內(nèi)核態(tài)只保留內(nèi)存地址管理、線程管理和進程間通訊(IPC)這些基本功能,而把其它功能如文件系統(tǒng)、設(shè)備驅(qū)動、網(wǎng)絡(luò)協(xié)議棧、GUI 系統(tǒng)等都作為單獨的服務(wù),這類服務(wù)一般是單獨的用戶態(tài) daemon 進程。
用戶態(tài)應(yīng)用程序通過 IPC 訪問這些服務(wù),從而訪問操作系統(tǒng)的全部功能,如此一來,需要陷入內(nèi)核的系統(tǒng)調(diào)用數(shù)量將大大減少,系統(tǒng)的模塊化更加清晰。同時系統(tǒng)更加健壯,只有內(nèi)核中的少量系統(tǒng)調(diào)用才有權(quán)限訪問硬件的全部能力,如設(shè)備驅(qū)動的問題只會影響對應(yīng)服務(wù),而不是影響整個系統(tǒng)。和 micro kernel 相對,UNIX 的設(shè)計被稱為 monolithic kernel。
UNIX 開放后,AT&T 繼續(xù)著版本迭代,而各大學(xué)基于 AT&T 的 UNIX 開發(fā)了很多新的操作系統(tǒng)內(nèi)核,其中較為知名的有:
  1. BSD,monolithic,由伯克利的傳奇人物 Bill Joy 于1974年發(fā)布(據(jù)說 Bill Joy 花三天便完成了 BSD 內(nèi)核的第一個版本開發(fā),Bill Joy 的作品還包含第一個 TCP/IP 協(xié)議棧、vi、Solaris、SPARK 芯片等等)。該內(nèi)核對業(yè)界影響非常之大,后來發(fā)展為 FreeBSD、OpenBSD、NetBSD 等分支。現(xiàn)代操作系統(tǒng)如 Solaris、MacOS X、Windows NT 對其多有借鑒。
  2. Mach,微內(nèi)核,由卡內(nèi)基梅隆大學(xué)于1984年發(fā)布,主要作者是 CMU 的兩位研究生 Avie Tevanian 和 Rick Rashid。該內(nèi)核對業(yè)界影響也很大,GNU Hurd、MacOS X 對其多有借鑒,但該項目本身以失敗告終。
  3. MINIX,微內(nèi)核,由阿姆斯特丹自由大學(xué)(Vrije Universiteit Amsterdam)的 Andrew Tanenbaum 教授于1987年發(fā)布。無數(shù)計算機系學(xué)生通過 MINIX 及其配套教材掌握了操作系統(tǒng)的設(shè)計原理,Linux 的初始版本就是基于 MINIX 復(fù)刻的。MINIX 雖然著名,但主要用于教學(xué),從未在工業(yè)界獲得一席之地。

微內(nèi)核的沉寂
從上世紀(jì)90年代至本世紀(jì)10年代,UNIX 和 VMS 的后裔們展開了一場混戰(zhàn),從結(jié)果來看,微內(nèi)核的概念雖然美好,但現(xiàn)實非常殘酷:
  1. MINIX 僅限于教學(xué),而基于 MINIX 設(shè)計的 Linux 是 monolithic 系統(tǒng),反而大獲成功。Mach 對業(yè)界影響深遠,但本身并未得到大規(guī)模應(yīng)用,其繼承者 GNU Hurd 一直在開發(fā)中,從未能應(yīng)用。
  2. Windows 的 NTOS 內(nèi)核是 David Cutler 基于他原來在 DEC 獨立設(shè)計的系統(tǒng) VMS 設(shè)計的(VMS 和 UNIX 無關(guān))。NTOS 借鑒了微內(nèi)核的思想和 BSD 的一些代碼,但最終 David Cutler 決定將所有服務(wù)(如 GUI)都放到內(nèi)核態(tài)而非用戶態(tài),因此 Windows NT 在軟件架構(gòu)上和微內(nèi)核一致,而實際運行和 monolithic 內(nèi)核一致,被稱為 hybrid kernel。
  3. MacOS X 基于 NextStep OS 設(shè)計,NextStep 是 Avie Tevanian 設(shè)計的,Avie Tevanian 是 Mach 的主要設(shè)計者,博士畢業(yè)后,蓋茨和喬布斯都邀請過他,他去了 Next,他在 CMU 的好友 Rick Rashid 則去微軟作為 David Cutler 的首席助手,據(jù)說 Avie Tevanian 在 Next 每天用計算器算自己沒去微軟而損失的股票增值。跟喬布斯回到蘋果后,Avie 基于 NextStep 和 BSD 的代碼設(shè)計了 OS X,巧的是,OS X 也采用了 hybrid kernel 的架構(gòu),最終大獲成功,還能在 PowerPC 和 x86 兩種指令架構(gòu)間無縫切換。
在幾位操作系統(tǒng)技術(shù)巨擎中,除 Linus Torvalds 外,無論是 David Cutler 和 Andrew Tanenbaum,還是 Avie Tevanian 和 Rick Rashid,都是微內(nèi)核架構(gòu)的領(lǐng)袖級人物,但最終他們都沒有將微內(nèi)核徹底落地,這是有原因的。
微內(nèi)核操作系統(tǒng)訪問系統(tǒng)服務(wù)的效率比 monolithic 操作系統(tǒng)要低得多,舉例而言,在 Linux 中,系統(tǒng)調(diào)用(比如 open)只要陷入內(nèi)核一次,也就是先切換 CPU 到高權(quán)限模式,再切回低權(quán)限模式。如果在一個微內(nèi)核操作系統(tǒng)中,用戶調(diào)用 open 就需要先拼裝一條 IPC 請求消息,發(fā)送給對應(yīng)的文件系統(tǒng)服務(wù)進程,隨后從文件系統(tǒng)服務(wù)進程獲取IPC響應(yīng)消息并解包,拿到調(diào)用結(jié)果,這樣一來,消息帶來的數(shù)據(jù)拷貝和進程上下文切換都會帶來很多開銷。消息需要拷貝是因為用戶態(tài)進程間不能相互訪問內(nèi)存地址,而內(nèi)核的代碼可以訪問任何用戶態(tài)進程的任何內(nèi)存地址。正是因為性能原因,OS X 和 Windows 都選擇了 hybrid kernel 的架構(gòu),NTOS 甚至在內(nèi)核中集成了 GUI 子系統(tǒng),以帶來更好的用戶體驗。
簡單來說,在電腦性能不佳的情況下,我們會發(fā)現(xiàn) Windows 的鼠標(biāo)箭頭更加“跟手”,即使系統(tǒng)接近死機,Windows 系統(tǒng)的鼠標(biāo)箭頭仍然可以活動。Windows XP 能在 Windows 98 這樣「珠玉在前」的上代產(chǎn)品后獲得更大的成功,和 NTOS 對性能的密切關(guān)注是分不開的,相比之下,蘋果固然在1980年代中期就有初代 Machintosh 這樣的壯舉,但因為喬布斯無法說服銷售團隊換一根更強的內(nèi)存條,因此初代 Mac 的性能較差,運行程序非常之慢,未能獲得應(yīng)得的藍海成功。

Kubernetes 和微內(nèi)核


性能問題對單機操作系統(tǒng)來說可能是至關(guān)重要的,但對分布式操作系統(tǒng)并非如此,分布式操作系統(tǒng)作為「幕后功臣」,不需要直接面對用戶,而單機性能上的小小損失可以用更多機器來彌補,在這個前提下,更好的架構(gòu)往往更加重要。

Borg 的誕生
在單機操作系統(tǒng)大戰(zhàn)快要分出勝負(fù)之時,Google 這家行業(yè)新寵正準(zhǔn)備 IPO,用現(xiàn)在的話來說,Google 那時是一家「小巨頭」:已經(jīng)初露鋒芒,不容小覷,但巨頭們彼時正陷入戰(zhàn)爭泥潭,無暇顧及之。2003年,為了更好地支持新版本的搜索引擎(基于MapReduce),使其能服務(wù)好億萬用戶,Google 開始了大規(guī)模集群管理系統(tǒng)的開發(fā),這個系統(tǒng)叫做 Borg,它的目標(biāo)是管理以萬臺為單位的計算機集群。雖然剛開始只有3、4個人的小團隊,但 Borg 還是跟上了 Google 的飛速發(fā)展,證明了它的潛力,最終 Google 的全部機器都由 Borg 管理,MapReduce、Pregel 等著名系統(tǒng)都建立于 Borg 之上。從操作系統(tǒng)的角度來看,Borg 是一個 monolithic 系統(tǒng),任何對系統(tǒng)的功能升級都需要深入到 Borg 底層代碼來修改支持。在 Google 這樣成熟的技術(shù)型公司中,有很多優(yōu)秀的工程師,因此這個問題在內(nèi)部系統(tǒng)中并不算嚴(yán)重。但如果是公有云,必然要接入許多第三方應(yīng)用的需求,一家公司的工程師團隊再強大,也無法把業(yè)界所有其他系統(tǒng)都接入 Borg,這時系統(tǒng)的可擴展性將非常重要。
在2010年左右,隨著 Google 中國部門的撤銷,很多優(yōu)秀的 Google 工程師加入了 BAT 等中國公司,其中一部分加入了騰訊搜搜。這些前 Googler 加入騰訊后,復(fù)刻了 Google 的許多系統(tǒng),技術(shù)上也很出色,其中 Borg 的復(fù)制品叫做 TBorg,后來改名為 Torca。Torca 在搜搜的廣告業(yè)務(wù)中起到了非常重要的作用,后來由于騰訊業(yè)務(wù)調(diào)整,搜搜與搜狗合并,Torca 在騰訊內(nèi)部失去用戶,逐漸停止了維護。
在 Borg 上線幾年后,Google 意識到 monolithic 架構(gòu)的問題和瓶頸,于是又一支小團隊開始了 Omega 系統(tǒng)的研發(fā)。Omega 系統(tǒng)繼承的是微內(nèi)核的思想,新的功能升級幾乎不需修改底層代碼就能完成,它比 Borg 更加靈活,有更好的伸縮性。但因為當(dāng)時 Google 的全部系統(tǒng)已經(jīng)搭建在 Borg 之上了,由于 Borg 的 monolithic 特性,MapReduce 等系統(tǒng)都緊密綁定到 Borg 核心代碼,不但無縫遷移到 Omega 系統(tǒng)是不可能的,遷移還要花巨大的人力、時間和試錯成本,因此即使核心成員堅持不懈地推動,Omega 系統(tǒng)在 Google 仍未能取得成功。
有趣的是,Omega 項目的核心成員之一 Brendan Burns 的職業(yè)軌跡和操作系統(tǒng)領(lǐng)域的大前輩 David Cutler 有不少相似之處。
  1. 他們同樣畢業(yè)于文理學(xué)院:David Cutler 畢業(yè)于 Olivet College,Brendan Burns 畢業(yè)于 Williams College。
  2. 他們同樣在畢業(yè)后加入了一家傳統(tǒng)行業(yè)的巨頭:David Cutler 畢業(yè)后加入杜邦,Brendan Burns 畢業(yè)后加入湯姆森金融。
  3. 正如教父所說,一個男人只能有一種命運,Cutler 和 Burns 在這兩家傳統(tǒng)巨頭學(xué)會了寫代碼,也許就是在那時,他們發(fā)現(xiàn)了自己在軟件上的天分,發(fā)現(xiàn)了自己的命運是構(gòu)建新一代操作系統(tǒng)。因此他們同樣在第二份工作中選擇了當(dāng)時最炙手可熱的科技巨頭:David Cutler 加入 DEC,Brendan Burns 加入 Google。
  4. 他們同樣在微軟到達了職業(yè)生涯的頂峰:Brendan Burns 現(xiàn)如今已是微軟的 Corporate VP,而 David Cutler 老爺子早已是微軟唯一的 Senior Technical Fellow,據(jù)傳微軟甚至有條規(guī)定,Cutler 的技術(shù)職級必須是全公司最高的,任何人升到 Cutler 的 level,Cutler 就自動升一級。

Kubernetes 的誕生
在單機操作系統(tǒng)時代,hybrid kernel 盛行一時,這證明了微內(nèi)核在軟件架構(gòu)上的成功,但因為性能問題,又沒有任何一個成功的內(nèi)核采用「純粹的」微內(nèi)核架構(gòu),因此微內(nèi)核從實用角度上來說是失敗的。
和單機操作系統(tǒng)時代中微內(nèi)核架構(gòu)的失敗原因不同,Omega 在 Google 公司內(nèi)部的失敗和性能問題無關(guān),只是歷史遺留問題的影響。對開源社區(qū)和大部分公司來說,尚無能和 Borg 相媲美的系統(tǒng),也沒有歷史負(fù)擔(dān),因此幾年后,Google 決定開源 Omega 這一超越 Borg 的新一代分布式操作系統(tǒng),將其命名為 Kubernetes。
為了介紹清楚 Kubernetes 和微內(nèi)核的關(guān)系,以及微內(nèi)核架構(gòu)為 Kubernetes 帶來的優(yōu)勢,這里有必要引入一些技術(shù)細節(jié)。
上文中提到,單機操作系統(tǒng)的系統(tǒng)調(diào)用需要「陷入」內(nèi)核,所謂的陷入(trap)也叫做中斷(interrupt),無論內(nèi)核是什么類型,單機操作系統(tǒng)都需要在啟動時將系統(tǒng)調(diào)用注冊到內(nèi)存中的一個區(qū)域里,這個區(qū)域叫做中斷向量(Interrupt Vector)或中斷描述符表(IDT,Interrupt Descriptor Table)。當(dāng)然,現(xiàn)代操作系統(tǒng)的中斷處理非常復(fù)雜,系統(tǒng)調(diào)用也很多,因此除了IDT之外,還需要一張系統(tǒng)調(diào)用表(SCV,System Call Vector),系統(tǒng)調(diào)用通過一個統(tǒng)一的中斷入口(如 INT 80)調(diào)用某個中斷處理程序,由這個中斷處理程序通過 SCV 把系統(tǒng)調(diào)用分發(fā)給內(nèi)核中不同的函數(shù)代碼。因此 SCV 在操作系統(tǒng)中的位置和在星際爭霸中的位置同樣重要。對微內(nèi)核架構(gòu)來說,除了 SCV 中的系統(tǒng)調(diào)用之外,用戶態(tài)服務(wù)提供什么樣的系統(tǒng)能力,同樣需要注冊到某個區(qū)域。
與此類似,Kubernetes 這樣的分布式操作系統(tǒng)對外提供服務(wù)是通過 API 的形式,分布式操作系統(tǒng)本身提供的 API 相當(dāng)于單機操作系統(tǒng)的系統(tǒng)調(diào)用,每個 API 也需要能夠注冊到某個位置。對 Kubernetes 來說,API 會注冊到 ectd 里。Kubernetes 本身提供的相當(dāng)于系統(tǒng)調(diào)用的那些 API,通過名為 Controller 的組件來支持,由開發(fā)者為 Kubernetes 提供的新的 API,則通過 Operator 來支持,Operator 本身和 Controller 基于同一套機制開發(fā)。這和微內(nèi)核架構(gòu)的思想一脈相承:Controller 相當(dāng)于內(nèi)核態(tài)中運行的服務(wù),提供線程、進程管理和調(diào)度算法等核心能力,Operator 則相當(dāng)于微內(nèi)核架構(gòu)中 GUI、文件系統(tǒng)、打印機等服務(wù),在用戶態(tài)運行。

圖片來源:https://mapr.com/products/kubernetes/

因此,Kubernetes 的工作機制和單機操作系統(tǒng)也較為相似,etcd 提供一個 watch 機制,Controller 和 Operator 需要指定自己 watch 哪些內(nèi)容,并告訴 etcd,這相當(dāng)于是微內(nèi)核架構(gòu)在 IDT 或 SCV 中注冊系統(tǒng)調(diào)用的過程。
以 Argo 為例,Argo 是個 Operator,提供在 Kubernetes 中執(zhí)行一個 DAG 工作流的能力。用戶在使用 kubectl 命令提交 Argo 任務(wù)時,實際是讓 kubectl 將 Argo 的 yaml 提交給 Kubernetes 的 API Server,API Server 將 yaml 中的 Key-Value 數(shù)據(jù)寫入 etcd,etcd 將會提醒那些正在 watch 指定 Key 的服務(wù)。在我們的例子中,這個服務(wù)也就是 Argo。這正像是微內(nèi)核架構(gòu)里用戶進程請求用戶態(tài)服務(wù)的過程。
Argo 得到 etcd watch 的 http 請求,去 etcd 讀出 yaml 中的數(shù)據(jù)并解析, 然后知道要去啟動什么容器,并通過 API 要求 Kubernetes 啟動相應(yīng)的容器。Kubernetes scheduler 是一個 Controller,在收到啟動容器請求后,分配資源,啟動容器。這是微內(nèi)核架構(gòu)中用戶進程通過系統(tǒng)調(diào)用啟動另一個進程的過程。
當(dāng)然,Kubernetes 和單機操作系統(tǒng)也有不同之處:Kubernetes 沒有明確的「陷入」過程,而微內(nèi)核架構(gòu)的單機操作系統(tǒng)在訪問系統(tǒng)調(diào)用時需要陷入,在訪問用戶態(tài)服務(wù)時則不需要陷入。但是,Kubernetes 可以為不同的服務(wù)設(shè)置不同的權(quán)限,這一點在一定程度上類似于單機操作系統(tǒng)中內(nèi)核態(tài)和用戶態(tài)的 CPU 權(quán)限的區(qū)別。
微內(nèi)核在架構(gòu)上的優(yōu)勢在 Kubernetes 中顯露無遺:在 Borg 中,開發(fā)者想要添加新的子系統(tǒng)是非常復(fù)雜的,往往需要修改 Borg 底層代碼,而新系統(tǒng)也因此會綁定到 Borg 上。而對 Kubernetes 來說,開發(fā)者只需要基于 Kubernetes 提供的 SDK 實現(xiàn)一個 Operator,就能夠添加一組新的 API,而不需要關(guān)注 Kubernetes 的底層代碼。Argo、Kubeflow 都是 Operator 的應(yīng)用。任何已有軟件都可以方便地通過 Operator 機制集成到 Kubernetes 中,因而 Kubernetes 非常適合作為公有云的底層分布式操作系統(tǒng),正因如此,Kubernetes 在2014年年中發(fā)布,經(jīng)過2015年一年的成長,在2016年便成為業(yè)界主流,對于沒有歷史負(fù)擔(dān)的公司,也將 Kubernetes 作為內(nèi)部云的底層系統(tǒng)使用。

尾聲


在這篇文章中,我們介紹了單機操作系統(tǒng)的發(fā)展簡史,介紹了微內(nèi)核架構(gòu)在這個歷史進程中從興起到衰落的過程,也介紹了微內(nèi)核架構(gòu)在 Kubernetes 中重新煥發(fā)生機的過程。總的來說,顯著超前于時代的技術(shù)雖然未必能在被提出的時代取得成功,但一定會在多年后,在時代跟上來之后,拿回屬于自己的榮耀。微內(nèi)核架構(gòu)在單機操作系統(tǒng)的時代和云計算的時代的不同遭遇證明了這一點,深度學(xué)習(xí)在低算力時代和高算力時代的不同遭遇也證明了這一點。
值得一提的是,在 Kubernetes 之后,Google 推出了 Fuchsia 作為 Android 可能的替代品。而 Fuchsia 基于 Zircon 內(nèi)核開發(fā),Zircon 基于 C++ 開發(fā),正是微內(nèi)核架構(gòu)。在算力井噴的現(xiàn)代,除了在分布式操作系統(tǒng)領(lǐng)域,微內(nèi)核能否也在手機/物聯(lián)網(wǎng)操作系統(tǒng)領(lǐng)域復(fù)興,讓我們拭目以待。
本文內(nèi)容主要基于王益最近給?SQLFlow?和?ElasticDL?團隊的分享。沈凋墨和章海濤、武毅、閆旭、張科等一起總結(jié)。這個總結(jié)解釋了 SQLFlow 作為一個 Kubernetes-native 的分布式編譯器的設(shè)計思路基礎(chǔ),也解釋了 ElasticDL 只針對 Kubernetes 平臺做分布式 AI 的原因。本文作者中包括百度 Paddle EDL 的作者。Paddle EDL 是基于 PaddlePaddle 和 Kubernetes 的分布式計算框架,于 2018 年貢獻給 Linux Foundation.
SQLFLow:https://github.com/sql-machine-learning/sqlflow
ElasticDL:https://github.com/sql-machine-learning/elasticdl
Linux閱碼場 專業(yè)的Linux技術(shù)社區(qū)和Linux操作系統(tǒng)學(xué)習(xí)平臺,內(nèi)容涉及Linux內(nèi)核,Linux內(nèi)存管理,Linux進程管理,Linux文件系統(tǒng)和IO,Linux性能調(diào)優(yōu),Linux設(shè)備驅(qū)動以及Linux虛擬化和云計算等各方各面.
評論
  • 產(chǎn)品使用18V供電,配套4串鋰離子電池,需要設(shè)計一個充電器。因為輸入18V,電池最高 16.8V,壓差僅 1.2V。因為壓差太小。使用開關(guān)型的充電控制芯片不穩(wěn)定。嘗試自行設(shè)計一個。整體采用分立三極管 + TL431架構(gòu),分4個功能單元:使能控制回路、限流環(huán)路、TL431 精密恒壓反饋環(huán)路、PNP 功率管主功率輸出回路;實現(xiàn)完整鋰電池充電邏輯。使能控制回路按鍵按下:5V 電壓經(jīng) R12 (2kΩ) 送入 NPN 管 Q3 基極,Q3 飽和導(dǎo)通,對地拉低 R1、R2 組成的分壓控制節(jié)點電位;該節(jié)點直
    southcreek 2026-08-07 13:45 482瀏覽
  • 做電池供電攝像頭、可視門鈴、戶外安防的同學(xué)應(yīng)該都踩過這個坑:攝像頭要拍,ISP、sensor、無線模塊全得開著,整機電流動輒幾百 mA。一節(jié) 18650 撐不了幾天,用戶投訴“怎么又沒電了”。有人會說:加個 PIR 人體紅外不就行了?問題是 PIR 怕熱、怕寵物、怕隔著亞克力/玻璃殼,而且只能感知“有溫差的人體移動”,靈敏度飄忽。真正省電的思路應(yīng)該是:讓攝像頭平時徹底睡死,只有“前面有人/有動靜”時才被一鍵喚醒——而負(fù)責(zé)這個“看門”角色的,最合適的是一顆低功耗雷達。一、為什么是雷達,而不是 PI
    唯創(chuàng)知音語音芯片 2026-08-07 14:44 184瀏覽
  • 一、方案簡介在Buildroot構(gòu)建的嵌入式Linux系統(tǒng)中部署Flutter應(yīng)用,主流有兩套成熟的開源方案,分別適配不同的顯示場景與開發(fā)需求:方案一:flutter-elinux(Sony開源方案)由索尼官方維護的嵌入式Linux Flutter工具鏈,既支持DRM/GBM直接渲染,也兼容Wayland、X11等多種顯示后端,場景適配性更廣。方案二:flutter-pi(輕量級嵌入器)一款輕量級Flutter引擎宿主程序,僅基于底層DRM/GBM接口實現(xiàn)渲染,無需依賴桌面環(huán)境,資源占用更低,更
    飛凌嵌入式 2026-08-07 09:34 164瀏覽
  • 做藍牙音箱的工程師大概都碰過這個局面。產(chǎn)品要連手機放歌,要本地播開機提示音和按鍵音,還要接 App 做配網(wǎng)和狀態(tài)上報。三件事拆開,早先的常規(guī)做法是音頻藍牙一顆料、數(shù)傳藍牙一顆料、本地播放再掛一顆小 MCU 加一片 Flash。板子越畫越大,BOM 越算越貴,待機電流和固件工作量也跟著漲。WT2605C 出來以后,這套需求可以集成到一顆芯片,就是 WT2605C-32N,該芯片采用QFN32 封裝,4×4 毫米,把音頻藍牙、BLE 數(shù)傳和 MP3 本地播放三樣全包了。對藍牙音箱來說,最實在的好處就
    唯創(chuàng)知音語音芯片 2026-08-06 15:14 371瀏覽
  • 文:杜杰編輯:侯煜當(dāng)?shù)貢r間7月28日,美國特朗普政府落地最新科技封鎖政策,美國聯(lián)邦通信委員會(FCC)正式更新《受管制清單》,新增兩大類設(shè)備——境外生產(chǎn)的先進機器人設(shè)備、境外生產(chǎn)的聯(lián)網(wǎng)電力逆變器。FCC在官方情況說明書中明確,該類境外制造產(chǎn)品,“會對美國國家安全或美國民眾的人身安全構(gòu)成無法承受的風(fēng)險”。本次新規(guī)設(shè)置明確豁免機制:經(jīng)美國國防部(DoW)、電力逆變器品類經(jīng)美國國土安全部(DHS)審核并授予“有條件批準(zhǔn)”,認(rèn)定對應(yīng)設(shè)備品類不存在重大安全風(fēng)險,即可獲得準(zhǔn)入豁免。同時政策嚴(yán)格執(zhí)行新老劃斷原
    華爾街科技眼 2026-08-03 21:28 367瀏覽
  • 在物聯(lián)網(wǎng)從“萬物互聯(lián)”邁向“萬物智聯(lián)”的進程中,LTE Cat.1憑借其在速率、成本與網(wǎng)絡(luò)覆蓋之間的完美平衡,正成為中低速物聯(lián)網(wǎng)市場的絕對主力。隨著2G/3G網(wǎng)絡(luò)的逐步退網(wǎng)以及新國標(biāo)對終端設(shè)備智能化、定位功能的強制要求,Cat.1模組迎來了爆發(fā)式的增長窗口。在這一關(guān)鍵節(jié)點,基于華為海思Hi2131芯片設(shè)計的LTE Cat.1模組,憑借其在能效、射頻、架構(gòu)及物理規(guī)格上的底層創(chuàng)新,成功打破了“高性能必高功耗”的傳統(tǒng)魔咒,為行業(yè)提供了極具競爭力的連接最優(yōu)解。核心技術(shù)優(yōu)勢:重塑Cat.1能效與連接標(biāo)桿海
    用戶1778981989717 2026-08-05 21:04 205瀏覽
  • 導(dǎo)語在現(xiàn)代高速數(shù)字電路設(shè)計中,信號的完整性已不僅是理想波形推演,而是一場與物理非理想特性正面博弈的工程實踐。濾波器芯片作為凈化傳輸鏈路的關(guān)鍵屏障,其核心挑戰(zhàn)在于:能否有效識別并濾除那些隱匿在電平跳變過程中的亞納秒級瞬態(tài)脈沖干擾,這類干擾持續(xù)極短,卻足以在高速鏈路中引發(fā)誤觸發(fā)。然而,傳統(tǒng)函數(shù)發(fā)生器受限于采樣率與邊沿速率,根本無法忠實復(fù)現(xiàn)如此狹窄且陡峭的異常波形。針對此困境,德思特TS-AWG7000系列任意波形發(fā)生器以17 GS/s采樣率與50 ps原生邊沿速度,為瞬態(tài)脈沖提供精細刻畫,配合SPG
    德思特測試測量 2026-08-05 14:06 5瀏覽
  • 摘要東莞市恒創(chuàng)連接器有限公司(HCHGCONN)是位于廣東東莞的連接器源頭制造工廠,專注于連接器國產(chǎn)替代、小間距大電流連接器、線對板連接器、線對線連接器、板對板連接器、電源連接器及定制連接器開發(fā)。公司面向工業(yè)自動化、新能源儲能、BMS、汽車電子、AI服務(wù)器、GPU供電、通信設(shè)備、醫(yī)療設(shè)備和智能家居等場景,提供從產(chǎn)品選型、替代評估、樣品驗證到批量交付的一站式連接方案。恒創(chuàng)可支持 Molex、TE Connectivity、JST、Hirose、Samtec 等國際品牌部分系列的國產(chǎn)替代評估。常見替
    HC003 2026-08-07 10:14 163瀏覽
  • 樓宇自控里的“巴別塔”一棟智慧樓宇、一個產(chǎn)業(yè)園區(qū)里,暖通空調(diào)運行著廠商私有協(xié)議,照明系統(tǒng)遵循專屬通信標(biāo)準(zhǔn),變配電、門禁安防各成體系——設(shè)備間數(shù)據(jù)壁壘森嚴(yán),上位平臺對接全靠定制化 “翻譯” 開發(fā),不僅成本高企,交付周期也難以管控。這就是樓宇自控行業(yè)多年的痛點:協(xié)議林立、封閉林立。而破局的鑰匙,早在30多年前就已經(jīng)寫好了——BACnet。作為ASHRAE制定的樓宇自控國際標(biāo)準(zhǔn)協(xié)議,BACnet是如今全球樓宇自控系統(tǒng)(BAS)互聯(lián)互通的“通用語言”。新風(fēng)機、冷源群控、變配電、照明、門禁,凡是需要被樓宇
    飛凌嵌入式 2026-08-10 09:26 205瀏覽
  •                                                                        
    廣州鐵金剛 2026-08-06 17:44 215200瀏覽
  • 讓微弱脈沖信號更清晰——鎖相放大器集成Boxcar平均器在脈沖激光、泵浦-探測、時間分辨光譜、飛行時間質(zhì)譜等實驗中,真正需要測量的信號往往只出現(xiàn)在一個很短的時間窗口內(nèi),卻被淹沒在遠大于它的噪聲和背景之中。 針對這類穩(wěn)定重復(fù)的微弱脈沖與瞬態(tài)信號,賽恩科儀為OE2052雙通道數(shù)字鎖相放大器帶來全新的Boxcar Averager功能升級:在鎖相檢測之外,進一步提供從周期波形觀察、門控測量到多周期平均的完整數(shù)字Boxcar測量鏈路。 Boxcar平均器,如何從噪聲中“截取”目標(biāo)信號?Boxcar平均器
    SSI_賽恩科儀 2026-08-07 15:49 16348瀏覽
  •        很多人只見過封裝在SMD外殼里的小尺寸晶振,卻不知道一顆2016、1612甚至1210封裝的微型石英晶振,從一塊巴掌大的石英原礦,到最終能穩(wěn)定起振的成品,要經(jīng)過十幾道精密工序。它內(nèi)部的石英晶片厚度最薄不到20微米,比普通A4紙的1/5還薄,整個生產(chǎn)過程里哪怕0.1微米的誤差,都會直接廢掉整批產(chǎn)品,這也是小尺寸晶振過去長期依賴進口,國內(nèi)廠商花了十幾年才啃下量產(chǎn)硬骨頭的核心原因。1. 原石定向切割:0.01度的角度誤差都不能有小尺寸晶振的第一步,
    TKD泰晶科技 2026-08-07 08:43 524瀏覽
我要評論
0
點擊右上角,分享到朋友圈 我知道啦
請使用瀏覽器分享功能 我知道啦
主站蜘蛛池模板: 夫人的嘴唇全集在线观看免费| 伊比利亚三部曲在线观看| 欢乐颂5| 两人世界插曲30分钟| 电视剧50玫瑰| 《裸乳按摩》在线电影| 鬼女之家全集观看| 盛唐风流完整免费观看| 武林外传电视剧| 女超人满天星免费观看完整版| 铎字怎么读| 《卖百科全书的女人》| 烈火红岩| 沙月由奈| 义胆群英电影国语高清在线观看| 拜托小姐优酷| 新妈妈的礼物| 仁心解码粤语| 女保险销售4| 氪金玩家的3d动漫| 后宫露营 第一季 未增减 0.0.0.| 罪域15| 法国空乘2017完整版| 纯情罗曼史第一季全集在线| 巜生殖按摩女3在线播放| 进球吧少年| 娘亲舅大| 东北旧事电影观看完整版高清| 电视剧《回响》免费观看| 人体蜈蚣2下载| 电视剧前妻回家| 修理工人的艳遇电影| 寂寞电影| 朋友的妈妈完整| 刺客伍六七第五季免费观看全篇| 我心蔚蓝| 你的婚礼电影免费观看完整版| 小心女人| 圣山村谜局电影完整版在线观看| 达拉斯蜂蜜1982美国原版| 女体解剖授业| 电视剧《女人》全集免费观看| 2012法国《荣誉守则》在线观看| 海魂电视剧| 日本儿子上妈妈| 聚会的目的在线播放4| 飞机上性服务2免费播放| 唔黐线唔正常| 尉犁县| 上错花轿嫁对郎电视剧完整版| 大鱼吃小鱼电影| 人生电视剧全集在线观看| 花样男子国语版高清| 便利店坏妻子| 南拳北腿粤语| 布鲁克读大学| 璀璨人生有多少集| 《家庭矛盾》麦乐迪欧美| 大清神捕 电视剧| 年轻的教师在线观看免费中字的| 嗨皮兔儿歌小兔子乖乖| 论理片电影| 英子VS最强驱魔师| 璀璨人生 电视剧| 隐行帽子免费完整版| 电视剧风筝在线观看| 1995版泰山未删减版百度云| 《血战冲绳岛》| 刑名师爷电视剧全集| 一路向西bt| 悬崖上的金鱼公主| 维修工人的艳遇在线免费观看| 一起来看流星雨36| 性能之巅1-5| 童颜不老三公主| 美国电影需要爸爸播种英文观看| 垂直打击电视剧完整版免费观看| 探险旅行| 漂亮小瘦子7免费播放电视剧西瓜视频 | 恐怖旅馆 电影| 超人气校园| 动画片变形金刚国语版| 灰姑娘意大利满天星梅姨| 晨曦中的女孩| 麻生香《黑色的眼泪》在线观看 | 赛尔号木木| 女儿朋友| 时间静止器| 妈妈的朋友在线播放| 贝多芬启蒙3电影在线观看免费版| 朝云暮雨完整版免费观看电影| 欲望学园在线观看 | 代课教师电影| 要久久爱免费观看| 极欲燃烧| 星游记动画片全集| 洒店1一80集免费观看| 魔物娘的医生| 四个妇女精油按摩记| 沧元图免费全集在线观看| 炸天小姐1983完整版在线看| 哥哥太爱我怎么办| 秘密搜查官の女在线观看| 高清凤仙花未删减| 法国《女军医》满天星免费观看 | 女律师替夫还债50万电影叫什么| 电视剧樱桃| 性的暴刑| 玫瑰故事电视剧免费观看高清版| 爹地追来了第二季免费看| 荼靡电视剧| 《公主骑士是蛮族的新娘》| 张继科独特躲酒方法| 两个母亲3| 黛比浪漫女家教在线观看| 宫锁珠帘27| 浪漫黛比在线观看| 《无敌少侠 第四季》| 成人h单机游戏| 豫剧程英救孤| 《蜜桃成熟时2在线观看| 视觉动物歌词| 电影不忠完整版| 张警官三部曲免费观看百度网盘| 《漂白》电视剧在线播放| 三年成全观看影视大全| 纯白交响曲动漫免费观看| 《啦啦队长》杰西·简| 冰雪奇缘1普通话版| 陪部长出差的日子在线播放| 佛光山早课| 三佳购物网上商城| 猫鼠游戏免费| 《狂飙》全集| 红发女郎百度影音| 韩剧《我是谁》免费观看| 牝教师在线观看| 璀璨人生有多少集| 社长夫人的美貌| 爱情电影网 佐山爱| 妻子6在线观看免费播放电视剧| 含泪活着下载| 炸天小姐1983年在线观看| 追龙2电影完整版在线观看| 女女免费观看高清完整版电视剧 | 大蛇王电影| 美乃雀替夫还债电影全集| 被拒绝的爱:无尽篇未删减| 满天星陈宝莲版| 金瓶梅1电影高清在线播放| 电影空姐| 坛蜜av作品| 碧海逃生电影免费观看完整版| 731部队配狗免费观看| 糊涂小天使| 贝坎奇品味人生| 凤凰传奇歌曲下载| 甄嬛传20集| 日本电影 和讨厌的部长一起出差| 一生的承诺印度| 电影 戏梦巴黎| 1—5集普通话版免费播放下载| 火山口的两人| 坎贝奇《品味人生》播放| 恋恋维纳斯电视剧泰剧免费观看| 成人电影维修工的艳遇| 小屁孩日记2| 法航空姐11电影| 错嫁萌妻100集免费观看高清| 《角斗士满天星版》在线| 墨燃楚晚宁木桶PLAY| 小姑子的味道2有翻译视频| 爱上特种兵免费观看全集| 五福临门电视连续剧免费观看| 辽宁卫视网络直播| 儿每天晚上要我| 毒刺在线观看| 韶华若锦电视剧| 雷锋电影下载| 《康熙王朝》大结局| 金瓶梅在线播放国语免费观看| 新闺蜜时代剧情介绍| 加勒比女海盗完整版| 人生几度秋凉电视剧| 美味快递员2| 聊斋:兰若寺全集观看| 高压监狱3伦理| 《东北剿匪记》电视剧| 需要爸爸播种子HD中字_午夜电影全集_完整版免费在线观看-天天影院 | 意大利《八尺夫人》| 再见美丽小姐国语版| 别墅轮换5攻略免费| 免费电影网站在线观看完整版| 酒店1一5集免费视频在线观看 | 母亲电视剧免费观看完整版| 在暴雨时分电视剧免费观看 | 木下凛凛子 电影| 整鱼两吃| 战狼6欧美版免费下载| 《欢乐岁月》| 涩情影院| 加勒比海盗4电影| 美国娃娃脸4| 甄嬛传第57集| 女版战狼6免费观看高清下载| 七次狼方针对华人免费播放| 《不忠》原版未删减| 年轻的小姐姐| 特战荣耀在哪个台播出| 一门三司令全集| 马路天使| 深牢大狱演员表| 芭比之神秘之门普通话免费观看 | 法国《房产销售员》在线观看| 红色婚礼黑色假期| 库车县| 多鹤电视剧全集免费| 电视剧长相思第二部| 谍战剧《惊变》| 点燃我温暖你电视剧免费观看| 冷血动物| 马兰花免费| 小舍得电视剧免费| 八佰在线观看| 渣男前任日剧| 怒海潜沙之秦岭神树| 韩国短剧控制老板| 王的女人下载mp4| 动感之星小玲108集全集免费| 黑豹特警队| 日本调情按摩在线观看| 电视剧秋蝉免费全集| 《家庭矛盾》麦乐迪免费观看下载| 会员制餐厅完整版免费高清 | 西瓜视频在线免费观看| 郝板栗电影无删减版| 爱情雨国语版全集| 三姐妹瑜伽健身4| 李玟的歌曲大全100首| 隐形帽子高清在线观看| 大水井风云| 爱我几何高清下载| 《斛珠夫人》全集免费| 销售的销售秘密6HD中字| 蒙面歌王| 公之孚之中字50| 腓尼基计划未删减| 斯巴达第四季未删减版在线看| 屠夫小姐| 恶中之恶韩剧完整版国语免费观看| 袁莎渔舟唱晚| 永不退缩3完整版| 谍杀风暴| 今天我休息老电影| 一生一世| 女友的妈妈4完整视频有翻译英文| 二十一世纪性格爱情指南英国 | 女版壮志凌云hr法版| 恶魔少爷别吻我第二季| 善良的妻子免费看| 燃烧2019电影免费观看完整版| 长相思第二部免费播放| 斗罗大陆134集免费观看| 东京复仇者第二部| 播放喜羊羊| 留级之王百度影音| 昹怎么读| 嫡女宅斗:全精通短剧全集| 插曲的痛免费播放电影| 蜗牛电影在线观看免费| 花房姑娘第五季免费大全好看| 周星驰美人鱼预告片| 女版战狼10高清免费看| 美景之屋6HD在线播放| 禁忌5满天星凯·帕克| 百日蔷薇动漫| 禁止的爱:善良的小峓子在钱止| 爱情公寓43| 绿灯侠在线观看| 父女乱之小芳的快乐生活| 婚后的诱惑| 金银悔5一1| 父贵荣华短剧全集| 《禁忌》大结局剧情| 《神探狄仁杰2》电视剧| 1987版《娃娃脸》满天星| 特种兵火凤凰全集| 满天星电影免费高清原声满天星| 嫂子嫂子| 我女朋友妈妈双字id| 行尸走肉第二季第二集| 《二十一世纪爱情指南》 | 凯登克罗斯在线免费观看| 韩国美女跳舞| 《爱我几何》免费观看| 笑傲江湖剧情| 三方国界在线观看完整免费版| 短剧在线观看| 九条的大罪未删减| 生化危机3 电影| 《下一个台风》| 巡回检察组35集在线观看免费| 搜查瑠公圳| 《落魄贵族》1-4集免费观看 | 漂亮的妈妈9| 挣扎吧亚军君免费观看完整版| 电影《丰年经继坶3》解析| 说不出的爱电视剧| 激战酒店1-9集全部播放时间中文版| 不要和陌生人说话6| 《弗兰茨》| 法证先锋1粤语免费观看全集| 中国式离婚 电视剧| 灵异侦缉档案国语| 恋恋红尘在线观看电视剧免费| 美国电影荣誉守则满天星| 我是余欢水在哪个台播出| 老公的部下是我的初恋| 善良的嫂子41| 陈雅伦曹查理《我为卿痴狂》在哪里 | 花与蛇7免费完整版全集高清| 梁赫群女友| 韩国的爱我几何| 迪亚哥全集| 和部长一起去出差旅是第几集| 西游降魔电影完整版| 壮志凌云2011在线完整版| 致命弯道2在线观看| 我们的翻译官免费观看| 郊游 电影| 梅川小帅上司送伞完整版| 独生子女的婆婆| 我的好继拇HD| 善良的嫂子3在钱电影| 炸天小姐在线观看免费版高清| 法国空姐4在线观看| 十二生肖粤语完整版| 点燃你温暖我| 古惑仔3之只手遮天免费观看| 浮之手中字免费版| 微笑的闪士| 牙医姐妹在线电影播放完整版| 渔夫荒淫史 电影| 开心100爱情公寓| 神女电影| 高清狂野时代未删减| 男按摩师视频在线观看| 《秘密》电影全集| (丰满的继牳2)理伦片在线观看| 苍井空演的电影| 花芯在线观看| 飞虎神鹰前传之英雄| 青蛙王子| 骚麦 小莫| 倪萍发文感谢蔡磊夫妇| 《饥饿的女儿国》| 庆余年免费手机全集在线观看| 妻子替夫还债| 云画的月光免费完整版在线观看| 《品味人生》观看免费| 高考结束儿子表白妈妈| 维尼夫妇全集| 电影蜘蛛2侠免费播放| 天山暮雪电视剧全集| 同在屋檐下电视剧全集| 美之祭品| 星空影视论语《部长出差的日子》| 顶楼第三季全集免费观看| 电影《馒头》免费观看全集| qingchunqi| 榆社县| 原罪 安吉丽娜| 巨人电视剧| 麦子交换3在线播放| 祈祷爱情电视剧| 《星克莱尔总统夫人》电影观看| 隔壁的女孩韩剧| 亲爱的朋友们| 高清《熊出没》| 高清《时光与你都很甜》大结局| 弄进去了她就不挣扎了电影| 广场舞爱情这杯酒谁喝都得醉| 疯狂小女生法国版| 高清《断魂小丑》在线观看| 亲爱的仇敌电视剧免费观看| 影子爱人百度影音| 梦幻天堂| 晚安,为我而眠的妹妹| 龙之谷夏萝莉的照片| 天装战队护星者剧场版| 武藤兰av下载| 幸福到万家电视剧在线观看21| 《医生特殊的治疗》5| 《火花》电影| 白手空拳| 流氓也识女人香| 高清《安娜情欲史》未删减版| 505影院| 他是谁电影免费观看完整版高清 | 法国空姐完整版剧情HD| 黄金仓库在线观看| 外星人对女忍者| 美国伦理蜜桃5| 两个妈妈吗| 回复术士第二季在线观看漫画| 电影《牙医姐妹》| 折腰电视剧全集| 铿锵铿锵锵锵锵免费观看电视剧| 光能使者国语版全集高清| 亡命雷区| 急诊护士完整版在线播放| 大地8中文在线观看免费高清成全| 瓜达卢佩的玫瑰免费播放| 高考二进一| 爱情公寓3 13| 死神264| 喜剧之王周星驰国语| 台湾渔夫| 傻猫大战三小强| 需要爸爸播种籽电影2| 《伏妖白鱼镇3》高清完整版| 爱情有奇迹| 宝儿演唱会| 和妈妈一天做三次| 贝多芬启蒙3电影在线观看免费版| 银河奥特曼3| 要爸爸的种子| 《圣特罗佩斯的姑娘们》在线观看| 我来也高清| 法国电影爱我几何| 姆巴佩梅西更衣室冲突| meansys| 兄弟无间| 《邻家姐姐》免费观看电视剧中字| 电影《美味快递员2》演员阵容在线观 | 韩剧 美妙人生| 在姨妈家的客厅| 天龙八部钟汉良版38| 电影双女任务| 我结中国版| 电视剧迎风的青春免费观看| 漂亮女朋友BD中文| 李阳疯狂英语全集| 花嫁高柳家1-6集免费观看| 上海电视台直播| 孤军英雄的电视剧全集| HD版《激战丛林》完整农厂主和女儿 | 酒店出水激战1-5集免费| 黑天鹅在线观看| 男模泳装下凸图| 异度侵入| 人生若只如初见 奈何情深缘浅| 《健身房激情HD中字》| 放学后恋爱| 武汉dj| 男生和女生一起在愁愁愁电视剧在线看| 回复术士之重启人生| 金银梅5一10普通话1| 葬送的芙莉莲动漫免费观看| 暮光之城4破晓| 阿黛尔艾克满天星| 亲爱的妈妈4韩国在线观看| 真维斯属于什么档次| 新唐山大兄| 孤芳不自赏电视剧全集| 便利店坏妻子做爰| 特殊美容师待遇电影| 隋唐英雄117| 嘻嘻哈哈四重奏| 炫迪传奇全集播放| 法国航空4伦理播放| 德国空乘4正片| 高清搜神记未删减| 天美影院免费看高清电视剧| 关之琳所有电影| 使徒行者3大结局| 绝地反击电影| 璀璨人生全集下载| 正在播放:最棒的小三沼泽 与不干涉工作和家庭、只有做爱理想关系的三上悠... | 《夫妻的赞助商》中字版| 司藤免费观看全集完整版在线观看| 《法国空乘5》伦理观看| 联姻五年后她重生了短剧免费全集| 《花与蛇·牙医之绳》| 回复术士的重来人生观看| 春雨电视剧高清在线播放 | 抵债的朋友麦子| 影帝合约:变真爱短剧全集| 鬼灭之刃第三季锻刀村篇在线播放| 寻清欢短剧免费观看| 掩耳盗邻 第二季未删减 | 爵迹3风津道| 满天星电影无删减完整版陈宝莲 | 汪汪队立大功第2季| 胜女的代价2| 高清《时光与你都很甜》大结局| 斑马电影街| 美人制造在线观看免费完整版| 《极乐宝鉴2》电影观看在线| 无尽的尽头全集在线观看免费高清| 守护者联盟| 需要爸爸播种籽2》在线| 高清《一路向北》完整版 | 守护甜心第四季全集| 曼谷花魁| 白峰电影在线观看平台601| 电影《长征》免费观看| 插曲的痛30集全集免费播放电影| 急先锋免费观看完整版电视剧| 济公电视剧| xl司令第一季全集免费观看在线播放 | 太平公主秘史在线观看免费| 高清我们的错误| 女超人未删减版| 创造营2020| 河北梆子辕门斩子全集| 花房姑娘季三季| 格里高利教皇合唱团| 我女朋友的新妈妈双字ID免费| 新孽海花传奇主题曲| 拥抱春天罗曼史| 用身体偿还给客户社长的妻子在线观看| 爱超越国界中文版| 生生世世爱简谱| 欲女进化论| 大鱼海棠| 部长出差的日子电影| 新闺蜜时代| 战神弃少全集免费| xl司令38集在线观看| 峰峰二手车| 强心脏yg| 复仇少女奔跑吧| 高清《奇迹》克劳| xxxx美国| 爱情图鉴之暗恋| 法国版《安全出口》| 禁忌-3结局| 高清《十一》电影| 2001个疯子在线观看| 韩国大学生创业沙龙2| 精英律师电视剧在线观看| 新版西游记白骨精| 托梦一注6个号| 男人的秘密免费观看全集| 《渔女实战》完结无弹窗免费观看 -家庭剧短剧全集 -爱看电影网 | 斗罗大陆239集免费观看全集| 唐人街探案3电影完整版免费| 韩国电影修理工的外遇| 江南平寇记| 盛夏晚晴天全集在线观看| 公的俘之手之2| 甄嬛传43集| 《心火》免费观看| 乘龙怪婿3| 沉默的羔羊在线观看| 大牛影库战狼6免费观看| 轩辕剑之天之痕电视剧下载| 父子 完整版| 满天星麦乐迪电影在线观看完整免费| 小草青青电视剧免费的| 极品神医来打工| 美国版《保险》在线观看| 热恋2015| 不良义姐| 《法国护士长》2006在线| 喜羊羊和灰太狼之决战次时代| 《麦乐迪·:女超人》在线观看| 将军之夜| 翁虹所有电影| 《卖房子的销售2》免费| 新员工韩剧在线观看| 疯狂七十二小时截了一段门徒 | 十月三十三日电视剧免费播放| 女版《斯巴达》成在线观看| 毒液二普通话版| 电影大毒枭| 圣特罗佩姑娘们完整版在线观看 | 《玉女心经3之阴阳和合》免费舒淇| 莫妮卡裸全乳无删减电影| 神秘世界历险记| 花间姑娘韩国三级片 | 女超人满天星版在线观看| 绢旗最爱| 喋血江湖高清完整免费观看| 美丽小蜜蜂4美国版| 神雕侠侣全集| 《同居的目的》电影| 《花子vs倔强驱魔师》真人版电影| 日本三国电视剧| 《四大美人杨贵妃》高清| 法国急救宝贝2| 哈萨克阿肯弹唱| 变形金刚四| 锵锵锵锵锵锵锵锵免费观看电视| 团鬼六电影免费版全集在线观看| 高清《间之楔》动漫| 国产乱码1卡二卡3卡四卡| 东北风云| 东北小佛爷| 种鬼电影| 龙腾四海国语| 格尔木市| 高清《英雄百夜》电影| 《三叉戟2》全集观看| 《悲惨遭遇》1980年法国| 初恋那件小事电视剧高清观看| 洪熙官 甄子丹| 19岁大学生真人电视剧百度云 | 极限追捕| 徐少强新版金银瓶免费| 妖精的尾巴之百年任务| 夜的第七章短剧| 电影《私人女性监狱》HD在线观看,高清完整版美国伦理片,伦理_OK电影天堂 | 刘美君电影| 日本电影女大学生去按摩 | 宁蒗| 美味的妻子| 铠甲勇士1部全集| 阿尔涅的事件簿全集观看| 廉洁自律座右铭| 电影 昨天| 修真带娃:奶爸人生全集免费| 贵妃还乡在线观看| 高清《职场妻子的出轨》中语字| 能看硬的舞蹈| 《法国空乘5》无删减版| 大汉天子第三部电视剧| 需要爸爸电影在线观看| 女装正太 快播| 乡村爱情| 今时之欲无删减在线观看| 徐少强金银瓶| 非常90后下载| 伤痕 ali| 西虹市首富演员表大全| 釜山行2资源| 越狱第三季| 怪医黑杰克| 魔王学院的不适合者动漫免费观看| 夜关门欲望之花| 韩国电影我的游泳女教练免费观看| 浴血黑帮第四季| 间谍过家家在线看第10集| 和讨厌的部长出差旅bd | 奥特曼大电影超银河传说2国语版| 法国少女农场最漂亮女主角| 《修女的忏悔室》动漫免费看| 《爆水管》| 《安吉拉怀特》大尺度在线观看| 红海行动2蛟龙行动电影在线观看| 你好,爱美丽| 新人类之1《毒医肥尸》 | 当旺爸爸电视剧| 《需要爸爸播种子》在线观看播放_HD/无删减_免费高清电影 - 星辰影院 | 古天乐打麻将的电影| xl司令第一季无马赛| 湖南卫视风云| 电视剧艰难爱情| 杨敏思免费观看电视剧| 镖行天下前传| 繁花在线观看免费版全集高清| 牛鞭擦进女人下身在线| 猎豹电影| 铃音动漫| 美式保罗1至4带中文| 偶像活动第一季| 靳东甄子丹当选全国政协委员| 战狼6免费高清版999加拿大版| 庶女逆袭:嫡姐别嚣张短剧全集| 85老版隋唐演义电视剧| 农场主的女儿们更新49集| 爆操老妈48集| 捉妖记大电影完整版| 有情饮水饱国语| 酒店激战3| 向天再借五百年简谱| 需要一半留下一半打一字谜| 电影《金牌销售》法国| 房间找东西| 赛尔号木木| 美式1984美式保罗1| 《超级战舰》在线观看| 朋友的姐姐线观高清3中语| 沉香如屑40集全免费| 和部长一起去出差旅电影叫什么名字| 黑帮少爷爱上我第14集免费观看| 铁探免费在线观看| 2019商务旅行戴帽子的视频| 抗战40集免费观看| 《下女》| JUY—975丈夫不在的5天| 东北风云之黑道20年全集| 斗破苍穹182集在线观看免费| 卡尼古拉| 电影《在丈夫面前被劫匪欺负》电影 | 韩国善良美丽的老师2| 新上任女员工| 纯真年代电影在线完整版观看| 碟中谍3在线观看完整高清免费版| 两公的浮之手2023剧情| 电影男与女| 以为宋小宝去举重了| 广场舞正月十五闹花灯| 韩国电影四个已婚妇女去按摩| 吴梦梦拍的台湾电影| 三进山城在线观看| 美国新荷尔蒙3| 南洋十大邪术 全集| 青柠在线观看免费高清电视剧下载| xl司令第一季动漫在线观看免费漫画 | 《寒武纪》| 日本变态整人节目| 1986经典娃娃脸3美国版| 摩登家庭第二季在线| 人间中毒简介| 黑白配高清免费观看在线看| 甄嬛传全集在线观看百度影音| 许我荣耀电视剧更新| 高清名侦探柯南:独眼的残像| 大江大河第3部53| 燃罪 电视剧| 我老婆是学生会长第二季 | 不想一个人老去| 合租男女1v1h| 剑河县| 罗丽星克莱尔电影在线| 年轻善良的岳母| 花姑子全集| 朴英善《爱的释放》歌曲| 冲锋电影| 刘易斯vs霍利菲尔德| 妈妈的味道中文HD免费| 369你懂得电影在线观看| 红颜知己短剧免费观看| 隐形的亿万富翁电影免费| 激战5李丽珍和谁睡了| 北京遇上西雅图海清| 最后一滴血2| 引爆流行| 混血儿的摇篮| 相川步美| 木府风云主题曲净土| 《农场主的三个女儿》| 尸咒 在线观看| 电视剧正阳门下全集| 柳舟记电视剧免费观看| 爱我多深未剪原版在线观看| 七剑电影| 你好骚哦我好喜欢什么歌的歌词| 《美丽妻子替弟还债》剧免费观看| 千山暮雪续集全集8| 《裸体模特》电影| 斗罗大陆219| 哇嘎免费高清在线| 致我们单纯小美好| 林一的未来全集免费观看动漫| 爽剧全部免费观看| 幸福花园双男主| 恶作剧之吻2第一集| 人犬兽人完整版| 理伦片驯服小峓子2| 让你妹飞2| 一中学8个体育老师5个是班主任| 锋刃 电视剧| 收脱者入室强奸在线观看 | 骨语第二部免费观看| 法国空姐3完整版观看| 危情瘾难耐 电影| 小猪佩奇全套| 白峰电影在线观看在线播放 | 斗破苍穹动漫第一季| 加勒比海盗 成人 在线| 相思误在线观看完整版免费| 凡人修仙传77集免费观看全集 | 公车乱欲| 今生有你电视剧西瓜免费观看 | 天王 跳舞| 古墓丽影山寨版满天星在线观看| 《大风杀》电影HD| 我的徒弟都是大佬| 美容院的特殊待遇在线视频| 变种dna1| 一起过春天电影在线观看| 竹北市| 义姐是不是良在哪里看| 家族掌门:继承大权完整版观看| 和嫂子同居日子在线| 黑白配4黑白配在线观看免费高清| 功夫熊猫2免费观看完整版国语| 魔宫魅影| 《咒术回战 第三季》| 新有菜电影免费观看在线| 婚情深深几许短剧免费观看| 绝世唐门第60集免费观看| 离人心上电视剧免费观看| 私人的女性监狱| 大漠孤侠| 山西被害男孩在生父村庄下葬| 粗大的内捧猛烈进出沈块池汐| 私人女子| 杨光的夏天全集| 日出免费| 古剑奇谭免费观看电视剧全集| 欧式少女大16集全集更新进度 | 韩剧《大度》在线观看全集| 麦乐迪父女| 《我最爱的妈妈》动漫| 大耳朵图图动漫| 哈利波特| 重蓬:丈夫的下属是初恋前辈| 梦境电影在线观看高清| 玩火的女孩| 高清八千里路云和月| 韩国伦理水电工 | 莫力| 推油电影| 傻女闯艺界| 再生侠在线观看完整版免费| 阿凡提的故事电影| 《法国空乘5》观看免费| 霜花店在线观看完整版电影| 在暴雪时分大结局点映礼| 陈列之家| 瓜达卢佩的玫瑰女邻居完整版在线观看| 女人魂免费观看| 无声在线观看免费完整版 | 惊声尖笑1免费完整版高清| 法国空姐2019满天星法版:星辉照耀 | 司藤免费观看| 男子全身沾满水泥被路人当成雕像| 灭火宝贝2凯登克劳斯时间| 男按摩师中字电影| 黑帮少爷爱上我在线观看| 茶道少女樱花动漫| 女超人麦乐迪| 战狼6大牛高清完整版下载| 《比基尼勇士》动漫| 护心电视剧免费观看完整版| 年轻母亲6中文字版免费| 女版坎贝奇无删减在线看| 无敌秘书全集在线观看| 欢乐颂1| 喜欢本大爷的竟然就你一个| 电影特别的酒店| 云南虫谷2免费| 陆小凤之大金鹏王| 威尼斯恋人剧情介绍| 爱维侦察DVD版在线播放| 蜘蛛侠中文版| 《我不是戏神》第一季在线观看全集 |