在數(shù)字時代，傳統(tǒng)的醫(yī)療行業(yè)也在互聯(lián)網(wǎng)科技的發(fā)展下飛快轉(zhuǎn)型升級，各種數(shù)字科技輔助醫(yī)療技術，如慢病管理，醫(yī)學科普，醫(yī)療輔助，Digital Twin 等技術在行業(yè)內(nèi)大放異彩。從包括政府機構，醫(yī)院，藥廠在內(nèi)的各方都在數(shù)字醫(yī)學領域加大投入。

想象一下，當未來世界上每個公民出生時，可以在醫(yī)療機構生成一個 3D 數(shù)字雙胞胎。公民的每次血液檢查，CT 掃描都能被輸入到一個 AI 系統(tǒng)當中。結(jié)合這些大數(shù)據(jù)，用戶能夠通過微信直觀地看到檢查結(jié)果，及基于結(jié)果的后續(xù)預測。用戶還能將數(shù)據(jù)授權給自己信任的醫(yī)療機構，實時聯(lián)動處理身體各項異常情況。而這樣的愿景中的人機交互，需要一個可視化的醫(yī)療平臺，能夠展現(xiàn)醫(yī)學內(nèi)容。

在這樣的背景下，我們醫(yī)療資訊產(chǎn)品中心的設計師們，大膽開展想象，提前探索醫(yī)療可視化的未來樣式和使用場景。

實現(xiàn)效果

背景

過去一年中，我們的設計團隊在制作醫(yī)學插畫和視頻上，做了很多 3D 方向的嘗試，同時也從潘洛思大數(shù)據(jù)團隊中獲得了很多技術實現(xiàn)的知識積累。我們的目標是通過 3D 可視化技術，給醫(yī)療行業(yè)提供可視化解決方案。對于醫(yī)療可視化的想法，通過用戶調(diào)研，同理心分析，我們大致總結(jié)出三種可能的客戶動機和場景。

學習探索型：初高中生物課，醫(yī)學專業(yè)大學生，對醫(yī)學感興趣的探索者。

內(nèi)容科普型：醫(yī)院做患者教育用途，藥廠/醫(yī)療器械長用于宣傳用途的工具，想直觀了解病因，藥理，手術治療流程的患者。

專業(yè)使用型：用于醫(yī)療決策的專業(yè)醫(yī)師，科研工作的過程模擬。

這三種目標動機的用戶和使用場景當中，學習探索和內(nèi)容科普都已經(jīng)有比較強烈的剛性需求，能夠解決醫(yī)生「沒時間」，患者「不理解」的溝通問題。也能解決醫(yī)學生沒有直觀簡單免費的可視化教材問題。商業(yè)上也能給醫(yī)療行業(yè)帶來一些專業(yè)解決方案。我們對一些潛在客戶進行了簡單的訪談。

我們發(fā)現(xiàn)，在疾病患者與專業(yè)醫(yī)療人士之間，存在信息理解不平等，不透明問題?；颊邥r常抱怨醫(yī)生沒有把問題解釋清楚，從而遺留很多疑慮。而醫(yī)生往往認為沒時間，也不愿意解釋他們認為的「常識性問題」。這些問題往往是因為缺乏高效直觀的信息表達方式，和傳播渠道。

同時，在醫(yī)學生的學習路徑上，我們了解到現(xiàn)代醫(yī)學的學習過程貫穿著解剖學內(nèi)容，他們認為三維可視化的解剖應用也非常重要，但市場上現(xiàn)存的 APP 的價格相對較高，部分內(nèi)容不夠精準完善。

在這三種目標動機的用戶及他們的核心訴求當中，我們發(fā)現(xiàn)學習探索和內(nèi)容科普都已經(jīng)有比較強烈的剛性需求，能夠解決醫(yī)生「沒時間」，患者「不理解」的溝通問題。也能解決醫(yī)學生沒有直觀，簡單，免費的可視化教材問題。商業(yè)上也能給醫(yī)療行業(yè)帶來解決方案。我們希望能通過我們的視覺解決方案，在醫(yī)療領域帶來高效、直觀、可視的信息表達方式與傳播渠道。

并且，為演講環(huán)境設計的實時渲染 3D 人體可視化，通常展示在 PC 顯示屏或電視屏幕上，有很多的操作需要高效完成。除了傳統(tǒng)的鼠標鍵盤操作，我們?yōu)榱巳ゴ蛟靸?yōu)秀的用戶體驗，這要求我們創(chuàng)造一個允許在屏幕附近進行遠程操控，甚至語音遠程操控的體驗。對藥物和手術原理的動畫講解，結(jié)合字幕，使用語音旁白進行解釋。

通過上面的案例，我們總結(jié)出這樣的系統(tǒng)需要的是一個展示 3D 人體的平臺。用戶有這些需求：

1.3D 人體器官的展示，縮放，查看，器官獨立，拆解操作

2.內(nèi)容支持動畫播放，同時能在場景中隨時暫停，并隨意探索

3.支持多層級的內(nèi)容表達

4.支持遠程觸屏操控

5.支持顯示字幕和機器朗讀

6.基于 VR/AR 技術的手術流程模擬

7.基于醫(yī)療影像還原真實人體情況

需求優(yōu)先級推導

通過上面的用戶需求羅列，我們可以發(fā)現(xiàn)，如果按需形成產(chǎn)品，產(chǎn)品形態(tài)將非常復雜，可預期的成本也非常高。我們通過時間管理優(yōu)先矩陣（Prioritization Matrix）進行一個簡單的優(yōu)先級分析和排列。

我們發(fā)現(xiàn)早期階段中，我們需要將精力集中在人體和器官的展示查看，盡量實現(xiàn)遠程操控，字幕朗讀等功能，在原型階段暫時把醫(yī)學影像與手術模擬等實現(xiàn)成本高，專業(yè)下潛深的需求放到一邊。我們追求大膽想象，但一步一個腳印。

產(chǎn)品架構規(guī)劃

由于醫(yī)療內(nèi)容數(shù)據(jù)量大，在可預知的未來會處于不斷擴充的狀態(tài)。產(chǎn)品應做到全程連接云端內(nèi)容數(shù)據(jù)庫，能夠支持動態(tài)拉取，動態(tài)下載數(shù)據(jù)。移動端不需要單獨配置，僅需使用普通智能手機，掃碼連接云端，即可控制大屏。云端還需要部署 API 中間層，支持機器生成的語音旁白朗讀。

交互架構落地

根據(jù)背景的支持屬性，我們選擇了以治療肺癌藥物：PD-1/PD-L1 藥物藥理作用展示為主題。這個不僅涵蓋了人體的呼吸系統(tǒng)，還涉及生物系統(tǒng)中三個層級的展示，分別是宏觀的身體層級（人體），微觀層級（器官內(nèi)）和微分子層級（細胞）的展示。選擇這個主題進行原型化，能夠很好的涵蓋大多數(shù)未來的產(chǎn)品能力和應用場景。

通過用戶訪談和對競品的了解，我們可以定義三個醫(yī)學模型的基礎交互，分別是獨立，分解和隱藏。分別做到單獨查看器官，分解器官，和隱藏器官查看結(jié)構關系的功能。

這三個能力貫穿產(chǎn)品的整體交互邏輯，對于場景內(nèi)的 3D 物件均是適用的，符合用戶的探索，學習需求。

在這個典型場景當中，我們將用戶的交互流程主要分為五個階段，分別呈現(xiàn)入口，3D 探索界面，提供導航且交互與 3D 聯(lián)動的目錄，內(nèi)容播放界面和出口部分。

由此，我們的交互界面主要以 3D 展示內(nèi)容為中心，2D 內(nèi)容/目錄菜單作輔助的形式。3D 部分根據(jù) 2D 目錄的交互變換相應的內(nèi)容。3D 中心區(qū)域占較大空間，作為視覺焦點區(qū)域，保證內(nèi)容的傳達。2D 輔助區(qū)域置放于 3D 區(qū)域的左側(cè)，符合大多數(shù)語言文字從左到右的閱讀順序，既適合大屏閱讀又適合觸控操作。顯示邏輯均為單頁刷新，沒有大幅度的頁面跳轉(zhuǎn)動畫。

遠程操控界面沿襲大屏端的界面設計，因已有大屏展示 3D 內(nèi)容，移動端不必要加載 3D 內(nèi)容，而消耗無意義的性能和電池壽命。我們可以將右側(cè) 3D 內(nèi)容區(qū)調(diào)整為觸控區(qū)，像 PS4 手柄或一些筆記本觸摸板一樣，用點陣吸引用戶的第一次觸碰行為，教育用戶使用觸控區(qū)域。觸控界面中的左側(cè)主要還原界面的目錄菜單項，但不再需要顯示內(nèi)容。

由于初期項目主要以演示為主，我們認為有需要在產(chǎn)品引入一個演示模式。類似電器城電視專柜，在系統(tǒng)一段時間沒有任何操作輸入時，將自動開始從頭到尾播放。這要求事先制作設定一個腳本，自動點擊指定項并播放。

由于可預期的內(nèi)容更新強度，和內(nèi)容的豐富性。我們也有必要簡單做一個數(shù)據(jù)管理端設計。

3D視覺設計的運用

1. 模型制作的前期思考

實際微觀層級中的細胞模型，實現(xiàn)的細節(jié)非常繁瑣。醫(yī)療領域是非常嚴謹?shù)模覀冊谥谱鲿r首先要考慮到真實性，還原度。但在真實的同時，還要考慮到用戶是否可以接受血腥和不適感。以及模型復雜，高面數(shù)潛在上給引擎帶來的性能負擔。

我們簡單列舉其中一個癌癥細胞模型的思考，提煉和制作過程。

我們先從專業(yè)的醫(yī)學知識文獻，或者醫(yī)藥廠家專業(yè)的文章中，尋求真實專業(yè)的參考。我們從參考中提取物體的形體，代入用戶觀感，去思考應該用怎么樣的材質(zhì)表現(xiàn)，讓用戶更好的理解，提供更好的觀影感受。通過這些思考，得出最后的成品。

2. 模型制作的具體實現(xiàn)

基于 UNREAL 引擎的特點，在制作模型的思路上，我們選擇了偏向次時代的制作流程，在高模中雕刻出細節(jié)，然后拓撲出低模，把高模細節(jié)以各種貼圖的形式賦予到低模上。用到的貼圖有：法線貼圖（NormalMap），顏色貼圖（DiffuseMap），高光貼圖（Specular maps），AO貼圖（Ambient Occlusiont）等。

模型貼圖（以肋骨為例）

在 3D 軟件里將高模和低模做完：

在 Substance Painter 里烘焙出相關的貼圖并貼到低模上：

材質(zhì)（以肺為例）

具體實現(xiàn)效果：

3. 場景和鏡頭的運用

雖然這個 demo 并不像其他影視和游戲作品那么復雜，但是在疾病/藥物原理等邏輯性較強的敘述里，少不了分鏡的運用。一個合理初始場景設計，線性的階梯的切入各個切分場景，能夠讓用戶感覺更連貫，更容易理解，更有代入感。

落地方案

大圖：

初次展示

2018 年 7 月份，我們的項目第一次在騰訊用戶開放日 TDay 的騰訊醫(yī)典展臺上，向公眾開放演示。獲得了很多熱情用戶的關注，大家問的最多的問題就是，什么時候可以在家中，醫(yī)療場所中真切的使用到這款產(chǎn)品。

后續(xù)探索

人機交互和可視化的價值在于連接，我們能夠運行可視的醫(yī)學內(nèi)容，將患者與醫(yī)生，醫(yī)療機構，醫(yī)藥企業(yè)等連接起來，讓復雜專業(yè)的醫(yī)療信息能被更多人查看，理解，操作和模擬。拉近普通人與「高大上」的醫(yī)學領域之間的隔閡，拉近基層醫(yī)師和前沿研究之間的隔閡，拉近醫(yī)學機構與先進技術之間的隔閡，更好的解決專業(yè)信息不透明不對等的問題。

我們的下一步，也會努力豐富產(chǎn)品的內(nèi)容，建立一個完善的基礎內(nèi)容體系。同時將使我們的產(chǎn)品更容易分享和傳播，結(jié)合騰訊醫(yī)典平臺傳遞健康與信賴。我們也將繼續(xù)探索 CT/MRI 醫(yī)學影像還原，VR/AR 手術流程模擬等前沿科技。

原創(chuàng) : 騰訊CSIG醫(yī)療資訊產(chǎn)品中心設計組

原文鏈接：https://docs.qq.com/doc/DU3liYkNuckhLRWFj