<label id="jm2ei"><address id="jm2ei"></address></label>

<th id="jm2ei"><option id="jm2ei"></option></th>
<acronym id="jm2ei"><meter id="jm2ei"></meter></acronym><option id="jm2ei"><kbd id="jm2ei"></kbd></option>

<tr id="jm2ei"></tr>
  • <object id="jm2ei"></object>
    <strike id="jm2ei"><video id="jm2ei"></video></strike>

  • 神經網絡訓練技術的制作方法

    文檔序號:30391491發布日期:2022-06-11 23:02來源:國知局
    神經網絡訓練技術的制作方法
    神經網絡訓練技術
    1.相關申請交叉引用
    2.本技術要求于2020年4月27日提交的標題為“神經網絡訓練技術(neural network training technique)”的美國專利申請第16/859,360號的優先權;該申請的全部公開內容以引用方式并入本文以用于所有目的。
    技術領域
    3.至少一個實施例涉及一個或更多個算術邏輯單元(“alu”)以執行用于執行圖像處理任務的人工神經網絡的訓練。


    背景技術:

    4.訓練用于執行圖像處理任務的神經網絡可能需要使用大量的時間和計算資源,并且可能需要人工干預。因此,用于訓練神經網絡的技術和程序需要改進。
    附圖說明
    5.圖1示出了根據至少一個實施例的訓練神經網絡以執行圖像處理任務的示例;
    6.圖2示出了根據至少一個實施例的用于學習到優化神經網絡訓練的二級神經網絡的預訓練示例;
    7.圖3示出了根據至少一個實施例的生成用于學習到優化神經網絡訓練的策略的示例;
    8.圖4示出了根據至少一個實施例的應用學習策略的方面;
    9.圖5示出了根據至少一個實施例的學習到優化框架中的優化流程的方面;
    10.圖6示出了根據至少一個實施例的訓練神經網絡以執行圖像處理任務的示例過程;
    11.圖7a示出了根據至少一個實施例的推理和/或訓練邏輯;
    12.圖7b示出了根據至少一個實施例的推理和/或訓練邏輯;
    13.圖8示出了根據至少一個實施例的神經網絡的訓練和部署;
    14.圖9示出了根據至少一個實施例的示例數據中心系統;
    15.圖10a示出了根據至少一個實施例的自主車輛的示例;
    16.圖10b示出了根據至少一個實施例的圖10a的自主車輛的相機位置和視野的示例;
    17.圖10c是根據至少一個實施例的示出圖10a的自主車輛的示例系統架構的框圖;
    18.圖10d是根據至少一個實施例的示出用于一個或更多個基于云的服務器與圖10a的自主車輛之間進行通信的系統的圖;
    19.圖11是根據至少一個實施例的示出計算機系統的框圖;
    20.圖12是根據至少一個實施例的示出計算機系統的框圖;
    21.圖13示出了根據至少一個實施例的計算機系統;
    22.圖14示出了根據至少一個實施例的計算機系統;
    23.圖15a示出了根據至少一個實施例的計算機系統;
    24.圖15b示出了根據至少一個實施例的計算機系統;
    25.圖15c示出了根據至少一個實施例的計算機系統;
    26.圖15d示出了根據至少一個實施例的計算機系統;
    27.圖15e和圖15f示出了根據至少一個實施例的共享編程模型;
    28.圖16示出了根據至少一個實施例的示例性集成電路和相關的圖形處理器;
    29.圖17a和圖17b示出了根據至少一個實施例的示例性集成電路和相關聯的圖形處理器;
    30.圖18a和圖18b示出了根據至少一個實施例的附加的示例性圖形處理器邏輯;
    31.圖19示出了根據至少一個實施例的計算機系統;
    32.圖20a示出了根據至少一個實施例的并行處理器;
    33.圖20b示出了根據至少一個實施例的分區單元;
    34.圖20c示出了根據至少一個實施例的處理集群;
    35.圖20d示出了根據至少一個實施例的圖形多處理器;
    36.圖21示出了根據至少一個實施例的多圖形處理單元(gpu)系統;
    37.圖22示出了根據至少一個實施例的圖形處理器;
    38.圖23是根據至少一個實施例的示出用于處理器的處理器微架構的框圖;
    39.圖24示出了根據至少一個實施例的深度學習應用程序處理器;
    40.圖25是根據至少一個實施例的示出了示例神經形態處理器的框圖;
    41.圖26示出了根據一個或更多個實施例的圖形處理器的至少部分;
    42.圖27示出了根據一個或更多個實施例的圖形處理器的至少部分;
    43.圖28示出了根據一個或更多個實施例的圖形處理器的至少部分;
    44.圖29是根據至少一個實施例的圖形處理器的圖形處理引擎的框圖;
    45.圖30是根據至少一個實施例的圖形處理器核心的至少部分的框圖;
    46.圖31a和圖31b示出了根據至少一個實施例的線程執行邏輯,其包括圖形處理器核心的處理元件的陣列;
    47.圖32示出了根據至少一個實施例的并行處理單元(“ppu”);
    48.圖33示出了根據至少一個實施例的通用處理集群(“gpc”);
    49.圖34示出了根據至少一個實施例的并行處理單元(“ppu”)的存儲器分區單元;
    50.圖35示出了根據至少一個實施例的流式多處理器;
    51.圖36是根據至少一個實施例的高級計算管線的示例數據流圖;
    52.圖37是根據至少一個實施例的用于在高級計算管線中訓練、適應、實例化和部署機器學習模型的示例系統的系統圖;
    53.圖38包括根據至少一個實施例的用于處理成像數據的高級計算管線的示例圖示;
    54.圖39a包括根據至少一個實施例的支持超聲設備的虛擬儀器的示例數據流圖;
    55.圖39b包括根據至少一個實施例的支持ct掃描儀的虛擬儀器的示例數據流圖;
    56.圖40a示出了根據至少一個實施例的用于訓練機器學習模型的過程的數據流圖;以及
    57.圖40b是根據至少一個實施例的利用預訓練的注釋模型來增強注釋工具的客戶
    端-服務器架構的示例圖示。
    具體實施方式
    58.圖1示出了根據至少一個實施例的訓練神經網絡以執行圖像處理任務的示例。在至少一個實施例中,圖像處理任務包括面部識別、對象識別、圖像分類、圖像重建、圖像生成等中的一個或更多個。
    59.在至少一個實施例中,實現用于使用合成數據102訓練的神經網絡106的框架100。在至少一個實施例中,所述神經網絡106包括參數θs和θn。在至少一個實施例中,在所述訓練過程中調整參數θs和θn。在至少一個實施例中,所述神經網絡106被稱為模型
    60.在至少一個實施例中,框架100包括使用真實圖像數據預訓練的附加神經網絡104,其中真實圖像數據指的是并非由神經網絡或類似方法合成或人工生成的圖像數據。在至少一個實施例中,該神經網絡具有與主神經網絡104的結構平行的結構。在至少一個實施例中,所述一個或更多個附加神經網絡包括參數θ
    s,o
    和θo。在至少一個實施例中,參數θ
    s,o
    和θo在訓練所述一個或更多個神經網絡106時是固定的。在至少一個實施例中,θ
    s,o
    和θo在訓練所述一個或更多個神經網絡106時不是固定的,而是不使用合成圖像數據進行訓練。在至少一個實施例中,附加神經網絡104被稱為模型
    61.在至少一個實施例中,框架100主要基于合成圖像數據訓練神經網絡104,同時在實域中避免在合成到實泛化期間可能發生的退化泛化。在至少一個實施例中,合成圖像包括完全由計算過程部分生成的圖像,以產生不同的特征。與相應的真實圖像相比,生成此類圖像可能更容易且成本更低。示例可以包括但不限于生成顯示相同對象但具有不同特征的圖像,例如,照明、紋理、衣服、顏色、位置等。然而,如所注意到的,在至少一個實施例中,可能通過諸如合成圖像的渲染質量的限制導致泛化降級,例如,不現實的紋理、外觀、照明、場景布局等。在至少一個實施例中,由于過度擬合到合成域而導致的這種退化泛化被避免。
    62.在至少一個實施例中,框架100通過將合成到真實泛化表述為終身學習問題來改進合成到真實泛化。在至少一個實施例中,在諸如所述一個或更多個神經網絡106的綜合訓練模型和諸如所述一個或更多個二級神經網絡104的預訓練模型之間強制實施表征相似性。
    63.在至少一個實施例中,框架100結合了強化學習和學習到優化(“rl-l2o”)方法,以使合成到真實的泛化更加方便。在至少一個實施例中,學習速率的逐層調整是自動的。在至少一個實施例中,這減少或消除了訓練過程的試探或人工調整。
    64.圖2示出了根據至少一個實施例的用于目標神經網絡模型的學習到優化訓練的預訓練神經網絡模型的示例。在至少一個實施例中,用于訓練神經網絡206或m的框架200包括僅使用真實圖像數據202預訓練或并行訓練的一個或更多個附加神經網絡204或在至少一個實施例中,該神經網絡204在結構上類似于或等同于使用合成圖像訓練的神經網絡206。在至少一個實施例中,使用真實圖像訓練神經網絡204,例如,從諸如imagenet的圖像數據庫獲得的圖像。
    65.在至少一個實施例中,在預訓練期間,使用真實圖像教導所述一個或更多個二級神經網絡204,以執行圖像處理任務,例如對象識別、面部識別、圖像分類等。在至少一個實
    施例中,所述任務與神經網絡206在使用合成圖像進行訓練后要執行的任務相似或相同。
    66.在至少一個實施例中,在使用合成圖像訓練主神經網絡時,可以保留在預訓練二級神經網絡中學習的領域知識。在至少一個實施例中,當對合成圖像進行訓練時,神經網絡模型被迫記憶如何從真實圖像數據中捕獲所學習的表示。在至少一個實施例中,這保持了真實圖像的知識和由合成數據提供的任務特定信息。
    67.在至少一個實施例中,用于訓練初級神經網絡的過程從預訓練的神經網絡模型開始。在至少一個實施例中,所述過程包括對合成圖像進行訓練,同時仍然基于真實圖像數據存儲分類任務。在使用合成圖像更新模型時,保留預訓練模型的副本,并在訓練期間凍結。除了基于合成數據集計算交叉熵損失外,合成圖像通過和kullback

    leibler(“kl”)散度被轉發,在和的輸出之間被最小化。在至少一個實施例中,所述訓練過程包括在遷移學習過程中作為代理指導的被最小化:
    [0068][0069][0070][0071][0072]
    在上述等式中,λ是一個平衡因子,用于控制從真實圖像數據中保留領域知識的數量;θn表示合成到真實遷移學習的參數表示新任務的分類器層);θo表示基于真實圖像數據的分類器的參數,以在真實圖像數據域中輸出預測概率;θs表示用于新任務更新的特征提取器(有時稱為主干)的參數;θ
    s,o
    表示用真實圖像數據預訓練并凍結的特征提取器的參數。在至少一個實施例中,θs和θ
    s,o
    共享相同的結構。nb是當前批量大小,xi和yi是當前批次中新任務的樣本和真實情況。
    [0073]
    在至少一個實施例中,根據上述等式并根據圖1-3實施具有代理指導的合成到真實的遷移學習過程。
    [0074]
    在至少一個實施例中,在訓練期間聯合優化基于真實圖像數據的新任務和舊任務。
    [0075]
    在至少一個實施例中,新任務不一定限于與舊任務相同。在至少一個實施例中,逐像素提供比逐樣本更密集的監督。在至少一個實施例中,為了在空間上平衡和通過將其應用于裁剪的特征圖塊而變得更密集:
    [0076][0077]
    其中x
    i,j
    (j=1,

    ,n)是從xi中裁剪出來的塊。在至少一個實施例中,該公式被應
    用于跨任務訓練。
    [0078]
    在至少一個實施例中,為了避免人工調整超參數,具有學習到優化方面(“rl-l2o”)框架的強化學習方法被用于自動調整神經網絡中層或區域的學習率。在至少一個實施例中,當給定模型在遷移學習期間的訓練統計時,所述框架學習動態控制學習率的參數化策略π。
    [0079]
    圖3示出了根據至少一個實施例的生成用于訓練神經網絡的策略的示例300。在至少一個實施例中,強化學習算法的目標是學習策略π310,其隨著時間的推移最大化總預期獎勵。在至少一個實施例中,策略π310是基于合成圖像數據302生成的,但部分地以神經網絡304獲取的真實世界領域知識為指導。在至少一個實施例中,策略π310被應用于神經網絡306。在至少一個實施例中,執行這些過程根據:
    [0080][0081]
    在上述等式中,期望是對一系列狀態、觀察或動作進行的。在至少一個實施例中,由策略π310的應用產生的動作a
    t
    將更新所述rl-l2o框架中模型的學習率。在至少一個實施例中,狀態s
    t
    包含在遷移學習期間模型的優化相關統計數據,并且reward
    t
    衡量優化的執行程度。在至少一個實施例中,策略π310由策略生成器308基于和生成。
    [0082]
    圖4示出了根據至少一個實施例的應用學習策略的方面。在至少一個實施例中,至少部分地基于將學習策略404a、b應用于對應的組402a、b來訓練神經網絡400。在至少一個實施例中,根據組中的層的輸入分辨率來建立組402a、b。在至少一個實施例中,應用于特定組402a、b的策略404a、b是學習策略π310的獨立確定的子組件。
    [0083]
    在至少一個實施例中,學習策略π310包括用于控制神經網絡模型的訓練的方面。在至少一個實施例中,待訓練的神經網絡包括許多層。例如,在至少一個實施例中,待訓練的深度學習網絡包括數十層或數百層。在至少一個實施例中,層可在優化期間具有強相關性,這可導致學習策略的應用落入大規模動作空間中的次優解。在至少一個實施例中,通過將具有類似輸入分辨率的模型中的層分組到塊中來解決這種困難。在至少一個實施例中,塊被稱為優化坐標。例如,在圖4中,組“a”402a中的層和節點可以被視為一個坐標,組“b”402b中的層和節點可以被視為另一個坐標。在至少一個實施例中,如圖4所示,當特征映射分辨率降低時,層被分組到新坐標中。在至少一個實施例中,該方法通過保持策略應用的動作空間小來簡化學習到優化訓練。
    [0084]
    圖5示出了根據至少一個實施例的學習到優化框架中的優化流程500的方面。
    [0085]
    在至少一個實施例中,學習策略直接輸出每個坐標的學習率。在至少一個實施例中,使用這種方法可以導致模型504的不穩定性。在至少一個實施例中,學習率比例因子通過策略作為動作被提出,而不是直接輸出學習速率。在至少一個實施例中,策略包括被指定為η
    base
    的基礎學習速率。在至少一個實施例中,策略π的應用包括離散的、按坐標的、學習率比例因子,指定為a
    t
    =[a
    1,t
    ,
    …ac,t]
    ,其中c是中的多個優化坐標。在至少一個實施例中,a
    t
    被表示為分類動作,其中每個學習率比例因子a
    c,t
    ∈[0,0.1,0.2,

    0.9,1]。在至少一個實施例中,每個坐標的學習率為η
    c,t
    =a
    c,t
    ·
    η
    base
    ,并且利用通過隨機梯度下降計算的梯度和動量來更新的參數。在至少一個實施例中,如圖5所示,學習率比例因子η
    t+1
    504在每
    個坐標的基礎上應用于模型504的隨機梯度下降調整。
    [0086]
    在至少一個實施例中,在步驟t,用于策略π的狀態或觀測s
    t
    包括和的當前值、的訓練進度、分類器權重的平均值和標準偏差,例如和std(θ
    n,t
    ),以及來自最后步驟a
    t-1
    的比例因子。在至少一個實施例中,策略學習由指導。
    [0087]
    在至少一個實施例中,一個或更多個單獨的長-短期存儲器(“lstm”)網絡用于控制策略π506的每個坐標。在至少一個實施例中,lstm參數不跨不同坐標共享。在至少一個實施例中,對于每個展開長度步驟,策略π的lstm方面通過增強算法更新,例如:
    [0088][0089]
    在至少一個實施例中,用于計算策略的算法包括η
    base
    的初始化、參數θ
    n,o
    、θ
    s,o
    、隱藏狀態ho=0,以及策略π;并且執行包括以下各項的操作:
    [0090]
    在至少一個實施例中,當獲得所述學習策略時,將其凍結并與隨機梯度下降(“sgd”)502一起應用于的合成到真實遷移學習。
    [0091]
    圖6示出了根據至少一個實施例的訓練神經網絡以執行圖像處理任務的示例過程。盡管示例性過程600被描述為操作序列,但是應當理解,在實施例中,所描述的操作可以以各種方式改變,并且一些操作可以被省略、重新排序,或者與其他操作并行執行,除非順序被顯式說明或邏輯暗示,例如,當一個操作的輸入取決于另一個操作的輸出時。示例性過程600可由各種計算設備、處理器及其組件(例如在后續圖中描繪的那些)執行。
    [0092]
    在602,在至少一個實施例中,計算設備、處理器、電路或其他設備基于真實圖像數據訓練一個或更多個第二神經網絡。在至少一個實施例中,真實圖像數據包括從真實場景或對象拍攝的視頻或靜止幀圖像數據,并且可以包括可見波長的數據以及不可見波長的數據,例如紅外。在至少一個實施例中,真實圖像數據包括未以合成方式生成的視頻或靜止幀圖像數據。
    [0093]
    在604,在至少一個實施例中,計算設備、處理器、電路或其他設備凍結所述一個或更多個第二神經網絡的參數,同時使用合成圖像訓練一個或更多個第一神經網絡。在至少一個實施例中,合成或人工圖像數據是通過算法或計算手段生成的數據,以提供適合用于
    訓練神經網絡的各種輸入。例如,在至少一個實施例中,生成對抗性神經網絡用于創建對象的多個場景,在每個圖像中合并不同的角度、大小、紋理、顏色等。在至少一個實施例中,所述第二一個或更多個神經網絡不在合成圖像數據上訓練,即使與使用合成圖像數據訓練的其他網絡并行訓練。在至少一個實施例中,通過在合成圖像訓練期間凍結所述一個或更多個第二神經網絡,來自真實圖像數據的領域知識在其它網絡的訓練期間被保留。
    [0094]
    在606,在至少一個實施例中,計算設備、處理器、電路或其他設備計算用于訓練所述一個或更多個第一神經網絡的策略。在至少一個實施例中,基于所述一個或更多個第二神經網絡響應于基于合成圖像的輸入的推理輸出來計算所述策略。在至少一個實施例中,推理輸出指由基于神經網絡的學習知識的神經網絡的計算結果。
    [0095]
    在608,在至少一個實施例中,計算設備、處理器、電路或其他設備應用用于訓練所述一個或更多個第一神經網絡的策略。在至少一個實施例中,根據關于圖3-5描述的技術來確定策略。在至少一個實施例中,用于訓練神經網絡的策略的應用包括調整所述神經網絡的區域的訓練速率。在至少一個實施例中,所述區域包括與輸入分辨率相似或相同的相鄰層。在至少一個實施例中,訓練策略包括指示對訓練速率的調整的信息。在至少一個實施例中,所述信息包括學習率調整比例因子。
    [0096]
    在610,在至少一個實施例中,計算設備、處理器、電路或其他設備完成所述一個或更多個第一神經網絡的訓練。在至少一個實施例中,當進一步的訓練不能產生任務性能的改進時,所述完成被達到。在至少一個實施例中,進一步的訓練不傾向于降低任務性能。
    [0097]
    在612,在至少一個實施例中,計算設備、處理器、電路或其他設備、所述一個或更多個第一神經網絡用于執行圖像處理任務。在至少一個實施例中,圖像處理任務包括與輸入到所述經訓練的一個或更多個第一神經網絡的圖像數據相關的推理。在至少一個實施例中,由所述訓練的一個或更多個第一神經網絡進行的所述推理基于真實圖像數據。
    [0098]
    在至少一個實施例中,處理器包括一個或更多個電路,用于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,這是根據關于圖1所述的技術來實現的,其中基于來自神經網絡104的推理輸出來訓練神經網絡106。
    [0099]
    在至少一個實施例中,在訓練期間,至少部分基于一個或更多個第二神經網絡的輸出來調整一個或更多個第一神經網絡的學習率。在至少一個實施例中,調整所述學習率以用于一個或更多個第一神經網絡的區域,其中所述區域包括至少部分基于輸入分辨率分組的層。在至少一個實施例中,使用諸如圖3中描繪的策略π310的策略,并且根據關于圖3-5描述的技術來確定該策略。
    [0100]
    在至少一個實施例中,所述一個或更多個電路至少部分地基于所述一個或更多個第二神經網絡響應于合成圖像數據的輸入的輸出,調整所述一個或更多個第一神經網絡的訓練,以。在至少一個實施例中,這通過使用所述一個或更多個第二神經網絡的推理輸出來實現,以生成策略π310,如圖3所示,并根據結合附圖描述的技術來確定。
    [0101]
    在至少一個實施例中,所述一個或更多個電路至少部分地基于所述學習率比例因子來計算學習率比例因子并調整所述一個或更多個第一神經網絡的學習率。在至少一個實施例中,這是通過使用關于圖3-5所述的技術來實現的。
    [0102]
    推理和訓練邏輯
    [0103]
    圖7a示出了用于執行與一個或更多個實施例相關聯的推理和/或訓練操作的推理和/或訓練邏輯715。下面結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。
    [0104]
    在至少一個實施例中,推理和/或訓練邏輯715可以包括但不限于代碼和/或數據存儲701,用于存儲前向和/或輸出權重和/或輸入/輸出數據,和/或在一個或更多個實施例的方面中配置被訓練為和/或用于推理的神經網絡的神經元或層的其他參數。在至少一個實施例中,訓練邏輯715可以包括或耦合到用于存儲圖形代碼或其他軟件以控制時序和/或順序的代碼和/或數據存儲701,其中權重和/或其他參數信息被加載以配置邏輯,包括整數和/或浮點單元(統稱為算術邏輯單元(alu))。在至少一個實施例中,代碼(諸如圖代碼)基于該代碼所對應的神經網絡的架構將權重或其他參數信息加載到處理器alu中。在至少一個實施例中,代碼和/或數據存儲701存儲在使用一個或更多個實施例的方面訓練和/或推理期間的輸入/輸出數據和/或權重參數的前向傳播期間結合一個或更多個實施例訓練或使用的神經網絡的每個層的權重參數和/或輸入/輸出數據。在至少一個實施例中,代碼和/或數據存儲701的任何部分都可以包括在其他片上或片外數據存儲內,包括處理器的l1、l2或l3高速緩存或系統存儲器。
    [0105]
    在至少一個實施例中,代碼和/或數據存儲701的任何部分可以在一個或更多個處理器或其他硬件邏輯設備或電路的內部或外部。在至少一個實施例中,代碼和/或數據存儲701可以是高速緩存存儲器、動態隨機可尋址存儲器(“dram”)、靜態隨機可尋址存儲器(“sram”)、非易失性存儲器(例如閃存)或其他存儲。在至少一個實施例中,對代碼和/或數據存儲701是在處理器的內部還是外部的選擇,例如,或者由dram、sram、閃存或某種其他存儲類型組成,可以取決于存儲片上或片外的可用存儲空間,正在執行訓練和/或推理功能的延遲要求,在神經網絡的推理和/或訓練中使用的數據的批大小或這些因素的某種組合。
    [0106]
    在至少一個實施例中,推理和/或訓練邏輯715可以包括但不限于代碼和/或數據存儲705,以存儲與在一個或更多個實施例的方面中被訓練為和/或用于推理的神經網絡的神經元或層相對應的反向和/或輸出權重和/或輸入/輸出數據神經網絡。在至少一個實施例中,在使用一個或更多個實施例的方面訓練和/或推理期間,代碼和/或數據存儲705存儲在輸入/輸出數據和/或權重參數的反向傳播期間結合一個或更多個實施例訓練或使用的神經網絡的每個層的權重參數和/或輸入/輸出數據。在至少一個實施例中,訓練邏輯715可以包括或耦合到用于存儲圖代碼或其他軟件以控制時序和/或順序的代碼和/或數據存儲705,其中權重和/或其他參數信息被加載以配置邏輯,該邏輯包括整數和/或浮點單元(統稱為算術邏輯單元(alu))。
    [0107]
    在至少一個實施例中,代碼(諸如圖代碼)使得基于該代碼所對應的神經網絡的架構將權重或其他參數信息加載到處理器alu中。在至少一個實施例中,代碼和/或數據存儲705的任何部分可以與其他片上或片外數據存儲一起包括,包括處理器的l1、l2或l3高速緩存或系統存儲器。在至少一個實施例中,代碼和/或數據存儲705的任何部分可以在一個或更多個處理器或其他硬件邏輯設備或電路上的內部或外部。在至少一個實施例中,代碼和/或數據存儲705可以是高速緩存存儲器、dram、sram、非易失性存儲器(例如閃存)或其他存儲。在至少一個實施例中,代碼和/或數據存儲705是在處理器的內部還是外部的選擇,例如,是由dram、sram、閃存還是其他某種存儲類型組成,取決于可用存儲是片上還是片外,正在執行的訓練和/或推理功能的延遲要求,在神經網絡的推理和/或訓練中使用的數據批量
    大小或這些因素的某種組合。
    [0108]
    在至少一個實施例中,代碼和/或數據存儲701以及代碼和/或數據存儲705可以是分開的存儲結構。在至少一個實施例中,代碼和/或數據存儲701以及代碼和/或數據存儲705可以是相同的存儲結構。在至少一個實施例中,代碼和/或數據存儲701以及代碼和/或數據存儲705可以部分地被組合和部分分離。在至少一個實施例中,代碼和/或數據存儲701以及代碼和/或數據存儲705的任何部分可以與其他片上或片外數據存儲包括在一起,包括處理器的l1、l2或l3高速緩存或系統存儲器。
    [0109]
    在至少一個實施例中,推理和/或訓練邏輯715可以包括但不限于一個或更多個算術邏輯單元(“alu”)710(包括整數和/或浮點單元),用于至少部分地基于訓練和/或推理代碼(例如,圖代碼)或由其指示來執行邏輯和/或數學運算,其結果可能會產生存儲在激活存儲720中的激活(例如,來自神經網絡內部的層或神經元的輸出值),其是存儲在代碼和/或數據存儲701和/或代碼和/或數據存儲705中的輸入/輸出和/或權重參數數據的函數。在至少一個實施例中,激活響應于執行指令或其他代碼,由alu710執行的線性代數和/或基于矩陣的數學生成在激活存儲720中存儲的激活,其中存儲在代碼和/或數據存儲705中和/或代碼和/或數據存儲701中的權重值用作具有其他值的操作數,例如偏置值、梯度信息、動量值或其他參數或超參數,可以將任何或所有這些存儲在代碼和/或數據存儲705或代碼和/或數據存儲701或其他片上或片外存儲中。
    [0110]
    在至少一個實施例中,一個或更多個處理器或其他硬件邏輯設備或電路中包括一個或更多個alu710,而在另一個實施例中,一個或更多個alu710可以在處理器或其他硬件邏輯設備或使用它們(例如協處理器)的電路外。在至少一個實施例中,可以將一個或更多個alu710包括在處理器的執行單元之內,或者以其他方式包括在由處理器的執行單元可訪問的alu組中,該處理器的執行單元可以在同一處理器內或者分布在不同類型的不同處理器之間(例如,中央處理單元、圖形處理單元、固定功能單元等)。在至少一個實施例中,代碼和/或數據存儲701、代碼和/或數據存儲705以及激活存儲720可以共享處理器或其他硬件邏輯設備或電路,而在另一個實施例中,它們可以在不同的處理器或其他硬件邏輯設備或電路或相同和不同處理器或其他硬件邏輯設備或電路的某種組合中。在至少一個實施例中,激活存儲720的任何部分可以與其他片上或片外數據存儲包括在一起,包括處理器的l1、l2或l3高速緩存或系統存儲器。此外,推理和/或訓練代碼可以與處理器或其他硬件邏輯或電路可訪問的其他代碼一起存儲,并可以使用處理器的提取、解碼、調度、執行、退出和/或其他邏輯電路來提取和/或處理。
    [0111]
    在至少一個實施例中,激活存儲720可以是高速緩存存儲器、dram、sram、非易失性存儲器(例如,閃存)或其他存儲。在至少一個實施例中,激活存儲720可以完全地或部分地在一個或更多個處理器或其他邏輯電路內部或外部。在至少一個實施例中,可以取決于片上或片外可用的存儲,進行訓練和/或推理功能的延遲要求,在推理和/或訓練神經網絡中使用的數據的批量大小或這些因素的某種組合,選擇激活存儲720是處理器的內部還是外部,例如,或者包含dram、sram、閃存或其他存儲類型。
    [0112]
    在至少一個實施例中,圖7a中所示的推理和/或訓練邏輯715可以與專用集成電路(“asic”)結合使用,例如來自google的處理單元、來自graphcore
    tm
    的推理處理單元(ipu)或來自intelcorp的(例如“lakecrest”)處理器。在至少一個實
    施例中,圖7a所示的推理和/或訓練邏輯715可與中央處理單元(“cpu”)硬件,圖形處理單元(“gpu”)硬件或其他硬件(例如現場可編程門陣列(“fpga”))結合使用。
    [0113]
    圖7b示出了根據至少一個實施例的推理和/或訓練邏輯715。在至少一個實施例中,推理和/或訓練邏輯715可以包括但不限于硬件邏輯,其中計算資源被專用或以其他方式唯一地連同對應于神經網絡內的一層或更多層神經元的權重值或其他信息一起使用。在至少一個實施例中,圖7b中所示的推理和/或訓練邏輯715可以與專用集成電路(asic)結合使用,例如來自google的處理單元,來自graphcore
    tm
    的推理處理單元(ipu)或來自intelcorp的(例如“lakecrest”)處理器。在至少一個實施例中,圖7b中所示的推理和/或訓練邏輯715可以與中央處理單元(cpu)硬件、圖形處理單元(gpu)硬件或其他硬件(例如現場可編程門陣列(fpga))結合使用。在至少一個實施例中,推理和/或訓練邏輯715包括但不限于代碼和/或數據存儲701以及代碼和/或數據存儲705,其可以用于存儲代碼(例如,圖代碼)、權重值和/或其他信息,包括偏置值、梯度信息、動量值和/或其他參數或超參數信息。在圖7b中所示的至少一個實施例中,代碼和/或數據存儲701以及代碼和/或數據存儲705中的每一個都分別與專用計算資源(例如計算硬件702和計算硬件706)相關聯。在至少一個實施例中,計算硬件702和計算硬件706中的每一個包括一個或更多個alu,這些alu僅分別對存儲在代碼和/或數據存儲701和代碼和/或數據存儲705中的信息執行數學函數(例如線性代數函數),執行函數的結果被存儲在激活存儲720中。
    [0114]
    在至少一個實施例中,代碼和/或數據存儲701和705以及相應的計算硬件702和706中的每一個分別對應于神經網絡的不同層,使得從代碼和/或數據存儲701和計算硬件702的一個“存儲/計算對701/702”得到的激活提供作為代碼和/或數據存儲705和計算硬件706的下一個“存儲/計算對705/706”的輸入,以便反映神經網絡的概念組織。在至少一個實施例中,每個存儲/計算對701/702和705/706可以對應于一個以上的神經網絡層。在至少一個實施例中,在推理和/或訓練邏輯715中可以包括在存儲計算對701/702和705/706之后或與之并行的附加存儲/計算對(未示出)。
    [0115]
    神經網絡訓練和部署
    [0116]
    圖8示出了根據至少一個實施例的深度神經網絡的訓練和部署。在至少一個實施例中,使用訓練數據集802來訓練未經訓練的神經網絡806。在至少一個實施例中,訓練框架804是pytorch框架,而在其他實施例中,訓練框架804是tensorflow,boost,caffe,microsoft cognitive toolkit/cntk,mxnet,chainer,keras,deeplearning4j或其他訓練框架。在至少一個實施例中,訓練框架804訓練未經訓練的神經網絡806,并使它能夠使用本文所述的處理資源來訓練,以生成經訓練的神經網絡808。在至少一個實施例中,權重可以被隨機選擇或通過使用深度信念網絡預訓練。在至少一個實施例中,可以以有監督、部分有監督或無監督的方式執行訓練。
    [0117]
    在至少一個實施例中,使用有監督學習來訓練未經訓練的神經網絡806,其中訓練數據集802包括與用于輸入的期望輸出配對的輸入,或者其中訓練數據集802包括具有已知輸出的輸入和神經網絡806是手動分級的輸出。在至少一個實施例中,以有監督的方式來訓練未經訓練的神經網絡806,并且處理來自訓練數據集802的輸入,并將結果輸出與一組期望或想要的輸出進行比較。在至少一個實施例中,然后通過未經訓練的神經網絡806將誤差傳播回去。在至少一個實施例中,訓練框架804調整控制未經訓練的神經網絡806的權重。在
    至少一個實施例中,訓練框架804包括用于監視未經訓練的神經網絡806向模型(例如,經訓練的神經網絡808)收斂的程度的工具,適于基于輸入數據(例如新數據集812)生成正確答案(例如結果814)的模型。在至少一個實施例中,訓練框架804反復訓練未經訓練的神經網絡806,同時調整權重以使用損失函數和調整算法(例如隨機梯度下降)來改善未經訓練的神經網絡806的輸出。在至少一個實施例中,訓練框架804訓練未經訓練的神經網絡806,直到未經訓練的神經網絡806達到期望的精度為止。在至少一個實施例中,然后可以部署經訓練的神經網絡808以實現任何數量的機器學習操作。
    [0118]
    在至少一個實施例中,使用無監督學習來訓練未經訓練的神經網絡806,其中未經訓練的神經網絡806嘗試使用未標記的數據來訓練自己。在至少一個實施例中,無監督學習訓練數據集802將包括輸入數據,而沒有任何關聯的輸出數據或“地面實況”數據。在至少一個實施例中,未經訓練的神經網絡806可以學習訓練數據集802內的分組,并且可以確定各個輸入如何與未經訓練的數據集802相關。在至少一個實施例中,可以使用無監督訓練來在經訓練的神經網絡808中生成自組織圖,其能夠執行對減少新數據集812的維度有用的操作。在至少一個實施例中,無監督訓練也可以用于執行異常檢測,這允許識別新數據集812中偏離新數據集812的正常模式的數據點。
    [0119]
    在至少一個實施例中,可以使用半監督學習,這是一種技術,其中在訓練數據集802中包括標記數據和未標記數據的混合。在至少一個實施例中,訓練框架804可以用于例如通過轉移的學習技術來執行遞增學習。在至少一個實施例中,遞增學習使得經訓練的神經網絡808能夠適應新數據集812,而不會忘記在初始訓練期間注入到經訓練的神經網絡808內的知識。
    [0120]
    數據中心
    [0121]
    圖9示出了可以使用至少一個實施例的示例數據中心900。在至少一個實施例中,數據中心900包括數據中心基礎設施層910、框架層920、軟件層930和應用程序層940。
    [0122]
    在至少一個實施例中,如圖9所示,數據中心基礎設施層910可以包括資源協調器912、分組計算資源914和節點計算資源(“節點c.r.”)916(1)-916(n),其中“n”表示正整數(其可以是與其他圖中使用的整數不同的整數“n”)。在至少一個實施例中,節點c.r.916(1)-916(n)可以包括但不限于任何數量的中央處理單元(“cpu”)或其他處理器(包括加速器、現場可編程門陣列(fpga)、圖形處理器等),存儲器存儲設備918(1)-918(n)(例如動態只讀存儲器、固態硬盤或磁盤驅動器),網絡輸入/輸出(“nwi/o”)設備,網絡交換機,虛擬機(“vm”),電源模塊和冷卻模塊等。在至少一個實施例中,節點c.r.916(1)-916(n)中的一個或更多個節點c.r.可以是具有一個或更多個上述計算資源的服務器。
    [0123]
    在至少一個實施例中,分組計算資源914可以包括容納在一個或更多個機架內的節點c.r.的單獨分組(未示出),或者容納在各個地理位置的數據中心內的許多機架(也未示出)。在至少一個實施例中,分組的計算資源914內的節點c.r.的單獨分組可以包括可以被配置或分配為支持一個或更多個工作負載的分組的計算、網絡、存儲器或存儲資源。在至少一個實施例中,可以將包括cpu或處理器的幾個節點c.r.分組在一個或更多個機架內,以提供計算資源來支持一個或更多個工作負載。在至少一個實施例中,一個或更多個機架還可以包括任何數量的電源模塊、冷卻模塊和網絡交換機,以任意組合。
    [0124]
    在至少一個實施例中,資源協調器912可以配置或以其他方式控制一個或更多個
    節點c.r.916(1)-916(n)和/或分組的計算資源914。在至少一個實施例中,資源協調器912可以包括用于數據中心900的軟件設計基礎結構(“sdi”)管理實體。在至少一個實施例中,資源協調器712可以包括硬件、軟件或其某種組合。
    [0125]
    在至少一個實施例中,如圖9所示,框架層920包括作業調度器922、配置管理器924、資源管理器926和分布式文件系統928。在至少一個實施例中,框架層920可以包括支持軟件層930的軟件932和/或應用程序層940的一個或更多個應用程序942的框架。在至少一個實施例中,軟件932或應用程序942可以分別包括基于web的服務軟件或應用程序,例如由amazon web services,google cloud和microsoft azure提供的服務或應用程序。在至少一個實施例中,框架層920可以是但不限于一種免費和開放源軟件網絡應用程序框架,例如可以利用分布式文件系統928來進行大范圍數據處理(例如“大數據”)的apache spark
    tm
    (以下稱為“spark”)。在至少一個實施例中,作業調度器932可以包括spark驅動器,以促進對數據中心900的各個層所支持的工作負載進行調度。在至少一個實施例中,配置管理器924可以能夠配置不同的層,例如軟件層930和包括spark和用于支持大規模數據處理的分布式文件系統928的框架層920。在至少一個實施例中,資源管理器926能夠管理映射到或分配用于支持分布式文件系統928和作業調度器922的集群或分組計算資源。在至少一個實施例中,集群或分組計算資源可以包括數據中心基礎設施層910上的分組計算資源914。在至少一個實施例中,資源管理器926可以與資源協調器912協調以管理這些映射的或分配的計算資源。
    [0126]
    在至少一個實施例中,包括在軟件層930中的軟件932可以包括由節點c.r.916(1)-916(n)的至少一部分,分組的計算資源914和/或框架層920的分布式文件系統928使用的軟件。在至少一個實施例中,一個或更多個類型的軟件可以包括但不限于互聯網網頁搜索軟件、電子郵件病毒掃描軟件、數據庫軟件和流視頻內容軟件。
    [0127]
    在至少一個實施例中,應用程序層940中包括的一個或更多個應用程序942可以包括由節點c.r.916(1)-916(n)的至少一部分、分組計算資源914和/或框架層920的分布式文件系統928使用的一個或更多個類型的應用程序。在至少一個實施例中,一個或更多個類型的應用程序可以包括但不限于任何數量的基因組學應用程序、認知計算、應用程序和機器學習應用程序,包括訓練或推理軟件,機器學習框架軟件(例如pytorch、tensorflow、caffe等)或其他與一個或更多個實施例結合使用的機器學習應用程序。
    [0128]
    在至少一個實施例中,配置管理器924、資源管理器926和資源協調器912中的任何一個可以基于以任何技術上可行的方式獲取的任何數量和類型的數據來實現任何數量和類型的自我修改動作。在至少一個實施例中,自我修改動作可以減輕數據中心900的數據中心操作員做出可能不好的配置決定并且可以避免數據中心的未充分利用和/或執行差的部分。
    [0129]
    在至少一個實施例中,數據中心900可以包括工具、服務、軟件或其他資源,以根據本文所述的一個或更多個實施例來訓練一個或更多個機器學習模型或者使用一個或更多個機器學習模型來預測或推理信息。例如,在至少一個實施例中,可以通過使用上文關于數據中心900描述的軟件和計算資源,根據神經網絡架構通過計算權重參數來訓練機器學習模型。在至少一個實施例中,通過使用通過本文所述的一個或更多個訓練技術計算出的權重參數,可以使用上面與關于數據中心900所描述的資源,使用對應于一個或更多個神經網
    絡的經訓練的機器學習模型來推理或預測信息。
    [0130]
    在至少一個實施例中,數據中心可以使用cpu、專用集成電路(asic)、gpu、fpga或其他硬件來使用上述資源來執行訓練和/或推理。此外,上述的一個或更多個軟件和/或硬件資源可以配置成一種服務,以允許用戶訓練或執行信息推理,例如圖像識別、語音識別或其他人工智能服務。
    [0131]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在系統圖9中使用,用于至少部分地基于使用神經網絡訓練操作、神經網絡函數和/或體系架構,或者本文所述的神經網絡用例計算的權重參數推理或預測操作。
    [0132]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所描述的技術。
    [0133]
    自主車輛
    [0134]
    圖10a示出了根據至少一個實施例的自動駕駛車輛1000的示例。在至少一個實施例中,自動駕駛車輛1000(或者,在本文中稱為“車輛1000”)可以是但不限于客運車輛,例如汽車、卡車、公共汽車和/或可容納一個或更多個乘客的另一種類型的車輛。在至少一個實施例中,車輛1000可以是用于拖運貨物的半牽引車-拖車。在至少一個實施例中,車輛1000可以是飛機、機器人車輛或其他類型的車輛。
    [0135]
    可以根據由美國運輸部下屬的國家公路交通安全管理局(“nhtsa”)和汽車工程師學會(“sae”)“與用于道路機動車輛的駕駛自動化系統有關的術語(taxonomy and definitions for terms related to driving automation systems for on-road motor vehicles)”(例如,于2018年6月15日發布的標準號j3016-201806,于2016年9月30日發布的標準號j3016-201609,以及該版本的以前和將來的版本此標準)定義的自動化級別來描述自動駕駛汽車。在至少一個實施例中,車輛1000可能能夠根據自動駕駛級別的級別1至級別5中的一個或更多個來進行功能。例如,在至少一個實施例中,根據實施例,車輛1000可能能夠進行條件自動化(級別3)、高度自動化(級別4)和/或全自動(級別5)。
    [0136]
    在至少一個實施例中,車輛1000可以包括但不限于組件,諸如底盤、車身、車輪(例如2、4、6、8、18等)、輪胎、車軸和車輛的其他組件。在至少一個實施例中,車輛1000可以包括但不限于推進系統1050,例如內燃機、混合動力裝置、全電動發動機和/或另一種推進系統類型。在至少一個實施例中,推進系統1050可以連接至車輛1000的傳動系,其可以包括但不限于變速器,以使得能夠對車輛1000進行推進。在至少一個實施例中,可以響應于從油門/加速器1052接收信號以控制推進系統1050。
    [0137]
    在至少一個實施例中,當推進系統1050正在運行時(例如,當車輛1000行駛時),轉向系統1054(其可以包括但不限于方向盤)用于使車輛1000轉向(例如,沿著期望的路徑或路線)。在至少一個實施例中,轉向系統1054可以從一個或更多個轉向致動器1056接收信號。在至少一個實施例中,方向盤對于全自動化(級別5)功能可以是可選的。在至少一個實
    施例中,制動傳感器系統1046可以用于響應于從一個或更多個制動致動器1048和/或制動傳感器接收到的信號來操作車輛制動器。
    [0138]
    在至少一個實施例中,一個或更多個控制器1036可以包括但不限于一個或更多個片上系統(“soc”)(圖10a中未示出)和/或圖形處理單元(“gpu”)向車輛1000的一個或更多個組件和/或系統提供信號(例如,代表命令)。例如,在至少一個實施例中,一個或更多個控制器1036可以發送信號以通過一個或更多個制動致動器1048操作車輛制動,通過一個或更多個轉向致動器1056操作轉向系統1054,通過油門(throttle)/一個或更多個加速器1052操作推進系統1050。在至少一個實施例中,一個或更多個控制器1036可以包括一個或更多個機載(例如,集成)計算設備,其處理傳感器信號并輸出操作命令(例如,表示命令的信號)以實現自動駕駛和/或協助駕駛員駕駛車輛1000。在至少一個實施例中,一個或更多個控制器1036可以包括用于自動駕駛功能的第一控制器,用于功能安全功能的第二控制器,用于人工智能功能(例如計算機視覺)的第三控制器,用于信息娛樂功能的第四控制器,用于緊急情況下的冗余的第五控制器和/或其他控制器。在至少一個實施例中,單個控制器可以處理上述功能中的兩個或更多個,兩個或更多控制器可以處理單個功能和/或其任何組合。
    [0139]
    在至少一個實施例中,一個或更多個控制器1036響應于從一個或更多個傳感器(例如,傳感器輸入)接收到的傳感器數據,提供用于控制車輛1000的一個或更多個組件和/或系統的信號。在至少一個實施例中,傳感器數據可以從傳感器接收,傳感器類型例如但不限于一個或更多個全球導航衛星系統(“gnss”)傳感器1058(例如,一個或更多個全球定位系統傳感器)、一個或更多個radar傳感器1060、一個或更多個超聲波傳感器1062、一個或更多個lidar傳感器1064、一個或更多個慣性測量單元(imu)傳感器1066(例如,一個或更多個加速度計、一個或更多個陀螺儀、一個或更多個磁羅盤、一個或更多個磁力計等)、一個或更多個麥克風1096、一個或更多個立體聲相機1068、一個或更多個廣角相機1070(例如魚眼相機)、一個或更多個紅外相機1072、一個或更多個環繞相機1074(例如,360度相機)、遠程相機(圖10a中未示出)、中程相機(圖10a中未示出)、一個或更多個速度傳感器1044(例如,用于測量車輛1000的速度)、一個或更多個振動傳感器1042、一個或更多個轉向傳感器1040、一個或更多個制動傳感器(例如,作為制動傳感器系統1046的一部分)和/或其他傳感器類型接收。
    [0140]
    在至少一個實施例中,一個或更多個控制器1036可以從車輛1000的儀表板1032接收輸入(例如,由輸入數據表示)并通過人機接口(“hmi”)顯示器1034、聲音信號器、揚聲器和/或車輛1000的其他組件提供輸出(例如,由輸出數據、顯示數據等表示)。在至少一個實施例中,輸出可包括信息,諸如車速、速度、時間、地圖數據(例如,高清晰度地圖(圖10a中未顯示)、位置數據(例如,車輛1000的位置,例如在地圖上)、方向、其他車輛的位置(例如,占用光柵)、關于對象的信息以及由一個或更多個控制器1036感知到的對象的狀態等。例如,在至少一個實施例中,hmi顯示器1034可以顯示關于一個或更多個對象的存在的信息(例如,路牌、警告標志、交通信號燈變更等)和/或有關駕駛操作車輛已經、正在或將要制造的信息(例如,現在改變車道、在兩英里內駛出34b出口等)。
    [0141]
    在至少一個實施例中,車輛1000進一步包括網絡接口1024,其可以使用一個或更多個無線天線1026和/或一個或更多個調制解調器通過一個或更多個網絡進行通信。例如,在至少一個實施例中,網絡接口1024可能能夠通過長期演進(“lte”)、寬帶碼分多址
    (“wcdma”)、通用移動電信系統(“umts”)、全球移動通信系統(“gsm”)、imt-cdma多載波(“cdma2000”)網絡等進行通信。在至少一個實施例中,一個或更多個無線天線1026還可以使用一個或更多個局域網(例如bluetooth、bluetooth low energy(le)、z-wave、zigbee等)和/或一個或更多個低功耗廣域網(以下簡稱“lpwan”)(例如lorawan、sigfox等協議),使環境中的對象(例如,車輛、移動設備)之間進行通信。
    [0142]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在系統圖10a中用于至少部分地基于使用神經網絡訓練操作\神經網絡功能和/或架構或本文所述的神經網絡用例計算出的權重參數來推理或預測操作。
    [0143]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0144]
    圖10b示出了根據至少一個實施例的圖10a的自動駕駛車輛1000的相機位置和視野的示例。在至少一個實施例中,相機和各個視野是一個示例性實施例,并且不旨在進行限制。例如,在至少一個實施例中,可以包括附加的和/或替代的相機和/或相機可以位于車輛1000上的不同位置。
    [0145]
    在至少一個實施例中,用于相機的相機類型可以包括但不限于可以適于與車輛1000的組件和/或系統一起使用的數字相機。在至少一個實施例中,一個或更多個相機可以以汽車安全完整性等級(“asil”)b和/或其他asil進行操作。在至少一個實施例中,根據實施例,相機類型可以具有任何圖像捕獲速率,例如60幀每秒(fps)、1220fps、240fps等。在至少一個實施例中,相機可以能夠使用滾動快門、全局快門、另一種類型的快門或其組合。在至少一個實施例中,濾色器陣列可以包括紅色透明透明(“rccc”)濾色器陣列、紅色透明透明藍色(“rccb”)濾色器陣列、紅色藍色綠色透明(“rbgc”)濾色器陣列、foveon x3濾色器陣列、拜耳(bayer)傳感器(“rggb”)濾色器陣列、單色傳感器濾色器陣列和/或其他類型的濾色器陣列。在至少一個實施例中,可以使用透明像素相機,例如具有rccc、rccb和/或rbgc濾色器陣列的相機,以努力提高光敏性。
    [0146]
    在至少一個實施例中,一個或更多個相機可以用于執行先進駕駛員輔助系統(“adas”)功能(例如,作為冗余或故障安全設計的一部分)。例如,在至少一個實施例中,可以安裝多功能單聲道相機以提供包括車道偏離警告、交通標志輔助和智能大燈控制的功能。在至少一個實施例中,一個或更多個相機(例如,所有相機)可以同時記錄并提供圖像數據(例如,視頻)。
    [0147]
    在至少一個實施例中,可以將一個或更多個相機安裝在安裝組件中,例如定制設計的(三維(“3d”)打印的)組件,以便切出雜散光和來自在車輛1000內的反光(例如,儀表板的反射在擋風玻璃鏡中反光),其可能會干擾相機的圖像數據捕獲能力。關于后視鏡安裝組件,在至少一個實施例中,后視鏡組件可以是3d打印定制的,使得相機安裝板匹配后視鏡的形狀。在至少一個實施例中,一個或更多個相機可以被集成到后視鏡中。在至少一個實施例
    中,對于側視相機,一個或更多個相機也可以集成在艙室的每個角落的四個支柱內。
    [0148]
    在至少一個實施例中,具有包括車輛1000前面的環境的部分的視野的相機(例如,前向相機)可以用于環視,以及在一個或更多個控制器1036和/或控制soc的幫助下幫助識別向前的路徑和障礙物,從而提供對于生成占用網格和/或確定優選的車輛路徑至關重要的信息。在至少一個實施例中,前向相機可以用于執行許多與lidar相似的adas功能,包括但不限于緊急制動、行人檢測和避免碰撞。在至少一個實施例中,前向相機也可以用于adas功能和系統,包括但不限于車道偏離警告(“ldw”)、自動巡航控制(“acc”)和/或諸如交通標志識別的其他功能。
    [0149]
    在至少一個實施例中,各種相機可以用于前向配置,包括例如包括cmos(“互補金屬氧化物半導體”)彩色成像器的單目相機平臺。在至少一個實施例中,廣角相機1070可以用于感知從外圍進入的對象(例如,行人、過馬路或自行車)。盡管在圖10b中僅示出了一個廣角相機1070,但是,在其他實施例中,車輛1000上可以有任何數量(包括零)的廣角相機。在至少一個實施例中,任何數量的遠程相機1098(例如,遠程立體相機對)可用于基于深度的對象檢測,尤其是對于尚未訓練神經網絡的對象。在至少一個實施例中,遠程相機1098也可以用于對象檢測和分類以及基本對象跟蹤。
    [0150]
    在至少一個實施例中,任何數量的立體聲相機1068也可以包括在前向配置中。在至少一個實施例中,一個或更多個立體聲相機1068可以包括集成控制單元,該集成控制單元包括可縮放處理單元,該可縮放處理單元可以提供可編程邏輯(“fpga”)和具有單個芯片上集成的控制器局域網(“can”)或以太網接口的多核心微處理器。在至少一個實施例中,這樣的單元可以用于生成車輛1000的環境的3d地圖,包括對圖像中所有點的距離估計。在至少一個實施例中,一個或更多個立體相機1068可以包括但不限于緊湊型立體視覺傳感器,其可以包括但不限于兩個相機鏡頭(左右分別一個)和一個圖像處理芯片,其可以測量從車輛1000到目標對象的距離并使用所生成的信息(例如,元數據)來激活自主緊急制動和車道偏離警告功能。在至少一個實施例中,除了本文所述的那些之外,還可以使用其他類型的立體相機1068。
    [0151]
    在至少一個實施例中,具有包括車輛1000側面的環境的一部分的視野的相機(例如,側視相機)可以用于環繞查看,從而提供用于創建和更新占據網格的信息,以及產生側面碰撞警告。例如,在至少一個實施例中,環繞相機1074(例如,如圖10b所示的四個環繞相機)可以定位在車輛1000上。在至少一個實施例中,一個或更多個環繞相機1074可以包括但不限于,任意數量和組合的廣角相機、一個或更多個魚目鏡頭、一個或更多個360度相機和/或類似相機。例如,在至少一個實施例中,四個魚目鏡頭相機可以位于車輛1000的前、后和側面。在至少一個實施例中,車輛1000可以使用三個環繞相機1074(例如,左、右和后面),并且可以利用一個或更多個其他相機(例如,前向相機)作為第四個環視相機。
    [0152]
    在至少一個實施例中,具有包括車輛1000后方的環境的一部分的視野的相機(例如,后視相機)可以用于停車輔助、環視、后方碰撞警告、以及創建和更新占用光柵。在至少一個實施例中,可以使用各種各樣的相機,包括但不限于還適合作為一個或更多個前向相機的相機(例如,遠程相機1098和/或一個或更多個中程相機1076、一個或更多個立體相機1068、一個或更多個紅外相機1072等),如本文所述。
    [0153]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練
    操作。結合圖7a和/或圖7b,在本文中提供了關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖10b的系統中使用,用于至少部分地基于使用神經網絡訓練操作計算出的權重參數、神經網絡函數和/或架構、或本文所述的神經網絡用例來推理或預測操作。
    [0154]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述的技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0155]
    圖10c示出了根據至少一個實施例的圖10a的自動駕駛車輛1000的示例系統架構的框圖。在至少一個實施例中,圖10c中的車輛1000的一個或更多個組件、一個或更多個特征和一個或更多個系統中的每一個都示出為經由總線1002連接。在至少一個實施例中,總線1002可包括但不限于can數據接口(在本文中可替代地稱為“can總線”)。在至少一個實施例中,can可以是車輛1000內部的網絡,用于幫助控制車輛1000的各種特征和功能,例如制動器的致動、加速、制動、轉向、雨刷等。在一個實施例中,總線1002可以配置成具有數十個甚至數百個節點,每個節點具有其自己的唯一識別符(例如,can id)。在至少一個實施例中,可以讀取總線1002以找到方向盤角度、地面速度、發動機每分鐘轉動次數(“rpm”)、按鈕位置和/或其他車輛狀態指示器。在至少一個實施例中,總線1002可以是符合asilb的can總線。
    [0156]
    在至少一個實施例中,除了can之外,或來自can,可使用flexray和/或以太網(ethernet)協議。在至少一個實施例中,可以有任意數量的成型總線1002,其可以包括但不限于零或更多的can總線,零或更多的flexray總線,零或更多的以太網總線,和/或零或更多的使用其他協議的其他類型的總線。在至少一個實施例中,兩個或更多個總線可以用于執行不同的功能,和/或可以用于冗余。例如,第一總線可以用于碰撞避免功能,并且第二總線可以用于致動控制。在至少一個實施例中,總線1002的每個總線可以與車輛1000的任何組件通信,并且總線1002的兩個或更多個可以與相應的組件通信。在至少一個實施例中,任何數量的片上系統(“soc”)1004(例如,soc 1004(a)和soc 1004(b))中的每一個,一個或更多個控制器1036中的每一個和/或車輛內的每個計算機都可以訪問相同的輸入數據(例如,來自車輛1000的傳感器的輸入),并且可以連接到公共總線,例如can總線。
    [0157]
    在至少一個實施例中,車輛1000可以包括一個或更多個控制器1036,諸如本文關于圖10a所描述的那些。在至少一個實施例中,控制器1036可以用于多種功能。在至少一個實施例中,控制器1036可以耦合到車輛1000的各種其他組件和系統中的任何一個,并且可以用于控制車輛1000、車輛1000的人工智能、車輛1000的信息娛樂和/或其他功能。
    [0158]
    在至少一個實施例中,車輛1000可以包括任何數量的soc 1004。在至少一個實施例中,soc 1004中的每一個可以包括但不限于中央處理單元(“一個或更多個cpu”)1006、圖形處理單元(“一個或更多個gpu”)1008、一個或更多個處理器1010、一個或更多個高速緩存1012、一個或更多個加速器1014、一個或更多個數據存儲1016和/或其他未顯示的組件和特征。在至少一個實施例中,一個或更多個soc 1004可以用于在各種平臺和系統中控制車輛1000。例如,在至少一個實施例中,一個或更多個soc 1004可以與高清晰度(“hd”)地圖1022
    在系統(例如,車輛1000的系統)中組合,該高清晰度地圖1022可以經由網絡接口1024從一個或更多個服務器(圖10c中未示出)獲得地圖刷新和/或更新。
    [0159]
    在至少一個實施例中,一個或更多個cpu 1006可以包括cpu集群或cpu復合體(在本文中可替代地稱為“ccplex”)。在至少一個實施例中,一個或更多個cpu 1006可以包括多個核心和/或二級(“l2”)高速緩存。例如,在至少一個實施例中,一個或更多個cpu 1006可以在相互耦合的多處理器配置中包括八個核心。在至少一個實施例中,一個或更多cpu 1006可以包括四個雙核心集群,其中每個集群具有專用的l2高速緩存(例如,2mbl2高速緩存)。在至少一個實施例中,一個或更多cpu 1006(例如,ccplex)可以配置成支持同時的集群操作,使得一個或更多cpu 1006的集群的任何組合在任何給定的時間都可以是活躍的。
    [0160]
    在至少一個實施例中,一個或更多個cpu 1006可以實現電源管理功能,這些功能包括但不限于以下特征中的一個或更多個:空閑時可以自動對各個硬件模塊進行時鐘門控以節省動態功率;當該核心由于執行等待中斷(“wfi”)/事件等待(“wfe”)指令而未主動執行指令時,可以對每個核心時鐘進行門控;每個核心都可以獨立供電;當所有核心都被時鐘門控或功率門控時,每個核心集群可以被獨立地時鐘門控;以及/或當所有核心都被功率門控時,每個核心集群可以被獨立地功率門控。在至少一個實施例中,一個或更多cpu 1006可以進一步實現用于管理功率狀態的增強算法,其中指定了允許的功率狀態和預期的喚醒時間,并且硬件/微碼確定了針對核心、集群和ccplex輸入的最佳功率狀態。在至少一個實施例中,處理核心可以在軟件中支持簡化的功率狀態輸入序列,其中工作被分擔給微碼。
    [0161]
    在至少一個實施例中,一個或更多個gpu 1008可以包括集成的gpu (在本文中或者稱為“igpu”)。在至少一個實施例中,一個或更多個gpu 1008可以是可編程的,并且對于并行工作負載可以是有效的。在至少一個實施例中,一個或更多個gpu 1008可以使用增強的張量指令集。在至少一個實施例中,一個或更多個gpu 1008可以包括一個或更多個流式微處理器,其中每個流式微處理器可以包括一級(“l1”)高速緩存(例如,具有至少96kb的存儲容量的l1高速緩存),以及兩個或更多個流式微處理器可以共享l2高速緩存(例如,具有512kb存儲容量的l2高速緩存)。在至少一個實施例中,一個或更多個gpu 1008可以包括至少八個流式微處理器。在至少一個實施例中,一個或更多個gpu 1008可以使用計算應用程序編程接口(api)。在至少一個實施例中,一個或更多gpu 1008可以使用一個或更多個并行計算平臺和/或編程模型(例如,nvidia的cuda模型)。
    [0162]
    在至少一個實施例中,一個或更多個gpu 1008可以經功耗優化以在汽車和嵌入式用例中獲得最佳性能。例如,在至少一個實施例中,可以在鰭式場效應晶體管(“finfet”)電路上制造一個或更多個gpu 1008。在至少一個實施例中,每個流式微處理器可以包含多個劃分為多個塊的混合精度處理核心,。例如但不限于,可以將64個pf32核心和32個pf64核心劃分為四個處理塊。在至少一個實施例中,可以為每個處理塊分配16個fp32核心、8個fp64核心、16個int32核心、兩個用于深度學習矩陣算術的混合精度nvidia張量核心、零級(“l0”)指令緩存、線程束調度器、分派單元和/或64kb寄存器文件。在至少一個實施例中,流式微處理器可以包括獨立的并行整數和浮點數據路徑來提供混合了計算和尋址運算的工作量的有效執行。在至少一個實施例中,流式微處理器可以包括獨立的線程調度能力,以實現更細粒度的同步和并行線程之間的協作。在至少一個實施例中,流式微處理器可以包括組合的l1數據高速緩存和共享存儲器單元,以便在簡化編程的同時提高性能。
    [0163]
    在至少一個實施例中,一個或更多個gpu 1008可以包括高帶寬存儲器(“hbm”)和/或16gbhbm2存儲器子系統,以在一些示例中提供約900gb/秒的峰值存儲帶寬。在至少一個實施例中,除了或替代于hbm存儲器,可以使用同步圖形隨機存取存儲器(“sgram”),例如圖形雙倍數據速率類型的五同步隨機存取存儲器(“gddr5”)。
    [0164]
    在至少一個實施例中,一個或更多個gpu 1008可以包括統一存儲器技術。在至少一個實施例中,地址轉換服務(“ats”)支持可以用于允許一個或更多個gpu 1008直接訪問一個或更多個cpu 1006頁表。在至少一個實施例中,當一個或更多個gpu 1008中的gpu的一個存儲器管理單元(“mmu”)經歷未命中時,可以將地址轉換請求發送到一個或更多個cpu 1006。作為響應,在至少一個實施例中,一個或更多個cpu 1006中的2 cpu可以在其頁面表中查找地址的虛擬-物理的映射并將轉換傳送回一個或更多個gpu 1008。在至少一個實施例中,統一存儲器技術可以允許單個統一虛擬地址空間用于一個或更多個cpu 1006和一個或更多個gpu 1008兩者的存儲器,從而簡化了一個或更多個gpu 1008的編程以及將應用程序移植到一個或更多個gpu 1008。
    [0165]
    在至少一個實施例中,一個或更多個gpu 1008可以包括任意數量的訪問計數器,其可以跟蹤一個或更多個gpu 1008對其他處理器的存儲器的訪問頻率。在至少一個實施例中,一個或更多個訪問計數器可以幫助確保將存儲器頁移動到最頻繁訪問頁面的處理器的物理存儲器中,從而提高處理器之間共享的存儲器范圍的效率。
    [0166]
    在至少一個實施例中,一個或更多個soc 1004可以包括任何數量的高速緩存1012,包括本文所述的那些。例如,在至少一個實施例中,一個或更多個高速緩存1012可以包括可用于一個或更多個cpu 1006和一個或更多個gpu 1008(例如,連接到cpu 1006和gpu 1008)的三級(“l3”)高速緩存。在至少一個實施例中,一個或更多個高速緩存1012可以包括回寫式高速緩存,該回寫式高速緩存可以例如通過使用高速緩存相干協議(例如,mei、mesi、msi等)來跟蹤線的狀態。在至少一個實施例中,盡管可以使用較小的高速緩存大小,根據實施例,l3高速緩存可以包括4mb存儲器或更多。
    [0167]
    在至少一個實施例中,一個或更多個soc 1004可以包括一個或更多個加速器1014(例如,硬件加速器、軟件加速器或其組合)。在至少一個實施例中,一個或更多個soc 1004可以包括硬件加速集群,其可以包括優化的硬件加速器和/或大的片上存儲器。在至少一個實施例中,大的片上存儲器(例如,4mb的sram)可以使硬件加速集群能夠加速神經網絡和其他計算。在至少一個實施例中,硬件加速集群可以用于補充一個或更多個gpu 1008并且卸載一個或更多個gpu 1008的一些任務(例如,釋放一個或更多個gpu 1008的更多周期以執行其他任務)。在至少一個實施例中,一個或更多個加速器1014可以用于足夠穩定以經得起加速檢驗的目標工作負載(例如,感知、卷積神經網絡(“cnn”)、遞歸神經網絡(“rnn”)等)。在至少一個實施例中,cnn可以包括基于區域或區域卷積神經網絡(“rcnn”)和快速rcnn(例如,如用于對象檢測)或其他類型的cnn。
    [0168]
    在至少一個實施例中,一個或更多個加速器1014(例如,硬件加速集群)可以包括一個或更多個深度學習加速器(“dla”)。在至少一個實施例中,一個或更多個dla可以包括但不限于一個或更多個tensor處理單元(“tpu”),其可以配置成每秒提供額外的10萬億次操作用于深度學習應用程序和推理。在至少一個實施例中,tpu可以是配置成并被優化用于執行圖像處理功能(例如,用于cnn、rcnn等)的加速器。在至少一個實施例中,可以針對神經
    網絡類型和浮點運算以及推理的特定集合進一步優化一個或更多個dla。在至少一個實施例中,一個或更多個dla的設計可以提供比典型的通用gpu更高的每毫米性能,并且通常大大超過cpu的性能。在至少一個實施例中,一個或更多個tpu可執行若干功能,包括支持例如int8、int16和fp16數據類型以用于特征和權重的單實例卷積功能以及后處理器功能的。在至少一個實施例中,一個或更多個dla可以針對各種功能中的任何功能,在處理或未處理的數據上快速且有效地執行神經網絡,尤其是cnn,包括例如但不限于:用于使用來自相機傳感器的數據進行對象識別和檢測的cnn;用于使用來自相機傳感器的數據進行距離估算的cnn;用于使用來自麥克風的數據進行緊急車輛檢測以及識別和檢測的cnn;用于使用來自相機傳感器的數據進行人臉識別和車主識別的cnn;以及/或用于安全和/或安全相關事件的cnn。
    [0169]
    在至少一個實施例中,dla可以執行一個或更多個gpu 1008的任何功能,并且通過使用推理加速器,例如,設計者可以將一個或更多個dla或一個或更多個gpu 1008作為目標用于任何功能。例如,在至少一個實施例中,設計者可以將cnn的處理和浮點運算集中在一個或更多個dla上,并將其他功能留給一個或更多個gpu 1008和/或一個或更多個加速器1014。
    [0170]
    在至少一個實施例中,一個或更多個加速器1014可以包括可編程視覺加速器(“pva”),其在本文中可以可替代地稱為計算機視覺加速器。在至少一個實施例中,一個或更多個pva可以設計和配置為加速用于高級駕駛員輔助系統(“adas”)1038、自動駕駛、增強現實(“ar”)應用程序和/或虛擬現實(“vr”)應用程序的計算機視覺算法。在至少一個實施例中,一個或更多個pva可以在性能和靈活性之間取得平衡。例如,在至少一個實施例中,一個或更多個pva中的每一個可以包括例如但不限于任何數量的精簡指令集計算機(“risc”)核心、直接存儲器訪問(“dma”)和/或任意數量的向量處理器。
    [0171]
    在至少一個實施例中,risc核心可以與圖像傳感器(例如,本文描述的任意相機的圖像傳感器)、圖像信號處理器等交互。在至少一個實施例中,每個risc核心可以包括任意數量的存儲器。在至少一個實施例中,根據實施例,risc核心可以使用多種協議中的任意一種。在至少一個實施例中,risc核心可以執行實時操作系統(“rtos”)。在至少一個實施例中,可以使用一個或更多個集成電路設備、專用集成電路(“asic”)和/或存儲設備來實現risc核心。例如,在至少一個實施例中,risc核心可以包括指令高速緩存和/或緊密耦合的ram。
    [0172]
    在至少一個實施例中,dma可以使pva的組件能夠獨立于一個或更多個cpu 1006訪問系統存儲器。在至少一個實施例中,dma可以支持用于向pva提供優化的任何數量的特征,包括但不限于,支持多維尋址和/或循環尋址。在至少一個實施例中,dma可以支持多達六個或更多個尋址的維度,其可以包括但不限于塊寬度、塊高度、塊深度、水平塊步進、垂直塊步進和/或深度步進。
    [0173]
    在至少一個實施例中,向量處理器可以是可編程處理器,其可以設計為有效且靈活地執行用于計算機視覺算法并提供信號處理能力的編程。在至少一個實施例中,pva可以包括pva核心和兩個向量處理子系統分區。在至少一個實施例中,pva核心可以包括處理器子系統、dma引擎(例如,兩個dma引擎)和/或其他外圍設備。在至少一個實施例中,向量處理子系統可以用作pva的主要處理引擎,并且可以包括向量處理單元(“vpu”)、指令高速緩存
    和/或向量存儲器(例如“vmem”)。在至少一個實施例中,vpu核心可以包括數字信號處理器,例如,單指令多數據(“simd”)、超長指令字(“vliw”)數字信號處理器。在至少一個實施例中,simd和vliw的組合可以提高吞吐量和速度。
    [0174]
    在至少一個實施例中,每個向量處理器可以包括指令高速緩存并且可以耦合到專用存儲器。結果,在至少一個實施例中,每個向量處理器可以配置為獨立于其他向量處理器執行。在至少一個實施例中,特定pva中包括的向量處理器可以配置為采用數據并行性。例如,在至少一個實施例中,單個pva中包括的多個向量處理器可以執行通用計算機視覺算法,除了在圖像的不同區域上之外。在至少一個實施例中,包括在特定pva中的向量處理器可以在一個圖像上同時執行不同的計算機視覺算法,或者甚至在序列圖像或部分圖像上執行不同的算法。在至少一個實施例中,除其他外,在硬件加速集群中可以包括任何數量的pva,并且在每個pva中可以包括任何數量的向量處理器。在至少一個實施例中,pva可以包括附加的糾錯碼(“ecc”)存儲器,以增強整體系統安全性。
    [0175]
    在至少一個實施例中,一個或更多個加速器1014可以包括片上計算機視覺網絡和靜態隨機存取存儲器(“sram”),用于為一個或更多個加速器1014提供高帶寬,低延遲sram。在至少一個實施例中,片上存儲器可以包括至少4mb sram,其包括例如但不限于八個現場可配置的內存塊,pva和dla均可以對其進行訪問。在至少一個實施例中,每對存儲塊可以包括高級外圍總線(“apb”)接口、配置電路、控制器和多路復用器。在至少一個實施例中,可以使用任何類型的存儲器。在至少一個實施例中,pva和dla可以經由為pva和dla提供對存儲器的高速訪問的主干網來訪問存儲器。在至少一個實施例中,主干網可以包括片上計算機視覺網絡,其將pva和dla互連到存儲器(例如,使用apb)。
    [0176]
    在至少一個實施例中,片上計算機視覺網絡可以包括接口,該接口在傳輸任何控制信號/地址/數據之前確定pva和dla均提供就緒和有效信號。在至少一個實施例中,接口可以提供用于發送控制信號/地址/數據的單獨的相位和單獨的信道,以及用于連續數據傳輸的突發型通信。在至少一個實施例中,盡管可以使用其他標準和協議,但是接口可以符合國際標準化組織(“iso”)26262或國際電工委員會(“iec”)61508標準。
    [0177]
    在至少一個實施例中,一個或更多個soc 1004可以包括實時視線追蹤硬件加速器。在至少一個實施例中,實時視線追蹤硬件加速器可以用于快速且有效地確定對象的位置和范圍(例如,在世界模型內),以生成實時可視化模擬,以用于radar信號解釋,用于聲音傳播合成和/或分析,用于sonar系統的模擬,用于一般的波傳播模擬,與用于定位和/或其他功能的lidar數據進行比較,和/或用于其他用途。
    [0178]
    在至少一個實施例中,一個或更多個加速器1014具有用于自動駕駛的廣泛用途。在至少一個實施例中,pva可以用于adas和自動駕駛汽車中的關鍵處理階段。在至少一個實施例中,在低功耗和低延遲下pva的能力與需要可預測的處理的算法域良好匹配。換句話說,pva在半密集或密集的常規計算中表現出色,即使在小型數據集上也是如此,這些數據集可能需要具有低延遲和低功耗的可預測的運行時間。在至少一個實施例中,諸如在車輛1000中pva可能被設計為運行經典的計算機視覺算法,因為它們可以在對象檢測和整數數學運算方面是有效的。
    [0179]
    例如,根據技術的至少一個實施例,pva被用于執行計算機立體視覺。在至少一個實施例中,可以在一些示例中使用基于半全局匹配的算法,盡管這并不意味著限制性。在至
    少一個實施例中,用于3-5級自動駕駛的應用程序在運行中使用動態的估計/立體匹配(例如,從運動中恢復結構、行人識別、車道檢測等)。在至少一個實施例中,pva可以對來自兩個單目相機的輸入執行計算機立體視覺功能。
    [0180]
    在至少一個實施例中,pva可以用于執行密集的光流。例如,在至少一個實施例中,pva可以處理原始radar數據(例如,使用4d快速傅立葉變換)以提供處理后的radar數據。在至少一個實施例中,例如,通過處理原始飛行時間數據以提供處理后的飛行時間數據,將pva用于飛行時間深度處理。
    [0181]
    在至少一個實施例中,dla可用于運行任何類型的網絡以增強控制和駕駛安全性,包括例如但不限于神經網絡,其輸出用于每個對象檢測的置信度。在至少一個實施例中,可以將置信度表示或解釋為概率,或者表示為提供每個檢測相對于其他檢測的相對“權重”。在至少一個實施例中,置信度測量結果使系統能夠做出進一步的決定,即關于哪些檢測應當被認為是真正的陽性檢測而不是假陽性檢測。在至少一個實施例中,系統可以為置信度設置閾值,并且僅將超過閾值的檢測視為真陽性檢測。在使用自動緊急制動(“aeb”)系統的實施例中,假陽性檢測將導致車輛自動執行緊急制動,這顯然是不希望的。在至少一個實施例中,高度自信的檢測可以被認為是aeb的觸發。在至少一個實施例中,dla可以運行用于回歸置信度值的神經網絡。在至少一個實施例中,神經網絡可以將參數的至少一些子集作為其輸入,例如包圍盒尺寸,獲得的地平面估計(例如,從另一子系統),與從神經網絡和/或其他傳感器(例如,一個或更多個lidar傳感器1064或一個或更多個radar傳感器1060)等獲得的對象的車輛1000方向、距離、3d位置估計相關的一個或更多個imu傳感器1066的輸出。
    [0182]
    在至少一個實施例中,一個或更多個soc 1004可以包括一個或更多個數據存儲裝置1016(例如,存儲器)。在至少一個實施例中,一個或更多個數據存儲1016可以是一個或更多個soc 1004的片上存儲器,其可以存儲要在一個或更多個gpu 1008和/或dla上執行的神經網絡。在至少一個實施例中,一個或更多個數據存儲1016可以具有足夠大的容量以存儲神經網絡的多個實例以用于冗余和安全。在至少一個實施例中,一個或更多個數據存儲1016可以包括l2或l3高速緩存。
    [0183]
    在至少一個實施例中,一個或更多個soc 1004可以包括任何數量的處理器1010(例如,嵌入式處理器)。在至少一個實施例中,一個或更多個處理器1010可以包括啟動和電源管理處理器,該啟動和電源管理處理器可以是專用處理器和子系統,以處理啟動電源和管理功能以及相關的安全實施。在至少一個實施例中,啟動和電源管理處理器可以是一個或更多個soc 1004啟動序列的一部分,并且可以提供運行時電源管理服務。在至少一個實施例中,啟動功率和管理處理器可以提供時鐘和電壓編程,輔助系統低功率狀態轉換,一個或更多個soc 1004熱和溫度傳感器管理和/或一個或更多個soc 1004功率狀態管理。在至少一個實施例中,每個溫度傳感器可以實現為其輸出頻率與溫度成比例的環形振蕩器,并且一個或更多個soc 1004可以使用環形振蕩器來檢測一個或更多個cpu 1006,一個或更多個gpu1008和/或一個或更多個加速器1014的溫度。在至少一個實施例中,如果確定溫度超過閾值,則啟動和電源管理處理器可以進入溫度故障例程,并將一個或更多個soc 1004置于較低功耗狀態和/或將車輛1000置于司機的安全停車圖案(例如,使車輛1000安全停車)。
    [0184]
    在至少一個實施例中,一個或更多個處理器1010可以進一步包括一組嵌入式處理器,其可以用作音頻處理引擎,所述音頻處理引擎可以是音頻子系統,其能夠通過多個接口
    以及廣泛且靈活范圍的音頻i/o接口為硬件提供對多通道音頻的完全硬件支持。在至少一個實施例中,音頻處理引擎是專用處理器核心,其具有帶專用ram的數字信號處理器。
    [0185]
    在至少一個實施例中,一個或更多個處理器1010可以進一步包括始終在線的處理器引擎,該引擎可以提供必要的硬件特征以支持低功率傳感器管理和喚醒用例。在至少一個實施例中,始終在線的處理器引擎上的處理器可以包括但不限于處理器核心、緊密耦合的ram、支持外圍設備(例如,定時器和中斷控制器)、各種i/o控制器外圍設備以及路由邏輯。
    [0186]
    在至少一個實施例中,一個或更多個處理器1010可以進一步包括安全集群引擎,該安全集群引擎包括但不限于用于處理汽車應用程序的安全管理的專用處理器子系統。在至少一個實施例中,安全集群引擎可以包括但不限于兩個或更多個處理器核心、緊密耦合的ram、支持外圍設備(例如,定時器、中斷控制器等)和/或路由邏輯。在安全模式下,在至少一個實施例中,兩個或更多個核心可以以鎖步模式操作,并且可以用作具有用以檢測其操作之間的任何差異的比較邏輯的單個核心。在至少一個實施例中,一個或更多個處理器1010可以進一步包括實時相機引擎,該實時相機引擎可以包括但不限于用于處理實時相機管理的專用處理器子系統。在至少一個實施例中,一個或更多個處理器1010可以進一步包括高動態范圍信號處理器,該高動態范圍信號處理器可以包括但不限于圖像信號處理器,該圖像信號處理器是作為相機處理管線的一部分的硬件引擎。
    [0187]
    在至少一個實施例中,一個或更多個處理器1010可以包括視頻圖像合成器,該視頻圖像合成器可以是處理塊(例如,在微處理器上實現),該處理塊實現視頻回放應用程序產生最終的視頻所需要的視頻后處理功能,以產生用于播放器窗口的最終圖像。在至少一個實施例中,視頻圖像合成器可以在一個或更多個廣角相機1070、一個或更多個環繞相機1074和/或一個或更多個艙內監控相機傳感器上執行透鏡畸變校正。在至少一個實施例中,優選地,由在soc 1004的另一實例上運行的神經網絡來監控艙室內監控相機傳感器,該神經網絡被配置為識別艙室事件并相應地做出響應。在至少一個實施例中,艙室內系統可以執行但不限于唇讀以激活蜂窩服務和撥打電話、指示電子郵件、改變車輛的目的地、激活或改變車輛的信息娛樂系統和設置、或者提供語音激活的網上沖浪。在至少一個實施例中,當車輛以自主模式運行時,某些功能對于駕駛員是可用的,否則將其禁用。
    [0188]
    在至少一個實施例中,視頻圖像合成器可以包括用于同時空間和時間降噪的增強的時間降噪。例如,在至少一個實施例中,在運動發生在視頻中的情況下,降噪適當地對空間信息加權,從而減小由相鄰幀提供的信息的權重。在至少一個實施例中,在圖像或圖像的一部分不包括運動的情況下,由視頻圖像合成器執行的時間降噪可以使用來自先前圖像的信息來降低當前圖像中的噪聲。
    [0189]
    在至少一個實施例中,視頻圖像合成器還可以配置為對輸入的立體透鏡幀執行立體校正。在至少一個實施例中,當使用操作系統桌面時,視頻圖像合成器還可以用于用戶接口合成,并且不需要一個或更多個gpu 1008來連續渲染新表面。在至少一個實施例中,當對一個或更多個gpu 1008供電并使其活躍地進行3d渲染時,視頻圖像合成器可以被用于卸載一個或更多個gpu 1008以改善性能和響應性。
    [0190]
    在至少一個實施例中,soc 1004中的一個或更多個soc可以進一步包括用于從相機接收視頻和輸入的移動工業處理器接口(“mipi”)相機串行接口、高速接口和/或可用于
    相機和相關像素輸入功能的視頻輸入塊。在至少一個實施例中,一個或更多個soc 1004可以進一步包括輸入/輸出控制器,該輸入/輸出控制器可以由軟件控制并且可以被用于接收未提交給特定角色的i/o信號。
    [0191]
    在至少一個實施例中,soc 1004中的一個或更多個soc可以進一步包括廣泛的外圍接口,以使得能夠與外圍設備、音頻編碼器/解碼器(“編解碼器”),電源管理和/或其他設備通信。在至少一個實施例中,一個或更多個soc 1004可用于處理來自(例如,通過千兆位多媒體串行鏈路和以太網通道連接)相機、傳感器(例如,一個或更多個lidar傳感器1064,一個或更多個radar傳感器1060等,其可以通過以太網通道連接)的數據,來自總線1002的數據(例如,車輛1000的速度、方向盤位置等),來自一個或更多個gnss傳感器1058的數據(例如,通過以太網總線或can總線連接)等。在至少一個實施例中,soc 1004中的一個或更多個soc可以進一步包括專用高性能海量存儲控制器,其可以包括它們自己的dma引擎,并且可以用于使一個或更多個cpu 1006擺脫常規數據管理任務。
    [0192]
    在至少一個實施例中,一個或更多個soc 1004可以是具有靈活架構的端到端平臺,其跨越自動化級別3-5級,從而提供利用并有效使用計算機視覺和adas技術來實現多樣性和冗余的綜合的功能安全架構,其提供了可提供靈活、可靠的駕駛軟件堆棧以及深度學習工具的平臺。在至少一個實施例中,一個或更多個soc 1004可以比常規系統更快、更可靠,并且甚至在能量效率和空間效率上也更高。例如,在至少一個實施例中,一個或更多個加速器1014當與一個或更多個cpu 1006、一個或更多個gpu 1008以及一個或更多個數據存儲裝置1016結合時,可以提供用于3-5級自動駕駛車輛的快速、有效的平臺。
    [0193]
    在至少一個實施例中,計算機視覺算法可以在cpu上執行,cpu可以使用高級編程語言(例如c)配置為在多種視覺數據上執行多種處理算法。然而,在至少一個實施例中,cpu通常不能滿足許多計算機視覺應用程序的性能要求,例如與執行時間和功耗有關的性能要求。在至少一個實施例中,許多cpu不能實時執行復雜的對象檢測算法,該算法被用于車載adas應用程序和實際3-5級自動駕駛車輛中。
    [0194]
    本文所述的實施例允許同時和/或序列地執行多個神經網絡,并且允許將結果結合在一起以實現3-5級自動駕駛功能。例如,在至少一個實施例中,在dla或離散gpu(例如,一個或更多個gpu 1020)上執行的cnn可包括文本和單詞識別,從而允許超級計算機讀取和理解交通標志,包括神經網絡尚未被專門訓練的標志。在至少一個實施例中,dla還可包括神經網絡,該神經網絡能夠識別、解釋并提供符號的語義理解,并將該語義理解傳遞給在cpucomplex上運行的路徑規劃模塊。
    [0195]
    在至少一個實施例中,對于3、4或5級的驅動,可以同時運行多個神經網絡。例如,在至少一個實施例中,由警告標志聲明“注意:閃爍的燈光指示結冰狀況”和電燈可以由多個神經網絡獨立地或共同地解釋。在至少一個實施例中,可以通過第一部署的神經網絡(例如,已經訓練的神經網絡)將該警告標志本身識別為交通標志,可以通過第二部署的神經網絡來解釋文本“閃爍的燈光指示結冰狀況”,其通知車輛的路徑規劃軟件(最好在cpucomplex上執行):當檢測到閃爍的燈光時,就會存在結冰狀況。在至少一個實施例中,可以通過在多個幀上操作第三部署的神經網絡來識別閃爍的燈,向車輛的路徑規劃軟件通知存在(或不存在)閃爍的燈。在至少一個實施例中,所有三個神經網絡可以同時運行,例如在dla內和/或在一個或更多個gpu 1008上。
    [0196]
    在至少一個實施例中,用于面部識別和車輛所有者識別的cnn可以使用來自相機傳感器的數據來識別授權駕駛員和/或車輛1000的所有者的存在。在至少一個實施例中,當所有者接近駕駛員門并打開燈時,常開傳感器處理器引擎可用于解鎖車輛,并且,在安全模式下,當所有者離開該車輛時,可用于禁用該車輛。以此方式,一個或更多個soc 1004提供防止盜竊和/或劫車的保障。
    [0197]
    在至少一個實施例中,用于緊急車輛檢測和識別的cnn可以使用來自麥克風1096的數據來檢測和識別緊急車輛警報器。在至少一個實施例中,一個或更多個soc 1004使用cnn來對環境和城市聲音進行分類,以及對視覺數據進行分類。在至少一個實施例中,訓練在dla上運行的cnn以識別緊急車輛的相對接近速度(例如,通過使用多普勒效應)。在至少一個實施例中,還可以訓練cnn來識別針對車輛正在運行的區域的緊急車輛,如一個或更多個gnss傳感器1058所識別。在至少一個實施例中,當在歐洲運行時,cnn將尋求檢測歐洲警報器,而在北美洲時,cnn將尋求僅識別北美警報器。在至少一個實施例中,一旦檢測到緊急車輛,就可以在一個或更多個超聲波傳感器1062的輔助下使用控制程序來執行緊急車輛安全例程、減速車輛、將車輛駛至路邊、停車、和/或使車輛閑置,直到緊急車輛通過。
    [0198]
    在至少一個實施例中,車輛1000可以包括一個或更多個cpu 1018(例如,一個或更多個離散cpu或一個或更多個dcpu),其可以經由高速互連(例如pcie)耦合到一個或更多個soc 1004。在至少一個實施例中,例如,一個或更多個cpu 1018可以包括x86處理器。例如,一個或更多個cpu 1018可用于執行各種功能中的任何功能,包括仲裁adas傳感器和一個或更多個soc 1004之間可能不一致的結果,和/或一個或更多個監控控制器1036的狀態和健康和/或芯片上的信息娛樂系統1030(“信息娛樂soc”)。
    [0199]
    在至少一個實施例中,車輛1000可以包括一個或更多個gpu 1020(例如,一個或更多個離散gpu或一個或更多個dgpu),其可以經由高速互連(例如nvidia的nvlink通道)耦合到一個或更多個soc 1004。在至少一個實施例中,一個或更多個gpu 1020可以提供附加的人工智能功能,例如通過執行冗余和/或不同的神經網絡,并且可以至少部分地基于來自車輛1000的傳感器的輸入(例如,傳感器數據)來用于訓練和/或更新神經網絡。
    [0200]
    在至少一個實施例中,車輛1000可以進一步包括網絡接口1024,其可以包括但不限于一個或更多個無線天線1026(例如,用于不同通信協議的一個或更多個無線天線,諸如蜂窩天線、藍牙天線等)。在至少一個實施例中,網絡接口1024可以用于使能通過互聯網云服務(例如,采用服務器和/或其他網絡設備)與其他車輛和/或計算設備(例如乘客的客戶端設備)的無線連接。在至少一個實施例中,為了與其他車輛通信,可以在車輛1000和另一車輛之間建立直接鏈路和/或可以建立間接鏈路(例如,通過網絡和互聯網)。在至少一個實施例中,可以使用車輛到車輛的通信鏈路來提供直接鏈路。在至少一個實施例中,車輛到車輛的通信鏈路可以向車輛1000提供關于車輛1000附近的車輛的信息(例如,車輛1000前面、側面和/或后面的車輛)。在至少一個實施例中,該前述功能可以是車輛1000的協作自適應巡航控制功能的一部分。
    [0201]
    在至少一個實施例中,網絡接口1024可以包括soc,其提供調制和解調功能并使一個或更多個控制器1036能夠通過無線網絡進行通信。在至少一個實施例中,網絡接口1024可以包括射頻前端,用于從基帶到射頻的上轉換以及從射頻到基帶的下轉換。在至少一個實施例中,可以以任何技術上可行的方式執行頻率轉換。例如,可以通過公知的過程和/或
    使用超外差過程來執行頻率轉換。在至少一個實施例中,射頻前端功能可以由單獨的芯片提供。在至少一個實施例中,網絡接口可以包括用于通過lte、wcdma、umts、gsm、cdma2000、藍牙、藍牙le、wi-fi、z-wave、zigbee、lorawan和/或其他無線協議進行通信的無線功能。
    [0202]
    在至少一個實施例中,車輛1000可以進一步包括一個或更多個數據存儲1028,其可以包括但不限于片外(例如,一個或更多個片外soc 1004)存儲。在至少一個實施例中,一個或更多個數據存儲1028可以包括但不限于一個或更多個存儲元件,包括ram、sram、動態隨機存取存儲器(“dram”)、視頻隨機存取存儲器(“vram”)、閃存、硬盤和/或其他組件和/或可以存儲至少一位數據的設備。
    [0203]
    在至少一個實施例中,車輛1000可以進一步包括一個或更多個gnss傳感器1058(例如,gps和/或輔助gps傳感器),以輔助地圖繪制、感知、占用光柵生成和/或路徑規劃功能。在至少一個實施例中,可以使用任何數量的gnss傳感器1058,包括例如但不限于使用具有以太網的usb連接器連接到串行接口(例如rs-232)橋的gps。
    [0204]
    在至少一個實施例中,車輛1000可以進一步包括一個或更多個radar傳感器1060。在至少一個實施例中,一個或更多個radar傳感器1060可以由車輛1000用于遠程車輛檢測,即使在黑暗和/或惡劣天氣條件下。在至少一個實施例中,radar功能安全等級可以是asilb。在至少一個實施例中,一個或更多個radar傳感器1060可以使用can總線和/或總線1002(例如,以傳輸由一個或更多個radar傳感器1060生成的數據)來進行控制和訪問對象跟蹤數據,在某些示例中可以訪問以太網通道以訪問原始數據。在至少一個實施例中,可以使用各種各樣的radar傳感器類型。例如但不限于,radar傳感器1060中的一個或更多個傳感器可適合于前、后和側面radar使用。在至少一個實施例中,一個或更多個radar傳感器1060是脈沖多普勒radar傳感器。
    [0205]
    在至少一個實施例中,一個或更多個radar傳感器1060可以包括不同的配置,例如具有窄視野的遠程、具有寬事業的近程、近程側面覆蓋等。在至少一個實施例中,遠程radar可以用于自適應巡航控制功能。在至少一個實施例中,遠程radar系統可以提供通過兩次或更多次獨立掃描(例如在250m范圍內)實現的寬廣的視野。在至少一個實施例中,一個或更多個radar傳感器1060可以幫助在靜態對象和運動對象之間區分,并且可以被adas系統1038用于緊急制動輔助和向前碰撞警告。在至少一個實施例中,包括在遠程radar系統中的一個或更多個傳感器1060可以包括但不限于具有多個(例如六個或更多個)固定radar天線以及高速can和flexray接口的單基地多模式radar。在至少一個實施例中,具有六個天線、中央四個天線可以創建聚焦的波束圖,該波束圖設計為以較高的速度記錄車輛1000的周圍環境,而相鄰車道的交通干擾最小。在至少一個實施例中,其他兩個天線可以擴大視野,從而可以快速檢測進入或離開車道的車輛1000。
    [0206]
    在至少一個實施例中,作為示例,中程radar系統可包括例如高達160m(前)或80m(后)的范圍,以及高達42度(前)或150度(后)的視野。在至少一個實施例中,短程radar系統可以包括但不限于設計成安裝在后保險杠的兩端的任意數量的radar傳感器1060。當安裝在后保險杠的兩端時,在至少一個實施例中,radar傳感器系統可以產生兩個光束,該兩個光束不斷地監測車輛后部方向和附近的盲點。在至少一個實施例中,短程radar系統可以在adas系統1038中用于盲點檢測和/或車道改變輔助。
    [0207]
    在至少一個實施例中,車輛1000可以進一步包括一個或更多個超聲傳感器1062。
    在至少一個實施例中,可以定位在車輛1000的前、后和/或側面位置的一個或更多個超聲傳感器1062可以用于停車輔助和/或創建和更新占用光柵。在至少一個實施例中,可以使用各種各樣的超聲傳感器1062,并且可以將不同的超聲傳感器1062用于不同的檢測范圍(例如2.5m、4m)。在至少一個實施例中,超聲傳感器1062可以在asilb的功能安全等級下操作。
    [0208]
    在至少一個實施例中,車輛1000可以包括一個或更多個lidar傳感器1064。在至少一個實施例中,一個或更多個lidar傳感器1064可以用于對象和行人檢測、緊急制動、避免碰撞和/或其他功能。在至少一個實施例中,一個或更多個lidar傳感器1064可以在功能安全等級asilb操作。在至少一個實施例中,車輛1000可以包括可以使用以太網通道的多個(例如,兩個、四個、六個等)lidar傳感器1064(例如,將數據提供給千兆以太網交換機)。
    [0209]
    在至少一個實施例中,一個或更多個lidar傳感器1064可能能夠提供針對360度視野的對象及其距離的列表。在至少一個實施例中,市售的一個或更多個lidar傳感器1064例如可以具有大約100m的廣告范圍,具有2cm-3cm的精度,并且支持100mbps的以太網連接。在至少一個實施例中,可以使用一個或更多個非突出的lidar傳感器。在這樣的實施例中,一個或更多個lidar傳感器1064可以包括可以嵌入到車輛1000的前、后、側面和/或拐角位置中的小型設備。在至少一個實施例中,一個或更多個lidar傳感器1064,在這樣的實施例中,即使對于低反射率的對象,也可以提供高達120度的水平視野和35度的垂直視野,并且具有200m的范圍。在至少一個實施例中,可將前向一個或更多個lidar傳感器1064配置為用于45度至135度之間的水平視野。
    [0210]
    在至少一個實施例中,也可以使用lidar技術(諸如3d閃光lidar)。在至少一個實施例中,3d閃光lidar使用激光閃光作為傳輸源,以照亮車輛1000周圍大約200m。在至少一個實施例中,閃光lidar單元包括但不限于接收器,該接收器記錄激光脈沖傳播時間和每個像素上的反射光,該像素又對應于從車輛1000到對象的范圍。在至少一個實施例中,閃光lidar可以允許利用每個激光閃光生成周圍環境的高度準確且無失真的圖像。在至少一個實施例中,可以部署四個閃光lidar傳感器,在車輛1000的每一側部署一個傳感器。在至少一個實施例中,3d閃光lidar系統包括但不限于除了風扇(例如非掃描lidar設備)以外沒有移動部件的固態3d視線陣列lidar相機。在至少一個實施例中,閃光lidar設備可以每幀使用5納秒的i類(人眼安全)激光脈沖,并且可以捕獲反射激光,作為3d測距點云和共同登記的強度數據。
    [0211]
    在至少一個實施例中,車輛1000還可包括一個或更多個imu傳感器1066。在至少一個實施例中,一個或更多個imu傳感器1066可位于車輛1000的后軸中心。在至少一個實施例中,一個或更多個imu傳感器1066可以包括,例如但不限于,一個或更多個加速度計、一個或更多個磁力計、一個或更多個陀螺儀、一個磁羅盤、多個磁羅盤和/或其他傳感器類型。在至少一個實施例中,例如在六軸應用程序中,一個或更多個imu傳感器1066可以包括但不限于加速度計和陀螺儀。在至少一個實施例中,例如在九軸應用程序中,一個或更多個imu傳感器1066可以包括但不限于加速度計、陀螺儀和磁力計。
    [0212]
    在至少一個實施例中,一個或更多個imu傳感器1066可以實現為結合了微機電系統(“mems”)慣性傳感器,高靈敏度gps接收器和先進的卡爾曼濾波算法的微型高性能gps輔助慣性導航系統(“gps/ins”),以提供位置、速度和姿態的估算;在至少一個實施例中,一個或更多個imu傳感器1066可使車輛1000估算航向而無需來自磁傳感器通過直接觀測和關聯
    從gps到一個或更多個imu傳感器1066的速度變化來實現的輸入。在至少一個實施例中,一個或更多個imu傳感器1066和一個或更多個gnss傳感器1058可以組合在單個集成單元中。
    [0213]
    在至少一個實施例中,車輛1000可以包括放置在車輛1000內和/或周圍的一個或更多個麥克風1096。在至少一個實施例中,此外,一個或更多個麥克風1096可以用于緊急車輛檢測和識別。
    [0214]
    在至少一個實施例中,車輛1000可以進一步包括任何數量的相機類型,包括一個或更多個立體相機1068、一個或更多個廣角相機1070、一個或更多個紅外相機1072、一個或更多個環繞相機1074、一個或更多個遠程相機1098、一個或更多個中程相機1076和/或其他相機類型。在至少一個實施例中,相機可用于捕獲車輛1000的整個外圍周圍的圖像數據。在至少一個實施例中,所使用的相機的類型取決于車輛1000。在至少一個實施例中,相機類型的任何組合可以是用于在車輛1000周圍提供必要覆蓋范圍。在至少一個實施例中,部署的相機的數量可以根據實施例而不同。例如,在至少一個實施例中,車輛1000可以包括六個相機、七個相機、十個相機、十二個相機或其他數量的相機。在至少一個實施例中,相機可以作為示例但不限于支持千兆位多媒體串行鏈路(“gmsl”)和/或千兆位以太網通信。在至少一個實施例中,本文先前參照圖10a和圖10b可以更詳細地描述了每個相機。
    [0215]
    在至少一個實施例中,車輛1000可以進一步包括一個或更多個振動傳感器1042。在至少一個實施例中,一個或更多個振動傳感器1042可以測量車輛1000的部件(例如,軸)的振動。例如,在至少一個實施例中,振動的變化可以指示路面的變化。在至少一個實施例中,當使用兩個或更多個振動傳感器1042時,振動之間的差異可以用于確定路面的摩擦或打滑(例如,當在動力驅動軸和自由旋轉軸之間存在振動差異時)。
    [0216]
    在至少一個實施例中,車輛1000可以包括adas系統1038。在至少一個實施例中,adas系統1038可以包括但不限于soc。在至少一個實施例中,adas系統1038可以包括但不限于任何數量的自主/自適應/自動巡航控制(“acc”)系統、協作自適應巡航控制(“cacc”)系統、前撞警告(“fcw”)系統、自動緊急制動(“aeb”)系統、車道偏離警告(“ldw”)系統、車道保持輔助(“lka”)系統、盲區警告(“bsw”)系統、后方交叉交通警告(“rctw”)系統、碰撞警告(“cw”)系統、車道對中(“lc”)系統和/或其他系統、特征和/或功能及其組合。
    [0217]
    在至少一個實施例中,acc系統可以使用一個或更多個radar傳感器1060、一個或更多個lidar傳感器1064和/或任何數量的相機。在至少一個實施例中,acc系統可以包括縱向acc系統和/或橫向acc系統。在至少一個實施例中,縱向acc系統監控并控制到緊鄰車輛1000的另一車輛的距離,并自動調節車輛1000的速度以保持與前方車輛的安全距離。在至少一個實施例中,橫向acc系統執行距離保持,并在需要時建議車輛1000改變車道。在至少一個實施例中,橫向acc與其他adas應用程序有關,例如lc和cw。
    [0218]
    在至少一個實施例中,cacc系統使用來自其他車輛的信息,該信息可以經由網絡接口1024和/或一個或更多個無線天線1026從其他車輛接收經由無線鏈路或者間接經由網絡連接(例如,經由互聯網)接收。在至少一個實施例中,直接鏈路可以由車輛到車輛(“v2v”)的通信鏈路提供,而間接鏈路可以由基礎設施到車輛(“i2v”)的通信鏈路提供。通常,v2v通信提供關于緊接在前的車輛(例如,緊接在車輛1000之前并與之在同一車道上的車輛)的信息,而i2v通信提供關于更前方交通的信息。在至少一個實施例中,cacc系統可以包括i2v和v2v信息源之一或兩者。在至少一個實施例中,在給定車輛1000之前的車輛的信
    息的情況下,cacc系統可以更可靠,并且具有改善交通流的平滑度并減少道路擁堵的潛力。
    [0219]
    在至少一個實施例中,fcw系統被設計成警告駕駛員危險,以便該駕駛員可以采取糾正措施。在至少一個實施例中,fcw系統使用前向相機和/或一個或更多個radar傳感器1060,其耦合至專用處理器、dsp、fpga和/或asic,其電耦合至提供駕駛員反饋,例如顯示器、揚聲器和/或振動組件。在至少一個實施例中,fcw系統可以提供警告,例如以聲音、視覺警告,振動和/或快速制動脈沖的形式。
    [0220]
    在至少一個實施例中,aeb系統檢測到與另一車輛或其他對象的即將發生的向前碰撞,并且如果駕駛員在指定的時間或距離參數內未采取糾正措施,則可以自動施加制動。在至少一個實施例中,aeb系統可以使用耦合到專用處理器、dsp、fpga和/或asic的一個或更多個前向相機和/或一個或更多個radar傳感器1060。在至少一個實施例中,當aeb系統檢測到危險時,它通常首先警告駕駛員采取糾正措施以避免碰撞,并且,如果該駕駛員沒有采取糾正措施,則該aeb系統可以自動施加制動器以試圖防止或至少減輕預測碰撞的影響。在至少一個實施例中,aeb系統可以包括諸如動態制動器支持和/或即將發生碰撞的制動的技術。
    [0221]
    在至少一個實施例中,當車輛1000越過車道標記時,ldw系統提供視覺、聽覺和/或觸覺警告,例如方向盤或座椅振動,以警告駕駛員。在至少一個實施例中,當駕駛員諸如通過激活轉向信號燈指示有意的車道偏離時,ldw系統不活躍。在至少一個實施例中,ldw系統可以使用耦合到專用處理器、dsp、fpga和/或asic的面向正面的相機,其被電耦合以提供諸如顯示器、揚聲器和/或振動組件之類的駕駛員反饋。在至少一個實施例中,lka系統是ldw系統的一種變型。在至少一個實施例中,如果車輛1000開始離開車道,則lka系統提供轉向輸入或制動以校正車輛1000。
    [0222]
    在至少一個實施例中,bsw系統檢測并警告汽車盲區中的車輛駕駛員。在至少一個實施例中,bsw系統可以提供視覺、聽覺和/或觸覺警報,以指示合并或改變車道是不安全的。在至少一個實施例中,當駕駛員使用轉向燈時,bsw系統可以提供附加警告。在至少一個實施例中,bsw系統可以使用耦合到專用處理器、dsp、fpga和/或asic的一個或更多個朝后側的相機和/或一個或更多個radar傳感器1060,其電耦合到駕駛員反饋,例如顯示器、揚聲器和/或振動組件。
    [0223]
    在至少一個實施例中,當在車輛1000倒車時在后相機范圍之外檢測到對象時,rctw系統可以提供視覺、聽覺和/或觸覺通知。在至少一個實施例中,rctw系統包括aeb系統,以確保應用程序車輛制動器以避免碰撞。在至少一個實施例中,rctw系統可以使用一個或更多個面向后方的radar傳感器1060,其耦合到專用處理器、dsp、fpga和/或asic,其被電耦合以提供諸如顯示器、揚聲器和/或振動組件之類的駕駛員反饋。
    [0224]
    在至少一個實施例中,常規的adas系統可能易于產生誤報結果,這可能使駕駛員煩惱和分散注意力,但通常不是災難性的,因為常規的adas系統會警告駕駛員并允許該駕駛員決定安全狀況是否真正存在并采取相應動作。在至少一個實施例中,在結果沖突的情況下,車輛1000本身決定是否聽從主計算機或副計算機(例如,控制器1036的第一控制器或第二控制器)的結果。例如,在至少一個實施例中,adas系統1038可以是用于將感知信息提供給備份計算機合理性模塊的備用和/或輔助計算機。在至少一個實施例中,備用計算機合理性監控器可以在硬件組件上運行冗余的各種軟件,以檢測感知和動態駕駛任務中的故
    障。在至少一個實施例中,可以將來自adas系統1038的輸出提供給監控mcu。在至少一個實施例中,如果來自主計算機的輸出和來自輔助計算機的輸出沖突,則監督mcu決定如何協調沖突以確保安全操作。
    [0225]
    在至少一個實施例中,主計算機可以配置為向監督mcu提供置信度分數,以指示該主計算機對所選結果的置信度。在至少一個實施例中,如果該置信度得分超過閾值,則該監督mcu可以遵循該主計算機的指示,而不管該輔助計算機是否提供沖突或不一致的結果。在至少一個實施例中,在置信度得分不滿足閾值的情況下,并且在主計算機和輔助計算機指示不同的結果(例如,沖突)的情況下,監督mcu可以在計算機之間仲裁以確定適當的結果。
    [0226]
    在至少一個實施例中,監督mcu可以配置為運行神經網絡,該神經網絡被訓練和配置為至少部分地基于來自主計算機的輸出和來自輔助計算機的輸出來確定該輔助計算機提供錯誤警報的條件。在至少一個實施例中,監督mcu中的神經網絡可以學習何時可以信任輔助計算機的輸出,以及何時不能信任。例如,在至少一個實施例中,當該輔助計算機是基于radar的fcw系統時,該監督mcu中的神經網絡可以學習fcw系統何時識別實際上不是危險的金屬對象,例如會觸發警報的排水格柵或井蓋。在至少一個實施例中,當輔助計算機是基于相機的ldw系統時,當存在騎自行車的人或行人并且實際上車道偏離是最安全的操作時,監督mcu中的神經網絡可以學會覆蓋ldw。在至少一個實施例中,監督mcu可以包括適合于運行具有相關聯的存儲器的神經網絡的dla或gpu中的至少一個。在至少一個實施例中,監督mcu可以包括和/或被包括為一個或更多個soc 1004的組件。
    [0227]
    在至少一個實施例中,adas系統1038可以包括使用傳統的計算機視覺規則執行adas功能的輔助計算機。在至少一個實施例中,該輔助計算機可以使用經典計算機視覺規則(如果-則),并且監督mcu中的神經網絡的存在可以提高可靠性、安全性和性能。例如,在至少一個實施例中,多樣化的實現方式和有意的非同一性使得整個系統更加容錯,尤其是對于由軟件(或軟件-硬件接口)功能引起的故障。例如,在至少一個實施例中,如果在主計算機上運行的軟件中存在軟件漏洞或錯誤,并且在輔助計算機上運行的不相同的軟件代碼提供了一致的總體結果,則監督mcu可以更有把握地認為總體結果是正確,并且該主計算機上的軟件或硬件中的漏洞不會導致重大錯誤。
    [0228]
    在至少一個實施例中,可以將adas系統1038的輸出輸入到主計算機的感知模塊和/或主計算機的動態駕駛任務模塊中。例如,在至少一個實施例中,如果adas系統1038由于正前方的對象而指示向前碰撞警告,則感知塊可以在識別對象時使用該信息。在至少一個實施例中,如本文所述,輔助計算機可以具有其自己的神經網絡,該神經網絡經過訓練從而降低了誤報的風險。
    [0229]
    在至少一個實施例中,車輛1000可以進一步包括信息娛樂soc 1030(例如,車載信息娛樂系統(ivi))。盡管被示出和描述為soc,但是在至少一個實施例中,信息娛樂系統soc 1030可以不是soc,并且可以包括但不限于兩個或更多個分立組件。在至少一個實施例中,信息娛樂soc 1030可以包括但不限于硬件和軟件的組合,其可以用于提供音頻(例如,音樂、個人數字助理、導航指令、新聞、廣播等)、視頻(例如,電視、電影、流媒體等)、電話(例如,免提通話)、網絡連接(例如,lte、wifi等)和/或信息服務(例如,導航系統、后停車輔助、無線電數據系統、與車輛相關的信息,例如燃油水平、總覆蓋距離、制動燃油水平、油位、車門打開/關閉、空氣濾清器信息等)到車輛1000。例如,信息娛樂soc 1030可以包括收音機、
    磁盤播放器、導航系統、視頻播放器、usb和藍牙連接、汽車、車載娛樂系統、wifi、方向盤音頻控制、免提語音控制、抬頭顯示器(“hud”)、hmi顯示器1034、遠程信息處理設備、控制面板(例如,用于控制各種組件、特征和/或系統和/或與之交互)和/或其他組件。在至少一個實施例中,信息娛樂soc 1030可以進一步用于向車輛1000的用戶提供信息(例如,視覺和/或聽覺的),諸如來自adas系統1038的信息、自動駕駛信息(諸如計劃的車輛操縱)、軌跡、周圍環境信息(例如,交叉路口信息、車輛信息、道路信息等)和/或其他信息。
    [0230]
    在至少一個實施例中,信息娛樂soc 1030可以包括任何數量和類型的gpu功能。在至少一個實施例中,信息娛樂soc 1030可以通過總線1002與車輛1000的其他設備、系統和/或組件通信。在至少一個實施例中,信息娛樂soc 1030可以是耦合到監控mcu,使得信息娛樂系統的gpu可以在主控制器1036(例如,車輛1000的主計算機和/或備用計算機)發生故障的情況下執行一些自動駕駛功能。在至少一個實施例中,信息娛樂soc 1030可以使車輛1000進入司機到安全停止模式,如本文所述。
    [0231]
    在至少一個實施例中,車輛1000可以進一步包括儀表板1032(例如,數字儀表板、電子儀表板、數字儀表操縱板等)。在至少一個實施例中,儀表板1032可以包括但不限于控制器和/或超級計算機(例如,離散控制器或超級計算機)。在至少一個實施例中,儀表板1032可以包括但不限于一組儀表的任何數量和組合,例如車速表、燃料水平、油壓、轉速表、里程表、轉彎指示器、換檔位置指示器、一個或更多個安全帶警告燈、一個或更多個駐車制動警告燈、一個或更多個發動機故障燈、輔助約束系統(例如安全氣囊)信息、照明控件、安全系統控件、導航信息等。在某些示例中,信息可能是在信息娛樂soc 1030和儀表板1032之間顯示和/或共享。在至少一個實施例中,儀表板1032可以被包括作為信息娛樂soc 1030的一部分,反之亦然。
    [0232]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在系統圖10c中用于至少部分地基于使用神經網絡訓練操作\神經網絡功能和/或架構或本文所述的神經網絡用例計算出的權重參數來推理或預測操作。
    [0233]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術(例如,關于圖1-6所述的技術)訓練的一個或更多個第一神經網絡來執行推理。
    [0234]
    圖10d是根據至少一個實施例的在基于云的服務器與圖10a的自動駕駛車輛1000之間進行通信的系統1076的圖。在至少一個實施例中,系統1076可以包括但不限于一個或更多個服務器1078、一個或更多個網絡1090以及任何數量和類型的車輛,包括車輛1000。在至少一個實施例中,一個或更多個服務器1078可以包括但不限于,多個gpu 1084(a)-1084(h)(在本文中統稱為gpu 1084)、pcie交換機1082(a)-1082(d)(在本文中統稱為pcie交換機1082),和/或cpu 1080(a)-1080(b)(在本文中統稱為cpu 1080)、gpu 1084、cpu 1080和pcie交換機1082可以與高速連接線互連,例如但不限于,由nvidia開發的nvlink接口1088和/或pcie連接1086。在至少一個實施例中,gpu 1084通過nvlink和/或nvswitchsoc連接,
    gpu 1084和pcie交換機1082通過pcie互連連接。盡管示出了八個gpu 1084、兩個cpu 1080和四個pcie交換機1082,但這并不旨在進行限制。在至少一個實施例中,一個或更多個服務器1078中的每一個可以包括但不限于任意數量的gpu 1084、cpu 1080和/或pcie交換機1082的任何組合。例如,在至少一個實施例中,一個或更多個服務器1078可各自包括八個、十六個、三十二個和/或更多個gpu 1084。
    [0235]
    在至少一個實施例中,一個或更多個服務器1078可以通過一個或更多個網絡1090并從車輛接收表示圖像的圖像數據,該圖像示出了意外的或改變的道路狀況,例如最近開始的道路工程。在至少一個實施例中,一個或更多個服務器1078可以通過一個或更多個網絡1090并且向車輛傳輸經更新的等神經網絡1092,和/或地圖信息1094,包括但不限于關于交通和道路狀況的信息。在至少一個實施例中,對地圖信息1094的更新可以包括但不限于對hd地圖1022的更新,例如關于建筑工地、坑洼、便道、洪水和/或其他障礙物的信息。在至少一個實施例中,神經網絡1092和/或地圖信息1094可能是由從環境中的任何數量的車輛接收的數據中表示的新訓練和/或經驗產生的,和/或至少基于在數據中心執行的訓練(例如,使用一個或更多個服務器1078和/或其他服務器)。
    [0236]
    在至少一個實施例中,一個或更多個服務器1078可以用于至少部分地基于訓練數據來訓練機器學習模型(例如,神經網絡)。在至少一個實施例中,訓練數據可以由車輛產生,和/或可以在模擬中產生(例如,使用游戲引擎)。在至少一個實施例中,標記任何數量的訓練數據(例如,在相關的神經網絡受益于監督學習的情況下)和/或經歷其他預處理。在至少一個實施例中,沒有對任何數量的訓練數據進行標記和/或預處理(例如,在相關聯的神經網絡不需要監督學習的情況下)。在至少一個實施例中,一旦機器學習模型被訓練,機器學習模型就可以被車輛使用(例如,通過一個或更多個網絡1090傳輸到車輛,和/或機器學習模型可以被一個或更多個服務器1078使用以遠程監控車輛。
    [0237]
    在至少一個實施例中,一個或更多個服務器1078可以從車輛接收數據并且將數據應用程序于最新的實時神經網絡以用于實時智能推理。在至少一個實施例中,一個或更多個服務器1078可以包括由一個或更多個gpu 1084供電的深度學習超級計算機和/或專用ai計算機,例如由nvidia開發的dgx和dgx station機器。然而,在至少一個實施例中,一個或更多個服務器1078可以包括使用cpu供電的數據中心的深度學習基礎設施。
    [0238]
    在至少一個實施例中,一個或更多個服務器1078的深度學習基礎結構可能能夠進行快速、實時的推理,并且可以使用該能力來評估和驗證車輛1000中處理器、軟件和/或相關硬件的健康。例如,在至少一個實施例中,深度學習基礎設施可以從車輛1000接收周期性更新,例如車輛1000在該圖像序列中所定位的圖像序列和/或對象(例如,通過計算機視覺和/或其他機器學習對象分類技術)。在至少一個實施例中,深度學習基礎設施可以運行其自己的神經網絡以識別對象并將它們與車輛1000所識別的對象進行比較,并且,如果結果不匹配和深度學習基礎設施斷定車輛1000中的ai正在發生故障,則一個或更多個服務器1078可以將信號發送到車輛1000,以指示車輛1000的故障安全計算機采取控制、通知乘客并完成安全停車操作。
    [0239]
    在至少一個實施例中,一個或更多個服務器1078可以包括一個或更多個gpu 1084和一個或更多個可編程推理加速器(例如nvidia的tensorrt3設備)。在至少一個實施例中,gpu驅動的服務器和推理加速的組合可以使實時響應成為可能。在至少一個實施例中,例如
    在性能不太關鍵的情況下,可以將由cpu、fpga和其他處理器驅動的服務器用于推理。在至少一個實施例中,硬件結構715用于執行一個或更多個實施例。本文結合圖7a和/或圖7b提供關于硬件結構715的細節。
    [0240]
    計算機系統
    [0241]
    圖11示出了根據至少一個實施例的示例性計算機系統的框圖,該示例性計算機系統可以是具有互連的設備和組件的系統、片上系統(soc)或它們形成有處理器的某種組合,該處理器可以包括執行單元以執行指令。在至少一個實施例中,根據本公開,例如本文所述的實施例,計算機系統1100可以包括但不限于組件,例如處理器1102,其執行單元包括邏輯以執行用于過程數據的算法。在至少一個實施例中,計算機系統1100可以包括處理器,例如可從加利福尼亞圣塔克拉拉的英特爾公司(intel corporation of santa clara,california)獲得的處理器家族、xeon
    tm
    、xscale
    tm
    和/或strongarm
    tm
    ,core
    tm
    或nervana
    tm
    微處理器,盡管也可以使用其他系統(包括具有其他微處理器的pc、工程工作站、機頂盒等)。在至少一個實施例中,計算機系統1100可以執行可從華盛頓州雷蒙德市的微軟公司(microsoft corporation of redmond,wash.)獲得的windows操作系統版本,盡管其他操作系統(例如unix和linux)、嵌入式軟件和/或圖形用戶界面也可以使用。
    [0242]
    實施例可以用在其他設備中,例如手持設備和嵌入式應用程序。手持設備的一些示例包括蜂窩電話、互聯網協議(internet protocol)設備、數碼相機、個人數字助理(“pda”)和手持pc。在至少一個實施例中,嵌入式應用程序可以包括微控制器、數字信號處理器(“dsp”)、片上系統、網絡計算機(“netpc”)、機頂盒、網絡集線器、廣域網(“wan”)交換機,或根據至少一個實施例可以執行一個或更多個指令的任何其他系統。
    [0243]
    在至少一個實施例中,計算機系統1100可包括但不限于處理器1102,該處理器1102可包括但不限于一個或更多個執行單元1108,以根據本文描述的技術執行機器學習模型訓練和/或推理。在至少一個實施例中,計算機系統1100是單處理器臺式機或服務器系統,但是在另一個實施例中,計算機系統1100可以是多處理器系統。在至少一個實施例中,處理器1102可以包括但不限于復雜指令集計算機(“cisc”)微處理器、精簡指令集計算(“risc”)微處理器、超長指令字(“vliw”)微處理器、實現指令集組合的處理器,或任何其他處理器設備,例如數字信號處理器。在至少一個實施例中,處理器1102可以耦合到處理器總線1110,該處理器總線1110可以在處理器1102與計算機系統1100中的其他組件之間傳輸數據信號。
    [0244]
    在至少一個實施例中,處理器1102可以包括但不限于1級(“l1”)內部高速緩存存儲器(“cache”)1104。在至少一個實施例中,處理器1102可以具有單個內部高速緩存或多級內部緩存。在至少一個實施例中,高速緩存存儲器可以駐留在處理器1102的外部。根據特定的實現和需求,其他實施例也可以包括內部和外部高速緩存的組合。在至少一個實施例中,寄存器文件1106可以在各種寄存器中存儲不同類型的數據,包括但不限于整數寄存器、浮點寄存器、狀態寄存器和指令指針寄存器。
    [0245]
    在至少一個實施例中,包括但不限于執行整數和浮點運算的邏輯的執行單元1108,其也位于處理器1102中。在至少一個實施例中,處理器1102還可以包括微碼(“ucode”)只讀存儲器(“rom”),用于存儲某些宏指令的微代碼。在至少一個實施例中,執行
    單元1108可以包括用于處理封裝指令集1109的邏輯。在至少一個實施例中,通過將封裝指令集1109包括在通用處理器的指令集中,以及要執行指令的相關電路,可以使用處理器1102中的封裝數據來執行許多多媒體應用程序使用的操作。在至少一個實施例中,可以通過使用處理器的數據總線的全寬度來在封裝的數據上執行操作來加速和更有效地執行許多多媒體應用程序,這可能不需要在該處理器的數據總線上傳輸較小的數據單元來一次執行一個數據元素的一個或更多個操作。
    [0246]
    在至少一個實施例中,執行單元1108也可以用在微控制器、嵌入式處理器、圖形設備、dsp和其他類型的邏輯電路中。在至少一個實施例中,計算機系統1100可以包括但不限于存儲器1120。在至少一個實施例中,存儲器1120可以為動態隨機存取存儲器(“dram”)設備、靜態隨機存取存儲器(“sram”)設備、閃存設備或另一個存儲設備。在至少一個實施例中,存儲器1120可以存儲由處理器1102可以執行的由數據信號表示的指令1119和/或數據1121。
    [0247]
    在至少一個實施例中,系統邏輯芯片可以耦合到處理器總線1110和存儲器1120。在至少一個實施例中,系統邏輯芯片可以包括但不限于存儲器控制器集線器(“mch”)1116,并且處理器1102可以經由處理器總線1110與mch 1116通信。在至少一個實施例中,mch 1116可以提供到存儲器1120的高帶寬存儲器路徑1118以用于指令和數據存儲以及用于圖形命令、數據和紋理的存儲。在至少一個實施例中,mch 1116可以在處理器1102、存儲器1120和計算機系統1100中的其他組件之間啟動數據信號,并且在處理器總線1110、存儲器1120和系統i/o接口1122之間橋接數據信號。在至少一個實施例中,系統邏輯芯片可以提供用于耦合到圖形控制器的圖形端口。在至少一個實施例中,mch 1116可以通過高帶寬存儲器路徑1118耦合到存儲器1120,并且圖形/視頻卡1112可以通過加速圖形端口(accelerated graphics port)(“agp”)互連1114耦合到mch 1116。
    [0248]
    在至少一個實施例中,計算機系統1100可以使用系統i/o接口1122作為專有集線器接口總線來將mch 1116耦合到i/o控制器集線器(“ich”)1130。在至少一個實施例中,ich 1130可以通過本地i/o總線提供與某些i/o設備的直接連接。在至少一個實施例中,本地i/o總線可以包括但不限于用于將外圍設備連接到存儲器1120、芯片組和處理器1102的高速i/o總線。示例可以包括但不限于音頻控制器1129、固件集線器(“flashbios”)1128、無線收發器1126、數據存儲1124、包含用戶輸入和鍵盤接口的傳統i/o控制器1123、串行擴展端口1127(例如通用串行總線(usb)端口)和網絡控制器1134。在至少一個實施例中,數據存儲1124可以包括硬盤驅動器、軟盤驅動器、cd-rom設備、閃存設備或其他大容量存儲設備。
    [0249]
    在至少一個實施例中,圖11示出了包括互連的硬件設備或“芯片”的系統,而在其他實施例中,圖11可以示出soc。在至少一個實施例中,圖11中示出的設備可以與專有互連、標準化互連(例如,pcie)或其某種組合互連。在至少一個實施例中,計算機系統1100的一個或更多個組件使用計算快速鏈路(cxl)互連來互連。
    [0250]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖11的系統中使用,用于至少部分地基于使用神經網絡訓練操作、神經網絡函數和/或架構或本文所述的神經網絡用例計算的權重參數來推理或預測操作。
    [0251]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0252]
    圖12示出了根據至少一個實施例的用于利用處理器1210的電子設備1200的框圖。在至少一個實施例中,電子設備1200可以是例如但不限于,筆記本電腦、塔式服務器、機架服務器、刀片服務器、膝上型計算機、臺式機、平板電腦、移動設備、電話、嵌入式計算機或任何其他合適的電子設備。
    [0253]
    在至少一個實施例中,電子設備1200可以包括但不限于通信地耦合到任何合適數量或種類的組件、外圍設備、模塊或設備的處理器1210。在至少一個實施例中,處理器1210使用總線或接口耦合,諸如i2c總線、系統管理總線(“smbus”)、低引腳計數(lpc)總線、串行外圍接口(“spi”)、高清音頻(“hda”)總線、串行高級技術附件(“sata”)總線、通用串行總線(“usb”)(1、2、3版等)或通用異步接收器/發送器(“uart”)總線。在至少一個實施例中,圖12示出了系統,該系統包括互連的硬件設備或“芯片”,而在其他實施例中,圖12可以示出示例性soc。在至少一個實施例中,圖12中所示的設備可以與專有互連線、標準化互連(例如,pcie)或其某種組合互連。在至少一個實施例中,圖12的一個或更多個組件使用計算快速鏈路(cxl)互連線來互連。
    [0254]
    在至少一個實施例中,圖12可以包括顯示器1224、觸摸屏1225、觸摸板1230、近場通信單元(“nfc”)1245、傳感器集線器1240、熱傳感器1246、快速芯片組(“ec”)1235、可信平臺模塊(“tpm”)1238、bios/固件/閃存(“bios,fwflash”)1222、dsp1260、驅動器1220(例如固態磁盤(“ssd”)或硬盤驅動器(“hdd”))、無線局域網單元(“wlan”)1250、藍牙單元1252、無線廣域網單元(“wwan”)1256、全球定位系統(gps)單元1255、相機(“usb3.0相機”)1254(例如usb3.0相機)和/或以例如lpddr3標準實現的低功耗雙倍數據速率(“lpddr”)存儲器單元(“lpddr3”)1215。這些組件可以各自以任何合適的方式實現。
    [0255]
    在至少一個實施例中,其他組件可以通過本文所述的組件通信地耦合到處理器1210。在至少一個實施例中,加速度計1241、環境光傳感器(“als”)1242、羅盤1243和陀螺儀1244可以可通信地耦合到傳感器集線器1240。在至少一個實施例中,熱傳感器1239、風扇1237、鍵盤1236和觸摸板1230可以通信地耦合到ec1235。在至少一個實施例中,揚聲器1263、耳機1264和麥克風(“mic”)1265可以通信地耦合到音頻單元(“音頻編解碼器和d類放大器”)1262,其又可以通信地耦合到dsp1260。在至少一個實施例中,音頻單元1262可以包括例如但不限于音頻編碼器/解碼器(“編解碼器”)和d類放大器。在至少一個實施例中,sim卡(“sim”)1257可以通信地耦合到wwan單元1256。在至少一個實施例中,組件(諸如wlan單元1250和藍牙單元1252以及wwan單元1256)可以被實現為下一代形式因素(ngff)。
    [0256]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在系統圖12中使用,用于至少部分地基于使用神經網絡訓練操作、神經網絡函數和/或架構或本文所述的神經網絡用例計算的權重參數來推理或預測操作。
    [0257]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0258]
    圖13示出了根據至少一個實施例的計算機系統1300。在至少一個實施例中,計算機系統1300配置為實現貫穿本公開描述的各種過程和方法。
    [0259]
    在至少一個實施例中,計算機系統1300包括但不限于至少一個中央處理單元(“cpu”)1302,該中央處理單元(“cpu”)1302連接到使用任何合適協議實現的通信總線1310,諸如pci(“外圍設備互聯”)、外圍組件互連express(“pci-express”)、agp(“加速圖形端口”)、超傳輸或任何其他總線或點對點通信協議。在至少一個實施例中,計算機系統1300包括但不限于主存儲器1304和控制邏輯(例如,實現為硬件、軟件或其組合),并且數據可以采取隨機存取存儲器(“ram”)的形式存儲在主存儲器1304中。在至少一個實施例中,網絡接口子系統(“網絡接口”)1322提供到其他計算設備和網絡的接口,用于使用計算機系統1300接收數據并將數據傳輸到其他系統。
    [0260]
    在至少一個實施例中,計算機系統1300在至少一個實施例中包括但不限于輸入設備1308、并行處理系統1312和顯示設備1306,它們可以使用常規的陰極視線管(“crt”)、液晶顯示器(“lcd”)、發光二極管(“led”)顯示器、等離子顯示器或其他合適的顯示技術實現。在至少一個實施例中,從輸入設備1308(諸如鍵盤、鼠標、觸摸板、麥克風等)接收用戶輸入。在至少一個實施例中,本文所述模塊中的每一個可以位于單個半導體平臺上以形成處理系統。
    [0261]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在系統圖13中使用,以至少部分地基于使用神經網絡訓練操作、神經網絡功能和/或架構或本文所述的神經網絡用例計算出的權重參數來進行推理或預測操作。
    [0262]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0263]
    圖14示出了根據至少一個實施例的計算機系統1400。在至少一個實施例中,計算機系統1400包括但不限于計算機1410和usb棒1420。在至少一個實施例中,計算機1410可以包括但不限于任何數量和類型的處理器(未示出)和存儲器(未示出)。在至少一個實施例中,計算機1410包括但不限于服務器、云實例、膝上型計算機和臺式計算機。
    [0264]
    在至少一個實施例中,usb棒1420包括但不限于處理單元1430、usb接口1440和usb接口邏輯1450。在至少一個實施例中,處理單元1430可以是任何指令執行系統、裝置或能夠執行指令的設備。在至少一個實施例中,處理單元1430可以包括但不限于任何數量和類型的處理核心(未示出)。在至少一個實施例中,處理單元1430包括專用集成電路(“asic”),該
    專用集成電路被優化為執行與機器學習相關聯的任何數量和類型的操作。例如,在至少一個實施例中,處理單元1430是張量處理單元(“tpc”),其被優化以執行機器學習推理操作。在至少一個實施例中,處理單元1430是視覺處理單元(“vpu”),其被優化以執行機器視覺和機器學習推理操作。
    [0265]
    在至少一個實施例中,usb接口1440可以是任何類型的usb連接器或usb插座。例如,在至少一個實施例中,usb接口1440是用于數據和電源的usb 3.0type-c插座。在至少一個實施例中,usb接口1440是usb 3.0 type-a連接器。在至少一個實施例中,usb接口邏輯1450可以包括使處理單元1430能夠經由usb連接器1440與設備(例如計算機1410)相連接的任何數量和類型的邏輯。
    [0266]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在系統圖14中使用,至少部分地基于使用神經網絡訓練操作計算出的權重參數、神經網絡函數和/或架構或本文所述的神經網絡用例來推理或預測操作。
    [0267]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0268]
    圖15a示出了示例性架構,其中多個gpu 1510(1)-1510(n)通過高速鏈路1540(1)-1540(n)(例如,總線/點對點互連等)以通信方式耦合到多個多核心處理器1505(1)-1505(m)。在至少一個實施例中,高速鏈路1540(1)-1540(n)支持4gb/s、30gb/s、80gb/s或更高的通信吞吐量。在至少一個實施例中,可以使用各種互連協議,包括但不限于pcie 4.0或5.0以及nvlink2.0。在各個圖中,“n”和“m”表示正整數,其值可因圖而異。
    [0269]
    此外,在至少一個實施例中,兩個或更多個gpu 1510通過高速鏈路1529(1)-1529(2)互連,該高速鏈路可以使用與用于高速鏈路1540(1)-1540(n)的協議/鏈路類似或不同的協議/鏈路來實現。類似地,兩個或更多個多核心處理器1505可以通過高速鏈路1528連接,該高速鏈路可以是以20gb/s、30gb/s、120gb/s或更高的速度運行的對稱多處理器(smp)總線??商娲?,可以使用類似的協議/鏈路(例如,通過公共互連結構)來完成圖15a中所示的各種系統組件之間的所有通信。
    [0270]
    在至少一個實施例中,每個多核心處理器1505分別經由存儲器互連1526(1)-1526(m)通信地耦合到處理器存儲器1501(1)-1501(m),并且每個gpu 1510(1)-1510(n)分別通過gpu存儲器互連1550(1)-1550(n)通信地耦合到gpu存儲器1520(1)-1520(n)。在至少一個實施例中,存儲器互連1526和1550可以利用相似或不同的存儲器訪問技術。作為示例而非限制,處理器存儲器1501(1)-1501(m)和gpu存儲器1520可以是易失性存儲器,諸如動態隨機存取存儲器(dram)(包括堆疊的dram)、圖形ddrsdram(gddr)(例如gddr5、gddr6),或高帶寬存儲器(hbm),和/或可以是非易失性存儲器,例如3d xpoint或nano-ram。在至少一個實施例中,處理器存儲器1501的某些部分可以是易失性存儲器,而另一部分可以是非易失性存儲器(例如,使用兩級存儲器(2lm)層次結構)。
    [0271]
    如本文所述,盡管各種多核心處理器1505和gpu 1510可以分別物理地耦合到特定存儲器1501、1520,和/或可以實現統一存儲器架構,其中虛擬系統地址空間(也稱為“有效地址”空間)分布在各個物理存儲器之間。例如,處理器存儲器1501(1)-1501(m)可以各自包含64gb的系統存儲器地址空間,并且gpu存儲器1520(1)-1520(n)可以各自包含32gb的系統存儲器地址空間,從而當m=2和n=4時,導致總計256gb的可尋址存儲器大小。n和m也可能是其他值。
    [0272]
    圖15b示出了根據一個示例性實施例的用于多核心處理器1507和圖形加速模塊1546之間互連的附加細節。在至少一個實施例中,圖形加速模塊1546可以包括集成在線路卡上的一個或更多個gpu芯片,該線路卡經由高速鏈路1540(例如,pcie總線、nvlink等)耦合到處理器1507。在至少一個實施例中,圖形加速模塊1546可以選擇性地集成在具有處理器1507的封裝或芯片上。
    [0273]
    在至少一個實施例中,處理器1507包括多個核心1560a-1560d,每個核心都具有轉換后備緩沖區(“tlb”)1561a-1561d和一個或更多個高速緩存1562a-1562d。在至少一個實施例中,核心1560a-1560d可以包括未示出的各種其他組件,用于執行指令和處理數據。在至少一個實施例中,高速緩存1562a-1562d可以包括級別1(l1)和級別2(l2)高速緩存。此外,一個或更多個共享高速緩存1556可以被包括在高速緩存1562a-1562d中,并且由各組核心1560a-1560d共享。例如,處理器1507的一個實施例包括24個核心,每個核心具有其自己的l1高速緩存,十二個共享的l2高速緩存,和十二個共享的l3高速緩存。在該實施例中,兩個相鄰核心共享一個或更多個l2和l3高速緩存。在至少一個實施例中,處理器1507和圖形加速模塊1546與系統存儲器1514連接,該系統存儲器1514可以包括圖15a中的處理器存儲器1501(1)-1501(m)。
    [0274]
    在至少一個實施例中,通過一致性總線1564經由核心間通信為存儲在各個高速緩存1562a-1562d、1556和系統存儲器1514中的數據和指令維護一致性。在至少一個實施例中,例如,每個高速緩存可以具有與其相關聯的高速緩存一致性邏輯/電路,以響應于檢測到對特定高速緩存行的讀取或寫入通過一致性總線1564進行通信。在至少一個實施例中,通過一致性總線1564實現高速緩存監聽協議,以監聽高速緩存訪問。
    [0275]
    在至少一個實施例中,代理電路1525將圖形加速模塊1546通信地耦合到一致性總線1564,從而允許圖形加速模塊1546作為核心1560a-1560d的對等方參與高速緩存一致性協議。特別地,在至少一個實施例中,接口1535通過高速鏈路1540提供到代理電路1525的連接,并且接口1537將圖形加速模塊1546連接到高速鏈路1540。
    [0276]
    在至少一個實施例中,加速器集成電路1536代表圖形加速模塊的多個圖形處理引擎1531(1)-1531(n)提供高速緩存管理、存儲器訪問、上下文管理和中斷管理服務。在至少一個實施例中,圖形處理引擎1531(1)-1531(n)可各自包括單獨的圖形處理單元(gpu)。在至少一個實施例中,圖形處理引擎1531(1)-1531(n)選擇性地可以包括gpu內的不同類型的圖形處理引擎,諸如圖形執行單元、媒體處理引擎(例如,視頻編碼器/解碼器)、采樣器和blit引擎。在至少一個實施例中,圖形加速模塊1546可以是具有多個圖形處理引擎1531(1)-1531(n)的gpu,或者圖形處理引擎1531(1)-1531(n)可以是集成在通用封裝、線路卡或芯片上的各個gpu。
    [0277]
    在至少一個實施例中,加速器集成電路1536包括存儲器管理單元(mmu)1539,用于
    執行各種存儲器管理功能,例如虛擬到物理存儲器轉換(也稱為有效到真實存儲器轉換),還包括用于訪問系統存儲器1514的存儲器訪問協議。在至少一個實施例中,mmu 1539還可包括轉換后備緩沖區(“tlb”)(未示出),用于高速緩存虛擬/有效到物理/真實地址轉換。在至少一個實施例中,高速緩存1538可以存儲命令和數據,用于圖形處理引擎1531(1)-1531(n)有效地訪問。在至少一個實施例中,可能使用獲取單元1544,將存儲在高速緩存1538和圖形存儲器1533(1)-1533(m)中的數據與核心高速緩存1562a-1562d、1556和系統存儲器1514保持一致。如前所述,可以經由代表高速緩存1538和圖形存儲器1533(1)-1533(m)的代理電路1525來完成該任務(例如,將與處理器高速緩存1562a-1562d、1556上的高速緩存行的修改/訪問有關的更新發送到高速緩存1538,并從高速緩存1538接收更新)。
    [0278]
    在至少一個實施例中,一組寄存器1545存儲由圖形處理引擎1531(1)-1531(n)執行的線程的上下文數據,并且上下文管理電路1548管理線程上下文。例如,上下文管理電路1548可以執行保存和恢復操作,以在上下文切換期間保存和恢復各個線程的上下文(例如,其中保存第一線程并且存儲第二線程,以便可以由圖形處理引擎執行第二線程)。例如,上下文管理電路1548在上下文切換時,可以將當前寄存器值存儲到存儲器中的(例如,由上下文指針識別的)指定區域。然后,當返回上下文時可以恢復寄存器值。在至少一個實施例中,中斷管理電路1547接收并處理從系統設備接收的中斷。
    [0279]
    在至少一個實施例中,mmu 1539將來自圖形處理引擎1531的虛擬/有效地址轉換為系統存儲器1514中的真實/物理地址。在至少一個實施例中,加速器集成電路1536支持多個(例如,4、8、16)圖形加速器模塊1546和/或其他加速器設備。在至少一個實施例中,圖形加速器模塊1546可以專用于在處理器1507上執行的單個應用程序,或者可以在多個應用程序之間共享。在至少一個實施例中,呈現了虛擬化的圖形執行環境,其中圖形處理引擎1531(1)-1531(n)的資源與多個應用程序或虛擬機(vm)共享。在至少一個實施例中,可以基于處理要求和與vm和/或應用程序相關聯的優先級,將資源細分為“切片”,其被分配給不同的vm和/或應用程序。
    [0280]
    在至少一個實施例中,加速器集成電路1536作為圖形加速模塊1546的系統的橋來執行,并提供地址轉換和系統存儲器高速緩存服務。另外,在至少一個實施例中,加速器集成電路1536可以為主機處理器提供虛擬化設施,以管理圖形處理引擎1531(1)-1531(n)的虛擬化、中斷和存儲器管理。
    [0281]
    在至少一個實施例中,由于圖形處理引擎1531(1)-1531(n)的硬件資源被明確地映射到主機處理器1507看到的真實地址空間,因此任何主機處理器都可以使用有效地址值直接尋址這些資源。在至少一個實施例中,加速器集成電路1536的一個功能是物理分離圖形處理引擎1531(1)-1531(n),使得它們在系統看來為獨立的單元。
    [0282]
    在至少一個實施例中,一個或更多個圖形存儲器1533(1)-1533(m)分別耦合到每個圖形處理引擎1531(1)-1531(n),并且n=m。在至少一個實施例中,圖形存儲器1533(1)-1533(m)存儲指令和數據,所述指令和數據由每個圖形處理引擎1531(1)-1531(n)處理。在至少一個實施例中,圖形存儲器1533(1)-1533(m)可以是易失性存儲器,例如dram(包括堆疊的dram)、gddr存儲器(例如,gddr5,gddr6)或hbm,和/或可以是非易失性存儲器,例如3d xpoint或nano-ram。
    [0283]
    在至少一個實施例中,為了減少高速鏈路1540上的數據流量,可使用偏置技術以
    確保存儲在圖形存儲器1533(1)-1533(m)中的數據是圖形處理引擎1531(1)-1531(n)最常使用的,并且最好核心1560a-1560d不使用(至少不經常使用)的數據。類似地,在至少一個實施例中,偏置機制試圖將核心(并且優選地不是圖形處理引擎1531(-1)-1531(n))需要的數據保持在高速緩存1562a-1562d、1556和系統存儲器1514中。
    [0284]
    圖15c示出了另一個示例性實施例,其中加速器集成電路1536被集成在處理器1507內。在該實施例中,圖形處理引擎1531(1)-1531(n)經由接口1537和接口1535(同樣可以是任何形式的總線或接口協議)通過高速鏈路1540直接與加速器集成電路1536通信。在至少一個實施例中,加速器集成電路1536可以執行與關于圖15b描述的操作類似的操作。但是由于它緊密靠近一致性總線1564和高速緩存1562a-1562d、1556,可能具有更高的吞吐量。在至少一個實施例中,加速器集成電路支持不同的編程模型,包括專用進程編程模型(無圖形加速模塊虛擬化)和共享編程模型(具有虛擬化),所述編程模型可以包括由加速器集成電路1536控制的編程模型和由圖形加速模塊1546控制的編程模型。
    [0285]
    在至少一個實施例中,圖形處理引擎1531(1)-1531(n)專用于單個操作系統下的單個應用程序或進程。在至少一個實施例中,單個應用程序可以將其他應用程序請求匯聚(funnel)到圖形處理引擎1531(1)-1531(n),從而在vm/分區內提供虛擬化。
    [0286]
    在至少一個實施例中,圖形處理引擎1531(1)-1531(n)可以被多個vm/應用程序分區共享。在至少一個實施例中,共享模型可以使用系統管理程序來虛擬化圖形處理引擎1531(1)-1531(n),以允許每個操作系統進行訪問。在至少一個實施例中,對于沒有管理程序的單分區系統,操作系統擁有圖形處理引擎1531(1)-1531(n)。在至少一個實施例中,操作系統可以虛擬化圖形處理引擎1531(1)-1531(n),以提供對每個進程或應用程序的訪問。
    [0287]
    在至少一個實施例中,圖形加速模塊1546或個體圖形處理引擎1531(1)-1531(n)使用進程句柄來選擇進程元素。在至少一個實施例中,進程元素被存儲在系統存儲器1514中,并且可使用本文所述的有效地址到真實地址轉換技術來尋址。在至少一個實施例中,進程句柄可以是特定于實現方式的值,其在向圖形處理引擎1531(1)-1531(n)注冊其上下文時提供給主機進程(即,調用系統軟件以將進程元素添加到進程元素鏈接列表)。在至少一個實施例中,進程句柄的較低16位可以是進程元素在進程元素鏈接列表中的偏移量。
    [0288]
    圖15d示出了示例性加速器集成切片1590。在至少一個實施例中,“切片”包括加速器集成電路1536的處理資源的指定部分。在至少一個實施例中,應用程序是系統存儲器1514中的有效地址空間1582,其存儲進程元素1583。在至少一個實施例中,響應于來自在處理器1507上執行的應用程序1580的gpu調用1581,存儲進程元素1583。在至少一個實施例中,進程元素1583包含相應的應用程序1580的進程狀態。在一個實施例中,包含在進程元素1583中的工作描述符(wd)1584可以是由應用程序請求的單個作業,或者可以包含指向作業隊列的指針。在至少一個實施例中,wd 1584是指向應用程序的有效地址空間1582中的作業請求隊列的指針。
    [0289]
    在至少一個實施例中,圖形加速模塊1546和/或各個圖形處理引擎1531(1)-1531(n)可以由系統中所有進程或進程子集共享。在至少一個實施例中,可以包括用于設置進程狀態并將wd 1584發送到圖形加速模塊1546以在虛擬化環境中開始作業的基礎設施。
    [0290]
    在至少一個實施例中,專用進程編程模型是特定于實現方式的。在至少一個實施例中,在該模型中,單個進程擁有圖形加速模塊1546或個體圖形處理引擎1531。在至少一個
    實施例中,當圖形加速模塊1546由單個進程擁有時,管理程序初始化用于所擁有的分區的加速器集成電路,當指派了圖形加速模塊1546時,操作系統初始化用于所擁有的進程的加速器集成電路1536。
    [0291]
    在至少一個實施例中,在操作中,在加速器集成切片1590中的wd獲取單元1591獲取下一個wd 1584,其包括要由圖形加速模塊1546的一個或更多個圖形處理引擎完成的工作的指示。在至少一個實施例中,來自wd 1584的數據可以存儲在寄存器1545中,并由mmu 1539、中斷管理電路1547和/或上下文管理電路1548使用,如圖所示。例如,mmu 1539的一個實施例包括用于訪問os虛擬地址空間1585內的段/頁表1586的段/頁漫游電路。在至少一個實施例中,中斷管理電路1547可以處理從圖形加速模塊1546接收的中斷事件1592。在至少一個實施例中,當執行圖形操作時,由圖形處理引擎1531(1)-1531(n)生成的有效地址1593被mmu 1539轉換為真實地址。
    [0292]
    在至少一個實施例中,為每個圖形處理引擎1531(1)-1531(n)和/或圖形加速模塊1546復制寄存器1545,并且所述寄存器1545可以由管理程序或操作系統初始化。在至少一個實施例中,這些復制的寄存器中的每一個可以被包括在加速器集成切片1590中??梢杂晒芾沓绦虺跏蓟氖纠约拇嫫髟诒?中示出。
    [0293][0294]
    表2中示出了可由操作系統初始化的示例性寄存器。
    [0295][0296]
    在至少一個實施例中,每個wd 1584特定于特定的圖形加速模塊1546和/或圖形處理引擎1531(1)-1531(n)。在至少一個實施例中,它包含圖形處理引擎1531(1)-1531(n)完成工作所需的所有信息,或者它可以是指向存儲器位置的指針,在該存儲器位置應用程序已經設置了要完成的工作的命令隊列。
    [0297]
    圖15e示出了共享模型的一個示例性實施例的附加細節。該實施例包括管理程序真實地址空間1598,其中存儲了進程元素列表1599。在至少一個實施例中,可經由管理程序1596來訪問管理程序實地址空間1598,所述管理程序1596虛擬化用于操作系統1595的圖形加速模塊引擎。
    [0298]
    在至少一個實施例中,共享編程模型允許來自系統中全部分區或分區子集的全部進程或進程子集使用圖形加速模塊1546。在至少一個實施例中,存在兩種編程模型,其中圖形加速模塊1546由多個進程和分區共享,即,時間切片共享和圖形定向共享。
    [0299]
    在至少一個實施例中,在該模型中,系統管理程序1596擁有圖形加速模塊1546,并使其功能可用于所有操作系統1595。在至少一個實施例中,對于圖形加速模塊1546通過系統管理程序1596支持虛擬化,圖形加速模塊1546可以遵守某些要求,例如(1)應用程序的作業請求必須是自主的(即,不需要在作業之間保持狀態),或者圖形加速模塊1546必須提供上下文保存和恢復機制,(2)圖形加速模塊1546保證應用程序的作業請求在指定的時間量內完成,包括任何轉換錯誤,或者圖形加速模塊1546提供了搶占作業處理的能力,并且(3)在有向共享編程模型中進行操作時,必須確保圖形加速模塊1546進程之間的公平性。
    [0300]
    在至少一個實施例中,需要應用程序1580使用圖形加速模塊類型、工作描述符(wd)、權限屏蔽寄存器(amr)值和上下文保存/恢復區域指針(csrp)進行操作系統1595系統調用。在至少一個實施例中,圖形加速模塊類型描述了用于系統調用的目標加速函數。在至少一個實施例中,圖形加速模塊類型可以是系統特定的值。在至少一個實施例中,wd是專門為圖形加速模塊1546格式化的,并且可以采用圖形加速模塊1546命令、指向用戶定義的結構的有效地址指針、指向命令隊列的有效地址指針的形式,或描述要由圖形加速模塊1546完成的工作的任何其他數據結構。
    [0301]
    在至少一個實施例中,amr值是用于當前進程的amr狀態。在至少一個實施例中,傳遞給操作系統的值與設置amr的應用程序類似。在至少一個實施例中,如果加速器集成電路1536(未示出)和圖形加速模塊1546的實現不支持用戶權限屏蔽覆寫寄存器(uamor),則在
    管理程序調用中傳遞amr之前,操作系統可以將當前uamor值應用于amr值。在至少一個實施例中,管理程序1596可以在將amr放入進程元素1583中之前選擇性地應用當前權限屏蔽覆寫寄存器(amor)值。在至少一個實施例中,csrp是寄存器1545中的一個,所述寄存器包含應用程序的有效地址空間1582中的區域的有效地址,供圖形加速模塊1546保存和恢復上下文狀態。在至少一個實施例中,如果不需要在作業之間保存狀態或者當作業被搶占時,則該指針是可選的。在至少一個實施例中,上下文保存/恢復區域可以是固定的系統存儲器。
    [0302]
    在接收到系統調用時,操作系統1595可以驗證應用程序1580已經注冊并且被授予使用圖形加速模塊1546的權限。然后,在至少一個實施例中,操作系統1595使用表3中所示的信息來調用管理程序1596。
    [0303][0304]
    在至少一個實施例中,在接收到管理程序調用時,管理程序1596驗證操作系統1595已注冊并被授予使用圖形加速模塊1546的權限。然后,在至少一個實施例中,管理程序1596將進程元素1583放入相應的圖形加速模塊1546類型的進程元素鏈接列表中。在至少一個實施例中,進程元素可以包括表4中所示的信息。
    [0305]
    [0306][0307]
    在至少一個實施例中,管理程序初始化多個加速器集成切片1590寄存器1545。
    [0308]
    如圖15f所示,在至少一個實施例中,使用統一存儲器,所述統一存儲器可經由用于訪問物理處理器存儲器1501(1)-1501(n)和gpu存儲器1520(1)-1520(n)的公共虛擬存儲器地址空間來尋址。在該實現方式中,在gpu 1510(1)-1510(n)上執行的操作利用相同的虛擬/有效存儲器地址空間來訪問處理器存儲器1501(1)-1501(m),反之亦然,從而簡化了可編程性。在至少一個實施例中,虛擬/有效地址空間的第一部分被分配給處理器存儲器1501(1),第二部分被分配給第二處理器存儲器1501(n),第三部分被分配給gpu存儲器1520(1),以此類推。在至少一個實施例中,整個虛擬/有效存儲器空間(有時稱為有效地址空間)由此分布在處理器存儲器1501和gpu存儲器1520的每一個中,從而允許任何處理器或gpu采用映射到任何物理存儲器的虛擬地址訪問該存儲器。
    [0309]
    在至少一個實施例中,一個或更多個mmu 1539a-1539e內的偏置/一致性管理電路1594a-1594e確保一個或更多個主機處理器(例如,1505)與gpu 1510的高速緩存之間的高速緩存一致性,并實現指示應在其中存儲某些類型的數據的物理存儲器的偏置技術。在至少一個實施例中,雖然在圖15f中示出了偏置/一致性管理電路1594a-1594e的多個實例,但可以在一個或更多個主機處理器1505的mmu內和/或在加速器集成電路1536內實現偏置/一致性電路。
    [0310]
    一個實施例允許將gpu存儲器1520映射為系統存儲器的一部分,并使用共享虛擬存儲器(svm)技術進行訪問,但不會遭受與完整系統高速緩存一致性相關的性能缺陷。在至少一個實施例中,將gpu存儲器1520作為系統存儲器來訪問而無需繁重的高速緩存一致性開銷的能力為gpu卸載提供了有利的操作環境。在至少一個實施例中,該布置允許主機處理器1505的軟件設置操作數并訪問計算結果,而沒有傳統的i/odma數據拷貝的開銷。在至少一個實施例中,這樣的傳統拷貝包括驅動程序調用、中斷和存儲器映射i/o(mmio)訪問,相對于簡單的存儲器訪問而言,這些訪問效率均較低。在至少一個實施例中,在沒有高速緩存一致性開銷的情況下訪問gpu存儲器1520的能力對于卸載的計算的執行時間可能是關鍵的。在至少一個實施例中,例如,在具有大量流式寫入存儲器流量的情況下,高速緩存一致性開銷可以顯著降低gpu 1510所看到的有效寫入帶寬。在至少一個實施例中,操作數設置的效率、結果訪問的效率和gpu計算的效率可能會在確定gpu卸載的有效性方面發揮作用。
    [0311]
    在至少一個實施例中,gpu偏置和主機處理器偏置的選擇由偏置跟蹤器數據結構驅動。在至少一個實施例中,例如,可以使用偏置表,所述偏置表可以是頁面粒度結構(例如,以存儲器頁面的粒度來控制),該頁面粒度結構包括每個gpu附加的存儲器頁面1或2位。在至少一個實施例中,在gpu 1510中具有或不具有偏置高速緩存(例如,用于高速緩存偏置表的頻繁/最近使用的條目)的情況下,可以在一個或更多個gpu存儲器1520的被盜存儲器范圍中實現偏置表。替代地,在至少一個實施例中,可以在gpu內維護整個偏置表。
    [0312]
    在至少一個實施例中,在實際訪問gpu存儲器之前,訪問與對gpu附加存儲器1520的每次訪問相關聯的偏置表條目,從而引起以下操作。在至少一個實施例中,來自gpu 1510的在gpu偏置中找到其頁面的本地請求被直接轉發到對應的gpu存儲器1520。在至少一個實施例中,來自gpu的在主機偏置中找到其頁面的本地請求被轉發至處理器1505(例如,通過本文所述的高速鏈路)。在至少一個實施例中,來自處理器1505的在主機處理器偏置中找到所請求頁面的請求完成了與正常存儲器讀取類似的請求。替代地,可以將指向gpu偏置頁面的請求轉發到gpu 1510。在至少一個實施例中,如果gpu當前不使用頁面,則gpu可隨后將頁面遷移到主機處理器偏置。在至少一個實施例中,頁面的偏置狀態可以通過基于軟件的機制、基于硬件輔助的軟件的機制、或者在有限的情況下通過純粹基于硬件的機制來改變。
    [0313]
    在至少一個實施例中,一種用于改變偏置狀態的機制采用api調用(例如opencl),所述api調用隨后調用gpu的設備驅動程序,所述設備驅動程序隨后發送消息(或使命令描述符入隊)到gpu,引導gpu改變偏置狀態,并在某些遷移中在主機中執行高速緩存刷新操作。在至少一個實施例中,高速緩存刷新操作用于從主機處理器1505偏置到gpu偏置的遷移,但是不用于相反的遷移。
    [0314]
    在至少一個實施例中,高速緩存一致性是通過暫時渲染主機處理器1505無法高速緩存的gpu偏置頁面來維護的。在至少一個實施例中,為了訪問這些頁面,處理器1505可以請求來自gpu 1510的訪問,gpu 1510可以或可以不立即授予訪問權限。因此,在至少一個實施例中,為了減少處理器1505和gpu 1510之間的通信,確保gpu偏置頁面是gpu所需的頁面而不是主機處理器1505所需的頁面是有益的,反之亦然。
    [0315]
    一個或更多個硬件結構715用于執行一個或更多個實施例。在本文中可以結合圖7a和/或圖7b提供關于一個或更多個硬件結構715的細節。
    [0316]
    圖16示出了根據本文所述的各個實施例的示例性集成電路和相關聯的圖形處理器,其可以使用一個或更多個ip核心來制造。除了圖示之外,在至少一個實施例中可以包括其他邏輯和電路,包括附加的圖形處理器/核心、外圍接口控制器或通用處理器核心。
    [0317]
    圖16是示出根據至少一個實施例的可使用一個或更多個ip核心制造的芯片集成電路1600上的示例性系統的框圖。在至少一個實施例中,集成電路1600包括一個或更多個應用程序處理器1605(例如,cpu)、至少一個圖形處理器1610,并且可以另外包括圖像處理器1615和/或視頻處理器1620,其中任意一個可能是模塊化ip核心。在至少一個實施例中,集成電路1600包括外圍或總線邏輯,其包括usb控制器1625、uart控制器1630、spi/sdio控制器1635和i22s/i22c控制器1640。在至少一個實施例中,集成電路1600可以包括顯示設備1645耦合到高清多媒體接口(hdmi)控制器1650和移動工業處理器接口(mipi)顯示接口1655中的一個或更多個。在至少一個實施例中,存儲可以由閃存子系統1660提供,包括閃存和閃存控制器。在至少一個實施例中,可以經由存儲器控制器1665提供存儲器接口以用于訪問sdram或sram存儲器設備。在至少一個實施例中,一些集成電路還包括嵌入式安全引擎1670。
    [0318]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在集成電路1600中用于至少部分地基于使用神經網絡訓練操作、神經網絡功能和/或架構或本文描述的神經網絡用例計算的權重參數來推理或預測
    1755n(例如,1755a、1755b、1755c、1755d、1755e、1755f到1755n-1和1755n),如圖17b所示,其提供了統一的著色器核心架構,其中單個核心或類型或核心可以執行所有類型的可編程著色器代碼,包括用于實現頂點著色器、片段著色器和/或計算著色器的著色器程序代碼。在至少一個實施例中,多個著色器核心可以變化。在至少一個實施例中,圖形處理器1740包括核心間任務管理器1745,其充當線程分派器以將執行線程分派給一個或更多個著色器核心1755a-1755n和分塊單元1758,以加速基于圖塊渲染的分塊操作,其中在圖像空間中細分了場景的渲染操作,例如,以利用場景內的局部空間一致性或優化內部緩存的使用。
    [0325]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在集成電路圖17a和/或圖17b中用于至少部分地基于使用神經網絡訓練操作、神經網絡函數或架構,或本文所述的神經網絡用例計算的權重參數來進行推理或預測操作。
    [0326]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0327]
    圖18a和18b示出了根據本文描述的實施例的附加示例性圖形處理器邏輯。在至少一個實施例中,圖18a示出了可以包括在圖16的圖形處理器1610內的圖形核心1800,并且在至少一個實施例中,其可以是如圖17b所示的統一著色器核心1755a-1755n。圖18b示出了在至少一個實施例中的適用于在多芯片模塊上部署的高度并行的通用圖形處理單元(“gpgpu”)1830。
    [0328]
    在至少一個實施例中,圖形核心1800包括共享指令高速緩存1802、紋理單元1818和高速緩存/共享存儲器1817,它們對于圖形核心1800內的執行資源是通用的。在至少一個實施例中,圖形核心1800可包括多個切片1801a-1801n或每個核心的分區,并且圖形處理器可包括圖形核心1800的多個實例。在至少一個實施例中,切片1801a-1801n可包括支持邏輯,所述邏輯包括本地指令高速緩存1804a-1804n、線程調度器1806a-1806n、線程分派器1808a-1808n和一組寄存器1810a-1810n。在至少一個實施例中,切片1801a-1801n可以包括一組附加功能單元(afu 1812a-1812n)、浮點單元(fpu 1814a-1814n)、整數算術邏輯單元(alu 1816a-1816n)、地址計算單元(acu 1813a-1813n)、雙精度浮點單元(dpfpu 1815a-1815n)和矩陣處理單元(mpu 1817a-1817n)。
    [0329]
    在至少一個實施例中,fpu 1814a-1814n可以執行單精度(32位)和半精度(16位)浮點運算,而dpfpu 1815a-1815n則執行雙精度(64位)浮點運算點操作。在至少一個實施例中,alu 1816a-1816n可以以8位、16位和32位精度執行可變精度整數運算,并且可以配置為混合精度運算。在至少一個實施例中,mpu 1817a-1817n還可被配置用于混合精度矩陣運算,包括半精度浮點運算和8位整數運算。在至少一個實施例中,mpu 1817-1817n可以執行各種矩陣運算以加速機器學習應用程序框架,包括使得能夠支持加速的通用矩陣到矩陣乘法(gemm)。在至少一個實施例中,afu 1812a-1812n可以執行浮點數或整數單元不支持的附加邏輯運算,包括三角運算(例如,正弦,余弦等)。
    [0330]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。這里結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖形核心1800中使用,用于至少部分地基于使用神經網絡訓練操作、神經網絡函數和/或架構或本文所述的神經網絡用例計算的權重參數來推理或預測操作。
    [0331]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0332]
    圖18b示出了在至少一個實施例中的通用處理單元(gpgpu)1830,其可以被配置為使得高度并行的計算操作能夠由一組圖形處理單元來執行。在至少一個實施例中,gpgpu 1830可以直接鏈接到gpgpu 1830的其他實例,以創建多gpu集群以提高用于深度神經網絡的訓練速度。在至少一個實施例中,gpgpu 1830包括主機接口1832,以實現與主機處理器的連接。在至少一個實施例中,主機接口1832是pci express接口。在至少一個實施例中,主機接口1832可以是廠商專用的通信接口或通信結構。在至少一個實施例中,gpgpu 1830接收主機處理器的命令,并使用全局調度器1834,以將與那些命令相關聯的執行線程分配給一組計算集群1836a-1836h。在至少一個實施例中,計算群集1836a-1836h共享高速緩存存儲器1838。在至少一個實施例中,高速緩存存儲器1838可以用作計算群集1836a-1836h內的高速緩存存儲器的更高級別的高速緩存。
    [0333]
    在至少一個實施例中,gpgpu 1830包括存儲器1844a-1844b,所述存儲器1844a-1844b經由一組存儲器控制器1842a-1842b與計算集群1836a-1836h耦合。在至少一個實施例中,存儲器1844a-1844b可以包括各種類型的存儲器設備,包括動態隨機存取存儲器(dram)或圖形隨機存取存儲器,例如同步圖形隨機存取存儲器(sgram),其包括圖形雙倍數據速率(gddr)存儲器。
    [0334]
    在至少一個實施例中,計算集群1836a-1836h每個都包括一組圖形核心,例如圖18a的圖形核心1800,所述圖形核心可以包括多種類型的整數和浮點邏輯單元,所述邏輯單元可以在計算機各種精度范圍上執行計算操作,包括適用于機器學習計算的精度。例如,在至少一個實施例中,每個計算集群1836a-1836h中的浮點單元的至少一個子集可以被配置為執行16位或32位浮點運算,而浮點單元的不同子集可以配置為執行64位浮點運算。
    [0335]
    在至少一個實施例中,gpgpu 1830的多個實例可以被配置為用作計算集群。在至少一個實施例中,計算集群1836a-1836h用于同步和數據交換的通信在實施例之間變化。在至少一個實施例中,gpgpu 1830的多個實例通過主機接口1832進行通信。在至少一個實施例中,gpgpu 1830包括i/o集線器1839,所述集線器將gpgpu 1830與gpu鏈路1840耦合,使得能夠直接連接到gpgpu 1830的其他實例。在至少一個實施例中,gpu鏈路1840耦合到專用gpu到gpu橋,所述橋使得gpgp1830的多個實例之間能夠通信和同步。在至少一個實施例中,gpu鏈路1840與高速互連耦合,以向其他gpgpu或并行處理器發送和接收數據。在至少一個實施例中,gpgpu 1830的多個實例位于單獨的數據處理系統中,并通過可通過主機接口1832訪問的網絡設備進行通信。在至少一個實施例中,gpu鏈路1840可被配置為使得能夠連
    接到主機除主機接口1832之外或作為其替代的處理器。
    [0336]
    在至少一個實施例中,gpgpu 1830可以被配置為訓練神經網絡。在至少一個實施例中,可以在推理平臺內使用gpgpu 1830。在至少一個實施例中,在其中使用gpgpu 1830進行推理的情況下,相對于使用gpgpu 1830訓練神經網絡時,gpgpu 1830可以包括更少的計算集群1836a-1836h。在至少一個實施例中,與存儲器1844a-1844b相關聯的存儲器技術可以在推理和訓練配置之間有所不同,其中更高帶寬的存儲器技術專用于訓練配置。在至少一個實施例中,gpgpu 1830的推理配置可以支持推理特定指令。例如,在至少一個實施例中,推理配置可以提供對一個或更多個8位整數點積指令的支持,該指令可以在部署的神經網絡的推理操作期間使用。
    [0337]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在gpgpu 1830中使用,用于至少部分地基于使用神經網絡訓練操作、神經網絡功能和/或架構或本文所述的神經網絡用例計算的權重參數來推理或預測操作。
    [0338]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0339]
    圖19示出了根據至少一個實施例的計算機系統1900的框圖。在至少一個實施例中,計算機系統1900包括具有一個或更多個處理器1902的處理子系統1901和系統存儲器1904,所述系統存儲器1904經由可包括存儲器集線器1905的互連路徑通信。在至少一個實施例中,存儲器集線器1905可以是芯片組部件內的單獨部件,或者可以集成在一個或更多個處理器1902內。在至少一個實施例中,存儲器集線器1905通過通信鏈路1906與i/o子系統1911耦合。在一個實施例中,i/o子系統1911包括i/o集線器1907,所述i/o集線器可以使計算機系統1900能夠接收來自一個或更多個輸入設備1908的輸入。在至少一個實施例中,i/o集線器1907可以使顯示控制器向一個或更多個顯示設備1910a提供輸出,所述顯示控制器可以包括在一個或更多個處理器1902中。在至少一個實施例中,與i/o集線器1907耦合的一個或更多個顯示設備1910a可以包括本地,內部或嵌入式顯示設備。
    [0340]
    在至少一個實施例中,處理子系統1901包括經由總線或其他通信鏈路1913耦合到存儲器集線器1905的一個或更多個并行處理器1912中。在至少一個實施例中,通信鏈路1913可以使用任何一種許多基于標準的通信鏈路技術或協議,例如但不限于pci express,或者可以是特定于供應商的通信接口或通信結構。在至少一個實施例中,一個或更多個并行處理器1912形成計算集中的并行或向量處理系統,所述系統可以包括大量處理核心和/或處理集群,例如多集成核心(mic)處理器。在至少一個實施例中,一個或更多個并行處理器1912形成圖形處理子系統,所述圖形處理子系統可以將像素輸出到經由i/o集線器1907耦合的一個或更多個顯示設備1910a之一。在至少一個實施例中,并行處理器1912還可以包括顯示控制器和顯示接口(未示出),以使得能夠直接連接到一個或更多個顯示設備1910b。
    [0341]
    在至少一個實施例中,系統存儲單元1914可以連接到i/o集線器1907,以提供用于
    計算機系統1900的存儲機制。在至少一個實施例中,i/o交換機1916可以用于提供一個接口機制,以實現i/o集線器1907與其他組件之間的連接,例如可以集成到平臺中的網絡適配器1918和/或無線網絡適配器1919,以及可以通過一個或更多個附加設備1920添加的各種其他設備。在至少一個實施例中,網絡適配器1918可以是以太網適配器或另一有線網絡適配器。在至少一個實施例中,無線網絡適配器1919可以包括wi-fi、藍牙、近場通信(nfc)中的一個或更多個,或包括一個或更多個無線電設備的其他網絡設備。
    [0342]
    在至少一個實施例中,計算機系統1900可以包括未明確示出的其他組件,所述其他組件包括usb或其他端口連接、光學存儲驅動器、視頻捕獲設備等,所述其他組件也可以連接到i/o集線器1907。在至少一個實施例中,可以使用任何合適的協議(例如基于pci(外圍組件互連)的協議(例如pci-express)或其他總線或點對點通信接口和/或協議)來實現互連圖19中各個組件的通信路徑,例如nv-link高速互連或互連協議。
    [0343]
    在至少一個實施例中,一個或更多個并行處理器1912包括為圖形和視頻處理而優化的電路,所述電路包括例如視頻輸出電路,并構成圖形處理單元(gpu)。在至少一個實施例中,并行處理器1912包括為通用處理而優化的電路。在至少一個實施例中,計算機系統1900的組件可以與單個集成電路上的一個或更多個其他系統元件集成。例如,在至少一個實施例中,并行處理器1912、存儲器集線器1905、處理器1902和i/o集線器1907,可以被集成到片上系統(soc)集成電路中。在至少一個實施例中,計算機系統1900的組件可以被集成到單個封裝中,以形成系統級封裝(sip)配置。在至少一個實施例中,計算機系統1900的組件的至少一部分可以被集成到多芯片模塊(mcm)中,所述多芯片模塊可以與其他多芯片模塊互連到模塊化計算機系統中。
    [0344]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖19的系統1900中使用,用于至少部分地基于使用神經網絡訓練操作、神經網絡函數和/或架構或本文所述的神經網絡用例計算的權重參數來推理或預測操作。
    [0345]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0346]
    處理器
    [0347]
    圖20a示出了根據至少一個實施例的并行處理器2000。在至少一個實施例中,并行處理器2000的各種組件可以使用一個或更多個集成電路設備來實現,例如可編程處理器、專用集成電路(asic)或現場可編程門陣列(fpga)。在至少一個實施例中,所示的并行處理器2000是根據示例性實施例的圖22所示的一個或更多個并行處理器2212的變體。
    [0348]
    在至少一個實施例中,并行處理器2000包括并行處理單元2002。在至少一個實施例中,并行處理單元2002包括i/o單元2004,其使得能夠與其他設備進行通信,包括并行處理單元2002的其他實例。在至少一個實施例中,i/o單元2004可以直接連接到其他設備。在至少一個實施例中,i/o單元2004通過使用集線器或交換機接口(例如,存儲器集線器2105)
    與其他設備連接。在至少一個實施例中,存儲器集線器2005與i/o單元2004之間的連接形成通信鏈路2013。在至少一個實施例中,i/o單元2004與主機接口2006和存儲器交叉開關2016連接,其中主機接口2006接收用于執行處理操作的命令,而存儲器交叉開關2016接收用于執行存儲器操作的命令。
    [0349]
    在至少一個實施例中,當主機接口2006經由i/o單元2004接收命令緩沖區時,主機接口2006可以引導工作操作以執行那些命令到前端2008。在至少一個實施例中,前端2008與調度器2010耦合,調度器2010配置成將命令或其他工作項分配給處理集群陣列2012。在至少一個實施例中,調度器2010確保在將任務分配給處理集群陣列2012之前,處理集群陣列2012被正確地配置并且處于有效狀態。在至少一個實施例中,調度器2010通過在微控制器上執行的固件邏輯來實現。在至少一個實施例中,微控制器實現的調度器2010可配置成以粗粒度和細粒度執行復雜的調度和工作分配操作,從而實現對在處理陣列2012上執行的線程的快速搶占和上下文切換。在至少一個實施例中,主機軟件可以證明用于通過多個圖形處理路徑之一在處理陣列2012上進行調度的工作負載。在至少一個實施例中,工作負載然后可以由包括調度器2010的微控制器內的調度器2010邏輯在處理陣列2012上自動分配。
    [0350]
    在至少一個實施例中,處理集群陣列2012可以包括多達“n”個處理集群(例如,集群2014a、集群2014b到集群2014n),其中“n”代表一個正整數(可以是與其他圖中使用的整數“n”不同的整數)。在至少一個實施例中,處理集群陣列2012的每個集群2014a-2014n可以執行大量并發線程。在至少一個實施例中,調度器2010可以使用各種調度和/或工作分配算法將工作分配給處理集群陣列2012的集群2014a-2014n,其可以根據每種程序或計算類型產生的工作負載而變化。在至少一個實施例中,調度可以由調度器2010動態地處理,或者可以在配置為由處理集群陣列2012執行的程序邏輯的編譯期間部分地由編譯器邏輯來輔助。在至少一個實施例中,可將處理集群陣列2012的不同的集群2014a-2014n分配用于處理不同類型的程序或用于執行不同類型的計算。
    [0351]
    在至少一個實施例中,處理集群陣列2012可以配置成執行各種類型的并行處理操作。在至少一個實施例中,處理集群陣列2012配置成執行通用并行計算操作。例如,在至少一個實施例中,處理集群陣列2012可以包括執行處理任務的邏輯,該處理任務包括對視頻和/或音頻數據的過濾,執行建模操作,包括物理操作以及執行數據轉換。
    [0352]
    在至少一個實施例中,處理集群陣列2012配置成執行并行圖形處理操作。在至少一個實施例中,處理集群陣列2012可以包括附加邏輯以支持這種圖形處理操作的執行,包括但不限于執行紋理操作的紋理采樣邏輯,以及鑲嵌邏輯和其他頂點處理邏輯。在至少一個實施例中,處理集群陣列2012可以配置成執行與圖形處理有關的著色器程序,例如但不限于頂點著色器、曲面細分著色器、幾何著色器和像素著色器。在至少一個實施例中,并行處理單元2002可以經由i/o單元2004從系統存儲器傳送數據以進行處理。在至少一個實施例中,在處理期間,可以在處理期間將傳送的數據存儲到片上存儲器(例如,并行處理器存儲器2022),然后將其寫回到系統存儲器。
    [0353]
    在至少一個實施例中,當并行處理單元2002用于執行圖形處理時,調度器2010可以配置成將處理工作負載劃分為近似相等大小的任務,以更好地將圖形處理操作分配給處理集群陣列2012的多個集群2014a-2014n。在至少一個實施例中,處理集群陣列2012的部分可以配置成執行不同類型的處理。例如,在至少一個實施例中,第一部分可以配置成執行頂
    點著色和拓撲生成,第二部分可以配置成執行鑲嵌和幾何著色,并且第三部分可以配置成執行像素著色或其他屏幕空間操作,以生成用于顯示的渲染圖像。在至少一個實施例中,可以將由集群2014a-2014n中的一個或更多個產生的中間數據存儲在緩沖區中,以允許在集群2014a-2014n之間傳輸中間數據以進行進一步處理。
    [0354]
    在至少一個實施例中,處理集群陣列2012可以經由調度器2010接收要執行的處理任務,該調度器2010從前端2008接收定義處理任務的命令。在至少一個實施例中,處理任務可以包括要被處理的數據的索引,例如,表面(補丁)數據、原始數據、頂點數據和/或像素數據,以及狀態參數和定義如何處理數據的命令(例如,要執行什么程序)。在至少一個實施例中,調度器2010可以配置成獲取與任務相對應的索引,或者可以從前端2008接收索引。在至少一個實施例中,前端2008可以配置成確保在啟動由傳入命令緩沖區(例如,批緩沖區(batch-buffer)、推送緩沖區等)指定的工作負載之前,處理集群陣列2012配置成有效狀態。
    [0355]
    在至少一個實施例中,并行處理單元2002的一個或更多個實例中的每一個可以與并行處理器存儲器2022耦合。在至少一個實施例中,可以經由存儲器交叉開關2016訪問并行處理器存儲器2022,所述存儲器交叉開關2016可以接收來自處理集群陣列2012以及i/o單元2004的存儲器請求。在至少一個實施例中,存儲器交叉開關2016可以經由存儲器接口2018訪問并行處理器存儲器2022。在至少一個實施例中,存儲器接口2018可以包括多個分區單元(例如,分區單元2020a、分區單元2020b到分區單元2020n),其可各自耦合至并行處理器存儲器2022的一部分(例如,存儲器單元)。在至少一個實施例中,多個分區單元2020a-2020n為配置為等于存儲器單元的數量,使得第一分區單元2020a具有對應的第一存儲器單元2024a,第二分區單元2020b具有對應的存儲器單元2024b,第n分區單元2020n具有對應的第n存儲器單元2024n。在至少一個實施例中,分區單元2020a-2020n的數量可以不等于存儲器單元的數量。
    [0356]
    在至少一個實施例中,存儲器單元2024a-2024n可以包括各種類型的存儲器設備,包括動態隨機存取存儲器(dram)或圖形隨機存取存儲器,例如同步圖形隨機存取存儲器(sgram),包括圖形雙倍數據速率(gddr)存儲器。在至少一個實施例中,存儲器單元2024a-2024n還可包括3d堆疊存儲器,包括但不限于高帶寬存儲器(hbm)。在至少一個實施例中,可以跨存儲器單元2024a-2024n來存儲諸如幀緩沖區或紋理映射的渲染目標,從而允許分區單元2020a-2020n并行地寫入每個渲染目標的部分,以有效地使用并行處理器存儲器2022的可用帶寬。在至少一個實施例中,可以排除并行處理器存儲器2022的本地實例,以有利于利用系統存儲器與本地高速緩存存儲器結合的統一存儲器設計。
    [0357]
    在至少一個實施例中,處理集群陣列2012的集群2014a-2014n中的任何一個都可以處理將被寫入并行處理器存儲器2022內的任何存儲器單元2024a-2024n中的數據。在至少一個實施例中,存儲器交叉開關2016可以配置為將每個集群2014a-2014n的輸出傳輸到任何分區單元2020a-2020n或另一個集群2014a-2014n,集群2014a-2014n可以對輸出執行其他處理操作。在至少一個實施例中,每個集群2014a-2014n可以通過存儲器交叉開關2016與存儲器接口2018通信,以從各種外部存儲設備讀取或寫入各種外部存儲設備。在至少一個實施例中,存儲器交叉開關2016具有到存儲器接口2018的連接以與i/o單元2004通信,以及到并行處理器存儲器2022的本地實例的連接,從而使不同處理集群2014a-2014n內的處
    理單元與系統存儲器或不是并行處理單元2002本地的其他存儲器進行通信。在至少一個實施例中,存儲器交叉開關2016可以使用虛擬通道來分離集群2014a-2014n和分區單元2020a-2020n之間的業務流。
    [0358]
    在至少一個實施例中,可以在單個插入卡上提供并行處理單元2002的多個實例,或者可以將多個插入卡互連。在至少一個實施例中,并行處理單元2002的不同實例可以配置成相互操作,即使不同實例具有不同數量的處理核心,不同數量的本地并行處理器存儲器和/或其他配置差異。例如,在至少一個實施例中,并行處理單元2002的一些實例可以包括相對于其他實例而言更高精度的浮點單元。在至少一個實施例中,結合并行處理單元2002或并行處理器2000的一個或更多個實例的系統可以以各種配置和形式因素來實現,包括但不限于臺式機、膝上型計算機或手持式個人計算機、服務器、工作站、游戲機和/或嵌入式系統。
    [0359]
    圖20b是根據至少一個實施例的分區單元2020的框圖。在至少一個實施例中,分區單元2020是圖20a的分區單元2020a-2020n之一的實例。在至少一個實施例中,分區單元2020包括l2高速緩存2021、幀緩沖區接口2025和rop2026(光柵操作單元)。在至少一個實施例中,l2高速緩存2021是讀/寫高速緩存,其配置成執行從存儲器交叉開關2016和rop2026接收的加載和存儲操作。在至少一個實施例中,l2高速緩存2021將讀取未命中和緊急回寫請求輸出到幀緩沖區接口2025以進行處理。在至少一個實施例中,還可以經由幀緩沖區接口2025將更新發送到幀緩沖區以進行處理。在至少一個實施例中,幀緩沖區接口2025與并行處理器存儲器中的存儲器單元(諸如圖20a的存儲器單元2024a-2024n(例如,在并行處理器存儲器2022內))之一相互作用。
    [0360]
    在至少一個實施例中,rop 2026是一種處理單元,其執行光柵操作,諸如模版、z測試、混合等。在至少一個實施例中,rop 2026然后輸出存儲在圖形存儲器中的處理后的圖形數據。在至少一個實施例中,rop 2026包括壓縮邏輯以壓縮被寫入存儲器的深度或顏色數據并解壓縮從存儲器讀取的深度或顏色數據。在至少一個實施例中,壓縮邏輯可以是利用多種壓縮算法中的一個或更多個的無損壓縮邏輯。在至少一個實施例中,rop 2026執行的壓縮的類型可以基于要壓縮的數據的統計特性而變化。例如,在至少一個實施例中,基于每圖塊基礎上的深度和顏色數據執行增量顏色壓縮。
    [0361]
    在至少一個實施例中,rop 2026包括在每個處理集群內(例如,圖20a的集群2014a-2014n),而不是在分區單元2020內。在至少一個實施例中,通過存儲器交叉開關2016而不是像素片段數據傳輸對像素數據的讀取和寫入請求。在至少一個實施例中,經處理的圖形數據可以在顯示設備上(諸如圖22的一個或更多個顯示設備2210之一)顯示,由處理器2202路由以供進一步處理,或者由圖20a的并行處理器2000內的處理實體之一路由以供進一步處理。
    [0362]
    圖20c是根據至少一個實施例的并行處理單元內的處理集群2014的框圖。在至少一個實施例中,處理集群是圖20a的處理集群2014a-2014n之一的實例。在至少一個實施例中,處理集群2014可以配置成并行執行許多線程,其中“線程”是指在特定的一組輸入數據上執行的特定程序的實例。在至少一個實施例中,單指令多數據(simd)指令發布技術用于支持大量線程的并行執行而無需提供多個獨立的指令單元。在至少一個實施例中,使用單指令多線程(simt)技術來支持并行執行大量一般同步的線程,這使用了公共指令單元,該
    公共指令單元配置成向每個處理集群內的一組處理引擎發出指令。
    [0363]
    在至少一個實施例中,可以通過將處理任務分配給simt并行處理器的管線管理器2032來控制處理集群2014的操作。在至少一個實施例中,管線管理器2032從圖20a的調度器2010接收指令,通過圖形多處理器2034和/或紋理單元2036管理這些指令的執行。在至少一個實施例中,圖形多處理器2034是simt并行處理器的示例性實例。然而,在至少一個實施例中,處理集群2014內可以包括不同架構的各種類型的simt并行處理器。在至少一個實施例中,在處理集群2014內可以包括圖形多處理器2034的一個或更多個實例。在至少一個實施例中,圖形多處理器2034可以處理數據,并且數據交叉開關2040可以用于將處理后的數據分發到多個可能的目的(包括其他著色器單元)地之一。在至少一個實施例中,管線管理器2032可以通過指定要經由數據交叉開關2040分配的處理后的數據的目的地來促進處理后的數據的分配。
    [0364]
    在至少一個實施例中,處理集群2014內的每個圖形多處理器2034可以包括相同的一組功能執行邏輯(例如,算術邏輯單元、加載存儲單元等)。在至少一個實施例中,可以以管線方式配置功能執行邏輯,其中可以在先前的指令完成之前發出新的指令。在至少一個實施例中,功能執行邏輯支持多種操作,包括整數和浮點算術、比較操作、布爾運算、移位和各種代數函數的計算。在至少一個實施例中,可以利用相同的功能單元硬件來執行不同的操作,并且可以存在功能單元的任何組合。
    [0365]
    在至少一個實施例中,傳送到處理集群2014的指令構成線程。在至少一個實施例中,跨一組并行處理引擎執行的一組線程是線程組。在至少一個實施例中,線程組在不同的輸入數據上執行通用程序。在至少一個實施例中,線程組內的每個線程可被分配給圖形多處理器2034內的不同處理引擎。在至少一個實施例中,線程組可包括比圖形多處理器2034內的多個處理引擎更少的線程。在至少一個實施例中,當線程組包括的線程數少于處理引擎的數量時,一個或更多個處理引擎在正在處理該線程組的循環期間可能是空閑的。在至少一個實施例中,線程組還可以包括比圖形多處理器2034內的多個處理引擎更多的線程。在至少一個實施例中,當線程組包括比圖形多處理器2034內的處理引擎的數量更多的線程時,可以在連續的時鐘周期內執行處理。在至少一個實施例中,可以在圖形多處理器2034上同時執行多個線程組。
    [0366]
    在至少一個實施例中,圖形多處理器2034包括內部高速緩存存儲器,以執行加載和存儲操作。在至少一個實施例中,圖形多處理器2034可以放棄內部高速緩存并使用處理集群2014內的高速緩存存儲器(例如,l1高速緩存2048)。在至少一個實施例中,每個圖形多處理器2034還可以訪問分區單元(例如,圖20a的分區單元2020a-2020n)內的l2高速緩存,這些分區單元在所有處理集群2014之間共享并且可以用于在線程之間傳輸數據。在至少一個實施例中,圖形多處理器2034還可以訪問片外全局存儲器,其可以包括本地并行處理器存儲器和/或系統存儲器中的一個或更多個。在至少一個實施例中,并行處理單元2002外部的任何存儲器都可以用作全局存儲器。在至少一個實施例中,處理集群2014包括圖形多處理器2034的多個實例,它們可以共享可以存儲在l1高速緩存2048中的公共指令和數據。
    [0367]
    在至少一個實施例中,每個處理集群2014可以包括配置成將虛擬地址映射為物理地址的存儲器管理單元(“mmu”)2045。在至少一個實施例中,mmu 2045的一個或更多個實例可以駐留在圖20a的存儲器接口2018內。在至少一個實施例中,mmu 2045包括一組頁表條目
    (pte),其用于將虛擬地址映射到圖塊的物理地址以及可選地映射到高速緩存行索引。在至少一個實施例中,mmu 2045可以包括地址轉換后備緩沖區(tlb)或可以駐留在圖形多處理器2034或l1高速緩存2048或處理集群2014內的高速緩存。在至少一個實施例中,處理物理地址以分配表面數據訪問局部性,以便在分區單元之間進行有效的請求交織。在至少一個實施例中,高速緩存行索引可以用于確定對高速緩存線的請求是命中還是未命中。
    [0368]
    在至少一個實施例中,可以配置處理集群2014,使得每個圖形多處理器2034耦合到紋理單元2036,以執行紋理映射操作,所述操作確定紋理樣本位置、讀取紋理數據以及過濾紋理數據。在至少一個實施例中,根據需要從內部紋理l1高速緩存(未示出)或從圖形多處理器2034內的l1高速緩存中讀取紋理數據,并從l2高速緩存、本地并行處理器存儲器或系統存儲器中獲取紋理數據。在至少一個實施例中,每個圖形多處理器2034將處理后的任務輸出到數據交叉開關2040,以將處理后的任務提供給另一處理集群2014以進行進一步處理或將處理后的任務存儲在l2高速緩存、本地并行處理器存儲器、或經由存儲器交叉開關2016的系統存儲器中。在至少一個實施例中,prerop2042(光柵前操作單元)配置成從圖形多處理器2034接收數據,將數據引導至rop單元,該rop單元可以與本文所述的分區單元(例如,圖20a的分區單元2020a-2020n)一起定位。在至少一個實施例中,prerop2042單元可以執行用于顏色混合的優化、組織像素顏色數據以及執行地址轉換。
    [0369]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖形處理集群2014中用于至少部分地基于使用本文描述的神經網絡訓練操作、神經網絡函數和/或架構或神經網絡用例計算的權重參數來進行推理或預測操作。
    [0370]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0371]
    圖20d示出了根據至少一個實施例的圖形多處理器2034。在至少一個實施例中,圖形多處理器2034與處理集群2014的管線管理器2032耦合。在至少一個實施例中,圖形多處理器2034具有執行管線,該執行管線包括但不限于指令高速緩存2052、指令單元2054、地址映射單元2056、寄存器文件2058、一個或更多個通用圖形處理單元(gpgpu)核心2062和一個或更多個加載/存儲單元2066。在至少一個實施例中,gpgpu核心2062和加載/存儲單元2066與高速緩存存儲器2072和共享存儲器2070通過存儲器和高速緩存互連2068耦合。
    [0372]
    在至少一個實施例中,指令高速緩存2052從管線管理器2032接收要執行的指令流。在至少一個實施例中,將指令高速緩存在指令高速緩存2052中并將其分派以供指令單元2054執行。在一個實施例中,指令單元2054可以分派指令作為線程組(例如,線程束),將線程組的每個線程分配給gpgpu核心2062內的不同執行單元。在至少一個實施例中,指令可以通過在統一地址空間內指定地址來訪問任何本地、共享或全局地址空間。在至少一個實施例中,地址映射單元2056可以用于將統一地址空間中的地址轉換成可以由加載/存儲單元2066訪問的不同的存儲器地址。
    [0373]
    在至少一個實施例中,寄存器文件2058為圖形多處理器2034的功能單元提供了一組寄存器。在至少一個實施例中,寄存器文件2058為連接到圖形多處理器2034的功能單元(例如,gpgpu核心2062、加載/存儲單元2066)的數據路徑的操作數提供了臨時存儲。在至少一個實施例中,在每個功能單元之間劃分寄存器文件2058,使得為每個功能單元分配寄存器文件2058的專用部分。在至少一個實施例中,寄存器文件2058在圖形多處理器2034正在執行的不同線程束之間劃分。
    [0374]
    在至少一個實施例中,gpgpu核心2062可以各自包括用于執行圖形多處理器2034的指令的浮點單元(fpu)和/或整數算術邏輯單元(alu)。在至少一個實施例中,gpgpu核心2062在架構上可以相似或架構可能有所不同。在至少一個實施例中,gpgpu核心2062的第一部分包括單精度fpu和整數alu,而gpgpu核心的第二部分包括雙精度fpu。在至少一個實施例中,fpu可以實現用于浮點算法的ieee754-2008標準或啟用可變精度浮點算法。在至少一個實施例中,圖形多處理器2034可以另外包括一個或更多個固定功能或特殊功能單元,以執行特定功能,諸如復制矩形或像素混合操作。在至少一個實施例中,gpgpu核心2062中的一個或更多個也可以包括固定或特殊功能邏輯。
    [0375]
    在至少一個實施例中,gpgpu核心2062包括能夠對多組數據執行單個指令的simd邏輯。在一個實施例中,gpgpu核心2062可以物理地執行simd4、simd8和simd16指令,并且在邏輯上執行simd1、simd2和simd32指令。在至少一個實施例中,用于gpgpu核心的simd指令可以在編譯時由著色器編譯器生成,或者在執行針對單程序多數據(spmd)或simt架構編寫和編譯的程序時自動生成。在至少一個實施例中,可以通過單個simd指令來執行為simt執行模型配置的程序的多個線程。例如,在至少一個實施例中,可以通過單個simd8邏輯單元并行執行執行相同或相似操作的八個simt線程。
    [0376]
    在至少一個實施例中,存儲器和高速緩存互連2068是將圖形多處理器2034的每個功能單元連接到寄存器文件2058和共享存儲器2070的互連網絡。在至少一個實施例中,存儲器和高速緩存互連2068是交叉開關互連,其允許加載/存儲單元2066在共享存儲器2070和寄存器文件2058之間實現加載和存儲操作。在至少一個實施例中,寄存器文件2058可以以與gpgpu核心2062相同的頻率操作,從而在gpgpu核心2062和寄存器文件2058之間進行數據傳輸的延遲非常低。在至少一個實施例中,共享存儲器2070可以用于啟用在圖形多處理器2034內的功能單元上執行的線程之間的通信。在至少一個實施例中,高速緩存存儲器2072可以用作例如數據高速緩存,以高速緩存在功能單元和紋理單元2036之間通信的紋理數據。在至少一個實施例中,共享存儲器2070也可以用作程序管理的高速緩存。在至少一個實施例中,除了存儲在高速緩存存儲器2072中的自動高速緩存的數據之外,在gpgpu核心2062上執行的線程還可以以編程方式將數據存儲在共享存儲器中。
    [0377]
    在至少一個實施例中,如本文所述的并行處理器或gpgpu通信地耦合到主機/處理器核心,以加速圖形操作、機器學習操作、圖案分析操作以及各種通用gpu(gpgpu)功能。在至少一個實施例中,gpu可以通過總線或其他互連(例如,諸如pcie或nvlink的高速互連)通信地耦合到主機處理器/核心。在至少一個實施例中,gpu可以與核心集成在封裝或芯片上,并通過內部處理器總線/互連(即,封裝或芯片的內部)通信地耦合到核心。在至少一個實施例中,不管gpu連接的方式如何,處理器核心可以以工作描述符中包含的命令/指令序列的形式向該gpu分配工作。在至少一個實施例中,該gpu然后使用專用電路/邏輯來有效地處理
    這些命令/指令。
    [0378]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。下面結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖形多處理器2034中用于至少部分地基于使用本文描述的神經網絡訓練操作、神經網絡功能和/或架構或神經網絡用例計算的權重參數來進行推理或預測操作。
    [0379]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0380]
    圖21示出了根據至少一個實施例的多gpu計算系統2100。在至少一個實施例中,多gpu計算系統2100可以包括經由主機接口交換機2104耦合到多個通用圖形處理單元(gpgpu)2106a-d的處理器2102。在至少一個實施例中,主機接口交換機2104是將處理器2102耦合到pci express總線的pci express交換機設備,處理器2102可以通過pci express總線與gpgpu 2106a-d通信。在至少一個實施例中,gpgpu 2106a-d可以經由一組高速p2p gpu到gpu鏈路2116互連。在至少一個實施例中,gpu到gpu鏈路2116經由專用gpu鏈路連接到gpgpu 2106a-d中的每一個。在至少一個實施例中,p2p gpu鏈路2116使得能夠在每個gpgpu 2106a-d之間進行直接通信,而無需通過處理器2102所連接的主機接口總線2104進行通信。在至少一個實施例中,在gpu到gpu業務定向到p2p gpu鏈路2116的情況下,主機接口總線2104保持可用于系統存儲器訪問或例如經由一個或更多個網絡設備與多gpu計算系統2100的其他實例進行通信。雖然在至少一個實施例中,gpgpu 2106a-d經由主機接口交換機2104連接到處理器2102,但是在至少一個實施例中,處理器2102包括對p2p gpu鏈路2116的直接支持,并且可以直接連接到gpgpu 2106a-d。
    [0381]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在多gpu計算系統2100中使用,用于至少部分地基于使用本文描述的神經網絡訓練操作、神經網絡函數和/或架構或神經網絡用例計算的權重參數來進行推理或預測操作。
    [0382]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0383]
    圖22是根據至少一個實施例的圖形處理器2200的框圖。在至少一個實施例中,圖形處理器2200包括環形互連2202、管線前端2204、媒體引擎2237和圖形核心2280a-2280n。在至少一個實施例中,環形互連2202將圖形處理器2200耦合到其他處理單元,所述處理單元包括其他圖形處理器或一個或更多個通用處理器核心。在至少一個實施例中,圖形處理器2200是集成在多核心處理系統內的許多處理器之一。
    [0384]
    在至少一個實施例中,圖形處理器2200經由環形互連2202接收多批命令。在至少一個實施例中,輸入的命令由管線前端2204中的命令流轉化器(streamer)2203解釋。在至少一個實施例中,圖形處理器2200包括可擴展執行邏輯,用于經由圖形核心2280a-2280n執行3d幾何處理和媒體處理。在至少一個實施例中,對于3d幾何處理命令,命令流轉化器2203將命令提供給幾何管線2236。在至少一個實施例中,對于至少一些媒體處理命令,命令流轉化器2203將命令提供給視頻前端2234,該視頻前端與媒體引擎2237耦合。在至少一個實施例中,媒體引擎2237包括用于視頻和圖像后處理的視頻質量引擎(vqe)2230,以及用于提供硬件加速的媒體數據編碼和解碼的多格式編碼/解碼(mfx)2233引擎。在至少一個實施例中,幾何管線2236和媒體引擎2237各自生成用于由至少一個圖形核心2280提供的線程執行資源的執行線程。
    [0385]
    在至少一個實施例中,圖形處理器2200包括具有(featuring)圖形核心2280a-2280n(其可以是模塊化的并且有時被稱為核心切片)的可擴展線程執行資源,每個圖形核心具有多個子核心2250a-2250n,2260a-2260n(有時稱為核心子切片)。在至少一個實施例中,圖形處理器2200可以具有任意數量的圖形核心2280a。在至少一個實施例中,圖形處理器2200包括具有至少第一子核心2250a和第二子核心2260a的圖形核心2280a。在至少一個實施例中,圖形處理器2200是具有單個子核心(例如2250a)的低功率處理器。在至少一個實施例中,圖形處理器2200包括多個圖形核心2280a-2280n,每個圖形核心包括一組第一子核心2250a-2250n和一組第二子核心2260a-2260n。在至少一個實施例中,第一子核心2250a-2250n中的每個子核心至少包括第一組執行單元2252a-2252n和媒體/紋理采樣器2254a-2254n。在至少一個實施例中,第二子核心2260a-2260n中的每個子核心至少包括第二組執行單元2262a-2262n和采樣器2264a-2264n。在至少一個實施例中,每個子核心2250a-2250n,2260a-2260n共享一組共享資源2270a-2270n。在至少一個實施例中,共享資源包括共享高速緩存存儲器和像素操作邏輯。
    [0386]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715可以在圖形處理器2200中用于至少部分地基于使用本文描述的神經網絡訓練操作、神經網絡功能和/或架構或神經網絡用例計算的權重參數來進行推理或預測操作。
    [0387]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0388]
    圖23是根據至少一個實施例的說明用于處理器2300的微架構的框圖,該處理器2300可以包括用于執行指令的邏輯電路。在至少一個實施例中,處理器2300可以執行指令,包括x86指令、arm指令、用于專用集成電路(asic)的專用指令等。在至少一個實施例中,處理器2300可以包括用于存儲封裝數據的寄存器,例如作為加利福尼亞州圣克拉拉市英特爾公司采用mmx技術啟用的微處理器中的64位寬mmx
    tm
    寄存器。在至少一個實施例中,整數和浮點數形式可用的mmx寄存器可以與封裝的數據元素一起運行,所述封裝的數據元素伴隨單
    指令多數據(“simd”)和流式simd擴展(“sse”)指令。在至少一個實施例中,與sse2、sse3、sse4、avx或更高版本(一般稱為“ssex”)技術有關的128位寬xmm寄存器可以保存此類封裝數據操作數。在至少一個實施例中,處理器2300可以執行指令以加速機器學習或深度學習算法、訓練或推理。
    [0389]
    在至少一個實施例中,處理器2300包括有序前端(“前端”)2301,以提取要執行的指令并準備稍后在處理器管線中使用的指令。在至少一個實施例中,前端2301可以包括幾個單元。在至少一個實施例中,指令預取器2323從存儲器中獲取指令并將指令提供給指令解碼器2328,指令解碼器2328又對指令進行解碼或解釋。例如,在至少一個實施例中,指令解碼器2328將接收到的指令解碼為機器可執行的所謂的“微指令”或“微操作”(也稱為“微操作”或“微指令”)的一個或更多個操作。在至少一個實施例中,指令解碼器2328將指令解析為操作碼以及相應的數據和控制字段,其可以由微架構用來使用以根據至少一個實施例來執行操作。在至少一個實施例中,跟蹤高速緩存2330可以將解碼的微指令組裝成微指令隊列2334中的程序排序的序列或追蹤以供執行。在至少一個實施例中,當追蹤高速緩存2330遇到復雜指令時,微碼rom 2332提供完成操作所需的微指令。
    [0390]
    在至少一個實施例中,可以將一些指令轉換成單個微操作,而另一些指令則需要幾個微操作來完成全部操作。在至少一個實施例中,如果需要多于四個的微指令來完成一條指令,則指令解碼器2328可以訪問微碼rom 2332以執行該指令。在至少一個實施例中,可以將指令解碼為少量的微指令以在指令解碼器2328處進行處理。在至少一個實施例中,如果需要多個微指令完成該操作,則可以將指令存儲在微碼rom 2332中。在至少一個實施例中,追蹤高速緩存器2330參考入口點可編程邏輯陣列(“pla”)以確定正確的微指令指針,用于根據至少一個實施例從微碼rom 2332讀取微碼序列以完成一個或更多個指令。在至少一個實施例中,在微碼rom 2332完成對指令的微操作排序之后,機器的前端2301可以恢復從追蹤高速緩存2330獲取微操作。
    [0391]
    在至少一個實施例中,亂序執行引擎(“亂序引擎”)2303可以準備用于執行的指令。在至少一個實施例中,亂序執行邏輯具有多個緩沖區,以使指令流平滑并重新排序,以在指令沿管線下降并被調度執行時優化性能。在至少一個實施例中,亂序執行引擎2303包括但不限于分配器/寄存器重命名器2340、存儲器微指令隊列2342、整數/浮點微指令隊列2344、存儲器調度器2346、快速調度器2302、慢速/通用浮點調度器(“慢速/通用fp調度器”)2304和簡單浮點調度器(“簡單fp調度器”)2306。在至少一個實施例中,快速調度器2302、慢速/通用浮點調度器2304和簡單浮點調度器2306也統稱為“微指令調度器2302、2304、2306”。在至少一個實施例中,分配器/寄存器重命名器2340分配每個微指令按序列執行所需要的機器緩沖區和資源。在至少一個實施例中,分配器/寄存器重命名器2340將邏輯寄存器重命名為寄存器文件中的條目。在至少一個實施例中,分配器/寄存器重命名器2340還為兩個微指令隊列之一中的每個微指令分配條目,存儲器微指令隊列2342用于存儲器操作和整數/浮點微指令隊列2344用于非存儲器操作,在存儲器調度器2346和微指令調度器2302、2304、2306的前面。在至少一個實施例中,微指令調度器2302、2304、2306基于它們的從屬輸入寄存器操作數源的就緒性和需要完成的執行資源微指令的可用性來確定何時準備好執行微指令。至少一個實施例的快速調度器2302可以在主時鐘周期的每個一半上調度,而慢速/通用浮點調度器2304和簡單浮點調度器2306可以在每個主處理器時鐘周期調度一次。
    在至少一個實施例中,微指令調度器2302、2304、2306對調度端口進行仲裁,以調度用于執行的微指令。
    [0392]
    在至少一個實施例中,執行塊2311包括但不限于整數寄存器文件/支路網絡2308、浮點寄存器文件/支路網絡(“fp寄存器文件/支路網絡”)2310、地址生成單元(“agu”)2312和2314、快速算術邏輯單元(“快速alu”)2316和2318、慢速算術邏輯單元(“慢速alu”)2320、浮點alu(“fp”)2322和浮點移動單元(“fp移動”)2324。在至少一個實施例中,整數寄存器文件/支路網絡2308和浮點寄存器文件/旁路網絡2310在本文中也稱為“寄存器文件2308、2310”。在至少一個實施例中,agu 2312和2314、快速alu 2316和2318、慢速alu 2320、浮點alu 2322和浮點移動單元2324在本文中也稱為“執行單元2312、2314、2316、2318、2320、2322和2324”。在至少一個實施例中,執行塊2311可以包括但不限于任意數量(包括零)和類型的寄存器文件、支路網絡、地址生成單元和執行單元(以任何組合)。
    [0393]
    在至少一個實施例中,寄存器網絡2308、2310可以布置在微指令調度器2302、2304、2306與執行單元2312、2314、2316、2318、2320、2322和2324之間。在至少一個實施例中,整數寄存器文件/支路網絡2308執行整數運算。在至少一個實施例中,浮點寄存器文件/支路網絡2310執行浮點操作。在至少一個實施例中,寄存器網絡2308、2310中的每一個可以包括但不限于支路網絡,該支路網絡可以繞過或轉發尚未寫入寄存器文件中的剛剛完成的結果到新的從屬對象。在至少一個實施例中,寄存器網絡2308、2310可以彼此通信數據。在至少一個實施例中,整數寄存器文件/支路網絡2308可以包括但不限于兩個單獨的寄存器文件、一個寄存器文件用于低階32位數據,第二寄存器文件用于高階32位數據。在至少一個實施例中,浮點寄存器文件/支路網絡2310可以包括但不限于128位寬的條目,因為浮點指令通常具有寬度為64至128位的操作數。
    [0394]
    在至少一個實施例中,執行單元2312、2314、2316、2318、2320、2322、2324可以執行指令。在至少一個實施例中,寄存器網絡2308、2310存儲微指令需要執行的整數和浮點數據操作數值。在至少一個實施例中,處理器2300可以包括但不限于任何數量的執行單元2312、2314、2316、2318、2320、2322、2324及其組合。在至少一個實施例中,浮點alu 2322和浮點移動單元2324,可以執行浮點、mmx、simd、avx和sse或其他操作,包括專門的機器學習指令。在至少一個實施例中,浮點alu 2322可以包括但不限于64位乘64位浮點除法器,以執行除法、平方根和余數微操作。在至少一個實施例中,可以用浮點硬件來處理涉及浮點值的指令。在至少一個實施例中,可以將alu操作傳遞給快速alu 2316、2318。在至少一個實施例中,快速alu 2316、2318可以以半個時鐘周期的有效延遲執行快速操作。在至少一個實施例中,大多數復雜的整數運算進入慢速alu 2320,因為慢速alu 2320可以包括但不限于用于長延遲類型操作的整數執行硬件,例如乘法器、移位、標志邏輯和分支處理。在至少一個實施例中,存儲器加載/存儲操作可以由agu 2312、2314執行。在至少一個實施例中,快速alu 2316、快速alu 2318和慢速alu 2320可以對64位數據操作數執行整數運算。在至少一個實施例中,可以實現快速alu 2316、快速alu 2318和慢速alu 2320以支持包括十六、三十二、128、256等的各種數據位大小。在至少一個實施例中,浮點alu 2322和浮點移動單元2324可以實現為支持具有各種寬度的位的一定范圍的操作數,例如可以結合simd和多媒體指令對128位寬封裝數據操作數進行操作。
    [0395]
    在至少一個實施例中,微指令調度器2302、2304、2306在父加載完成執行之前調度
    從屬操作。在至少一個實施例中,由于可以在處理器2300中推測性地調度和執行微指令,處理器2300還可以包括用于處理存儲器未命中的邏輯。在至少一個實施例中,如果數據高速緩存中的數據加載未命中,則可能存在在管線中正在運行的從屬操作,其使調度器暫時沒有正確的數據。在至少一個實施例中,一種重放機制追蹤蹤并重新執行使用不正確數據的指令。在至少一個實施例中,可能需要重放從屬操作并且可以允許完成獨立操作。在至少一個實施例中,處理器的至少一個實施例的調度器和重放機制也可以設計為捕獲用于文本串比較操作的指令序列。
    [0396]
    在至少一個實施例中,“寄存器”可以指代可以用作識別操作數的指令的一部分的機載處理器存儲位置。在至少一個實施例中,寄存器可以是那些可以從處理器外部使用的寄存器(從程序員的角度來看)。在至少一個實施例中,寄存器可能不限于特定類型的電路。相反,在至少一個實施例中,寄存器可以存儲數據、提供數據并執行本文描述的功能。在至少一個實施例中,本文描述的寄存器可以通過處理器內的電路使用多種不同技術來實現,例如專用物理寄存器、使用寄存器重命名動態分配的物理寄存器、專用和動態分配的物理寄存器的組合等。在至少一個實施例中,整數寄存器存儲32位整數數據。至少一個實施例的寄存器文件還包含八個用于封裝數據的多媒體simd寄存器。
    [0397]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,可以將推理和/或訓練邏輯715的部分或全部并入執行塊2311以及示出或未示出的其他存儲器或寄存器。例如,在至少一個實施例中,本文描述的訓練和/或推理技術可以使用執行塊2311中示出的一個或更多個alu。此外,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,該寄存器和/或寄存器配置執行塊2311的alu以執行一個或更多個本文所述的機器學習算法、神經網絡架構、用例或訓練技術。
    [0398]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0399]
    圖24示出了根據至少一個實施例的深度學習應用程序處理器2400。在至少一個實施例中,深度學習應用程序處理器2400使用指令,如果由深度學習應用程序處理器2400執行,則指令使深度學習應用程序處理器2400執行貫穿本公開描述的一些或全部過程和技術。在至少一個實施例中,深度學習應用程序處理器2400是專用集成電路(asic)。在至少一個實施例中,應用程序處理器2400執行矩陣乘法運算或者“硬連線”到硬件中,作為執行一個或更多個指令或兩者的結果。在至少一個實施例中,深度學習應用程序處理器2400包括但不限于處理集群2410(1)-2410(12)、芯片間鏈路(“icl”)2420(1)-2420(12)、芯片間控制器(“icc”)2430(1)-2430(2)、第二代高帶寬存儲器(“hbm2”)2440(1)-2440(4)、存儲器控制器(“memctrlr”)2442(1)-2442(4)、高帶寬存儲器物理層(“hbm phy”)2444(1)-2444(4)、管理控制器中央處理單元(“管理控制器cpu”)2450、串行外圍設備接口、內部集成電路和通用輸入/輸出塊(“spi、i2c、gpio”)2460,外圍組件互連快速控制器和直接存儲器訪問塊(“pcie控制器和dma”)2470、以及十六通道外圍組件互連快速端口(“pci express x 16”)
    2480。
    [0400]
    在至少一個實施例中,處理集群2410可以執行深度學習操作,包括基于一個或更多個訓練技術計算的權重參數的推理或預測操作,包括本文所述的那些技術。在至少一個實施例中,每個處理集群2410可以包括但不限于任何數量和類型的處理器。在至少一個實施例中,深度學習應用程序處理器2400可以包括任何數量和類型的處理集群2400。在至少一個實施例中,芯片間鏈路2420是雙向的。在至少一個實施例中,芯片間鏈路2420和芯片間控制器2430使多個深度學習應用程序處理器2400能夠交換信息,包括從執行一個或更多個神經網絡中體現的一個或更多個機器學習算法而產生的激活信息。在至少一個實施例中,深度學習應用程序處理器2400可以包括任意數量(包括零)和類型的icl 2420和icc 2430。
    [0401]
    在至少一個實施例中,hbm2 2440提供總共32gb的存儲器。在至少一個實施例中,hbm2 2440(i)與存儲器控制器2442(i)和hbm phy 2444(i)都相關聯,其中“i”是任意整數。在至少一個實施例中,任何數量的hbm2 2440可以提供任何類型和總量的高帶寬存儲器,并且可以與任何數量(包括零)和類型的存儲器控制器2442和hbm phy2444相關聯。在至少一個實施例中,可以用任何數量和類型的塊替換spi、i2c、gpio 3360、pcie控制器2460和dma 2470和/或pcie2480,以任何技術上可行的方式實現任何數量和類型的通信標準。
    [0402]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,深度學習應用程序處理器用于訓練機器學習模型(例如神經網絡),以預測或推理提供給深度學習應用程序處理器2400的信息。在至少一個實施例中,深度學習應用程序處理器2400用于基于已經由另一處理器或系統或由深度學習應用程序處理器2400訓練的經訓練的機器學習模型(例如,神經網絡)來推理或預測信息。在至少一個實施例中,處理器2400可以用于執行本文所述的一個或更多個神經網絡用例。
    [0403]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0404]
    圖25是根據至少一個實施例的神經形態處理器2500的框圖。在至少一個實施例中,神經形態處理器2500可以從神經形態處理器2500外部的源接收一個或更多個輸入。在至少一個實施例中,這些輸入可以被傳輸到神經形態處理器2500內的一個或更多個神經元2502。在至少一個實施例中,可以使用包括一個或更多個算術邏輯單元(alu)的電路或邏輯來實現神經元2502及其組件。在至少一個實施例中,神經形態處理器2500可以包括但不限于成千上萬個神經元2502的實例,但是可以使用任何合適數量的神經元2502。在至少一個實施例中,神經元2502的每個實例可以包括神經元輸入2504和神經元輸出2506。在至少一個實施例中,神經元2502可以生成可以傳輸到神經元2502的其他實例的輸入的輸出。在至少一個實施例中,神經元輸入2504和神經元輸出2506可以經由突觸2508互連。
    [0405]
    在至少一個實施例中,神經元2502和突觸2508可以互連,使得神經形態處理器2500操作以處理或分析由神經形態處理器2500接收的信息。在至少一個實施例中,當通過神經元輸入2504接收到的輸入超過閾值時,神經元2502可以發送輸出脈沖(或“觸發”或“峰
    值”)。在至少一個實施例中,神經元2502可以對在神經元輸入2504處接收到的信號進行求和或積分。例如,在至少一個實施例中,神經元2502可以實現為有泄漏的積分-觸發神經元,其中如果求和(稱為“膜電位”)超過閾值,則神經元2502可以使用諸如sigmoid或閾值函數的傳遞函數來產生輸出(或“觸發”)。在至少一個實施例中,泄漏的積分-觸發神經元可以將在神經元輸入2504處接收到的信號求和成膜電位,并且可以應用程序衰減因子(或泄漏)以減小膜電位。在至少一個實施例中,如果在神經元輸入2504處接收到足夠快以超過閾值的多個輸入信號(即,在膜電勢衰減得太低而不能觸發之前),則泄漏的積分-觸發神經元可能會觸發。在至少一個實施例中,神經元2502可以使用接收輸入、將輸入積分到膜電位、并衰減膜電位的電路或邏輯來實現。在至少一個實施例中,可以對輸入求平均,或者可以使用任何其他合適的傳遞函數。此外,在至少一個實施例中,神經元2502可以包括但不限于當將傳遞函數應用程序于神經元輸入2504的結果超過閾值時在神經元輸出2506處產生輸出尖峰的比較器電路或邏輯。在至少一個實施例中,一旦神經元2502觸發,它可以通過例如將膜電位復位為0或另一合適的默認值來忽略先前接收的輸入信息。在至少一個實施例中,一旦膜電位被重置為0,則神經元2502可以在合適的時間段(或修復期)之后恢復正常操作。
    [0406]
    在至少一個實施例中,神經元2502可以通過突觸2508互連。在至少一個實施例中,突觸2508可以操作以將從第一神經元2502的輸出的信號傳輸到第二神經元2502的輸入。在至少一個實施例中,神經元2502可以在一個以上的突觸2508實例上傳輸信息。在至少一個實施例中,神經元輸出2506的一個或更多個實例可以通過突觸2508的實例連接到同一神經元2502中神經元輸入2504的實例。在至少一個實施例中,相對于突觸2508的那個實例,神經元2502的實例產生要在突觸2508的實例上傳輸的輸出可以被稱為“突觸前神經元”。在至少一個實施例中,相對于突觸2508的實例,神經元2502的實例接收通過突觸2508的實例傳輸的輸入可以被稱為“突觸后神經元”。在至少一個實施例中,關于突觸2508的各種實例,因為神經元2502的實例可以接收來自一個或更多個突觸2508實例的輸入,并且還可以通過一個或更多個突觸2508實例傳輸輸出,因此神經元2502的單個實例可以既是“突觸前神經元”又是“突觸后神經元”。
    [0407]
    在至少一個實施例中,神經元2502可以被組織成一層或更多層。在至少一個實施例中,神經元2502的每個實例可以具有一個神經元輸出2506,該神經元輸出2506可以通過一個或更多個突觸2508扇出到一個或更多個神經元輸入2504。在至少一個實施例中,第一層2510中的神經元2502的神經元輸出2506可以連接到第二層2512中的神經元2502的神經元輸入2504。在至少一個實施例中,層2510可以被稱為“前饋層”。在至少一個實施例中,在第一層2510的實例中神經元2502的每個實例可以扇出到第二層2512中的神經元2502的每個實例。在至少一個實施例中,第一層2510可以被稱為“完全連接的前饋層”。在至少一個實施例中,在第二層2512的每個實例中的神經元2502的每個實例扇出到少于在第三層2514中的神經元2502的所有實例。在至少一個實施例中,第二層2512可以被稱為“稀疏連接的前饋層”。在至少一個實施例中,第二層2512中的神經元2502可以扇出到多個其他層中的神經元2502,也包括扇出到第二層2512中的神經元2502。在至少一個實施例中,第二層2512可以被稱為“循環層”。在至少一個實施例中,神經形態處理器2500可以包括但不限于循環層和前饋層的任何合適的組合,包括但不限于稀疏連接的前饋層和完全連接的前饋層。
    [0408]
    在至少一個實施例中,神經形態處理器2500可以包括但不限于可重新配置的互連
    架構或專用硬連線互連,以將突觸2508連接到神經元2502。在至少一個實施例中,神經形態處理器2500可以包括但不限于電路或邏輯,其根據神經網絡拓撲結構和神經元扇入/扇出,允許根據需要將突觸分配給不同神經元2502。例如,在至少一個實施例中,可以使用互連結構(諸如片上網絡)或通過專用連接將突觸2508連接到神經元2502。在至少一個實施例中,可以使用電路或邏輯來實現突觸互連及其組件。
    [0409]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0410]
    圖26示出了根據至少一個實施例的處理系統。在至少一個實施例中,系統2600包括一個或更多個處理器2602和一個或更多個圖形處理器2608,并且可以是單處理器臺式機系統、多處理器工作站系統或具有大量處理器2602或處理器核心2607的服務器系統。在至少一個實施例中,系統2600是結合在片上系統(soc)集成電路內的處理平臺,以在移動、手持或嵌入式設備使用。
    [0411]
    在至少一個實施例中,系統2600可以包括或結合在基于服務器的游戲平臺中,包括游戲和媒體控制臺的游戲控制臺、移動游戲控制臺、手持游戲控制臺或在線游戲控制臺。在至少一個實施例中,系統2600是移動電話、智能電話、平板計算設備或移動互聯網設備。在至少一個實施例中,處理系統2600還可包括與可穿戴設備耦合或集成在可穿戴設備中,例如智能手表可穿戴設備、智能眼鏡設備、增強現實設備或虛擬現實設備。在至少一個實施例中,處理系統2600是電視或機頂盒設備,其具有一個或更多個處理器2602以及由一個或更多個圖形處理器2608生成的圖形界面。
    [0412]
    在至少一個實施例中,一個或更多個處理器2602每個包括一個或更多個處理器核心2607,以處理指令,該指令在被執行時執行針對系統和用戶軟件的操作。在至少一個實施例中,一個或更多個處理器核心2607中的每一個被配置為處理特定指令序列2609。在至少一個實施例中,指令序列2609可以促進復雜指令集計算(cisc)、精簡指令集計算(risc),或通過超長指令字(vliw)進行計算。在至少一個實施例中,處理器核心2607可以各自處理不同的指令序列2609,該指令序列可以包括有助于仿真其他指令序列的指令。在至少一個實施例中,處理器核心2607還可以包括其他處理設備,例如數字信號處理器(dsp)。
    [0413]
    在至少一個實施例中,處理器2602包括高速緩存存儲器2604。在至少一個實施例中,處理器2602可以具有單個內部高速緩存或多個級別的內部高速緩存。在至少一個實施例中,高速緩存存儲器在處理器2602的各個組件之間共享。在至少一個實施例中,處理器2602還使用外部高速緩存(例如,三級(l3)高速緩存或最后一級高速緩存(llc))(未示出),可以使用已知的高速緩存一致性技術在處理器核心2607之間共享該外部高速緩存。在至少一個實施例中,處理器2602中另外包括寄存器文件2606,處理器可以包括用于存儲不同類型的數據的不同類型的寄存器(例如,整數寄存器、浮點寄存器、狀態寄存器和指令指針寄存器)。在至少一個實施例中,寄存器文件2606可以包括通用寄存器或其他寄存器。
    [0414]
    在至少一個實施例中,一個或更多個處理器2602與一個或更多個接口總線2610耦合,以在處理器2602與系統2600中的其他組件之間傳輸通信信號,例如地址、數據或控制信
    號。在至少一個實施例中,接口總線2610可以是處理器總線,例如直接媒體接口(dmi)總線的版本。在至少一個實施例中,接口總線2610不限于dmi總線,并且可以包括一個或更多個外圍組件互連總線(例如,pci,pci express)、存儲器總線或其他類型的接口總線。在至少一個實施例中,處理器2602包括集成存儲器控制器2616和平臺控制器集線器2630。在至少一個實施例中,存儲器控制器2616促進存儲器設備與處理系統2600的其他組件之間的通信,而平臺控制器集線器(pch)2630通過本地i/o總線提供到輸入/輸出(i/o)設備的連接。
    [0415]
    在至少一個實施例中,存儲器設備2620可以是動態隨機存取存儲器(dram)設備、靜態隨機存取存儲器(sram)設備、閃存設備、相變存儲設備或具有適當的性能以用作處理器存儲器。在至少一個實施例中,存儲設備2620可以用作處理系統2600的系統存儲器,以存儲數據2622和指令2621,以在一個或更多個處理器2602執行應用程序或過程時使用。在至少一個實施例中,存儲器控制器2616還與可選的外部圖形處理器2612耦合,其可以與處理器2602中的一個或更多個圖形處理器2608通信以執行圖形和媒體操作。在至少一個實施例中,顯示設備2611可以連接至處理器2602。在至少一個實施例中,顯示設備2611可以包括內部顯示設備中的一個或更多個,例如在移動電子設備或膝上型設備或通過顯示器接口(例如顯示端口(displayport)等)連接的外部顯示設備中。在至少一個實施例中,顯示設備2611可以包括頭戴式顯示器(hmd),諸如用于虛擬現實(vr)應用或增強現實(ar)應用中的立體顯示設備。
    [0416]
    在至少一個實施例中,平臺控制器集線器2630使外圍設備能夠通過高速i/o總線連接到存儲設備2620和處理器2602。在至少一個實施例中,i/o外圍設備包括但不限于音頻控制器2646、網絡控制器2634、固件接口2628、無線收發器2626、觸摸傳感器2625、數據存儲設備2624(例如,硬盤驅動器、閃存等)。在至少一個實施例中,數據存儲設備2624可以經由存儲接口(例如,sata)或經由外圍總線來連接,諸如外圍組件互連總線(例如,pci、pcie)。在至少一個實施例中,觸摸傳感器2625可以包括觸摸屏傳感器、壓力傳感器或指紋傳感器。在至少一個實施例中,無線收發器2626可以是wi-fi收發器、藍牙收發器或移動網絡收發器,諸如3g、4g或長期演進(lte)收發器。在至少一個實施例中,固件接口2628使能與系統固件的通信,并且可以是例如統一可擴展固件接口(uefi)。在至少一個實施例中,網絡控制器2634可以啟用到有線網絡的網絡連接。在至少一個實施例中,高性能網絡控制器(未示出)與接口總線2610耦合。在至少一個實施例中,音頻控制器2646是多通道高清晰度音頻控制器。在至少一個實施例中,處理系統2600包括可選的傳統(legacy)i/o控制器2640,用于將傳統(例如,個人系統2(ps/2))設備耦合到系統2600。在至少一個實施例中,平臺控制器集線器2630還可以連接到一個或更多個通用串行總線(usb)控制器2642,該控制器連接輸入設備,諸如鍵盤和鼠標2643組合、相機2644或其他usb輸入設備。
    [0417]
    在至少一個實施例中,存儲器控制器2616和平臺控制器集線器2630的實例可以集成到離散的外部圖形處理器中,例如外部圖形處理器2612。在至少一個實施例中,平臺控制器集線器2630和/或存儲器控制器2616可以在一個或更多個處理器2602的外部。例如,在至少一個實施例中,系統2600可以包括外部存儲器控制器2616和平臺控制器集線器2630,其可以配置成在與處理器2602通信的系統芯片組中的存儲器控制器集線器和外圍控制器集線器。
    [0418]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練
    操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,部分或全部推理和/或訓練邏輯715可以結合到圖形處理器2600中。例如,在至少一個實施例中,本文描述的訓練和/或推理技術可以使用一個或更多個alu,所述alu體現在3d管線中。此外,在至少一個實施例中,本文描述的推理和/或訓練操作可以使用除圖10a或圖10b所示的邏輯之外的邏輯來完成。在至少一個實施例中,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,其配置圖形處理器2600的alu,以執行一個或更多個本文所述的機器學習算法、神經網絡架構、用例或訓練技術。
    [0419]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0420]
    圖27是根據至少一個實施例的具有一個或更多個處理器核心2702a-2702n、集成存儲器控制器2714和集成圖形處理器2708的處理器2700的框圖。在至少一個實施例中,處理器2700可以包含附加核心,多達并包括以虛線框表示的附加核心2702n。在至少一個實施例中,每個處理器核心2702a-2702n包括一個或更多個內部高速緩存單元2704a-2704n。在至少一個實施例中,每個處理器核心還可以訪問一個或更多個共享高速緩存單元2706。
    [0421]
    在至少一個實施例中,內部高速緩存單元2704a-2704n和共享高速緩存單元2706表示處理器2700內的高速緩存存儲器層次結構。在至少一個實施例中,高速緩存存儲器單元2704a-2704n可以包括每個處理器核心內的至少一級指令和數據高速緩存以及共享中級高速緩存中的一級或更多級緩存,例如2級(l2)、3級(l3)、4級(l4)或其他級別的高速緩存,其中將外部存儲器之前的最高級別的高速緩存歸類為llc。在至少一個實施例中,高速緩存一致性邏輯維持各種高速緩存單元2706和2704a-2704n之間的一致性。
    [0422]
    在至少一個實施例中,處理器2700還可包括一組一個或更多個總線控制器單元2716和系統代理核心2710。在至少一個實施例中,一個或更多個總線控制器單元2716管理一組外圍總線,例如一個或更多個pci或pcie總線。在至少一個實施例中,系統代理核心2710為各種處理器組件提供管理功能。在至少一個實施例中,系統代理核心2710包括一個或更多個集成存儲器控制器2714,以管理對各種外部存儲器設備(未示出)的訪問。
    [0423]
    在至少一個實施例中,一個或更多個處理器核心2702a-2702n包括對多線程同時進行的支持。在至少一個實施例中,系統代理核心2710包括用于在多線程處理期間協調和操作核心2702a-2702n的組件。在至少一個實施例中,系統代理核心2710可以另外包括電源控制單元(pcu),該電源控制單元包括用于調節處理器核心2702a-2702n和圖形處理器2708的一個或更多個電源狀態的邏輯和組件。
    [0424]
    在至少一個實施例中,處理器2700還包括用于執行圖處理操作的圖形處理器2708。在至少一個實施例中,圖形處理器2708與共享高速緩存單元2706和包括一個或更多個集成存儲器控制器2714的系統代理核心2710耦合。在至少一個實施例中,系統代理核心2710還包括用于驅動圖形處理器輸出到一個或更多個耦合的顯示器的顯示器控制器2711。在至少一個實施例中,顯示器控制器2711也可以是經由至少一個互連與圖形處理器2708耦合的獨立模塊,或者可以集成在圖形處理器2708內。
    [0425]
    在至少一個實施例中,基于環的互連單元2712用于耦合處理器2700的內部組件。在至少一個實施例中,可以使用替代性互連單元,例如點對點互連、交換互連或其他技術。在至少一個實施例中,圖形處理器2708經由i/o鏈路2713與環形互連2712耦合。
    [0426]
    在至少一個實施例中,i/o鏈路2713代表多種i/o互連中的至少一種,包括促進各種處理器組件與高性能嵌入式存儲器模塊2718(例如edram模塊)之間的通信的封裝i/o互連。在至少一個實施例中,處理器核心2702a-2702n和圖形處理器2708中的每一個使用嵌入式存儲器模塊2718作為共享的最后一級高速緩存。
    [0427]
    在至少一個實施例中,處理器核心2702a-2702n是執行公共指令集架構的同質核心。在至少一個實施例中,處理器核心2702a-2702n在指令集架構(isa)方面是異構的,其中一個或更多個處理器核心2702a-2702n執行公共指令集,而一個或更多個其他處理器核心2702a-2702n執行公共指令集的子集或不同指令集。在至少一個實施例中,就微架構而言,處理器核心2702a-2702n是異構的,其中具有相對較高功耗的一個或更多個核心與具有較低功耗的一個或更多個功率核心耦合。在至少一個實施例中,處理器2700可以在一個或更多個芯片上實現或被實現為soc集成電路。
    [0428]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,部分或全部推理和/或訓練邏輯715可以結合到圖形處理器2708中。例如,在至少一個實施例中,本文描述的訓練和/或推理技術可以使用一個或更多個alu,所述alu體現在圖27中的3d管線、圖形核心2702、共享功能邏輯,或其他邏輯中。此外,在至少一個實施例中,本文描述的推理和/或訓練操作可以使用除圖7a或圖7b所示的邏輯之外的邏輯來完成。在至少一個實施例中,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,其配置處理器2700的alu以執行一個或更多個本文所述的機器學習算法、神經網絡架構、用例或訓練技術。
    [0429]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0430]
    圖28是圖形處理器2800的框圖,該圖形處理器可以是分立的圖形處理單元,或者可以是與多個處理核心集成的圖形處理器。在至少一個實施例中,圖形處理器2800經由存儲器映射的i/o接口與圖形處理器2800上的寄存器以及放置在存儲器中的命令進行通信。在至少一個實施例中,圖形處理器2800包括用于訪問存儲器的存儲器接口2814。在至少一個實施例中,存儲器接口2814是到本地存儲器、一個或更多個內部高速緩存、一個或更多個共享的外部高速緩存和/或到系統存儲器的接口。
    [0431]
    在至少一個實施例中,圖形處理器2800還包括用于將顯示輸出數據驅動到顯示設備2820的顯示控制器2802。在至少一個實施例中,顯示控制器2802包括用于顯示設備2820的一個或更多個覆蓋平面的硬件以及多層視頻或用戶接口元素的組合。在至少一個實施例中,顯示設備2820可以是內部或外部顯示設備。在至少一個實施例中,顯示設備2820是頭戴式顯示設備,例如虛擬現實(vr)顯示設備或增強現實(ar)顯示設備。在至少一個實施例中,
    圖形處理器2800包括視頻編解碼器引擎2806,以將媒體編碼、解碼或轉碼為一個或更多個媒體編碼格式,從一個或更多個媒體編碼格式編碼、解碼或轉碼,或在一個或更多個媒體編碼格式之間進行編碼、解碼或轉碼,所述媒體編碼格式包括但不限于運動圖像專家組(mpeg)格式(例如mpeg-2),高級視頻編碼(avc)格式(例如h.264/mpeg-4avc,以及美國電影電視工程師協會(smpte)421m/vc-1)和聯合圖像專家組(jpeg)格式(例如jpeg)和motionjpeg(mjpeg)格式。
    [0432]
    在至少一個實施例中,圖形處理器2800包括塊圖像傳送(blit)引擎2804,以執行二維(2d)光柵化器操作,包括例如位邊界塊傳送。但是,在至少一個實施例中,使用圖形處理引擎(gpe)2810的一個或更多個組件來執行2d圖形操作。在至少一個實施例中,gpe 2810是用于執行圖形操作(包括三維(3d)圖形操作和媒體操作)的計算引擎。
    [0433]
    在至少一個實施例中,gpe 2810包括用于執行3d操作的3d管線2812,例如使用對3d圖元形狀(例如,矩形、三角形等)進行操作的處理功能來渲染三維圖像和場景。在至少一個實施例中,3d管線2812包括執行各種任務和/或產生到3d/媒體子系統2815的執行線程的可編程和固定功能元素。雖然3d管線2812可用于執行媒體操作,但是在至少一個實施例中,gpe 2810還包括媒體管線2816,其用于執行媒體操作,諸如視頻后處理和圖像增強。
    [0434]
    在至少一個實施例中,媒體管線2816包括固定功能或可編程邏輯單元,用于執行一個或更多個專門的媒體操作,例如視頻解碼加速,視頻去隔行和視頻編碼加速,代替或代表視頻編解碼器引擎2806。在至少一個實施例中,媒體管線2816還包括線程產生單元,用于產生線程以在3d/媒體子系統2815上執行。在至少一個實施例中,產生的線程在3d/媒體子系統2815中包含的一個或更多個圖形執行單元上執行媒體操作的計算。
    [0435]
    在至少一個實施例中,3d/媒體子系統2815包括用于執行3d管線2812和媒體管線2816產生的線程的邏輯。在至少一個實施例中,3d管線2812和媒體管線2816將線程執行請求發送到3d/媒體子系統2815,其包括用于仲裁各種請求并將其分派給可用線程執行資源的線程分派邏輯。在至少一個實施例中,執行資源包括用于處理3d和媒體線程的圖形執行單元的陣列。在至少一個實施例中,3d/媒體子系統2815包括用于線程指令和數據的一個或更多個內部高速緩存。在至少一個實施例中,子系統2815還包括共享存儲器,其包括寄存器和可尋址存儲器,以在線程之間共享數據并存儲輸出數據。
    [0436]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,可以將推理和/或訓練邏輯715的部分或全部合并到處理器2800中。例如,在至少一個實施例中,本文描述的訓練和/或推理技術可以使用3d管線2812中包含的一個或更多個alu。此外,在至少一個實施例中,本文描述的推理和/或訓練操作可以使用除圖7a或圖7b所示的邏輯以外的邏輯來完成。在至少一個實施例中,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,其配置圖形處理器2800的alu以執行一個或更多個機器學習算法、神經網絡架構、用例或本文介紹的訓練技術。
    [0437]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來
    執行推理,例如,關于圖1-6所述的技術。
    [0438]
    圖29是根據至少一個實施例的圖形處理器的圖形處理引擎2910的框圖。在至少一個實施例中,圖形處理引擎(gpe)2910是圖28中所示的gpe 2810的版本。在至少一個實施例中,媒體管線2916是可選的,并且可以不顯式地包括在gpe 2910中。在至少一個實施例中,單獨的媒體和/或圖像處理器耦合到gpe 2910。
    [0439]
    在至少一個實施例中,gpe 2910耦合到或包括命令流轉化器2903,其向3d管線2912和/或媒體管線2916提供命令流。在至少一個實施例中,命令流轉化器2903耦合到存儲器,所述存儲器可以是系統存儲器,也可以是內部高速緩存存儲器和共享高速緩存存儲器中的一個或更多個。在至少一個實施例中,命令流轉化器2903從存儲器接收命令,并且將命令發送到3d管線2912和/或媒體管線2916。在至少一個實施例中,命令是從環形緩沖區中獲取的指令、基元或微操作,該環形緩沖區存儲用于3d管線2912和媒體管線2916的命令。在至少一個實施例中,環形緩沖區還可以包括存儲各批多個命令的批命令緩沖區。在至少一個實施例中,用于3d管線2912的命令還可以包括對存儲在存儲器中的數據的引用,例如但不限于用于3d管線2912的頂點和幾何數據和/或用于媒體管線2916的圖像數據和存儲器對象。在至少一個實施例中,3d管線2912和媒體管線2916通過執行操作或通過將一個或更多個執行線程分派到圖形核心陣列2914,來處理命令和數據。在至少一個實施例中,圖形核心陣列2914包括一個或更多個圖形核心塊(例如,一個或更多個圖形核心2915a、一個或更多個圖形核心2915b),每個塊包括一個或更多個圖形核心。在至少一個實施例中,每個圖形核心包括一組圖形執行資源,所述圖形執行資源包括通用和圖形特定的執行邏輯,用于執行圖形和計算操作,以及固定功能紋理處理和/或機器學習和人工智能加速邏輯,包括圖7a和圖7b中的推理和/或訓練邏輯715。
    [0440]
    在至少一個實施例中,3d管線2912包括固定功能和可編程邏輯,用于通過處理指令并將執行線程分派到圖形核心陣列2914,來處理一個或更多個著色器程序,例如頂點著色器、幾何著色器、像素著色器、片段著色器、計算著色器或其他著色器程序。在至少一個實施例中,圖形核心陣列2914提供統一的執行資源塊,所述執行資源塊用于處理著色器程序。在至少一個實施例中,在圖形核心陣列2914的圖形核心2915a-2915b內的多用途執行邏輯(例如,執行單元)包括對各種3d api著色器語言的支持,并且可以執行與多個著色器關聯的多個同時執行線程。
    [0441]
    在至少一個實施例中,圖形核心陣列2914還包括執行邏輯,用于執行媒體功能,諸如視頻和/或圖像處理。在至少一個實施例中,除了圖形處理操作之外,執行單元還包括可編程以執行并行通用計算操作的通用邏輯。
    [0442]
    在至少一個實施例中,輸出數據可以將數據輸出到統一返回緩沖區(urb)2918中的存儲器,所述輸出數據由在圖形核心陣列2914上執行的線程生成。在至少一個實施例中,urb2918可以存儲多個線程的數據。在至少一個實施例中,urb2918可以用于在圖形核心陣列2914上執行的不同線程之間發送數據。在至少一個實施例中,urb2918還可用于圖形核心陣列2914上的線程與共享功能邏輯2920內的固定功能邏輯之間的同步。
    [0443]
    在至少一個實施例中,圖形核心陣列2914是可縮放的,使得圖形核心陣列2914包括可變數量的圖形核心,每個圖形核心具有基于gpe 2910的目標功率和性能水平的可變數量的執行單元。在至少一個實施例中,執行資源是動態可伸縮的,使得執行資源可以根據需
    要被啟用或禁用。
    [0444]
    在至少一個實施例中,圖形核心陣列2914耦合到共享功能邏輯2920,該共享功能邏輯包括在圖形核心陣列2914中的圖形核心之間共享的多個資源。在至少一個實施例中,由共享功能邏輯2920執行的共享功能體現在向圖形核心陣列2914提供專門的補充功能的硬件邏輯單元中。在至少一個實施例中,共享功能邏輯2920包括但不限于采樣器單元2921、數學單元2922和線程間通信(itc)邏輯2923。在至少一個實施例中,一個或更多個高速緩存2925被包含在或耦合到共享功能邏輯2920中。
    [0445]
    在至少一個實施例中,如果對專用功能的需求不足以包含在圖形核心陣列2914中,則使用共享功能。在至少一個實施例中,專用功能的單個實例在共享功能邏輯2920中使用,并且在圖形核心陣列2914內的其他執行資源之間共享。在至少一個實施例中,特定共享功能可以包括在圖形核心陣列2914內的共享功能邏輯3516內,所述特定共享功能在圖形核心陣列2914廣泛使用的共享功能邏輯2920內。在至少一個實施例中,圖形核心陣列2914內的共享功能邏輯3516可包括共享功能邏輯2920內的一些或全部邏輯。在至少一個實施例中,共享功能邏輯2920內的所有邏輯元件可在圖形核心陣列2914的共享功能邏輯2926內復制。在至少一個實施例中,排除共享功能邏輯2920,以支持圖形核心陣列2914內的共享功能邏輯2926。
    [0446]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,部分或全部推理和/或訓練邏輯715可以結合到圖形處理器2910中。例如,在至少一個實施例中,本文描述的訓練和/或推理技術可以使用一個或更多個alu,所述alu體現在3d管線2912、圖形核心2915、共享功能邏輯2926、共享功能邏輯2920或圖29中的其他邏輯中。此外,在至少一個實施例中,本文描述的推理和/或訓練操作可以使用除圖7a或圖7b所示的邏輯之外的邏輯來完成。在至少一個實施例中,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,其配置圖形處理器2910的alu,以執行一個或更多個本文所述的機器學習算法、神經網絡架構、用例或訓練技術。
    [0447]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0448]
    圖30是根據本文所述的至少一個實施例的圖形處理器核心3000的硬件邏輯的框圖。在至少一個實施例中,圖形處理器核心3000被包括在圖形核心陣列內。在至少一個實施例中,圖形處理器核心3000(有時稱為核心切片)可以是模塊化圖形處理器內的一個或更多個圖形核心。在至少一個實施例中,圖形處理器核心3000是一個圖形核心切片的示例,并且本文所述的圖形處理器可以基于目標功率和性能包絡線包括多個圖形核心切片。在至少一個實施例中,每個圖形核心3000可以包括與多個子核心3001a-3001f耦合的固定功能塊3030,也稱為子切片,其包括通用和固定功能邏輯的模塊塊。
    [0449]
    在至少一個實施例中,固定功能塊3030包括幾何和固定功能管線3036,例如,在較低性能和/或較低功率的圖形處理器實施方式中,該幾何和固定功能管線3036可以由圖形
    處理器3000中的所有子核心共享。在至少一個實施例中,幾何和固定功能管線3036包括3d固定功能管線、視頻前端單元,線程產生器和線程分派器以及管理統一返回緩沖區的統一返回緩沖區管理器。
    [0450]
    在固定的至少一個實施例中,固定功能塊3030還包括圖形soc接口3037、圖形微控制器3038和媒體管線3039。在至少一個實施例中,圖形soc接口3037提供了圖形核心3000以及片上集成電路系統中的其他處理器核心之間的接口。在至少一個實施例中,圖形微控制器3038是可編程子處理器,其可配置為管理圖形處理器3000的各種功能,包括線程分派、調度和搶占。在至少一個實施例中,媒體管線3039包括有助于對包括圖像和視頻數據的多媒體數據進行解碼、編碼、預處理和/或后處理的邏輯。在至少一個實施例中,媒體管線3039經由對子核心3001-3001f內的計算或采樣邏輯的請求來實現媒體操作。
    [0451]
    在至少一個實施例中,soc接口3037使圖形核心3000能夠與通用應用程序處理器核心(例如,cpu)和/或soc內的其他組件通信,包括存儲器層次結構元素,諸如共享的最后一級高速緩存、系統ram和/或嵌入式片上或封裝dram。在至少一個實施例中,soc接口3037還可以使得能夠與soc內的固定功能設備(例如,相機成像管線)進行通信,并且使得能夠使用和/或實現可以在圖形核心3000和soc內部的cpu之間共享的全局存儲器原子。在至少一個實施例中,圖形soc接口3037還可以實現用于圖形處理器核心3000的電源管理控制,并且啟用圖形處理器核心3000的時鐘域與soc內的其他時鐘域之間的接口。在至少一個實施例中,soc接口3037使得能夠從命令流轉化器和全局線程分派器接收命令緩沖區,其配置為向圖形處理器內的一個或更多個圖形核心中的每一個提供命令和指令。在至少一個實施例中,當要執行媒體操作時,可以將命令和指令分派給媒體管線3039,或者當要執行圖形處理操作時,可以將其分配給幾何形狀和固定功能管線(例如,幾何形狀和固定功能管線3036,和/或幾何形狀和固定功能管線3014)。
    [0452]
    在至少一個實施例中,圖形微控制器3038可以配置為對圖形核心3000執行各種調度和管理任務。在至少一個實施例中,圖形微控制器3038可以在子核心3001a-3001f中的執行單元(eu)陣列3002a-3002f、3004a-3004f內的各種圖形并行引擎上執行圖形和/或計算工作負載調度。在至少一個實施例中,在包括圖形核心3000的soc的cpu核心上執行的主機軟件可以提交多個圖形處理器路徑之一的工作負載,其調用適當的圖形引擎上的調度操作。在至少一個實施例中,調度操作包括確定接下來要運行哪個工作負載、將工作負載提交給命令流轉化器、搶先在引擎上運行的現有工作負載、監控工作負載的進度以及在工作負載完成時通知主機軟件。在至少一個實施例中,圖形微控制器3038還可以促進圖形核心3000的低功率或空閑狀態,從而為圖形核心3000提供在圖形核心3000內獨立于操作系統和/或系統上的圖形驅動程序軟件的跨低功率狀態轉換的保存和恢復寄存器的能力。
    [0453]
    在至少一個實施例中,圖形核心3000可以具有比所示的子核心3001a-3001f多或少達n個模塊化子核心。對于每組n個子核心,在至少一個實施例中,圖形核心3000還可以包括共享功能邏輯3010、共享和/或高速緩存存儲器3012、幾何/固定功能管線3014以及附加的固定功能邏輯3016以加速各種圖形和計算處理操作。在至少一個實施例中,共享功能邏輯3010可以包括可由圖形核心3000內的每個n個子核心共享的邏輯單元(例如,采樣器、數學和/或線程間通信邏輯)。在至少一個實施例中,共享和/或高速緩存存儲器3012可以是圖形核心3000內的n個子核心3001a-3001f的最后一級高速緩存,并且還可以用作可由多個子
    核心訪問的共享存儲器。在至少一個實施例中,可以包括幾何/固定功能管線3014來代替固定功能塊3030內的幾何/固定功能管線3036,并且可以包括相似的邏輯單元。
    [0454]
    在至少一個實施例中,圖形核心3000包括附加的固定功能邏輯3016,其可以包括供圖形核心3000使用的各種固定功能加速邏輯。在至少一個實施例中,附加的固定功能邏輯3016包括用于僅位置著色中使用的附加的幾何管線。在僅位置著色中,存在至少兩個幾何管線,而在幾何和固定功能管線3014、3036內的完整幾何管線和剔除管線中,其是可以包括在附加的固定功能邏輯3016中的附加幾何管線。在至少一個實施例中,剔除管線是完整幾何管線的修整版。在至少一個實施例中,完整管線和剔除管線可以執行應用程序的不同實例,每個實例具有單獨的環境。在至少一個實施例中,僅位置著色可以隱藏被丟棄的三角形的長剔除運行,從而在某些情況下可以更早地完成著色。例如,在至少一個實施例中,附加固定功能邏輯3016中的剔除管線邏輯可以與主應用程序并行執行位置著色器,并且通常比完整管線更快地生成關鍵結果,因為剔除管線獲取并遮蔽頂點的位置屬性,無需執行光柵化和將像素渲染到幀緩沖區。在至少一個實施例中,剔除管線可以使用生成的臨界結果來計算所有三角形的可見性信息,而與這些三角形是否被剔除無關。在至少一個實施例中,完整管線(在這種情況下可以稱為重播管線)可以消耗可見性信息來跳過剔除的三角形以僅遮蓋最終傳遞到光柵化階段的可見三角形。
    [0455]
    在至少一個實施例中,附加的固定功能邏輯3016還可包括機器學習加速邏輯,例如固定功能矩陣乘法邏輯,用于實現包括用于機器學習訓練或推理的優化。
    [0456]
    在至少一個實施例中,在每個圖形子核心3001a-3001f內包括一組執行資源,其可用于響應于圖形管線、媒體管線或著色器程序的請求來執行圖形、媒體和計算操作。在至少一個實施例中,圖形子核心3001a-3001f包括多個eu陣列3002a-3002f、3004a-3004f,線程分派和線程間通信(td/ic)邏輯3003a-3003f,3d(例如,紋理)采樣器3005a-3005f,媒體采樣器3006a-3006f,著色器處理器3007a-3007f和共享本地存儲器(slm)3008a-3008f。在至少一個實施例中,eu陣列3002a-3002f、3004a-3004f每個都包含多個執行單元,這些執行單元是通用圖形處理單元,能夠為圖形、媒體或計算操作提供服務,執行浮點和整數/定點邏輯運算,包括圖形、媒體或計算著色器程序。在至少一個實施例中,td/ic邏輯3003a-3003f為子核心內的執行單元執行本地線程分派和線程控制操作,并促進在子核心的執行單元上執行的線程之間的通信。在至少一個實施例中,3d采樣器3005a-3005f可以將與紋理或其他3d圖形相關的數據讀取到存儲器中。在至少一個實施例中,3d采樣器可以基于與給定紋理相關聯的配置的采樣狀態和紋理格式來不同地讀取紋理數據。在至少一個實施例中,媒體采樣器3006a-3006f可以基于與媒體數據相關聯的類型和格式來執行類似的讀取操作。在至少一個實施例中,每個圖形子核心3001a-3001f可以可替代地包括統一的3d和媒體采樣器。在至少一個實施例中,在每個子核心3001a-3001f內的執行單元上執行的線程可以利用每個子核心內的共享本地存儲器3008a-3008f,以使在線程組內執行的線程能夠使用片上存儲器的公共池來執行。
    [0457]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715的部分或全部可以被合并到圖形處理器3010中。例如,在至少一個實施例中,本文描述的訓練和/或推理技術可以使用在3d管線、圖形微控制器3038、幾何
    和固定功能管線3014和3036或圖30中的其他邏輯中體現的一個或更多個alu。此外,在至少一個實施例中,本文描述的推理和/或訓練操作可以使用除圖7a或圖7b所示的邏輯以外的邏輯來完成。在至少一個實施例中,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,其配置圖形處理器3000的alu以執行一個或更多個本文介紹的機器學習算法、神經網絡架構、用例或訓練技術。
    [0458]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0459]
    圖31a和31b示出了根據至少一個實施例的包括圖形處理器核心的處理元件的陣列的線程執行邏輯3100。圖31a示出了至少一個實施例,其中使用了線程執行邏輯3100。圖31b示出了根據至少一個實施例的圖形執行單元3108的示例性內部細節。
    [0460]
    如圖31a中所示,在至少一個實施例中,線程執行邏輯3100包括著色器處理器3102、線程分派器3104、指令高速緩存3106、包括多個執行單元3107a-3107n和3108a-3108n的可縮放執行單元陣列、采樣器3110、數據高速緩存3112和數據端口3114。在至少一個實施例中,可縮放執行單元陣列可以例如基于工作負載的計算要求,通過啟用或禁用一個或更多個執行單元(例如,執行單元3108a-n或3107a-n中的任意一個)來動態縮放。在至少一個實施例中,可縮放執行單元通過鏈路到每個執行單元的互連結構互連。在至少一個實施例中,線程執行邏輯3100包括通過指令高速緩存3106、數據端口3114、采樣器3110和執行單元3107或3108中的一個或更多個到存儲器(諸如系統存儲器或高速緩存存儲器)的一個或更多個連接。在至少一個實施例中,每個執行單元(例如3107a)是獨立的可編程通用計算單元,其能夠執行多個同時的硬件線程,同時針對每個線程并行處理多個數據元素。在至少一個實施例中,執行單元3107和/或3108的陣列可縮放以包括任意數量的單獨執行單元。
    [0461]
    在至少一個實施例中,執行單元3107和/或3108主要用于執行著色器程序。在至少一個實施例中,著色器處理器3102可以處理各種著色器程序并經由線程分派器3104來分派與著色器程序相關聯的執行線程。在至少一個實施例中,線程分派器3104包括用于仲裁來自圖形和媒體管線的線程初始化慶祝以及在執行單元3107和/或3108中的一個或更多個執行單元上實例化請求的線程的邏輯。例如,在至少一個實施例中,幾何管線可以將頂點、鑲嵌或幾何著色器分派到線程執行邏輯以進行處理。在至少一個實施例中,線程分派器3104還可以處理來自執行著色器程序的運行時線程產生請求。
    [0462]
    在至少一個實施例中,執行單元3107和/或3108支持一種指令集,該指令集包括對許多標準3d圖形著色器指令的本機支持,從而使圖形庫(例如direct3d和opengl)中的著色器程序只需最少的轉換即可執行。在至少一個實施例中,執行單元支持頂點和幾何處理(例如,頂點程序、幾何程序、和/或頂點著色器)、像素處理(例如,像素著色器、片段著色器)和通用處理(例如,計算和媒體著色器)。在至少一個實施例中,每個執行單元3107和/或3108包括一個或更多個算術邏輯單元(alu),能夠執行多發出單指令多數據(simd),并且多線程操作實現了高效的執行環境盡管有更高的延遲存儲器訪問。在至少一個實施例中,每個執行單元內的每個硬件線程具有專用的高帶寬寄存器文件和相關的獨立線程狀態。在至少一
    個實施例中,執行是每個時鐘到管線的多次發出,管線能夠進行整數、單精度和雙精度浮點運算、simd分支功能、邏輯運算、先驗運算和其他其他運算。在至少一個實施例中,在等待來自存儲器或共享功能之一的數據時,執行單元3107和/或3108內的依賴性邏輯使等待線程休眠直到返回了所請求的數據。在至少一個實施例中,當等待線程正在休眠時,硬件資源可以專用于處理其他線程。例如,在至少一個實施例中,在與頂點著色器操作相關聯的延遲期間,執行單元可以對像素著色器、片段著色器或另一類型的著色器程序(包括不同的頂點著色器)執行操作。
    [0463]
    在至少一個實施例中,執行單元3107和/或3108中的每一個執行單元在數據元素的陣列上進行操作。在至少一個實施例中,多個數據元素是“執行大小”或指令的通道數。在至少一個實施例中,執行通道是用于指令內的數據元素訪問、屏蔽和流控制的執行的邏輯單元。在至少一個實施例中,多個通道可以獨立于用于特定圖形處理器的多個物理算術邏輯單元(alu)或浮點單元(fpu)。在至少一個實施例中,執行單元3107和/或3108支持整數和浮點數據類型。
    [0464]
    在至少一個實施例中,執行單元指令集包括simd指令。在至少一個實施例中,各種數據元素可以作為封裝數據類型存儲在寄存器中,并且執行單元將基于那些元素的數據大小來處理各種元素。例如,在至少一個實施例中,當對256位寬的向量進行操作時,將向量的256位存儲在寄存器中,并且執行單元對向量進行操作,作為四個單獨的64位封裝數據元素(四字(qw)大小數據元素)、八個單獨的32位封裝數據元素(雙字(dw)大小數據元素)、十六個單獨的16位封裝數據元素(單詞(w)大小數據元素)或三十二個單獨的8位數據元素(字節(b)大小的數據元素)。然而,在至少一個實施例中,不同的向量寬度和寄存器大小是可能的。
    [0465]
    在至少一個實施例中,一個或更多個執行單元可以被組合成具有執行對于融合eu的線程控制邏輯(3111a-3111n)的融合執行單元3109a-3109n,例如將執行單元3107a與執行單元3108a融合為融合執行單元3109a中。在至少一個實施例中,可以將多個eu合并成一個eu組。在至少一個實施例中,融合eu組中的eu的數量可以配置為執行單獨的simd硬件線程,融合的eu組中的eu的數量可能根據各個實施例而變化。在至少一個實施例中,每個eu可以執行各種simd寬度,包括但不限于simd8、simd16和simd32。在至少一個實施例中,每個融合圖形執行單元3109a-3109n包括至少兩個執行單元。例如,在至少一個實施例中,融合執行單元3109a包括第一eu 3107a、第二eu 3108a以及第一eu 3107a和第二eu 3108a共有的線程控制邏輯3111a。在至少一個實施例中,線程控制邏輯3111a控制在融合圖形執行單元3109a上執行的線程,從而允許融合執行單元3109a-3109n內的每個eu使用公共指令指針寄存器來執行。
    [0466]
    在至少一個實施例中,一個或更多個內部指令高速緩存(例如3106)被包括在線程執行邏輯3100中以高速緩存用于執行單元的線程指令。在至少一個實施例中,包括一個或更多個數據高速緩存(例如3112)以在線程執行期間高速緩存線程數據。在至少一個實施例中,包括采樣器3110以提供用于3d操作的紋理采樣和用于媒體操作的媒體采樣。在至少一個實施例中,采樣器3110包括專門的紋理或媒體采樣功能,以在將采樣數據提供給執行單元之前在采樣過程中處理紋理或媒體數據。
    [0467]
    在執行期間,在至少一個實施例中,圖形和媒體管線通過線程產生和分派邏輯將
    線程發起請求發送到線程執行邏輯3100。在至少一個實施例中,一旦一組幾何對象已經被處理并光柵化成像素數據,則在著色器處理器3102內的像素處理器邏輯(例如,像素著色器邏輯、片段著色器邏輯等)被調用以進一步計算輸出信息并且導致將結果寫入輸出表面(例如,顏色緩沖區、深度緩沖區、模板緩沖區等)。在至少一個實施例中,像素著色器或片段著色器計算要在光柵化對象上插值的各種頂點屬性的值。在至少一個實施例中,著色器處理器3102內的像素處理器邏輯然后執行應用程序接口(api)提供的像素或片段著色器程序。在至少一個實施例中,為了執行著色器程序,著色器處理器3102經由線程分派器3104將線程分派到執行單元(例如3108a)。在至少一個實施例中,著色器處理器3102使用采樣器3110中的紋理采樣邏輯來訪問存儲在存儲器中的紋理貼圖中的紋理數據。在至少一個實施例中,對紋理數據和輸入幾何數據的算術運算為每個幾何片段計算像素顏色數據,或者丟棄一個或更多個像素以進行進一步處理。
    [0468]
    在至少一個實施例中,數據端口3114提供了一種用于線程執行邏輯3100的存儲器訪問機制,以將處理后的數據輸出到存儲器以在圖形處理器輸出管線上進行進一步處理。在至少一個實施例中,數據端口3114包括或耦合到一個或更多個高速緩存存儲器(例如,數據高速緩存3112)以高速緩存數據以便經由數據端口進行存儲器訪問。
    [0469]
    如圖31b所示,在至少一個實施例中,圖形執行單元3108可以包括指令獲取單元3137、通用寄存器文件陣列(grf)3124、架構寄存器文件陣列(arf)3126、線程仲裁器3122、發送單元3130、分支單元3132、一組simd浮點單元(fpu)3131,以及在至少一個實施例中,一組專用整數simd alu 3135。grf 3124和arf 3126包括一組與可以在圖形執行單元3108中活躍的每個同時硬件線程相關聯的通用寄存器文件和架構寄存器文件。在至少一個實施例中,在arf 3126中維護每個線程架構狀態,而在線程執行期間使用的數據存儲在grf 3124中。在至少一個實施例中,每個線程的執行狀態,包括每個線程的指令指針,可以被保存在arf 3126中的線程專用寄存器中。
    [0470]
    在至少一個實施例中,圖形執行單元3108具有一種架構,該架構是同時多線程(smt)和細粒度交錯多線程(imt)的組合。在至少一個實施例中,架構具有模塊化配置,該模塊化配置可以在設計時基于同時線程的目標數量和每個執行單元的寄存器數量來進行微調,其中執行單元資源在用于執行多個同時線程的邏輯上分配。
    [0471]
    在至少一個實施例中,圖形執行單元3108可以共同發布多個指令,每個指令可以是不同的指令。在至少一個實施例中,圖形執行單元線程3108的線程仲裁器3122可以將指令分派到發送單元3130、分支單元3132或simdfpu 3134之一以供執行。在至少一個實施例中,每個執行線程可以訪問grf 3124中的128個通用寄存器,其中每個寄存器可以存儲32個字節,可以作為32位數據元素的simd8元素向量進行訪問。在至少一個實施例中,每個執行單元線程可以訪問grf 3124中的4kb,盡管實施例不限于此,并且在其他實施例中可以提供更多或更少的寄存器資源。在至少一個實施例中,盡管每個執行單元的線程數量也可以根據實施例而變化,但是最多可以同時執行七個線程。在其中七個線程可以訪問4kb的至少一個實施例中,grf 3124可以存儲總共28kb。在至少一個實施例中,靈活的尋址模式可以允許將寄存器一起尋址以有效地建立更寬的寄存器或表示跨步的矩形塊數據結構。
    [0472]
    在至少一個實施例中,經由由消息傳遞發送單元3130執行的“發送”指令來調度存儲器操作、采樣器操作和其他更長延遲的系統通信。在至少一個實施例中,將分支指令分派
    到分支單元3132促進simd發散和最終收斂。
    [0473]
    在至少一個實施例中,圖形執行單元3108包括一個或更多個simd浮點單元(fpu)3134,以執行浮點操作。在至少一個實施例中,一個或更多個fpu 3134還支持整數計算。在至少一個實施例中,一個或更多個fpu 3134可以simd執行多達m個32位浮點(或整數)運算,或者simd執行多達2m個16位整數或16位浮點運算。在至少一個實施例中,至少一個fpu提供擴展的數學能力以支持高吞吐量的先驗數學函數和雙精度64位浮點。在至少一個實施例中,還存在一組8位整數simd alu 3135,并且可以被專門優化以執行與機器學習計算相關的操作。
    [0474]
    在至少一個實施例中,可以在圖形子核心分組(例如,子切片)中實例化圖形執行單元3108的多個實例的陣列。在至少一個實施例中,執行單元3108可以跨多個執行通道執行指令。在至少一個實施例中,在圖形執行單元3108上執行的每個線程在不同的通道上執行。
    [0475]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。下面結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,推理和/或訓練邏輯715的部分或全部可以被結合到線程執行邏輯3100中。此外,在至少一個實施例中,可以使用除了圖7a或圖7b中所示的邏輯之外的邏輯來完成在此描述的推理和/或訓練操作。在至少一個實施例中,權重參數可以存儲在片上或片外存儲器和/或寄存器(示出或未示出)中,其配置線程執行邏輯3100的alu以執行一個或更多個機器學習算法、神經網絡架構、用例或本文介紹的訓練技術。
    [0476]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0477]
    圖32示出了根據至少一個實施例的并行處理單元(“ppu”)3200。在至少一個實施例中,ppu 3200配置有機器可讀代碼,該機器可讀代碼如果由ppu 3200執行,則使得ppu 3200執行貫穿本公開描述的一些或全部過程和技術。在至少一個實施例中,ppu 3200是在一個或更多個集成電路設備上實現的多線程處理器,并且利用多線程作為被設計為處理在多個線程上并行執行的計算機可讀指令(也稱為機器可讀指令或簡單的指令)的延遲隱藏技術。在至少一個實施例中,線程是指執行線程,并且是被配置為由ppu 3200執行的一組指令的實例。在至少一個實施例中,ppu 3200是圖形處理單元(“gpu”),圖形處理單元配置為實現用于處理三維(“3d”)圖形數據的圖形渲染管線,以便生成用于在顯示設備(諸如液晶顯示器(“lcd”)設備)上顯示的二維(“2d”)圖像數據。在至少一個實施例中,ppu 3200用于執行計算,諸如線性代數運算和機器學習運算。圖32僅出于說明性目的示出了示例并行處理器,并且應被解釋為在本公開的范圍內設想的處理器架構的非限制性示例,并且可以采用任何適當的處理器來對其進行補充和/或替代。
    [0478]
    在至少一個實施例中,一個或更多個ppu 3200配置成加速高性能計算(“hpc”)、數據中心和機器學習應用程序。在至少一個實施例中,ppu 3200配置成加速深度學習系統和應用程序,包括以下非限制性示例:自動駕駛汽車平臺、深度學習、高精度語音、圖像、文本
    識別系統、智能視頻分析、分子模擬、藥物發現、疾病診斷、天氣預報、大數據分析、天文學、分子動力學模擬、財務建模、機器人技術、工廠自動化、實時語言轉換、在線搜索優化以及個性化用戶推薦等。
    [0479]
    在至少一個實施例中,ppu 3200包括但不限于輸入/輸出(“i/o”)單元3206、前端單元3210、調度器單元3212、工作分配單元3214、集線器3216、交叉開關(“xbar”)3220、一個或更多個通用處理集群(“gpc”)3218和一個或更多個分區單元(“存儲器分區單元”)3222。在至少一個實施例中,ppu 3200通過一個或更多個高速gpu互連(“gpu互連”)3208連接到主機處理器或其他ppu 3200。在至少一個實施例中,ppu 3200通過系統總線3202連接到主機處理器或其他外圍設備。在一個實施例中,ppu 3200連接到包括一個或更多個存儲器設備(“存儲器”)3204的本地存儲器。在至少一個實施例中,存儲器設備3204包括但不限于一個或更多個動態隨機存取存儲器(“dram”)設備。在至少一個實施例中,一個或更多個dram設備配置和/或可配置為高帶寬存儲器(“hbm”)子系統,并且在每個設備內堆疊有多個dram管芯。
    [0480]
    在至少一個實施例中,高速gpu互連3208可以指代系統使用其來進行縮放的基于線的多通道通信鏈路,并包括與一個或更多個中央處理單元結合的一個或更多個ppu 3200(“cpu”),支持ppu 3200和cpu之間的緩存相干以及cpu主控。在至少一個實施例中,高速gpu互連3208通過集線器3216將數據和/或命令傳輸到ppu 3200的其他單元,例如一個或更多個復制引擎、視頻編碼器、視頻解碼器、電源管理單元和/或在圖32中可能未明確示出的其他組件。
    [0481]
    在至少一個實施例中,i/o單元3206配置為通過系統總線3202從主機處理器(圖32中未示出)發送和接收通信(例如,命令、數據)。在至少一個實施例中,i/o單元3206直接通過系統總線3202或通過一個或更多個中間設備(例如存儲器橋)與主機處理器通信。在至少一個實施例中,i/o單元3206可以經由系統總線3202與一個或更多個其他處理器(例如一個或更多個ppu 3200)通信。在至少一個實施例中,i/o單元3206實現外圍組件互連express(“pcie”)接口,用于通過pcie總線進行通信。在至少一個實施例中,i/o單元3206實現用于與外部設備通信的接口。
    [0482]
    在至少一個實施例中,i/o單元3206對經由系統總線3202接收的分組進行解碼。在至少一個實施例中,至少一些分組表示被配置為使ppu 3200執行各種操作的命令。在至少一個實施例中,i/o單元3206如命令所指定的那樣將解碼的命令發送到ppu 3200的各種其他單元。在至少一個實施例中,命令被發送到前端單元3210和/或被發送到集線器3216或ppu 3200的其他單元,例如一個或更多個復制引擎、視頻編碼器、視頻解碼器、電源管理單元等(圖32中未明確示出)。在至少一個實施例中,i/o單元3206配置為在ppu 3200的各種邏輯單元之間路由通信。
    [0483]
    在至少一個實施例中,由主機處理器執行的程序在緩沖區中對命令流進行編碼,該緩沖區將工作負載提供給ppu 3200以進行處理。在至少一個實施例中,工作負載包括指令和要由那些指令處理的數據。在至少一個實施例中,緩沖區是可由主機處理器和ppu 3200兩者訪問(例如,讀/寫)的存儲器中的區域—主機接口單元可以配置為訪問經由i/o單元3206通過系統總線3202傳輸的存儲器請求連接到系統總線3202的系統存儲器中的緩沖區。在至少一個實施例中,主機處理器將命令流寫入緩沖區,然后將指示命令流開始的指針
    發送給ppu 3200,使得前端單元3210接收指向一個或更多個命令流指針并管理一個或更多個命令流,從命令流中讀取命令并將命令轉發到ppu 3200的各個單元。
    [0484]
    在至少一個實施例中,前端單元3210耦合到調度器單元3212,該調度器單元3212配置各種gpc 3218以處理由一個或更多個命令流定義的任務。在至少一個實施例中,調度器單元3212配置為跟蹤與調度器單元3212管理的各種任務有關的狀態信息,其中狀態信息可以指示任務被分配給哪個gpc 3218,任務是活躍的還是非活躍的,與任務相關聯的優先級等等。在至少一個實施例中,調度器單元3212管理在一個或更多個gpc 3218上執行的多個任務。
    [0485]
    在至少一個實施例中,調度器單元3212耦合到工作分配單元3214,該工作分配單元3214配置為分派任務以在gpc 3218上執行。在至少一個實施例中,工作分配單元3214跟蹤從調度器單元3212接收到的多個調度任務并且工作分配單元3214管理每個gpc 3218的待處理任務池和活躍任務池。在至少一個實施例中,待處理任務池包括多個時隙(例如32個時隙),這些時隙包含分配給要由特定的gpc 3218處理的任務;活躍任務池可包括用于由gpc 3218主動處理的任務的多個時隙(例如4個時隙),以使隨著gpc 3218中的一個完成任務的執行,該任務將從gpc 3218的活動任務池中逐出,并且從待處理任務池中選擇另一個任務,并安排其在gpc 3218上執行。在至少一個實施例中,如果活躍任務在gpc 3218上處于空閑狀態,例如在等待數據依賴性解決時,則活躍任務從gpc 3218中驅逐并返回到待處理任務池,同時選擇了待處理任務池中的另一個任務并調度在gpc 3218上執行。
    [0486]
    在至少一個實施例中,工作分配單元3214經由xbar3220與一個或更多個gpc 3218通信。在至少一個實施例中,xbar3220是互連網絡,其將ppu 3200的許多單元耦合到ppu 3200的其他單元,并且可以配置為將工作分配單元3214耦合到特定的gpc 3218。在至少一個實施例中,一個或更多個ppu 3200的其他單元也可以通過集線器3216連接到xbar3220。
    [0487]
    在至少一個實施例中,任務由調度器單元3212管理,并由工作分配單元3214分配給gpc 3218之一。在至少一個實施例中,gpc 3218配置為處理任務并產生結果。在至少一個實施例中,結果可以由gpc 3218中的其他任務消耗,通過xbar3220路由到不同的gpc 3218或存儲在存儲器3204中。在至少一個實施例中,結果可以通過分區單元3222寫到存儲器3204中,其實現了用于向存儲器3204寫入數據或從存儲器3204讀取數據的存儲器接口。在至少一個實施例中,結果可以經由高速gpu互連3208傳輸到另一ppu 3204或cpu。在至少一個實施例中,ppu 3200包括但不限于u個分區單元3222,其等于耦合到ppu 3200的分離且不同的存儲器設備3204的數量,本文結合圖37更詳細地描述。
    [0488]
    在至少一個實施例中,主機處理器執行驅動器核心,該驅動程序核心實現應用程序編程接口(api),該應用程序編程接口使在主機處理器上執行的一個或更多個應用程序能夠調度操作以在ppu 3200上執行。在一個實施例中,多個計算應用程序由ppu 3200同時執行,并且ppu 3200為多個計算應用程序提供隔離、服務質量(“qos”)和獨立的地址空間。在至少一個實施例中,應用程序生成指令(例如,以api調用的形式),該指令使驅動器核心生成一個或更多個任務以供ppu 3200執行,并且驅動器核心將任務輸出至由ppu 3200處理的一個或更多個流。在至少一個實施例中,每個任務包括一個或更多個相關線程組,其可以被稱為線程束(warp)。在至少一個實施例中,線程束包括可以并行執行的多個相關線程(例如32個線程)。在至少一個實施例中,協作線程可以指代多個線程,包括用于執行任務并且
    通過共享存儲器交換數據的指令,結合圖37根據至少一個實施例更詳細地描述了線程和協作線程。
    [0489]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,深度學習應用程序處理器用于訓練機器學習模型(諸如神經網絡),以預測或推理提供給ppu 3200的信息。在至少一個實施例中,深度學習應用程序處理器3200用于基于已由另一處理器或系統或ppu 3200訓練過的訓練過的機器學習模型(例如,神經網絡)推理或預測信息。在至少一個實施例中,ppu 3200可用于執行本文所述的一個或更多個神經網絡用例。
    [0490]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0491]
    圖33示出了根據至少一個實施例的通用處理集群(“gpc”)3300。在至少一個實施例中,gpc 3300是圖32的gpc 3218。在至少一個實施例中,每個gpc 3300包括但不限于用于處理任務的多個硬件單元,并且每個gpc 3300包括但不限于管線管理器3302、預光柵操作單元(“prerop”)3304、光柵引擎3308、工作分配交叉開關(“wdx”)3316、存儲器管理單元(“mmu”)3318、一個或更多個數據處理集群(“dpc”)3306,以及部件的任何合適組合。
    [0492]
    在至少一個實施例中,gpc 3300的操作由管線管理器3302控制。在至少一個實施例中,管線管理器3302管理一個或更多個dpc 3306的配置,以處理分配給gpc 3300的任務。在至少一個實施例中,管線管理器3302配置一個或更多個dpc 3306中的至少一個以實現圖形渲染管線的至少一部分。在至少一個實施例中,dpc 3306配置為在可編程流式多處理器(“sm”)3314上執行頂點著色器程序。在至少一個實施例中,管線管理器3302配置為將從工作分配單元接收的數據包路由到gpc 3300內的適當邏輯單元,以及在至少一個實施例中,可以將一些數據包路由到prerop3304和/或光柵引擎3308中的固定功能硬件單元,而可以將其他數據包路由到dpc 3306以由原始引擎3312或sm3314進行處理。在至少一個實施例中,管線管理器3302配置dpc 3306中的至少一個以實現神經網絡模型和/或計算管線。
    [0493]
    在至少一個實施例中,prerop單元3304配置為在至少一個實施例中將由光柵引擎3308和dpc 3306生成的數據路由到分區單元3222中的光柵操作(“rop”)單元,上面結合圖32更詳細地描述。在至少一個實施例中,prerop單元3304配置為執行用于顏色混合的優化、組織像素數據、執行地址轉換等等。在至少一個實施例中,光柵引擎3308包括但不限于配置為執行各種光柵操作的多個固定功能硬件單元,并且在至少一個實施例中,光柵引擎3308包括但不限于設置引擎、粗光柵引擎、剔除引擎、裁剪引擎、精細光柵引擎、圖塊聚合引擎及其任意合適的組合。在至少一個實施例中,設置引擎接收變換后的頂點并生成與由頂點定義的幾何圖元相關聯的平面方程;平面方程式被傳送到粗光柵引擎以生成基本圖元的覆蓋信息(例如,圖塊的x、y覆蓋范圍掩碼);粗光柵引擎的輸出將傳輸到剔除引擎,在剔除引擎中與z測試失敗的圖元相關聯的片段將被剔除,并傳輸到剪切引擎,在剪切引擎中剪切位于視錐范圍之外的片段。在至少一個實施例中,將經過裁剪和剔除的片段傳遞給精細光柵引擎,以基于設置引擎生成的平面方程式生成像素片段的屬性。在至少一個實施例中,光柵引
    擎3308的輸出包括將由任何適當的實體(例如,由在dpc 3306內實現的片段著色器)處理的片段。
    [0494]
    在至少一個實施例中,包括在gpc 3300中的每個dpc 3306包括但不限于m管線控制器(“mpc”)3310;圖元引擎3312;一個或更多個sm 3314;及其任何合適的組合。在至少一個實施例中,mpc 3310控制dpc 3306的操作,將從管線管理器3302接收的分組路由到dpc 3306中的適當單元。在至少一個實施例中,將與頂點相關聯的分組路由到圖元引擎3312,圖元引擎3312配置為從存儲器中獲取與頂點關聯的頂點屬性;相反,可以將與著色器程序相關聯的數據包發送到sm 3314。
    [0495]
    在至少一個實施例中,sm 3314包括但不限于可編程流式處理器,其配置為處理由多個線程表示的任務。在至少一個實施例中,sm 3314是多線程的并且配置為同時執行來自特定線程組的多個線程(例如32個線程),并且實現單指令、多數據(“simd”)架構,其中將一組線程(例如,線程束)中的每個線程配置為基于相同的指令集來處理不同的數據集。在至少一個實施例中,線程組中的所有線程執行通用指令集。在至少一個實施例中,sm 3314實施單指令、多線程(“simt”)架構,其中一組線程中的每個線程配置為基于通用指令集來處理不同的數據集,但是其中線程組中的各個線程允許在執行期間發散。在至少一個實施例中,為每個線程束維護程序計數器、調用棧和執行狀態,從而當線程束中的線程發散時,實現線程束和線程束內的串行執行之間的并發性。在另一個實施例中,為每個單獨的線程維護程序計數器、調用棧和執行狀態,從而使得在線程束內和線程束之間的所有線程之間具有相等的并發性。在至少一個實施例中,為每個單獨的線程維持執行狀態,并且可以收斂并并行地執行執行通用指令的線程以提高效率。本文更詳細地描述sm 3314的至少一個實施例。
    [0496]
    在至少一個實施例中,mmu 3318在gpc 3300和存儲器分區單元(例如,圖32的分區單元3222)之間提供接口,并且mmu 3318提供虛擬地址到物理地址的轉換、存儲器保護以及存儲器請求的仲裁。在至少一個實施例中,mmu 3318提供一個或更多個轉換后備緩沖區(“tlb”),用于執行虛擬地址到存儲器中的物理地址的轉換。
    [0497]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,深度學習應用程序處理器用于訓練機器學習模型(諸如神經網絡),以預測或推理提供給gpc 3300的信息。在至少一個實施例中,gpc 3300用于基于已由另一處理器或系統或gpc 3300訓練過的機器學習模型(例如,神經網絡)推理或預測信息。在至少一個實施例中,gpc 3300可用于執行本文所述的一個或更多個神經網絡用例。
    [0498]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0499]
    圖34示出了根據至少一個實施例的并行處理單元(“ppu”)的存儲器分區單元3400。在至少一個實施例中,存儲器分區單元3400包括但不限于光柵操作(“rop”)單元3402;二級(“l2”)高速緩存3404;存儲器接口3406;及其任何合適的組合。在至少一個實施
    例中,存儲器接口3406耦合到存儲器。在至少一個實施例中,存儲器接口3406可以實現32、64、128、1024位數據總線,或者類似的實現方式用于高速數據傳輸。在至少一個實施例中,ppu包括u個存儲器接口3406,其中u是正整數,每對分區單元3400一個存儲器接口3406,其中每對分區單元3400連接到對應的存儲器設備。例如,在至少一個實施例中,ppu可以連接至多達y個存儲器設備,例如高帶寬存儲器堆?;驁D形雙數據速率版本5同步動態隨機存取存儲器(“gddr5sdram”)。
    [0500]
    在至少一個實施例中,存儲器接口3406實現高帶寬存儲器第二代(“hbm2”)存儲器接口,并且y等于u的一半。在至少一個實施例中,hbm2存儲器堆棧與ppu一起位于物理封裝上,與傳統的gddr5sdram系統相比,可提供大量功率并節省面積。在至少一個實施例中,每個hbm2堆棧包括但不限于四個存儲器管芯,且y=4,每個hbm2堆棧包括每個管芯兩個128位通道,用于總共8個通道和1024位的數據總線寬度。在至少一個實施例中,存儲器支持單錯誤校正雙錯誤檢測(“secded”)錯誤校正碼(“ecc”)以保護數據。在至少一個實施例中,ecc可以為對數據損壞敏感的計算應用程序提供更高的可靠性。
    [0501]
    在至少一個實施例中,ppu實現了多級存儲器層次結構。在至少一個實施例中,存儲器分區單元3400支持統一存儲器以為中央處理單元(“cpu”)和ppu存儲器提供單個統一虛擬地址空間,從而實現虛擬存儲器系統之間的數據共享。在至少一個實施例中,追蹤ppu對位于其他處理器上的存儲器的訪問頻率,以確保將存儲器頁面移動到更頻繁地訪問頁面的ppu的物理存儲器。在至少一個實施例中,高速gpu互連3208支持地址轉換服務,其允許ppu直接訪問cpu的頁表,并通過ppu提供對cpu存儲器的完全訪問。
    [0502]
    在至少一個實施例中,復制引擎在多個ppu之間或ppu與cpu之間傳輸數據。在至少一個實施例中,復制引擎可以為未被映射到頁表中的地址生成頁面錯誤,并且存儲器分區單元3400然后為頁面錯誤提供服務,將地址映射到頁表中,之后復制引擎執行傳輸。在至少一個實施例中,為多個處理器之間的多個復制引擎操作固定(即不可分頁)存儲器,從而實質上減少了可用存儲器。在至少一個實施例中,在硬件頁面故障的情況下,可以將地址傳遞給復制引擎,而無需考慮是否駐留存儲器頁,并且復制過程是透明的。
    [0503]
    根據至少一個實施例,來自圖32的存儲器3204或其他系統存儲器的數據由存儲器分區單元3400獲取,并將其存儲在l2高速緩存3404中,l2高速緩存3404位于芯片上并且在各種gpc之間共享。在至少一個實施例中,每個存儲器分區單元3400包括但不限于與對應的存儲器設備相關聯的l2高速緩存的至少一部分。在至少一個實施例中,在gpc內的各個單元中實現較低級別的高速緩存。在至少一個實施例中,圖33的每個sm 3314可以實現一級(“l1”)高速緩存,其中l1高速緩存是專用于特定sm 3314的私有存儲器,并且從l2高速緩存3404中獲取數據并將其存儲在每個l1高速緩存中,用于在sm 3314的功能單元中進行處理。在至少一個實施例中,l2高速緩存3404耦合到存儲器接口3406和圖32所示的xbar 3220。
    [0504]
    在至少一個實施例中,rop單元3402執行與像素顏色有關的圖形光柵操作,諸如顏色壓縮、像素混合等。在至少一個實施例中,rop單元3402結合光柵引擎3308實施深度測試,從光柵引擎3308的剔除引擎接收與像素片段相關聯的樣本位置的深度。在至少一個實施例中,針對在與片段關聯的樣本位置的深度緩沖區中的相應深度測試深度。在至少一個實施例中,如果該片段通過了針對該樣本位置的該深度測試,則rop單元3402更新深度緩沖區,并將該深度測試的結果發送給光柵引擎3308。將意識到,分區單元3400的數量可以不同于
    gpc的數量,因此,可以在至少一個實施例中將每個rop單元3402耦合到每個gpc。在至少一個實施例中,rop單元3402追蹤從不同gpc接收到的分組,并且確定rop單元3402生成的結果是否要通過xbar 3220路由到。
    [0505]
    圖35示出了根據至少一個實施例的流式多處理器(“sm”)3500。在至少一個實施例中,sm 3500是圖33的sm。在至少一個實施例中,sm 3500包括但不限于指令高速緩存3502;一個或更多個調度器單元3504;寄存器文件3508;一個或更多個處理核心(“核心”)3510;一個或更多個特殊功能單元(“sfu”)3512;一個或更多個加載/存儲單元(“lsu”)3514;互連網絡3516;共享存儲器/一級(“l1”)高速緩存3518;以及/或其任何合適的組合。
    [0506]
    在至少一個實施例中,工作分配單元調度任務以在并行處理單元(“ppu”)的通用處理集群(“gpc”)上執行,并且每個任務被分配給gpc內部的特定數據處理集群(“dpc”),并且如果任務與著色器程序相關聯,則將該任務分配給sm 3500之一。在至少一個實施例中,調度器單元3504從工作分配單元接收任務并管理分配給sm 3500的一個或更多個線程塊的指令調度。在至少一個實施例中,調度器單元3504調度線程塊以作為并行線程的線程束來執行,其中每個線程塊被分配至少一個線程束。在至少一個實施例中,每個線程束執行線程。在至少一個實施例中,調度器單元3504管理多個不同的線程塊,將線程束分配給不同的線程塊,然后在每個時鐘周期內將來自多個不同的協作組的指令分派給各種功能單元(例如,處理核心3510、sfu 3512和lsu 3514)。
    [0507]
    在至少一個實施例中,協作組可以指用于組織通信線程組的編程模型,其允許開發者表達線程正在通信的粒度,從而能夠表達更豐富、更有效的并行分解。在至少一個實施例中,協作啟動api支持線程塊之間的同步以執行并行算法。在至少一個實施例中,常規編程模型的應用程序提供了用于同步協作線程的單一、簡單的構造:跨線程塊的所有線程的屏障(例如,syncthreads()函數)。但是,在至少一個實施例中,程序員可以在小于線程塊粒度的情形下來定義線程組,并在所定義的組內進行同步,以實現更高的性能、設計靈活性以及以集合組范圍功能接口的形式實現軟件重用。在至少一個實施例中,協作組使程序員能夠以子塊(即,小到單個線程)和多塊粒度明確定義線程組,并執行集合操作,例如對協作組中的線程進行同步。在至少一個實施例中,該編程模型支持跨軟件邊界的干凈組合,從而庫和實用程序功能可以在其本地環境中安全地同步,而不必進行關于收斂的假設。在至少一個實施例中,協作組圖元使協作并行的新圖案成為可能,包括但不限于生產者-消費者并行,機會主義并行以及整個線程塊網格上的全局同步。
    [0508]
    在至少一個實施例中,調度單元3506配置為將指令發送到功能單元中的一個或更多個,并且調度器單元3504并包括但不限于兩個調度單元3506,該兩個調度單元3506使得來自共同線程束的兩個不同指令能夠在每個時鐘周期被調度。在至少一個實施例中,每個調度器單元3504包括單個調度單元3506或附加調度單元3506。
    [0509]
    在至少一個實施例中,每個sm 3500在至少一個實施例中包括但不限于寄存器文件3508,該寄存器文件3508為sm 3500的功能單元提供了一組寄存器。在至少一個實施例中,寄存器文件3508在每個功能單元之間劃分,從而為每個功能單元分配寄存器文件3508的專用部分。在至少一個實施例中,寄存器文件3508在由sm 3500執行的不同線程束之間劃分,并且寄存器文件3508為連接到功能單元的數據路徑的操作數提供臨時存儲。在至少一個實施例中,每個sm 3500包括但不限于多個l個處理核心3510,其中l是正整數。在至少一
    個實施例中,sm 3500包括但不限于大量(例如128個或更多)不同的處理核心3510。在至少一個實施例中,每個處理核心3510包括但不限于全管線、單精度、雙精度和/或混合精度處理單元,其包括但不限于浮點算術邏輯單元和整數算術邏輯單元。在至少一個實施例中,浮點算術邏輯單元實現用于浮點算術的ieee 754-2008標準。在至少一個實施例中,處理核心3510包括但不限于64個單精度(32位)浮點核心、64個整數核心、32個雙精度(64位)浮點核心和8個張量核心。
    [0510]
    根據至少一個實施例,張量核心配置為執行矩陣運算。在至少一個實施例中,一個或更多個張量核心包括在處理核心3510中。在至少一個實施例中,張量核心配置為執行深度學習矩陣算術,例如用于神經網絡訓練和推理的卷積運算。在至少一個實施例中,每個張量核心在4
    ×
    4矩陣上操作并且執行矩陣乘法和累加運算d=a
    ×
    b+c,其中a、b、c和d是4
    ×
    4矩陣。
    [0511]
    在至少一個實施例中,矩陣乘法輸入a和b是16位浮點矩陣,并且累加矩陣c和d是16位浮點或32位浮點矩陣。在至少一個實施例中,張量核心對16位浮點輸入數據進行32位浮點累加運算。在至少一個實施例中,16位浮點乘法使用64個運算,并得到全精度乘積,然后使用32位浮點加法與其他中間乘積累加起來,以進行4x4x4矩陣乘法。在至少一個實施例中,張量核心用于執行由這些較小元件構成的更大的二維或更高維度的矩陣運算。在至少一個實施例中,api(諸如cuda9c++api)公開專門的矩陣加載、矩陣乘法和累加以及矩陣存儲操作,以有效地使用來自cuda-c++程序的張量核心。在至少一個實施例中,在cuda級別,線程束級別接口假定跨越所有32個線程束線程的16
    ×
    16大小的矩陣。
    [0512]
    在至少一個實施例中,每個sm 3500包括但不限于執行特殊功能(例如,屬性評估、倒數平方根等)的m個sfu 3512。在至少一個實施例中,sfu 3512包括但不限于配置為遍歷分層樹數據結構的樹遍歷單元。在至少一個實施例中,sfu 3512包括但不限于配置為執行紋理映射過濾操作的紋理單元。在至少一個實施例中,紋理單元配置為從存儲器中加載紋理映射(例如,紋理像素的2d陣列)和采樣紋理映射,以產生采樣的紋理值以供由sm 3500執行的著色器程序使用。在至少一個實施例中,將紋理映射存儲在共享存儲器/l1高速緩存3518中。在至少一個實施例中,根據至少一個實施例,紋理單元使用mip映射(mip-maps)(例如,細節級別不同的紋理映射)來實現紋理操作(諸如過濾操作)。在至少一個實施例中,每個sm 3500包括但不限于兩個紋理單元。
    [0513]
    在至少一個實施例中,每個sm 3500包括但不限于實現共享存儲器/l1高速緩存3518與寄存器文件3508之間的加載和存儲操作的n個lsu 3514。在至少一個實施例中,互連網絡3516將每個功能單元連接到寄存器文件3508,并且lsu 3514連接到寄存器文件3508和共享存儲器/l1高速緩存3518。在至少一個實施例中,互連網絡3516是交叉開關,其可以配置為將任何功能單元連接到寄存器文件3508中的任何寄存器,并且將lsu 3514連接到寄存器文件3508和共享存儲器/l1高速緩存3518中的存儲器位置。
    [0514]
    在至少一個實施例中,共享存儲器/l1高速緩存3518是片上存儲器的陣列,其在至少一個實施例中允許sm 3500與圖元引擎之間以及sm 3500中的線程之間的數據存儲和通信。在至少一個實施例中,共享存儲器/l1高速緩存3518包括但不限于128kb的存儲容量,并且位于從sm 3500到分區單元的路徑中。在至少一個實施例中,共享存儲器/l1高速緩存3518在至少一個實施例中用于高速緩存讀取和寫入。在至少一個實施例中,共享存儲器/l1
    高速緩存3518、l2高速緩存和存儲器中的一個或更多個是后備存儲。
    [0515]
    在至少一個實施例中,將數據高速緩存和共享存儲器功能組合到單個存儲器塊中,為兩種類型的存儲器訪問提供了改進的性能。在至少一個實施例中,容量由不使用共享存儲器的程序使用或將其用作高速緩存,例如如果共享存儲器配置為使用一半容量,并且紋理和加載/存儲操作可以使用剩余容量。根據至少一個實施例,在共享存儲器/l1高速緩存3518內的集成使共享存儲器/l1高速緩存3518能夠用作用于流傳輸數據的高吞吐量管線,同時提供對頻繁重用的數據的高帶寬和低延遲訪問。在至少一個實施例中,當配置用于通用并行計算時,與圖形處理相比,可以使用更簡單的配置。在至少一個實施例中,繞過固定功能圖形處理單元,從而創建了更加簡單的編程模型。在至少一個實施例中,在通用并行計算配置中,工作分配單元直接將線程的塊分配和分布給dpc。在至少一個實施例中,塊中的線程執行通用程序,在計算中使用唯一的線程id以確保每個線程生成唯一的結果,使用sm 3500執行程序并執行計算,使用共享存儲器/l1高速緩存3518在線程之間進行通信,以及使用lsu 3514通過共享存儲器/l1高速緩存3518和存儲器分區單元來讀寫全局存儲器。在至少一個實施例中,當被配置用于通用并行計算時,sm 3500向調度器單元3504寫入可以用來在dpc上啟動新工作的命令。
    [0516]
    在至少一個實施例中,ppu被包括在臺式計算機、膝上型計算機、平板電腦、服務器、超級計算機、智能電話(例如,無線、手持設備)、個人數字助理(“pda”)、數碼相機、車輛、頭戴式顯示器、手持式電子設備等中或與之耦合。在至少一個實施例中,ppu被實現在單個半導體襯底上。在至少一個實施例中,ppu與一個或更多個其他設備(例如附加的ppu、存儲器、精簡指令集計算機(“risc”)cpu,一個或更多個存儲器管理單元(“mmu”)、數模轉換器(“dac”)等)一起被包括在片上系統(“soc”)中。
    [0517]
    在至少一個實施例中,ppu可以被包括在包括一個或更多個存儲設備的圖形卡上。在至少一個實施例中,該圖形卡可以配置為與臺式計算機主板上的pcie插槽相連接。在至少一個實施例中,該ppu可以是包括在主板的芯片組中的集成圖形處理單元(“igpu”)。
    [0518]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。在至少一個實施例中,深度學習應用程序處理器用于訓練機器學習模型(諸如神經網絡),以預測或推理提供給sm 3500的信息。在至少一個實施例中,sm 3500用于基于已由另一處理器或系統或由sm 3500訓練過的機器學習模型(例如,神經網絡)推理或預測信息。在至少一個實施例中,sm 3500可用于執行一個或更多個本文所述的神經網絡用例。
    [0519]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0520]
    公開了實施例,其涉及用于高級計算的虛擬化計算平臺,諸如醫療應用程序中的圖像推理和圖像處理。實施例可可以包括但不限于射線照相、磁共振成像(mri)、核醫學、超聲、超聲檢查、彈性成像、光聲成像、斷層掃描、超聲心動圖、功能近紅外光譜和磁粒子成像,或其組合。在至少一個實施例中,本文所述的虛擬化計算平臺和相關過程可以附加地或替
    代地用于但不限于法醫科學分析、地下探測和成像(例如,石油勘探、考古學、古生物學等)、地形學、海洋學、地質學、骨學、氣象學、智能區域或目標跟蹤和監測、傳感器數據處理(如雷達、聲吶、激光雷達等)和/或基因組學和基因測序。
    [0521]
    參考圖36,圖36是根據至少一個實施例的用于生成和部署圖像處理和推理管線的過程3600的示例數據流圖。在至少一個實施例中,過程3600可以被部署用于成像設備、處理設備、基因組學設備、基因測序設備、放射設備和/或一個或更多個設施3602處的其他設備類型,該設施例如醫療設施、醫院、醫療機構、診所、研究或診斷實驗室等。在至少一個實施例中,過程3600可以被部署為對測序數據進行基因組分析和推理??梢允褂帽疚乃龅南到y和過程來執行基因組分析的示例,所述基因組分析的實例包括但不限于識別變體、突變檢測和基因表達量化。
    [0522]
    在至少一個實施例中,過程3600可以在訓練系統3604和/或部署系統3606內執行。在至少一個實施例中,訓練系統3604可以用于執行機器學習模型(例如,神經網絡、對象檢測算法、計算機視覺算法等)的訓練、部署和實現,以用于部署系統3606。在至少一個實施例中,部署系統3606可以被配置為在分布式計算環境中卸載處理和計算資源,以減少設施3602的基礎設施需求。在至少一個實施例中,部署系統3606可以提供流水線平臺用于選擇、定制和實現虛擬儀器,以在設施3602處與成像設備(如mri、ct掃描、x射線、超聲波等)或測序設備一起使用。在至少一個實施例中,虛擬儀器可以包括用于針對由成像設備、測序設備、放射線設備和/或其他設備類型生成的成像數據執行一個或更多個處理操作的軟件定義的應用程序。在至少一個實施例中,管線中的一個或更多個應用程序在應用程序執行期間,可以使用或調用部署系統3606的服務(例如,推理、可視化、計算、ai等)。
    [0523]
    在至少一個實施例中,在高級處理和推理管線中使用的一些應用程序可以使用機器學習模型或其他ai來執行一個或更多個處理步驟。在至少一個實施例中,可以使用在設施3602處生成(并存儲在設施3602處的一個或更多個圖片存檔和通信系統(pacs)服務器上)的數據3608(例如成像數據)在設施3602處訓練機器學習模型,可以使用來自另一個或更多個設施(例如,不同的醫院、實驗室、診所等)的成像或測序數據3608來訓練機器學習模型,或其組合。在至少一個實施例中,訓練系統3604可以用于提供應用程序、服務和/或其他資源,以生成用于部署系統3606的工作的、可部署的機器學習模型。
    [0524]
    在至少一個實施例中,模型注冊表3624可以由對象存儲支持,該對象存儲可以支持版本控制和對象元數據。在至少一個實施例中,可以從云平臺內通過例如云存儲(例如,圖37的云3726)兼容的應用程序編程接口(api)來訪問對象存儲。在至少一個實施例中,模型注冊表3624內的機器學習模型可以由與api交互的系統的開發者或合作伙伴上傳、列出、修改或刪除。在至少一個實施例中,api可以提供對方法的訪問,所述方法允許具有適當憑證的用戶將模型與應用程序相關聯,使得模型可以作為應用程序的容器化實例化的執行的一部分來執行。
    [0525]
    在至少一個實施例中,訓練管線3704(圖37)可以包括以下情形:其中設施3602正在訓練他們自己的機器學習模型,或者具有需要優化或更新的現有機器學習模型。在至少一個實施例中,可以接收由成像設備、測序設備和/或其他類型設備生成的成像數據3608。在至少一個實施例中,一旦接收到成像數據3608,ai輔助注釋3610就可以用于幫助生成與成像數據3608相對應的注釋,以用作機器學習模型的地面實況數據。在至少一個實施例中,
    ai輔助注釋3610可以包括一個或更多個機器學習模型(例如,卷積神經網絡(cnn)),可以對該機器學習模型進行訓練,以生成對應于某些類型的成像數據3608(例如,來自某些設備)的注釋,和/或成像數據3608中某些類型的異常。在至少一個實施例中,然后ai輔助注釋3610可以被直接使用,或者可以使用注釋工具(例如,由研究人員、臨床醫生、醫生、科學家等)進行調整或微調,以生成地面實況數據。在至少一個實施例中,在一些示例中,標記的臨床數據3612(例如,由臨床醫生、醫生、科學家、技術人員等提供的注釋)可以用作訓練機器學習模型的地面實況數據。在至少一個實施例中,ai輔助注釋3610、標記的臨床數據3612或其組合可以用作訓練機器學習模型的地面實況數據。在至少一個實施例中,經訓練的機器學習模型可以被稱為輸出模型3616,并且可以由部署系統3606使用,如本文所述。
    [0526]
    在至少一個實施例中,訓練管線3704(圖37)可以包括以下情形:其中設施3602需要機器學習模型,以用于執行用于部署系統3606中的一個或更多個應用程序的一個或更多個處理任務,但是設施3602當前可能沒有這種機器學習模型(或者可能沒有為此目的而優化的、高效的或有效的模型)。在至少一個實施例中,可以從模型注冊表3624中選擇現有的機器學習模型。在至少一個實施例中,模型注冊表3624可以包括機器學習模型,其被訓練為對成像數據執行各種不同的推理任務。在至少一個實施例中,可以在來自不同的設施(例如,位于遠處的設施)而不是設施3602的成像數據上訓練模型注冊表3624中的機器學習模型。在至少一個實施例中,機器學習模型可能已經在來自一個位置、兩個位置或任意數量的位置的成像數據上進行訓練。在至少一個實施例中,當在來自特定位置的成像數據上進行訓練時,可以在該位置處進行訓練,或者至少以保護成像數據的機密性或限制成像數據從場外轉移的方式進行訓練(例如,遵守hipaa法規、隱私法規等)。在至少一個實施例中,一旦在一個位置處訓練了模型或部分地訓練了模型,則可以將機器學習模型添加到模型注冊表3624。在至少一個實施例中,然后可以在任意數量的其他設施處對機器學習模型進行重新訓練或更新,經重新訓練或更新的模型可以在模型注冊表3624中使用。在至少一個實施例中,然后可以從模型注冊表3624中選擇機器學習模型(并稱為輸出模型3616),并且可以在部署系統3606中,以執行用于部署系統的一個或更多個應用程序的一個或更多個處理任務。
    [0527]
    在至少一個實施例中,訓練管線3704(圖37)可用于包括設施3602的場景中,所述設施需要機器學習模型,以用于執行用于部署系統3606中的一個或更多個應用程序的一個或更多個處理任務,但是設施3602當前可能沒有這樣的機器學習模型(或者可能沒有優化的、高效的或有效的模型)。在至少一個實施例中,由于用于訓練機器學習模型的訓練數據的種群差異、遺傳變異、穩健性,訓練數據異常的多樣性,和/或訓練數據的其他問題,從模型注冊表3624中選擇的機器學習模型可能不會針對在設施3602處生成的成像數據3608進行微調或優化。在至少一個實施例中,ai輔助注釋3610可以用于幫助生成與成像數據3608相對應的注釋,以用作訓練或更新機器學習模型的地面實況數據。在至少一個實施例中,標記的臨床數據3612(例如,由臨床醫生、醫生、科學家等提供的注釋)可以用作訓練機器學習模型的地面實況數據。在至少一個實施例中,重新訓練或更新機器學習模型可以稱為模型訓練3614。在至少一個實施例中,模型訓練3614(例如ai輔助注釋3610,標記的臨床數據3612或其組合)可以用作重新訓練或更新機器學習模型的地面實況數據。
    [0528]
    在至少一個實施例中,部署系統3606可以包括軟件3618、服務3620、硬件3622和/
    或其他組件、特征和功能。在至少一個實施例中,部署系統3606可以包括軟件“?!?,以使軟件3618可以構建在服務3620的頂部上,并且可以使用服務3620來執行一些或全部處理任務,并且服務3620和軟件3618可以構建在硬件3622的頂部上,并使用硬件3622來執行部署系統3606的處理、存儲和/或其他計算任務。
    [0529]
    在至少一個實施例中,軟件3618可以包括任意數量的不同容器,其中每個容器可以執行應用程序的實例化。在至少一個實施例中,每個應用程序可以在高級處理和推理管線中執行一個或更多個處理任務(例如,推理、對象檢測、特征檢測、分割、圖像增強、校準等)。在至少一個實施例中,對于每種類型的成像設備(例如ct、mri、x射線、超聲、超聲檢查、超聲心動圖等)、測序設備、放射學設備、基因組學設備等,可能有任意數量的容器,其可以對由設備生成的成像數據3608(或其他數據類型,例如本文所述的數據類型)執行數據處理任務。在至少一個實施例中,除了接收和配置成像數據以供每個容器使用和/或在通過管線處理后由設施3602使用的容器以外,還可以基于對處理成像數據3608想要的或所需的不同容器的選擇來定義高級處理和推理管線(例如,以將輸出轉換回可用的數據類型,諸如醫學數字成像和通信(dicom)數據、放射信息系統(ris)數據、臨床信息系統(cis)數據、遠程過程調用(rpc)數據、基本上符合表示狀態傳輸(rest)接口的數據、基本上符合基于文件接口的數據、和/或原始數據,以便在設施3602進行存儲和顯示)。在至少一個實施例中,軟件3618內的容器組合(例如,其構成管線)可以被稱為虛擬儀器(如本文中更詳細地描述的),并且虛擬儀器可以利用服務3620和硬件3622來執行容器中實例化的應用程序的部分或全部處理任務。
    [0530]
    在至少一個實施例中,數據處理管線可以響應于推理請求(例如,來自部署系統3606的用戶的請求,例如臨床醫生,醫生,放射科醫生等)接收dicom、ris、cis、符合rest、rpc、原始、和/或其他格式的輸入數據(例如,成像數據3608)。在至少一個實施例中,輸入數據可以代表由一個或更多個成像設備、測序設備、放射設備、基因組設備和/或其他設備類型生成的一個或更多個圖像、視頻和/或其他數據表示。在至少一個實施例中,數據可以作為數據處理管線的一部分進行預處理,以準備數據用于由一個或更多個應用程序處理。在至少一個實施例中,可以在管線的一個或更多個推理任務或其他處理任務的輸出上執行后處理,以準備下一個應用程序的輸出數據和/或準備輸出數據,以供用戶傳輸和/或使用(例如作為對推理請求的響應)。在至少一個實施例中,推理任務可以由一個或更多個機器學習模型執行,例如經訓練或部署的神經網絡,所述模型可以包括訓練系統3604的輸出模型3616。
    [0531]
    在至少一個實施例中,數據處理管線的任務可以封裝在容器中,每個容器表示能夠引用機器學習模型的應用程序和虛擬化計算環境的離散、全功能實例化。在至少一個實施例中,容器或應用程序可被發布到容器注冊表(本文更詳細地描述)的私有(例如,有限訪問)區域中,并且經訓練或部署的模型可存儲在模型注冊表3624中,并與一個或更多個應用程序相關聯。在至少一個實施例中,應用程序的圖像(例如,容器圖像)可在容器注冊表中使用,并且一旦用戶從容器注冊表中選擇圖像以用于在管線中部署,則該圖像可用于生成用于應用程序的實例化的容器,以供用戶的系統使用。
    [0532]
    在至少一個實施例中,開發者(例如,軟件開發者、臨床醫生、醫生等)可以開發、發布和存儲應用程序(例如,作為容器),用于對所提供的數據執行圖像處理和/或推理。在至
    少一個實施例中,可以使用與系統相關聯的軟件開發工具包(sdk)來執行開發、發布和/或存儲(例如,以確保開發的應用程序和/或容器符合系統或與系統兼容)。在至少一個實施例中,所開發的應用程序可以使用sdk在本地測試(例如,在第一設施處,對來自第一設施的數據進行測試),所述sdk作為系統(例如圖37中的系統3700)可以支持至少某些服務3620。在至少一個實施例中,由于dicom對象可能包含一到數百個圖像或其他數據類型,并且由于數據的變化,因此開發者可負責管理(例如,設置構造,用于將預處理構建到應用程序中等)傳入的dicom數據的提取和準備。在至少一個實施例中,一旦通過系統3700的驗證(例如,為了準確性、安全性、患者隱私等),應用程序便會在容器注冊表中可用,以供用戶(例如,醫院、診所、實驗室、醫療保健提供者等)選擇和/或實現,以對用戶的設施(例如第二設施)處的數據執行一個或更多個處理任務。
    [0533]
    在至少一個實施例中,開發者隨后可以通過網絡共享應用程序或容器,以供系統(例如,圖37的系統3700)的用戶訪問和使用。在至少一個實施例中,可以將完成并經過驗證的應用程序或容器存儲在容器注冊表中,并且可以將相關的機器學習模型存儲在模型注冊表3624中。在至少一個實施例中,請求實體(例如,醫療機構的用戶)(其提供推理或圖像處理請求)可以瀏覽容器注冊表和/或模型注冊表3624,以獲得應用程序、容器、數據集、機器學習模型等,選擇所需的元素組合以包含在數據處理管線中,并提交圖像處理請求。在至少一個實施例中,請求可以包括執行請求所必需的輸入數據(以及在一些示例中與患者相關的數據),和/或可以包括對在處理請求時要執行的應用程序和/或機器學習模型的選擇。在至少一個實施例中,然后可以將請求傳遞到部署系統3606的一個或更多個組件(例如,云),以執行數據處理管線的處理。在至少一個實施例中,由部署系統3606進行的處理可以包括引用從容器注冊表和/或模型注冊表3624中選擇的元素(例如,應用程序、容器、模型等)。在至少一個實施例中,一旦通過管線生成結果,結果可返回給用戶以供參考(例如,用于在本地、本地工作站或終端上執行的查看應用程序套件中進行查看)。在至少一個實施例中,放射科醫生可以從數據處理管線接收結果,所述數據處理管線包括任意數量的應用程序和/或容器,其中結果可以包括x射線、ct掃描、mri等中的異常檢測。
    [0534]
    在至少一個實施例中,為了幫助處理或執行管線中的應用程序或容器,可以利用服務3620。在至少一個實施例中,服務3620可以包括計算服務、人工智能(ai)服務、可視化服務和/或其他服務類型。在至少一個實施例中,服務3620可以提供軟件3618中的一個或更多個應用程序所共有的功能,因此可以將功能抽象為可以被應用程序調用或利用的服務。在至少一個實施例中,由服務3620提供的功能可以動態且更有效地運行,同時還可以通過允許應用程序并行地處理數據(例如,使用圖37中的并行計算平臺3730)來很好地縮放。在至少一個實施例中,不是要求共享服務3620提供的相同功能的每個應用程序都必須具有服務3620的相應實例,而是可以在各種應用程序之間和之中共享服務3620。在至少一個實施例中,作為非限制性示例,服務可包括可用于執行檢測或分割任務的推理服務器或引擎。在至少一個實施例中,可以包括模型訓練服務,其可以提供機器學習模型訓練和/或重新訓練能力。在至少一個實施例中,可以進一步包括數據增強服務,其可以提供gpu加速的數據(例如,dicom、ris、cis、符合rest、rpc、原始等)提取、調整大小、縮放和/或其他增強。在至少一個實施例中,可以使用可視化服務,其可以添加圖像渲染效果(例如光線跟蹤、光柵化、去噪、銳化等),以向二維(2d)和/或三維(3d)模型添加真實感。在至少一個實施例中,可以包
    括虛擬儀器服務,其為虛擬儀器的管線內的其他應用程序提供波束賦形、分割、推理、成像和/或支持。
    [0535]
    在至少一個實施例中,在服務3620包括ai服務(例如,推理服務)的情況下,作為應用程序執行的一部分,可以通過調用(例如,作為api調用)推理服務(例如,推理服務器),以執行一個或更多個機器學習模型或其處理,來執行與用于異常檢測(例如,腫瘤、生長異常、瘢痕形成等)的應用程序相關聯的一個或更多個機器學習模型。在至少一個實施例中,在另一應用程序包括用于分割任務的一個或更多個機器學習模型的情況下,應用程序可以調用推理服務來執行機器學習模型,以用于執行與分割任務相關聯的一個或更多個處理操作。在至少一個實施例中,實現高級處理和推理管線的軟件3618,其包括分割應用程序和異常檢測應用程序,可以被流水線化,因為每個應用程序可以調用相同的推理服務來執行一個或更多個推理任務。
    [0536]
    在至少一個實施例中,硬件3622可包括gpu、cpu、圖形卡、ai/深度學習系統(例如,ai超級計算機,諸如nvidia的dgx超級計算機系統)、云平臺或其組合。在至少一個實施例中,可以使用不同類型的硬件3622,以為部署系統3606中的軟件3618和服務3620提供高效的、專門構建的支持。在至少一個實施例中,可以實現使用gpu處理來在ai/深度學習系統內、云系統中、和/或部署系統3606的其他處理組件中進行本地處理(例如,在設施3602處),以提高圖像處理、圖像重建、分割、mri檢查、中風或心臟病發作檢測(例如實時地)、渲染的圖像質量等的效率、準確性和效能。在至少一個實施例中,設施可包括成像設備、基因組設備、測序設備,和/或本地的其他設備類型,其可以利用gpu生成代表受試者解剖結構的成像數據。
    [0537]
    在至少一個實施例中,作為非限制性示例,關于深度學習、機器學習和/或高性能計算,可以針對gpu處理優化軟件3618和/或服務3620。在至少一個實施例中,部署系統3606和/或訓練系統3604的計算環境中的至少一些可以在具有gpu優化的軟件(例如,nvidiadgx系統的硬件和軟件組合)的數據中心、一個或更多個超級計算機或高性能計算機系統中執行。在至少一個實施例中,數據中心可以符合hipaa的規定,使得關于患者數據的隱私性安全地處理成像數據和/或其他患者數據的接收、處理和傳輸。在至少一個實施例中,如本文所述,硬件3622可包括任意數量的gpu,所述gpu可被調用以并行執行數據處理。在至少一個實施例中,云平臺還可包括用于深度學習任務的gpu優化執行、機器學習任務或其他計算任務的gpu處理。在至少一個實施例中,可以使用ai/深度學習超級計算機和/或gpu優化的軟件(例如,如在nvidia的dgx系統上提供的)作為硬件抽象和縮放平臺,來執行云平臺(例如,nvidia的ngc)。在至少一個實施例中,云平臺可以在多個gpu上集成應用程序容器集群系統或協調系統(例如,kubernetes),以實現無縫縮放和負載均衡。
    [0538]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0539]
    圖37是根據至少一個實施例的用于生成和部署成像部署管線的示例系統3700的系統圖。在至少一個實施例中,系統3700可以用于實現圖36的過程3600和/或其他過程,包
    括高級處理和推理管線。在至少一個實施例中,系統3700可以包括訓練系統3604和部署系統3606。在至少一個實施例中,可以使用軟件3618、服務3620和/或硬件3622,來實現訓練系統3604和部署系統3606,如本文所述。
    [0540]
    在至少一個實施例中,系統3700(例如,訓練系統3604和/或部署系統3606)可以在云計算環境中(例如,使用云3726)實現。在至少一個實施例中,系統3700可以在本地實現(關于醫療服務設施),或者作為云計算資源和本地計算資源的組合來實現。在至少一個實施例中,在實現云計算的實施例中,患者數據可以與系統3700的一個或更多個組件分離,或者未由系統3700的一個或更多個組件處理,這將導致處理不符合hipaa和/或其他數據處理和隱私法規或法律。在至少一個實施例中,可以通過制定安全措施或協議,將對云3726中的api的訪問權限限制為授權用戶。在至少一個實施例中,安全協議可以包括網絡令牌,其可以由認證(例如,authn、authz、gluecon等)服務簽名,并且可以攜帶適當的授權。在至少一個實施例中,虛擬儀器的api(本文中描述)或系統3700的其他實例可以被限制為已被審核或授權用于交互的一組公共ip。
    [0541]
    在至少一個實施例中,系統3700的各個組件可以使用多種不同網絡類型中的任何一種在彼此之間進行通信,所述不同網絡類型包括但不限于經由有線和/或無線通信協議的局域網(lan)和/或廣域網(wan)。在至少一個實施例中,系統3700的設施和組件之間的通信(例如,用于發送推理請求、用于接收推理請求的結果等)可以通過一個或更多個數據總線、無線數據協議(wi-fi)、有線數據協議(例如以太網)等進行傳送。
    [0542]
    在至少一個實施例中,類似于本文關于圖36所描述的,訓練系統3604可以執行訓練管線3704。在至少一個實施例中,其中部署系統3606將在部署管線3710中使用一個或更多個機器學習模型,訓練管線3704可用于訓練或重新訓練一個或更多個(例如,預訓練的)模型,和/或實現一個或更多個預訓練模型3706(例如,無需重新訓練或更新)。在至少一個實施例中,作為訓練管線3704的結果,可以生成輸出模型3616。在至少一個實施例中,訓練管線3704可以包括任意數量的處理步驟,諸如但不限于成像數據(或其他輸入數據)的轉換或適配(例如,使用dicom適配器3702a將dicom圖像轉換為適合于由各自的機器學習模型處理的另一種格式,例如neuroimaging信息技術倡議(nifti)格式)、ai輔助注釋3610、成像數據3608的標記或注釋(用于生成標記的臨床數據3612)、從模型注冊表中選擇模型、模型訓練3614、訓練、重新訓練或更新模型,和/或其他處理步驟。在至少一個實施例中,對于由部署系統3606使用的不同的機器學習模型,可以使用不同的訓練管線3704。在至少一個實施例中,類似于關于圖36描述的第一示例的訓練管線3704可用于第一機器學習模型,類似于關于圖36描述的第二示例的訓練管線3704可用于第二機器學習模型,類似于關于圖36描述的第三示例的訓練管線3704可用于第三機器學習模型。在至少一個實施例中,可以根據每個相應機器學習模型的要求來使用訓練系統3604內任務的任何組合。在至少一個實施例中,一個或更多個機器學習模型可能已經被訓練并準備好用于部署,因此訓練系統3604可能不會對機器學習模型進行任何處理,并且一個或更多個機器學習模型可以由部署系統3606來實現。
    [0543]
    在至少一個實施例中,根據實現或實施例,輸出模型3616和/或預訓練模型3706可包括任何類型的機器學習模型。在至少一個實施例中并且不限于此,系統3700使用的機器學習模型可以包括使用線性回歸、邏輯回歸、決策樹、支持向量機(svm)、樸素貝葉斯、k-最
    近鄰(knn)、k均值聚類、隨機森林、降維算法、梯度提升算法、神經網絡(例如,自動編碼器、卷積、遞歸、感知器、長/短期記憶(lstm)、hopfield、boltzmann、深層信念、反卷積、生成對抗、液體狀態機等),和/或其他類型的機器學習模型。
    [0544]
    在至少一個實施例中,訓練管線3704可以包括ai輔助注釋,如本文關于至少圖40b更詳細描述的。在至少一個實施例中,可以通過任何數量的技術生成標記的臨床數據3612(例如,傳統注釋)。在至少一個實施例中,在一些示例中可以在繪圖程序(例如,注釋程序)、計算機輔助設計(cad)程序、標記程序、適用于生成地面實況的注釋或標簽的另一類型的應用程序中、和/或可以手繪,生成標簽或其他注釋。在至少一個實施例中,地面實況數據可以被合成產生(例如,從計算機模型或渲染生成)、真實產生(例如,從真實世界數據設計和生成)、機器自動產生(例如,使用特征分析和學習從數據中提取特征,然后生成標簽)、人工注釋(例如,標記器或注釋專家,定義標簽的位置)和/或其組合。在至少一個實施例中,對于成像數據3608(或機器學習模型使用的其他數據類型)的每個實例,可以存在由訓練系統3604生成的相應的地面實況數據。在至少一個實施例中,可以作為部署管線3710的一部分執行ai輔助注釋;補充或代替訓練管線3704中包括的ai輔助注釋。在至少一個實施例中,系統3700可以包括多層平臺,所述多層平臺可以包括診斷應用程序(或其他應用程序類型)的軟件層(例如軟件3618),其可以執行一個或更多個醫學成像和診斷功能。在至少一個實施例中,系統3700可以通信地耦合到(例如,經由加密鏈路)一個或更多個設施的pacs服務器網絡。在至少一個實施例中,系統3700可被配置為從pacs服務器(例如,經由dicom適配器3702或諸如ris、cis、符合rest、rpc、原始等的另一數據類型適配器)訪問和引用數據(例如,dicom數據、ris數據、原始數據、cis數據、符合rest的數據、rpc、原始數據等),以執行操作,例如訓練機器學習模型、部署機器學習模型、圖像處理、推理和/或其他操作。
    [0545]
    在至少一個實施例中,軟件層可以被實現為安全的、加密的和/或經認證的api,通過所述api可以從外部環境(例如,設施3602)援引(invoke)(例如,調用(call))應用程序或容器。在至少一個實施例中,應用程序隨后可以調用或執行一個或更多個服務3620,以執行與各自的應用程序相關聯的計算、ai或可視化任務,并且軟件3618和/或服務3620可以利用硬件3622以有效和高效的方式執行處理任務。
    [0546]
    在至少一個實施例中,部署系統3606可以執行部署管線3710。在至少一個實施例中,部署管線3710可以包括任意數量的應用程序,所述應用程序可以是順序的、非順序的,或者以其他方式應用于成像數據(和/或其他數據類型)-包括ai輔助注釋,所述成像數據由成像設備、測序設備、基因組學設備等生成,如上所述。在至少一個實施例中,如本文所述,用于個體設備的部署管線3710可以被稱為用于設備的虛擬儀器(例如,虛擬超聲儀器、虛擬ct掃描儀器、虛擬測序儀器等)。在至少一個實施例中,對于單個設備,可以存在不止一個部署管線3710,這取決于從設備生成的數據所期望的信息。在至少一個實施例中,在期望從mri機器檢測到異常的情況下,可以存在第一部署管線3710,并且在期望從mri機器的輸出進行圖像增強的情況下,可以存在第二部署管線3710。
    [0547]
    在至少一個實施例中,可用于部署管線3710的應用程序可包括可用于對成像數據或來自設備的其他數據執行處理任務的任何應用程序。在至少一個實施例中,不同的應用程序可負責圖像增強、分割、重建、異常檢測、對象檢測、特征檢測、治療規劃、劑量測定、波束規劃(或其他輻射治療程序)和/或其他分析、圖像處理或推理任務。在至少一個實施例
    中,部署系統3606可以為每個應用程序定義構造,使得部署系統3606(例如,醫療設施、實驗室、診所等)的用戶可以理解構造并將應用程序適配為在其各自的設施內實現。在至少一個實施例中,可以選擇用于圖像重建的應用程序,以包括在部署管線3710中,但是由成像設備生成的數據類型可以與在應用程序內使用的數據類型不同。在至少一個實施例中,可以在部署管線3710內使用dicom適配器3702b(和/或dicom讀取器)或另一數據類型的適配器或讀取器(例如,ris、cis、符合rest、rpc、原始等),以將數據轉換為可由部署系統3606內的應用程序使用。在至少一個實施例中,對dicom、ris、cis、符合rest、rpc、原始和/或其他數據類型庫的訪問可以被累積和預處理,包括解碼、提取和/或對數據執行任何卷積、顏色校正、銳化、gamma和/或其他增強。在至少一個實施例中,dicom、ris、cis、符合rest、rpc和/或原始數據可以是無序的,并且可以執行預傳遞以組織數據或對收集的數據排序。在至少一個實施例中,由于各種應用程序可以共享公共圖像操作,因此在一些實施例中,可以使用數據增強庫(例如,作為服務3620之一)來加速這些操作。在至少一個實施例中,為了避免依賴于cpu處理的傳統處理方法的瓶頸,并行計算平臺3730可用于這些處理任務的gpu加速。
    [0548]
    在至少一個實施例中,圖像重建應用程序可包括處理任務,該處理任務包括使用機器學習模型。在至少一個實施例中,用戶可能希望使用他們自己的機器學習模型,或者從模型注冊表3624中選擇機器學習模型。在至少一個實施例中,用戶可以實現他們自己的機器學習模型或選擇機器學習模型,以包含在執行處理任務的應用程序中。在至少一個實施例中,應用程序可以是可選擇的和可定制的,并且通過定義應用程序的構造,針對特定用戶的應用程序的部署和實現被呈現為更加無縫的用戶體驗。在至少一個實施例中,通過利用系統3700的其他特征(例如服務3620和硬件3622),部署管線3710可以更加用戶友好,提供更容易的集成,并且產生更準確、高效和及時的結果。
    [0549]
    在至少一個實施例中,部署系統3606可以包括用戶接口3714(例如,圖形用戶接口、web接口等),所述用戶接口可以被用于選擇要包括在部署管線3710中的應用程序、布置應用程序、修改或改變應用程序或其參數或構造、在設置和/或部署期間使用部署管線3710以及與其交互,和/或以其他方式與部署系統3606交互。在至少一個實施例中,盡管沒有關于訓練系統3604示出,但是用戶接口3714(或不同的用戶接口)可用于選擇在部署系統3606中使用的模型、用于選擇用于在訓練系統3604中訓練或重新訓練的模型,和/或用于以其他方式與訓練系統3604交互。
    [0550]
    在至少一個實施例中,除了應用程序協調系統3728之外,還可以使用管線管理器3712來管理部署管線3710的應用程序或容器與服務3620和/或硬件3622之間的交互。在至少一個實施例中,管線管理器3712可以被配置為促進從應用程序到應用程序、從應用程序到服務3620,和/或從應用程序或服務到硬件3622的交互。在至少一個實施例中,盡管示出為包括在軟件3618中,這并不旨在進行限制,并且在一些示例中(例如,如圖38所示),管線管理器3712可以被包括在服務3620中。在至少一個實施例中,應用程序協調系統3728(例如,kubernetes、docker等)可以包括容器協調系統,其可以將應用程序分組到容器中,作為用于協調、管理、縮放和部署的邏輯單元。在至少一個實施例中,通過將來自部署管線3710的應用程序(例如,重建應用程序、分割應用程序等)與各個容器相關聯,每個應用程序可以在自包含的環境(例如,在內核級)中執行,以提高速度和效率。
    [0551]
    在至少一個實施例中,每個應用程序和/或容器(或其映像)可以被單獨開發、修改
    和部署(例如,第一用戶或開發者可以開發、修改和部署第一應用程序,第二用戶或開發者可以開發、修改和部署與第一用戶或開發者分開的第二應用程序),這可以允許專注并關注單個應用程序和/或容器的任務,而不受另一個應用程序或容器的任務的阻礙。在至少一個實施例中,管線管理器3712和應用程序協調系統3728可以輔助不同容器或應用程序之間的通信和協作。在至少一個實施例中,只要每個容器或應用程序的預期輸入和/或輸出是系統已知的(例如,基于應用程序或容器的構造),則應用程序協調系統3728和/或管線管理器3712可以促進每個應用程序或容器之間和之中的通信以及資源的共享。在至少一個實施例中,由于部署管線3710中的一個或更多個應用程序或容器可以共享相同的服務和資源,因此應用程序協調系統3728可以在各個應用程序或容器之間和之中進行協調、負載均衡,并確定服務或資源的共享。在至少一個實施例中,調度器可用于跟蹤應用程序或容器的資源需求、這些資源的當前使用或計劃使用,以及資源可用性。因此,在至少一個實施例中,考慮到系統的需求和可用性,調度器可以將資源分配給不同的應用程序,并在應用程序之間和之中分配資源。在一些示例中,調度器(和/或應用程序協調系統3728的其他組件)可以基于施加在系統上的約束(例如,用戶約束)來確定資源可用性和分布,例如服務質量(qos)、對數據輸出的迫切需求(例如,以確定是執行實時處理還是延遲處理)等。
    [0552]
    在至少一個實施例中,由部署系統3606中的應用程序或容器利用并由其共享的服務3620,可以包括計算服務3716、ai服務3718、可視化服務3720和/或其他服務類型。在至少一個實施例中,應用程序可以調用(例如,執行)一個或更多個服務3620,以執行針對應用程序的處理操作。在至少一個實施例中,應用程序可以利用計算服務3716來執行超級計算或其他高性能計算(hpc)任務。在至少一個實施例中,可以利用一個或更多個計算服務3716來執行并行處理(例如,使用并行計算平臺3730),以通過一個或更多個應用程序和/或單個應用程序的一個或更多個任務基本上同時地處理數據。在至少一個實施例中,并行計算平臺3730(例如,nvidia的cuda)可以在gpu(gpgpu)(例如,gpu 3722)上實現通用計算。在至少一個實施例中,并行計算平臺3730的軟件層可以提供對gpu的虛擬指令集和并行計算元素的訪問,以執行計算內核。在至少一個實施例中,并行計算平臺3730可以包括存儲器,并且在一些實施例中,可以在多個容器之間和之中,和/或在單個容器內的不同處理任務之間和之中共享存儲器。在至少一個實施例中,可以為多個容器和/或容器內的多個進程生成進程間通信(ipc)調用,以使用來自并行計算平臺3730的共享存儲器段的相同數據(例如,其中一應用程序或多個應用程序的多個不同階段正在處理相同的信息)。在至少一個實施例中,不是復制數據并將數據移動到存儲器中的不同位置(例如,讀/寫操作),而是可以將存儲器相同位置中的相同數據用于任何數量的處理任務(例如,在同一時間、不同時間等)。在至少一個實施例中,由于作為處理的結果數據被用于生成新數據,因此數據的新位置的該信息可以在各個應用程序之間存儲和共享。在至少一個實施例中,數據的位置以及經更新或修改的數據的位置可以是如何理解容器中的有效負載的定義的一部分。
    [0553]
    在至少一個實施例中,可以利用ai服務3718來執行推理服務,該推理服務用于執行與應用程序相關聯的機器學習模型(例如,任務為執行應用程序的一個或更多個處理任務)。在至少一個實施例中,ai服務3718可以利用ai系統3724來執行機器學習模型(例如,諸如cnn之類的神經網絡)以用于分割、重建、對象檢測、特征檢測、分類和/或其他推理任務。在至少一個實施例中,部署管線3710的應用程序可以使用來自訓練系統3604的一個或更多
    個輸出模型3616和/或應用程序的其他模型,來對成像數據(例如,dicom數據、ris數據、cis數據、符合rest的數據、rpc數據、原始數據等)執行推理。在至少一個實施例中,使用應用程序協調系統3728(例如,調度器)進行推理的兩個或更多個示例可以是可用的。在至少一個實施例中,第一類別可以包括高優先級/低延時路徑,其可以實現更高服務水平協議,例如用于在緊急情況下對緊急請求執行推理,或者在診斷過程中用于放射科醫生。在至少一個實施例中,第二類別可以包括標準優先級路徑,其可用于可能不緊急的請求或者可以在稍后的時間執行分析的情況。在至少一個實施例中,應用程序協調系統3728可以基于優先級路徑來分配資源(例如,服務3620和/或硬件3622),以用于ai服務3718的不同推理任務。
    [0554]
    在至少一個實施例中,共享存儲器可以被安裝到系統3700中的ai服務3718。在至少一個實施例中,共享存儲器可以操作為高速緩存(或其他存儲設備類型),并且可以用于處理來自應用程序的推理請求。在至少一個實施例中,當提交推理請求時,部署系統3606的一組api實例可以接收請求,并且可以選擇一個或更多個實例(例如,為了最佳擬合、為了負載均衡等)來處理請求。在至少一個實施例中,為了處理請求,可以將請求輸入到數據庫中,如果尚未在高速緩存中,則可以從模型注冊表3624定位機器學習模型,驗證步驟可以確保將適當的機器學習模型加載到高速緩存中(例如,共享存儲),和/或可以將模型的副本保存到高速緩存中。在至少一個實施例中,如果應用程序尚未運行或沒有足夠的應用程序的實例,則可使用調度器(例如,管線管理器3712的調度器)來啟動在請求中引用的應用程序。在至少一個實施例中,如果尚未啟動推理服務器來執行模型,則可以啟動推理服務器。在至少一個實施例中,每個模型可以啟動任意數量的推理服務器。在至少一個實施例中,在將推理服務器聚類的拉(pull)模型中,每當負載均衡有利時,就可以將模型高速緩存。在至少一個實施例中,推理服務器可以靜態加載到相應的分布式服務器中。
    [0555]
    在至少一個實施例中,可以使用在容器中運行的推理服務器來執行推理。在至少一個實施例中,推理服務器的實例可以與模型(并且可選地與模型的多個版本)相關聯。在至少一個實施例中,如果在接收到對模型執行推理的請求時推理服務器的實例不存在,則可以加載新實例。在至少一個實施例中,當啟動推理服務器時,可以將模型傳遞到推理服務器,使得可以使用相同的容器來服務不同的模型,只要推理服務器作為不同的實例運行即可。
    [0556]
    在至少一個實施例中,在應用程序執行期間,可以接收對給定應用程序的推理請求,并且可以加載(如果尚未加載的話)容器(例如,托管推理服務器的實例),以及可以調用啟動程序。在至少一個實施例中,容器中的預處理邏輯可以(例如,使用cpu和/或gpu)對傳入的數據進行加載、解碼和/或執行任何附加的預處理。在至少一個實施例中,一旦數據準備好進行推理,容器就可以根據需要對數據進行推理。在至少一個實施例中,這可以包括對一個圖像(例如,手部x射線)的單個推理調用,或可要求對數百個圖像(例如,胸部ct)進行推理。在至少一個實施例中,應用程序可在完成之前總結結果,其可以包括但不限于單個置信度得分、像素級分割、體素級分割、生成可視化或生成文本以總結結果。在至少一個實施例中,可以為不同的模型或應用程序分配不同的優先級。例如,一些模型可具有實時(tat小于1分鐘)優先級,而其他模型可具有較低的優先級(例如,tat小于10分鐘)。在至少一個實施例中,模型執行時間可以從請求機構或實體進行測量,并且可以包括合作網絡遍歷時間以及推理服務的執行時間。
    [0557]
    在至少一個實施例中,請求在服務3620和推理應用程序之間的傳送可以隱藏在軟件開發工具包(sdk)后面,并且可以通過隊列提供魯棒的傳輸。在至少一個實施例中,將通過api將請求放置在隊列中,以用于個體應用程序/租戶id組合,并且sdk將從隊列中拉取請求并將請求提供給應用程序。在至少一個實施例中,在sdk將從中拾取隊列的環境中,可以提供隊列的名稱。在至少一個實施例中,通過隊列的異步通信可能有用,因為它可以允許應用程序的任何實例在其可用時拾取工作。在至少一個實施例中,可以通過隊列將結果傳送回去,以確保沒有數據丟失。在至少一個實施例中,隊列還可以提供對工作進行分割的能力,因為最高優先級的工作可以進入與應用程序的大多數實例連接的隊列,而最低優先級的工作可以進入與單個實例連接的隊列,所述實例按照接收到的順序處理任務。在至少一個實施例中,應用程序可以在gpu加速的實例上運行,所述實例在云3726中生成,并且推理服務可以在gpu上執行推理。
    [0558]
    在至少一個實施例中,可以利用可視化服務3720生成用于查看應用程序和/或部署管線3710輸出的可視化。在至少一個實施例中,可視化服務3720可以利用gpu 3722生成可視化。在至少一個實施例中,可視化服務3720可以實現諸如光線追蹤之類的渲染效果,以生成更高質量的可視化。在至少一個實施例中,可視化可以包括但不限于2d圖像渲染、3d體渲染、3d體重建、2d層析切片、虛擬現實顯示、增強現實顯示等。在至少一個實施例中,可以使用虛擬化環境生成虛擬交互顯示或環境(例如,虛擬環境),以供系統用戶(例如,醫生、護士、放射科醫生等)進行交互。在至少一個實施例中,可視化服務3720可以包括內部可視化器、電影和/或其他渲染或圖像處理能力或功能(例如,光線追蹤、光柵化、內部光學器件等)。
    [0559]
    在至少一個實施例中,硬件3622可以包括gpu 3722、ai系統3724、云3726和/或用于執行訓練系統3604和/或部署系統3606的任何其他硬件。在至少一個實施例中,gpu 3722(例如,nvidia的tesla和/或quadro gpu)可包括可用于執行計算服務3716、ai服務3718、可視化服務3720、其他服務和/或軟件3618的任何特征或功能的處理任務的任意數量的gpu。例如,對于ai服務3718,gpu 3722可用于對成像數據(或機器學習模型使用的其他數據類型)執行預處理,對機器學習模型的輸出執行后處理和/或執行推理(例如以執行機器學習模型)。在至少一個實施例中,云3726、ai系統3724和/或系統3700的其他組件可以使用gpu3722。在至少一個實施例中,云3726可以包括用于深度學習任務的gpu優化的平臺。在至少一個實施例中,ai系統3724可以使用gpu,并且可以使用一個或更多個ai系統3724來執行云3726(或者任務為深度學習或推理的至少部分)。同樣,盡管硬件3622被示出為離散組件,但這并不意圖是限制,并且硬件3622的任何組件可以與硬件3622的任何其他組件組合,或由硬件3622的任何其他組件利用。
    [0560]
    在至少一個實施例中,ai系統3724可包括專門構建的計算系統(例如,超級計算機或hpc),該計算系統配置用于推理、深度學習、機器學習和/或其他人工智能任務。在至少一個實施例中,除了cpu、ram、存儲器和/或其他組件、特征或功能之外,ai系統3724(例如,nvidia的dgx)還可以包括可以使用多個gpu 3722來執行分gpu優化的軟件(例如,軟件棧)。在至少一個實施例中,可以在云3726中(例如,在數據中心中)實現一個或更多個ai系統3724,以執行系統3700的一些或全部基于ai的處理任務。
    [0561]
    在至少一個實施例中,云3726可以包括gpu加速的基礎設施(例如,nvidia的ngc),
    其可以提供用于執行系統3700的處理任務的gpu優化的平臺。在至少一個實施例中,云3726可以包括ai系統3724,其用于執行系統3700的一個或更多個基于ai的任務(例如,作為硬件抽象和縮放平臺)。在至少一個實施例中,云3726可以與利用多個gpu的應用程序協調系統3728集成,以實現應用程序和服務3620之間和之中的無縫縮放和負載均衡。在至少一個實施例中,如本文所述,云3726可以負責執行系統3700的至少一些服務3620,包括計算服務3716、ai服務3718和/或可視化服務3720。在至少一個實施例中,云3726可以執行大小批的推理(例如,執行nvidia的tensorrt),提供加速的并行計算api和平臺3730(例如,nvidia的cuda),執行應用程序協調系統3728(例如,kubernetes),提供圖形渲染api和平臺(例如,用于光線跟蹤,2d圖形、3d圖形和/或其他渲染技術以產生更高質量的電影效果),和/或可以為系統3700提供其他功能。
    [0562]
    在至少一個實施例中,為了保護患者的機密性(例如,在非現場使用患者數據或記錄的情況下),云3726可以包括注冊表-例如深度學習容器注冊表。在至少一個實施例中,注冊表可以存儲用于實例化應用程序的容器,所述應用程序可以對患者數據執行預處理、后處理或其他處理任務。在至少一個實施例中,云3726可接收數據,所述數據包括患者數據以及容器中傳感器數據,僅對那些容器中的傳感器數據執行所請求的處理,然后將結果輸出和/或可視化轉發給適當的各方和/或設備(例如用于可視化或診斷的本地醫療設備),而無需提取、存儲或以其他方式訪問患者數據。在至少一個實施例中,根據hipaa和/或其他數據規定來保留患者數據的機密性。
    [0563]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0564]
    圖38包括根據至少一個實施例的用于處理成像數據的部署管線3710a的示例說明。在至少一個實施例中,系統3700(特別是部署系統3606),可以用于將部署管線3710a定制、更新和/或集成到一個或更多個生產環境中。在至少一個實施例中,圖38的部署管線3710a包括部署管線3710a的非限制性示例,其可以由設施(例如,在醫院、診所、實驗室、研究環境等)處的特定用戶(或用戶團隊)自定義。在至少一個實施例中,為了定義用于ct掃描儀3802的部署管線3710a,用戶可以例如從容器注冊表中選擇一個或更多個應用程序,所述應用程序執行關于由ct掃描儀3802生成的成像數據的特定功能或任務。在至少一個實施例中,應用程序可以作為容器而應用到部署管線3710a,所述容器可以利用系統3700的服務3620和/或硬件3622。此外,部署管線3710a可以包括附加處理任務或應用程序,所述附加處理任務或應用程序可以被實現以準備供應用程序使用的數據(例如dicom適配器3702b和dicom讀取器3806可在部署管線3710a中使用,以準備供ct重建3808、器官分割3810等使用的數據)。在至少一個實施例中,可以定制或選擇部署管線3710a,以用于一致的部署、一次使用,或另一頻率或間隔使用。在至少一個實施例中,用戶可能希望在特定間隔內具有針對幾個受試者的ct重建3808和器官分割3810,并且因此可以在該時間段內部署管線3710a。在至少一個實施例中,用戶可以針對來自系統3700的每個請求選擇用戶想要針對該請求對該數據執行處理的應用程序。在至少一個實施例中,可以以任何間隔來調整部署管線3710a,
    并且由于系統3700內的容器結構的適應性和可縮放性,這可以是無縫的過程。
    [0565]
    在至少一個實施例中,圖38的部署管線3710a可以包括生成患者或受試者的成像數據的ct掃描儀3802。在至少一個實施例中,來自ct掃描儀3802的成像數據可以存儲在與容納ct掃描儀3802的設施相關聯的pacs服務器3804上。在至少一個實施例中,pacs服務器3804可以包括軟件和/或硬件組件,所述軟件和/或硬件組件可以與設施處的成像模態(例如,ct掃描儀3802)直接接口。在至少一個實施例中,dicom適配器3702b可以允許使用dicom協議發送和接收dicom對象。在至少一個實施例中,dicom適配器3702b可以幫助準備或配置來自pacs服務器3804的dicom數據,以供部署管線3710a使用。在至少一個實施例中,一旦通過dicom適配器3702b處理了dicom數據,管線管理器3712就可以將數據路由到部署管線3710a。在至少一個實施例中,dicom讀取器3806可以從dicom數據(例如,原始正弦圖數據,如可視化3816a中所示)提取圖像文件和任何相關聯的元數據。在至少一個實施例中,所提取的工作文件可以被存儲在高速緩存中,以被部署管線3710a中的其他應用程序更快地處理。在至少一個實施例中,一旦dicom讀取器3806完成了提取和/或存儲數據,就可以將完成信號傳送到管線管理器3712。在至少一個實施例中,管線管理器3712隨后可以發起或調用部署管線3710a中的一個或更多個其他應用程序或容器。
    [0566]
    在至少一個實施例中,一旦數據(例如,原始正弦圖數據)可用于由ct重建3808應用程序處理,就可以執行ct重建3808應用程序和/或容器。在至少一個實施例中,ct重建3808可以從高速緩存中讀取原始正弦圖數據,從原始正弦圖數據中重建圖像文件(例如,如可視化3816b所示),并且將所得圖像文件存儲在高速緩存中。在至少一個實施例中,在重建完成時,可以向管線管理器3712發送重建任務完成的信號。在至少一個實施例中,一旦重建完成,并且重建的圖像文件可以被存儲在高速緩存(或其他存儲設備)中,則器官分割3810應用程序和/或容器可以由管線管理器3712觸發。在至少一個實施例中,器官分割3810應用程序和/或容器可以從高速緩存中讀取圖像文件,將圖像文件歸一化或轉換為適合推理的格式(例如,將圖像文件轉換為機器學習模型的輸入分辨率),并對歸一化的圖像運行推理。在至少一個實施例中,為了對歸一化的圖像運行推理,器官分割3810應用程序和/或容器可以依賴服務3620,管線管理器3712和/或應用程序協調系統3728可以通過器官分割3810應用程序和/或容器來促進服務3620的使用。在至少一個實施例中,例如,器官分割3810應用程序和/或容器可以利用ai服務3718對歸一化的圖像執行推理,并且ai服務3718可以利用硬件3622(例如ai系統3724)來執行ai服務3718。在至少一個實施例中,推理結果可以是掩碼文件(例如,如可視化3816c所示),所述掩碼文件可以存儲在高速緩存(或其他存儲設備)中。
    [0567]
    在至少一個實施例中,一旦處理dicom數據和/或從dicom數據提取的數據的應用程序已經完成處理,就可以為管線管理器3712生成信號。在至少一個實施例中,管線管理器3712隨后可執行dicom寫入器3812,以從高速緩存(或其他存儲設備)讀取結果,將結果打包成dicom格式(例如,作為dicom輸出3814),以供設施處生成請求的用戶使用。在至少一個實施例中,dicom輸出3814隨后可以被發送到dicom適配器3702b,以準備dicom輸出3814,以存儲在pacs服務器3804上(例如,以供設施處的dicom查看器查看)。在至少一個實施例中,響應于對重建和分割的請求,可視化3816b和3816c可被生成并可供用戶用于診斷、研究和/或其他目的。
    [0568]
    盡管在部署管線3710a中圖示為連續應用程序,但在至少一個實施例中,可以并行處理ct重建3808和器官分割3810應用程序。在至少一個實施例中,其中應用程序彼此不具有依賴性,并且數據可用于每個應用程序(例如,在dicom讀取器3806提取數據之后),應用程序可在同一時間、基本上在同一時間或有一些重疊地執行。在至少一個實施例中,在兩個或更多個應用程序需要類似服務3620的情況下,系統3700的調度器可用于負載均衡以及在各個應用程序之間和之中分配計算或處理資源。在至少一個實施例中,在一些實施例中,并行計算平臺3730可用于對應用程序執行并行處理,以減少部署管線3710a的運行時間以提供實時結果。
    [0569]
    在至少一個實施例中并參考圖39a-39b,部署系統3606可以實現為一個或更多個虛擬儀器,以使用成像設備(例如,ct掃描儀、x射線機、mri機等)、測序設備、基因組學設備和/或其他設備類型來執行不同的功能,例如圖像處理、分割、增強、ai、可視化和推理。在至少一個實施例中,系統3700可以允許創建和提供虛擬儀器,所述虛擬儀器可以包括軟件定義的部署管線3710,該軟件定義的部署管線3710可以接收由設備生成的原始/未經處理的輸入數據并輸出經處理/重建的數據。在至少一個實施例中,表示虛擬儀器的部署管線3710(例如3710a和3710b)可以在管線中實現智能(諸如通過利用機器學習模型),以向系統提供容器化的推理支持。在至少一個實施例中,虛擬儀器可以執行任何數量的容器,每個容器包括應用程序的實例。在至少一個實施例中,例如在想要實時處理的情況下,表示虛擬儀器的部署管線3710可以是靜態的(例如,可以設置容器和/或應用程序),而在其他示例中,可以從應用程序或資源池中(例如,在容器注冊表中)選擇用于虛擬儀器的容器和/或應用程序(例如,基于每個請求)。
    [0570]
    在至少一個實施例中,系統3700可以作為一個或更多個虛擬儀器在設施處的例如計算系統中被本地實例化或執行,該計算機系統部署在放射機器、成像設備和/或設施處的另一設備類型旁邊或與之通信。然而,在至少一個實施例中,可以在設備本身的計算系統(例如,與成像設備集成在一起的計算系統)中,在本地數據中心(例如,本地部署的數據中心)中和/或云環境中(例如,在云3726中)實例化或執行本地安裝。在至少一個實施例中,在一些示例中,可以由超級計算機或其他hpc系統實例化作為虛擬儀器操作的部署系統3606。在至少一個實施例中,本地安裝可以允許用于實時處理的高帶寬用途(例如,通過更高吞吐量的本地通信接口,例如以太網上的rf)。在至少一個實施例中,在虛擬儀器支持超聲設備或其他成像模態的情況下,實時或近實時處理可能特別有用,在該超聲設備或其他成像模態中,期望或需要即時可視化以進行準確的診斷和分析。在至少一個實施例中,當本地需求超過本地容量或能力時,云計算架構可能夠動態地突發到云計算服務提供商或其他計算集群。在至少一個實施例中,如在本文中關于訓練系統3604所描述的,云架構在被實現時可被調整用于訓練神經網絡或其他機器學習模型。在至少一個實施例中,在訓練管線就位的情況下,機器學習模型可以在處理來自其支持的設備的附加數據時被不斷地學習和改進。在至少一個實施例中,可以使用附加數據、新數據、現有機器學習模型和/或新的或更新的機器學習模型來持續改進虛擬儀器。
    [0571]
    在至少一個實施例中,計算系統可以包括本文所述的硬件3622中的部分或全部,并且硬件3622可以以多種方式中的任一種來分布,包括:在設備內,作為耦合到設備并位于其附近的計算設備的一部分,在設施處的本地數據中心中和/或在云3726中。在至少一個實
    施例中,由于部署系統3606和相關聯的應用程序或容器是在軟件中創建的(例如,作為應用程序的離散容器化實例化),因此可以根據需要修改或定制虛擬儀器的行為、操作和配置以及由虛擬儀器生成的輸出,無需更改或改變虛擬儀器支持的設備的原始輸出。
    [0572]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0573]
    圖39a包括根據至少一個實施例的支持超聲設備的虛擬儀器的示例數據流圖。在至少一個實施例中,部署管線3710b可以利用系統3700的一個或更多個服務3620。在至少一個實施例中,部署管線3710b和服務3620可以利用本地或云3726中的系統的硬件3622。在一個實施例中,盡管未示出,但是可以通過管線管理器3712、應用程序協調系統3728和/或并行計算平臺3730來促進過程3900。
    [0574]
    在至少一個實施例中,過程3900可以包括從超聲設備3902接收成像數據。在至少一個實施例中,成像數據可以dicom格式(或其他格式,例如ris、cis、符合rest、rpc、原始等)存儲在pacs服務器上,也可以由系統3700接收以通過部署管線3710進行處理,所述部署管線3710被選擇或定制為超聲設備3902的虛擬儀器(例如,虛擬超聲)。在至少一個實施例中,可以直接從成像設備(例如,超聲設備3902)接收成像數據,并由虛擬儀器對其進行處理。在至少一個實施例中,通信地耦合在成像設備和虛擬儀器之間的換能器或其他信號轉換器可以將由成像設備生成的信號數據轉換成可以由虛擬儀器處理的圖像數據。在至少一個實施例中,原始數據和/或圖像數據可應用于dicom讀取器3806,以提取數據,以供部署管線3710b的應用程序或容器使用。在至少一個實施例中,dicom讀取器3806可以利用數據擴充庫3914(例如,nvidia的dali)作為服務3620(例如,作為計算服務3716之一),用于提取、調整大小、重新縮放和/或以其他方式準備數據,以供應用程序或容器使用。
    [0575]
    在至少一個實施例中,一旦準備好數據,就可以執行重建3906應用程序和/或容器,以將來自超聲設備3902的數據重建為圖像文件。在至少一個實施例中,在重建3906之后或與重建3906同時,可以執行檢測3908應用程序和/或容器,以用于異常檢測、對象檢測、特征檢測和/或與數據有關的其他檢測任務。在至少一個實施例中,可以在檢測3908期間使用在重建3906期間生成的圖像文件以識別異常、對象、特征等。在至少一個實施例中,檢測3908應用程序可以利用推理引擎3916(例如,作為ai服務3718之一),來對數據執行推理以生成檢測。在至少一個實施例中,檢測3908應用程序可以執行或調用一個或更多個機器學習模型(例如,來自訓練系統3604)。
    [0576]
    在至少一個實施例中,一旦重建3906和/或檢測3908完成,則從這些應用程序和/或容器輸出的數據可用于生成在工作站或顯示終端上顯示的可視化3910,例如可視化3912(例如,灰度輸出)。在至少一個實施例中,可視化可以允許技術人員或其他用戶將關于超聲設備3902的部署管線3710b的結果可視化。在至少一個實施例中,可以通過利用系統3700的渲染組件3918(例如,可視化服務3720之一)來執行可視化3910。在至少一個實施例中,渲染組件3918可以執行2d、opengl或光線追蹤服務以生成可視化3912。
    [0577]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術
    適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0578]
    圖39b包括根據至少一個實施例的支持ct掃描儀的虛擬儀器的示例數據流圖。在至少一個實施例中,部署管線3710c可以利用系統3700的一個或更多個服務3620。在至少一個實施例中,部署管線3710c和服務3620可在本地或在云3726中利用系統的硬件3622。在至少一個實施例中,盡管未示出,但是管線管理器3712、應用程序協調系統3728和/或并行計算平臺3730可以促進過程3920。
    [0579]
    在至少一個實施例中,過程3920可以包括ct掃描儀3922生成可以由dicom讀取器3806接收的原始數據(例如,在處理等之后,直接經由pacs服務器3804接收)。在至少一個實施例中,虛擬ct(由部署管線3710c實例化)可以包括第一實時管線,用于監視患者(例如,患者運動檢測ai3926)和/或用于調整或優化ct掃描儀3922的曝光(例如,使用曝光控制ai3924)。在至少一個實施例中,一個或更多個應用程序(例如,3924和3926)可以利用服務3620,例如ai服務3718。在至少一個實施例中,曝光控制ai3924應用程序(或容器)和/或患者運動檢測ai3926應用程序(或容器)的輸出,可以用作對ct掃描儀3922和/或技術人員的反饋,以調整曝光(或ct掃描儀3922的其他設置)和/或通知患者減少運動。
    [0580]
    在至少一個實施例中,部署管線3710c可以包括用于分析由ct掃描儀3922生成的數據的非實時管線。在至少一個實施例中,第二管線可以包括ct重建3808應用程序和/或容器、粗略檢測ai3928應用程序和/或容器、精細檢測ai3932應用程序和/或容器(例如,其中通過粗略檢測ai3928檢測某些結果)、可視化3930應用程序和/或容器、以及dicom寫入器3812(和/或其他數據類型編寫器,例如ris、cis、符合rest、rpc、原始文件等)應用程序和/或容器。在至少一個實施例中,由ct掃描儀3922生成的原始數據可以傳遞通過部署管線3710c的管線(被實例化為虛擬ct儀器)以生成結果。在至少一個實施例中,來自dicom寫入器3812的結果可被發送以供顯示,和/或可被存儲在pacs服務器3804上以供技術人員、從業者或其他用戶稍后檢索、分析或顯示。
    [0581]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0582]
    圖40a示出了根據至少一個實施例的用于訓練、重新訓練或更新機器學習模型的過程4000的數據流圖。在至少一個實施例中,可以使用作為非限制性示例的圖37的系統3700來執行過程4000。在至少一個實施例中,過程4000可以利用系統3700的服務3620和/或硬件3622,如本文所述。在至少一個實施例中,由過程4000生成的精煉模型4012可以由部署系統3606針對部署管線3710中的一個或更多個容器化的應用程序執行。
    [0583]
    在至少一個實施例中,模型訓練3614可包括使用新的訓練數據(例如,新的輸入數據(諸如客戶數據集4006),和/或與輸入數據相關聯的新的地面實況數據)重新訓練或更新初始模型4004(例如,預訓練模型)。在至少一個實施例中,為了重新訓練或更新初始模型
    4004,可以重置或刪除初始模型4004的輸出或損失層,和/或用更新的或新的輸出或損失層代替。在至少一個實施例中,初始模型4004可以具有從先前的訓練中保留下來的先前精細調整的參數(例如,權重和/或偏差),因此訓練或重新訓練3614可能不需要花費與從頭開始訓練模型一樣長的時間或不需要那么多的處理。在至少一個實施例中,在模型訓練3614期間,通過重置或替換初始模型4004的輸出或損失層,在新的客戶數據集4006(例如圖36的圖像數據3608)上生成預測時,可以基于與輸出或損失層的精度相關聯的損失計算,更新和重新調整新數據集的參數。
    [0584]
    在至少一個實施例中,可以將經預訓練的模型3706存儲在數據存儲或注冊表中(例如,圖36的模型注冊表3624)。在至少一個實施例中,經預訓練的模型3706可能已經至少部分地在除了執行過程4000的設施之外的一個或更多個設施處被訓練。在至少一個實施例中,為了保護患者、受試者或不同設施的客戶的隱私和權利,經預訓練的模型3706可能已經使用本地生成的客戶或患者數據在本地進行了訓練。在至少一個實施例中,可以使用云3726和/或其他硬件3622來訓練經預訓練的模型3706,但是機密的、受隱私保護的患者數據可以不被傳送到云3726的任何組件(或其他非本地硬件)、由其使用或由其訪問。在至少一個實施例中,如果使用來自不止一個設施的患者數據來訓練經預訓練的模型3706,則在來自另一設施的患者或客戶數據上進行訓練之前,經預訓練的模型3706可能已經針對每個設施進行了單獨訓練。在至少一個實施例中,例如在客戶或患者數據已發布隱私問題(例如,通過放棄,用于實驗用途等),或者其中客戶或患者數據包括在公共數據集中的情況下,來自任意數量的設施的客戶或患者數據可以用于在本地和/或外部訓練經預訓練的模型3706,例如在數據中心中或其他云計算基礎設施中。
    [0585]
    在至少一個實施例中,在選擇應用程序以在部署管線3710中使用時,用戶還可以選擇用于特定應用程序的機器學習模型。在至少一個實施例中,用戶可能沒有模型以使用,因此用戶可以選擇要與應用程序一起使用的經預訓練的模型3706。在至少一個實施例中,經預訓練的模型3706可能沒有被優化用于在用戶設施的客戶數據集4006上生成準確的結果(例如,基于患者多樣性、人口統計、所使用的醫學成像設備的類型等)。在至少一個實施例中,在將經預訓練的模型3706部署到部署管線3710中以與一個或更多個應用程序一起使用之前,經預訓練的模型3706可以被更新、重新訓練和/或微調,以用于在各個設施處使用。
    [0586]
    在至少一個實施例中,用戶可以選擇要更新、重新訓練和/或微調的經預訓練的模型3706,并且經預訓練的模型3706可以稱為過程4000中訓練系統3604的初始模型4004。在至少一個實施例中,客戶數據集4006(例如,成像數據、基因組數據、測序數據或由設施處的設備生成的其他數據類型)可用于對初始模型4004執行模型訓練3614(其可包括但不限于傳遞學習),以生成精煉模型4012。在至少一個實施例中,可以由訓練系統3604生成與客戶數據集4006相對應的地面實況數據。在至少一個實施例中,可以至少部分地由臨床醫生、科學家、醫生、從業者在設施處生成地面實況數據(例如,如圖36中的標記的臨床數據3612)。
    [0587]
    在至少一個實施例中,在一些示例中可以使用ai輔助注釋3610生成地面實況數據。在至少一個實施例中,ai輔助注釋3610(例如,使用ai輔助注釋sdk實現)可以利用機器學習模型(例如,神經網絡)生成用于客戶數據集的建議或預測的地面實況數據。在至少一個實施例中,用戶4010可以在計算設備4008上的用戶界面(圖形用戶界面(gui))內使用注釋工具。
    [0588]
    在至少一個實施例中,用戶4010可以經由計算設備4008與gui交互,以編輯或微調注釋或自動注釋。在至少一個實施例中,多邊形編輯特征可以用于將多邊形的頂點移動到更精確或微調的位置。
    [0589]
    在至少一個實施例中,一旦客戶數據集4006具有相關聯的地面實況數據,則地面實況數據(例如,來自ai輔助注釋、手動標記等)可以在模型訓練3614期間用于生成精煉模型4012。在至少一個實施例中,客戶數據集4006可以被應用到初始模型4004任意次數,并且地面實況數據可以用于更新初始模型4004的參數,直到對于精煉模型4012達到可接受的精度水平為止。在至少一個實施例中,一旦生成精煉模型4012,就可以在設施處的一個或更多個部署管線3710內部署精煉模型4012,以用于執行關于醫學成像數據的一個或更多個處理任務。
    [0590]
    在至少一個實施例中,可以將精煉模型4012上傳到模型注冊表3624中的經預訓練的模型3706,以由另一個設施選擇。在至少一個實施例中,他的過程可以在任意數量的設施處完成,使得可以在新數據集上對精煉模型4012進一步精煉任意次數,以生成更通用的模型。
    [0591]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0592]
    圖40b是根據至少一個實施例的用于利用經預訓練的注釋模型來增強注釋工具的客戶端-服務器架構4032的示例圖示。在至少一個實施例中,可以基于客戶端-服務器架構4032來實例化ai輔助注釋工具4036。在至少一個實施例中,成像應用程序中的注釋工具4036可以幫助放射線醫生,例如識別器官和異常。在至少一個實施例中,成像應用程序可以包括軟件工具,作為非限制性示例,所述軟件工具幫助用戶4010識別原始圖像4034中(例如,在3dmri或ct掃描中)的特定感興趣器官上的幾個極值點,并接收特定器官的所有2d切片的自動注釋結果。在至少一個實施例中,結果可以作為訓練數據4038存儲在數據存儲中,并且用作(例如但不限于)用于訓練的地面實況數據。在至少一個實施例中,當計算設備4008發送用于ai輔助注釋3610的極值點時,例如,深度學習模型可以接收該數據作為輸入并返回分割器官或異常的推理結果。在至少一個實施例中,預實例化的注釋工具(例如圖40b中的ai輔助注釋工具4036b)可以通過對服務器(諸如注釋助手服務器4040)進行api調用(例如api調用4044)來增強,注釋助手服務器4040可包括存儲在例如注釋模型注冊表中的一組經預訓練的模型4042。在至少一個實施例中,注釋模型注冊表可以存儲經預訓練的模型4042(例如,機器學習模型,諸如深度學習模型),其被預訓練以對特定器官或異常執行ai輔助注釋。在至少一個實施例中,可以通過使用訓練管線3704來進一步更新這些模型。在至少一個實施例中,隨著添加新的標記的臨床數據3612,可以隨時間改進預安裝的注釋工具。
    [0593]
    推理和/或訓練邏輯715用于執行與一個或更多個實施例相關聯的推理和/或訓練操作。本文結合圖7a和/或圖7b提供關于推理和/或訓練邏輯715的細節。
    [0594]
    在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術
    適于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。在至少一個實施例中,參考所述圖,一個或更多個電路、處理器或其他設備或技術適于使用根據本文所述技術訓練的一個或更多個第一神經網絡來執行推理,例如,關于圖1-6所述的技術。
    [0595]
    鑒于以下條款,可以描述本發明的至少一個實施例:
    [0596]
    1.一種處理器,包括:
    [0597]
    一個或更多個電路,用于至少部分地基于使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出,訓練一個或更多個第一神經網絡。
    [0598]
    2.根據條款1所述的處理器,其中,在訓練期間,至少部分地基于所述一個或更多個第二神經網絡的輸出來調整所述一個或更多個第一神經網絡的學習率。
    [0599]
    3.根據條款2所述的處理器,其中針對所述一個或更多個第一神經網絡的區域調整所述學習率,所述區域包括至少部分地基于輸入分辨率被分組的層。
    [0600]
    4.根據條款1-3中的任一項所述的處理器,一個或更多個電路,用于至少部分地基于所述一個或更多個第二神經網絡響應于基于合成圖像數據的輸入的輸出,調整所述一個或更多個第一神經網絡的訓練,其中,所述第二神經網絡響應于基于合成圖像數據的輸入。
    [0601]
    5.根據條款4所述的處理器,一個或更多個電路,用于計算學習率比例因子,并且至少部分地基于學習率比例因子調整一個或更多個第一神經網絡的學習率。
    [0602]
    6.根據條款1-5中的任一項所述的處理器,其中所述一個或更多個第二神經網絡被訓練以執行與由所述一個或更多個第一神經網絡執行的圖像處理任務的圖像等效的圖像處理任務。
    [0603]
    7.根據條款1-6中的任一項所述的處理器,其中所述一個或更多個第二神經網絡的參數不基于從合成圖像導出的輸入來調整。
    [0604]
    8.根據條款1-7中的任一項所述的處理器,其中所述第一一個或更多個神經網絡和所述第二一個或多個神經網絡具有等效結構。
    [0605]
    9.一種系統,包括:
    [0606]
    一個或更多個處理器,用于至少部分地基于來自使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出,訓練一個或更多個第一神經網絡。
    [0607]
    10.根據條款9所述的系統,其中至少部分地基于所述一個或更多個第二神經網絡的輸出來調整所述一個或更多個第一神經網絡的學習率。
    [0608]
    11.根據條款10所述的系統,一個或更多個處理器,用于調整一個或更多個所述第一神經網絡區域的學習率。
    [0609]
    12.根據條款11所述的系統,其中所述區域包括根據輸入分辨率分組的層。
    [0610]
    13.根據條款9-12中的任一項所述的系統,所述一個或更多個處理器,用于至少部分地基于所述一個或更多個第二神經網絡響應于基于合成圖像數據的輸入的輸出,調整所述一個或更多個第一神經網絡的訓練,其中,所述第二神經網絡響應于基于合成圖像數據的輸入。
    [0611]
    14.根據條款9-13中的任一項所述的系統,所述一個或更多個處理器,至少部分基于發散因子計算學習率比例因子,其中所述發散因子至少部分地基于所述一個或更多個第二神經網絡的輸出被計算。
    [0612]
    15.根據條款9-14中的任一項所述的系統,其中在所述一個或更多個第一神經網絡的訓練期間,所述一個或更多個第二神經網絡被凍結。
    [0613]
    16.一種其上存儲有一組指令的機器可讀存儲介質,其中當所述指令被一個或更多個處理器執行時,使所述一個或更多個處理器至少用于:
    [0614]
    至少部分地基于來自使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出來訓練一個或更多個第一神經網絡。
    [0615]
    17.根據條款16所述的其上存儲有一組指令的機器可讀存儲介質,當所述一個或更多個處理器執行時,使所述一個或更多個處理器至少用于:
    [0616]
    至少部分地基于一個或更多個第二神經網絡的輸出,計算所述一個或更多個第一神經網絡的學習率的調整。
    [0617]
    18.根據條款17所述的機器可讀存儲介質,其中所述學習率的所述調整被計算以用于所述一個或更多個第一神經網絡的區域,所述區域包括至少部分基于輸入分辨率分組的層。
    [0618]
    19.根據條款18所述的機器可讀存儲介質,其中至少部分地基于長-短期存儲器(“lstm”)模塊來計算所述學習率的調整。
    [0619]
    20.根據條款16-19中的任一項所述的機器可讀存儲介質,其中所述一個或更多個第二神經網絡的輸出至少部分地基于基于合成圖像數據的輸入。
    [0620]
    21.根據條款16-20中的任一項所述的機器可讀存儲介質,其中所述一個或更多個第二神經網絡被訓練以執行與由所述一個或更多個第一神經網絡執行的圖像處理任務等效的圖像處理任務。
    [0621]
    22.根據條款16-21中的任一項所述的機器可讀存儲介質,其中,所述一個或更多個第二神經網絡的參數不基于從合成圖像導出的輸入來調整。
    [0622]
    23.根據條款16-22中的任一項所述的機器可讀存儲介質,其中一旦所述一個或更多個第一神經網絡被訓練后,所述第一神經網絡可用于獨立地執行所述一個或更多個第二神經網絡的推理任務。
    [0623]
    24.一種計算設備,包括:
    [0624]
    用于至少部分地基于一個或更多個第一神經網絡執行圖像處理任務,所述第一神經網絡至少部分地基于來自使用非合成圖像訓練的一個或更多個第二神經網絡的推理輸出被訓練。
    [0625]
    25.根據條款24所述的計算設備,其中所述圖像處理任務包括識別或分類中的至少一個。
    [0626]
    26.根據條款24-25中的任一項所述的計算設備,一個或更多個處理器,用于至少部分基于一個或更多個第二神經網絡的輸出,計算所述一個或更多個第一神經網絡的學習率的調整。
    [0627]
    27.根據條款26所述的計算設備,其中,其中所述學習率的所述調整被計算以用于所述一個或更多個第一神經網絡的區域,所述區域包括至少部分地基于輸入分辨率分組的層。
    [0628]
    28.根據條款24-27中的任一項所述的計算設備,其中所述一個或更多個第二神經網絡的輸出至少部分地基于基于合成圖像數據的輸入。
    [0629]
    29.根據條款24-28中的任一項所述的計算設備,其中所述一個或更多個第一神經網絡和一個或更多個第二神經網絡中的每一個都被訓練以用于執行所述圖像處理任務。
    [0630]
    在至少一個實施例中,單個半導體平臺可以指唯一的單一基于半導體的集成電路或芯片。在至少一個實施例中,可以使用具有增加的連接性的多芯片模塊,其模擬芯片上的操作,并且相對于利用傳統的中央處理單元(“cpu”)和總線實現方式進行了實質性的改進。在至少一個實施例中,根據用戶的需求,各種模塊也可以分開放置或以半導體平臺的各種組合放置。
    [0631]
    在至少一個實施例中,返回參考圖13,機器可讀的可執行代碼或計算機控制邏輯算法形式的計算機程序被存儲在主存儲器1304和/或輔助存儲中。根據至少一個實施例,如果由一個或更多個處理器執行,則計算機程序使系統1300能夠執行各種功能。在至少一個實施例中,存儲器1304、存儲和/或任何其他存儲是計算機可讀介質的可能示例。在至少一個實施例中,輔助存儲可以指代任何合適的存儲設備或系統,例如硬盤驅動器和/或可移除存儲驅動器,其代表軟盤驅動器、磁帶驅動器、光盤驅動器、數字多功能盤(“dvd”)驅動器、記錄設備、通用串行總線(“usb”)閃存等。在至少一個實施例中,各個先前附圖的架構和/或功能是在cpu 1302;并行處理系統1312;能夠具有兩個cpu 1302的至少部分能力的集成電路;并行處理系統1312;芯片組(例如,設計成作為執行相關功能的單元工作并出售的一組集成電路等);以及/或集成電路的任何適當組合的環境中實現的。
    [0632]
    在至少一個實施例中,各個先前附圖的架構和/或功能在通用計算機系統、電路板系統、專用于娛樂目的的游戲控制臺系統、專用系統等的環境中實現。在至少一個實施例中,計算機系統1300可以采取臺式計算機、膝上型計算機、平板電腦、服務器、超級計算機、智能電話(例如,無線、手持設備)、個人數字助理(“pda”)、數碼相機、車輛、頭戴式顯示器、手持式電子設備、移動電話設備、電視、工作站、游戲機、嵌入式系統和/或任何其他類型的邏輯的形式。
    [0633]
    在至少一個實施例中,并行處理系統1312包括但不限于多個并行處理單元(“ppu”)1314和相關聯的存儲器1316。在至少一個實施例中,ppu 1314經由互連1318和交換機1320或多路復用器連接到主機處理器或其他外圍設備。在至少一個實施例中,并行處理系統1312在可并行化的ppu 1314上分配計算任務,例如,作為跨多個圖形處理單元(“gpu”)線程塊的計算任務分布的一部分。在至少一個實施例中,在ppu 1314中的一些或全部之間共享和訪問存儲器(例如,用于讀取和/或寫入訪問),盡管這種共享存儲器可能引發相對于使用本地存儲器和駐留在ppu1314上的寄存器的性能損失。在至少一個實施例中,通過使用命令(諸如__syncthreads())來同步ppu 1314的操作,其中塊中的所有線程(例如,跨多個ppu 1314執行)在進行之前到達某個代碼執行點。
    [0634]
    其他其他變型在本公開的精神內。因此,盡管公開的技術易于進行各種修改和替代構造,但是某些示出的其實施例在附圖中示出并且已經在上面進行了詳細描述。然而,應理解,無意將公開內容限制為所公開的一個或更多個特定形式,而是相反,其意圖是涵蓋落入如所附權利要求書所定義的本公開內容的精神和范圍內的所有修改、替代構造和等同物。
    [0635]
    除非另有說明或顯然與上下文矛盾,否則在描述所公開的實施例的上下文中(特別是在所附權利要求的上下文中),術語“一”和“一個”和“該”以及類似指代的使用應被解
    釋為涵蓋單數和復數,而不是作為術語的定義。除非另有說明,否則術語“包括”、“具有”、“包含”和“含有”應被解釋為開放式術語(意味著“包括但不限于”)。術語“連接”(在未經修改時指的是物理連接)應解釋為部分或全部包含在內、附接到或連接在一起,即使有某些介入。除非本文另外指出,否則本文中對數值范圍的引用僅旨在用作分別指代落入該范圍內的每個單獨值的簡寫方法,并且每個單獨值都被并入說明書中,就如同其在本文中被單獨敘述一樣。在至少一個實施例中,除非另外指出或與上下文矛盾,否則術語“集”(例如“項目集”)或“子集”的使用應解釋為包括一個或更多個成員的非空集合。此外,除非另外指出或與上下文矛盾,否則術語相應集的“子集”不一定表示對應集的適當子集,而是子集和對應集可以相等。
    [0636]
    除非以其他方式明確指出或與上下文明顯矛盾,否則諸如“a,b和c中的至少一個”或“a,b與c中的至少一個”形式的短語之類的連接語在上下文中理解為通常用來表示項目、條款等,其可以是a或b或c,也可以是a和b和c集的任何非空子集。例如,在具有三個成員的集的說明性示例中,連接短語“a,b和c中的至少一個”和“a,b與c中的至少一個”是指以下任意集:{a},,{c},{a,b},{a,c},{b,c},{a,b,c}。因此,這種連接語言通常不旨在暗示某些實施例要求存在a中的至少一個,b中的至少一個和c中的至少一個。另外,除非另有說明或與上下文矛盾,否則術語“多個”表示復數的狀態(例如,“多個項目”表示多個項目)。在至少一個實施例中,多個項目中項目的數量至少為兩個,但如果明確指示或通過上下文指示,則可以更多。此外,除非另有說明或從上下文中可以清楚得知,否則短語“基于”是指“至少部分基于”而不是“僅基于”。
    [0637]
    除非本文另外指出或與上下文明顯矛盾,否則本文描述的過程的操作可以任何合適的順序執行。在至少一個實施例中,諸如本文所述的那些過程(或其變形和/或其組合)之類的過程在配置有可執行指令的一個或更多個計算機系統的控制下執行,并且被實現為代碼(例如,可執行指令,一個或更多個計算機程序或一個或更多個應用程序),該代碼通過硬件或其組合在一個或更多個處理器上共同執行。在至少一個實施例中,代碼以例如計算機程序的形式存儲在計算機可讀存儲介質上,該計算機程序包括可由一個或更多個處理器執行的多個指令。在至少一個實施例中,計算機可讀存儲介質是非暫時性計算機可讀存儲介質,其排除了暫時性信號(例如,傳播的瞬態電或電磁傳輸),但包括非暫時性數據存儲電路(例如,緩沖區、高速緩存和隊列)。在至少一個實施例中,代碼(例如,可執行代碼或源代碼)被存儲在其上存儲有可執行指令的一組一個或更多個非暫時性計算機可讀存儲介質(或用于存儲可執行指令的其他存儲器)上,該可執行指令在由計算機系統的一個或更多個處理器執行時(即,作為被執行的結果),使得計算機系統執行本文所述的操作。在至少一個實施例中,一組非暫時性計算機可讀存儲介質包括多個非暫時性計算機可讀存儲介質,并且多個非暫時性計算機可讀存儲介質中的個體非暫時性存儲介質中的一個或更多個缺少全部代碼,而是多個非暫時性計算機可讀存儲介質共同存儲全部代碼。在至少一個實施例中,可執行指令被執行,以使得不同的指令由不同的處理器執行,例如,非暫時性計算機可讀存儲介質存儲指令,并且主中央處理單元(“cpu”)執行一些指令,而圖形處理單元(“gpu”)執行其他指令。在至少一個實施例中,計算機系統的不同組件具有單獨的處理器,并且不同的處理器執行指令的不同子集。
    [0638]
    因此,在至少一個實施例中,計算機系統被配置為實現單獨地或共同地執行本文
    所述的過程的操作的一個或更多個服務,并且這樣的計算機系統被配置有使能實施操作的適用的硬件和/或軟件。此外,實現本公開的至少一個實施例的計算機系統是單個設備,并且在另一個實施例中是分布式計算機系統,其包括以不同方式操作的多個設備,使得分布式計算機系統執行本文所述的操作,并且使得單個設備不執行所有操作。
    [0639]
    本文提供的任何和所有示例或示例性語言(例如,“諸如”)的使用僅旨在更好地闡明本公開的實施例,并且不對公開的范圍構成限制,除非另有要求。說明書中的任何語言都不應被解釋為表示任何未要求保護的要素對于實踐公開內容是必不可少的。
    [0640]
    本文引用的所有參考文獻,包括出版物、專利申請和專利,均通過引用并入本文,其程度就如同每個參考文獻被單獨且具體地指示為以引用的方式并入本文并且其全部內容在本文中闡述一樣。
    [0641]
    在說明書和權利要求中,可以使用術語“耦合”和“連接”以及它們的派生詞。應當理解,這些術語可能不旨在作為彼此的同義詞。相反,在特定示例中,“連接”或“耦合”可用于指示兩個或更多個元件彼此直接或間接物理或電接觸?!榜詈稀币部赡芤馕吨鴥蓚€或更多個元素彼此不直接接觸,但仍彼此協作或交互。
    [0642]
    除非另有明確說明,否則可以理解,在整個說明書中,諸如“處理”、“計算”、“計算”、“確定”等之類的術語,是指計算機或計算系統或類似的電子計算設備的動作和/或過程,其將計算系統的寄存器和/或存儲器中表示為物理量(例如電子)的數據處理和/或轉換為類似表示為計算系統的存儲器、寄存器或其他此類信息存儲、傳輸或顯示設備中的物理量的其他數據。
    [0643]
    以類似的方式,術語“處理器”可以指處理來自寄存器和/或存儲器的電子數據并將該電子數據轉換成可以存儲在寄存器和/或存儲器中的其他電子數據的任何設備或存儲器的一部分。作為非限制性示例,“處理器”可以是cpu或gpu?!坝嬎闫脚_”可以包括一個或更多個處理器。如本文所使用的,“軟件”進程可以包括例如隨時間執行工作的軟件和/或硬件實體,諸如任務、線程和智能代理。同樣,每個過程可以指代多個過程,以連續地或間歇地順序地或并行地執行指令。在至少一個實施例中,術語“系統”和“方法”在本文中可以互換使用,只要系統可以體現一個或更多個方法,并且方法可以被認為是系統。
    [0644]
    在本文件中,可以參考獲得、獲取、接收或將模擬或數字數據輸入子系統、計算機系統或計算機實現的機器中。在至少一個實施例中,可以通過多種方式來完成獲得、獲取、接收或輸入模擬和數字數據的過程,例如通過接收作為函數調用或對應用程序編程接口的調用的參數的數據。在至少一個實施例中,可以通過經由串行或并行接口傳輸數據來完成獲得、獲取、接收或輸入模擬或數字數據的過程。在至少一個實施例中,可以通過經由計算機網絡將數據從提供實體傳輸到獲取實體來完成獲得、獲取、接收或輸入模擬或數字數據的過程。在至少一個實施例中,還可以參考提供、輸出、發送、發送或呈現模擬或數字數據。在各種示例中,提供、輸出、傳送、發送或呈現模擬或數字數據的過程可以通過將數據作為函數調用的輸入或輸出參數、應用程序編程接口或進程間通信機制的參數進行傳輸來實現。
    [0645]
    盡管本文中的描述闡述了所述技術的示例實現,但是其他架構可以用于實現所描述的功能,并且旨在落入本公開的范圍內。此外,盡管出于描述的目的在上面定義了具體的職責分配,但是根據情況,可以以不同的方式分配和劃分各種功能和職責。
    [0646]
    此外,盡管已經用特定于結構特征和/或方法動作的語言描述了主題,但是應當理解,所附權利要求書所要求保護的主題不必限于所描述的特定特征或動作。而是,公開了特定的特征和動作作為實現權利要求的示例性形式。
    當前第1頁1 2 
    網友詢問留言 已有0條留言
    • 還沒有人留言評論。精彩留言會獲得點贊!
    1
    扒开粉嫩的小缝喷白浆h,国产特级毛片aaaaaa,老子午夜理论影院理论,yw尤物av无码国产在线看麻豆
    欧美重囗味sm群虐视频 各种姿势玩小处雏女视频 女人夜夜春精品a片 97人妻无码一区二区精品免费 人妻出轨合集500篇最新 欧美啪啪 纯禽小叔别太猛免费阅读 777奇米四色成人影视色区 精品久久久无码中文字幕vr 扯开她的腿狠狠占有np 被老头下药玩好爽小雪 里番本子侵犯肉全彩触手 荷兰肥妇bbwbbwbbw 精品国产福利在线观看 大尺度电影 乱亲h女秽乱常伦农村 大尺度床戏 新一本二卡三卡四卡乱码 最近2019年中文字幕大全 99久久精品国产成人综合 无遮挡吃胸膜奶免费看视频 永久免费不卡在线观看黄网站 大尺度电影 亚洲视频在线观看 无码三级理论在线观看 无翼乌萝全彩侵犯本子h 东北农村大坑乱肉一坑四女 gogo专业大尺度亚洲高清人体 国产精品国产免费无码专区不卡 无码三级理论在线观看 free×性护士vidos呻吟 玩弄少妇高潮a片 欧美人体xxxx在线观看 他的手挤进我胸罩里揉搓 扒开衣服摸双乳在公交里 超碰人人爽爽人人爽人人 纯肉无遮挡h肉3d动漫在线观看 无码不卡一区二区三区在线观看 日本被黑人强伦姧人妻完整版 白洁一夜挨十炮二十章节 欧美另类69xxxxx 久久国产精品男人的天堂 在镜头里被cao翻了h 一本一道波多野结衣av黑人 荡女精品导航 美女张开腿露出尿口与奶头的照片 被老头下药玩好爽小雪 暴露放荡的娇妻 成年美女黄网站18禁免费看 a级毛片免费全部播放 神马影院我不卡 韩国演艺圈悲惨事件 做爰全过程免费的叫床看视频 国产欧美va欧美va香蕉在线 日本人妻巨大乳挤奶水app sesese在线观看a片 日本被黑人强伦姧人妻完整版 白洁一夜挨十炮二十章节 萧天策高薇薇全文免费阅读笔趣阁 纯禽小叔别太猛免费阅读 最近2019年中文字幕大全 亚 洲 成 人 网站在线观看 永久免费不卡在线观看黄网站 jizzjizzjizz亚洲熟妇无码 精品国产福利在线观看 范冰冰性xxxxhd杨幂性xxxxhd gogo专业大尺度亚洲高清人体 久久99国产综合精合精品 无遮挡在线18禁免费观看完整 草草视频 无码专区丰满人妻斩六十路 国产亚洲人成a在线v网站 china激情老头69 精品国产三级a在线观看 free×性护士vidos呻吟 欧洲美女粗暴牲交免费观看 图片区 小说区 区 亚洲五月 亚洲.国产.欧美一区二区三区 精品人妻无码一区二区三区 日产亚洲一区二区三区 欧美啪啪 玩弄少妇高潮a片 男女边摸边吃奶边做视频免费 成人在线观看 2022年香港正版资料大全 永久免费不卡在线观看黄网站 女人与公拘做受 女人自慰摸下面动态图 教练等不及在车里就来开始了 一本一道波多野结衣av黑人 天天做日日做天天添天天欢公交车 亚洲视频在线观看 女人自慰摸下面动态图 午夜看片a福利在线观看 男男受被攻做哭娇喘声视频 攵女乱h边做边走 白丝表妺的下面好湿好紧h 我被继夫添我阳道舒服 japan极品人妻videos 白洁小说 国产精品亚洲综合色区 国产精品人成在线观看 国产开嫩苞实拍在线播放视频 亚洲精品国产va在线观看 sesese在线观看a片 亚洲色精品vr一区二区三区 亚洲精品国产va在线观看 女闺蜜把我下面摸到高潮喷水 厕所偷窥chinaxxxx 1000部禁片未18勿进免费观看 乱系列140章系列全目录 老子午夜理论影院理论 少妇spa私密推油按摩受不了 国产成人亚洲精品青草 国产精品人成在线观看 被夫の上司持久侵犯耻辱 人妻出轨合集500篇最新 亚洲欧美日韩成人高清在线一区 色久悠悠婷婷综合在线亚洲 精品免费一区二区三区在 亚洲.国产.欧美一区二区三区 再深点灬舒服灬太大了小说 人妻放荡乱h文 中国女人68xxxxxxxxx 国产精品一区二区国产主播 神马影院在线观看 美女视频图片 我的好妈妈5中字在线观看韩国 他扒开我的胸罩吸奶头 欧美日韩精品无码专区免费视频 领导在办公室含我奶头 男人肉大捧进出女人视频 男女疯狂做到高潮的小说 影音先锋男人看片av资源网在线 荨麻疹初期症状图片 亚洲成a人无码亚洲成a无码l china激情老头69 黑人狂虐中国人妻陈艳 jizzjizzjizz亚洲熟妇无码 妈妈的朋友在线 18亚洲男同志 gay 网站 日本人丰满xxxxhd 钙片gay男男gv在线观看 精品人妻无码一区二区三区 亚 洲 成 人 网站在线观看 被主人公开羞辱调教自慰 私人漂亮的女教师hd高清 全部露出来毛走秀福利视频 国产开嫩苞实拍在线播放视频 萧天策高薇薇全文免费阅读笔趣阁 全国疫情中高风险地区名单最新 高h禁伦餐桌上的肉伦np 阳茎伸入女人阳道视频免费 厕所偷窥撒尿wcpeeingtube 男生晚上睡不着想看点片 神马影院我不卡 china激情老头69 纯肉无遮挡h肉3d动漫在线观看 丰满人妻一区二区三区视频53 羞羞影院 为什么做的时候要喊他名字 国产精品久久久久久久久免费 又黄又乱的口述小说乱之伦 欧美重囗味sm群虐视频 初尝少妇李梦茹 初尝少妇李梦茹 影音先锋男人看片av资源网在线 久久精品国产第一区二区三区 熟妇人妻激情偷爽文 外国未满10周岁a片 国产在线无码精品电影网 日本人丰满xxxxhd 欧美重囗味sm群虐视频 在镜头里被cao翻了h 亲嘴扒胸摸屁股激烈网站 杂交乱高h辣黄文np 钙片gay男男gv在线观看 神马影院达达兔 岳潮湿的大肥赵兰梅 18亚洲男同志 gay 网站 农民伯伯乡下妹 东北老妇爽大叫受不了 白洁小说 女人爽到高潮视频免费直播1 国产作爱激烈叫床视频 他扒开我的胸罩吸奶头 漂亮人妻洗澡被公强 日日躁 女人自慰摸下面动态图 色一情一乱一伦一小说免费看 洗澡被公强奷30分钟视频 私人情侣影院 扒开衣服摸双乳在公交里 tube性老少配bbwcom 初尝少妇李梦茹 韩国三级激情理论电影 女闺蜜把我下面摸到高潮喷水 国产在线无码精品电影网 成人免费av片在线观看 荨麻疹初期症状图片 国产chinasex对白videos麻豆 亚洲の无码 国产の无码 女闺蜜把我下面摸到高潮喷水 chinese老太交videos 女人自慰摸下面动态图 777奇米四色成人影视色区 少妇小慧的yin荡生活小说 做爰全过程免费的叫床看视频 他的手挤进我胸罩里揉搓 白丝表妺的下面好湿好紧h 男人肉大捧进出女人视频 成人免费a级毛片韩国 小嫩批日出水了免费看 欧美重囗味sm群虐视频 羞羞影院 在线无码免费的毛片视频 亚洲中文久久精品无码照片 国产热の有码热の无码视频 亚洲欧美日韩成人高清在线一区 五月丁香六月综合欧美久久 女人爽到高潮视频免费直播1 3d调教済み変态jk扩张调教し 天天综合色天天综合色hd 做爰全过程免费的叫床看视频 成年美女黄网站18禁免费看 性xxxxfreexxxxx粗暴 国产精品人成在线观看 日本公与熄完整版hd高清播放 色资源av中文无码先锋 国产精品一区二区国产主播 欧美freesex黑人又粗又大 男男高h强迫高潮play调教 各种姿势玩小处雏女视频 免费无遮挡黄漫画在线观看网站 国产精品色综合国产精品 18亚洲男同志 gay 网站 扒开衣服摸双乳在公交里 欧美重囗味sm群虐视频 婷婷丁香五月 男生晚上睡不着想看点片 东北农村大坑乱肉一坑四女 神马影院 村长压在小萍身上耕耘着 教练等不及在车里就来开始了 性xxxxfreexxxxx粗暴 亚洲综合色丁香婷婷六月图片 亚洲欧美日韩成人高清在线一区 西西大胆国模人体艺 欧美人体xxxx在线观看 日本被黑人强伦姧人妻完整版 欧美视频毛片在线播放 西西大胆国模人体艺 中文字幕无码人妻影音先锋 日本人丰满xxxxhd 亚洲综合色丁香婷婷六月图片 宁北苏清荷小说全文免费阅读 成人免费视频在线观看 永久免费av网站sm调教下载 善良的妺妺hd高清中文 国产a级特黄的片子 大桥未久亚洲无av码在线 再深点灬舒服灬太大了小说 国产成人亚洲精品青草 三人一起玩弄娇妻高潮 欧美另类69xxxxx 天天做日日做天天添天天欢公交车 美女极品粉嫩美鮑20p图 色一情一乱一伦一小说免费看 翁熄乩伦小说目录 边做饭边被躁bd 扯开她的腿狠狠占有np 精品国产_亚洲人成在线观看 欧美重囗味sm群虐视频 中文字幕无码人妻影音先锋 外国未满10周岁a片 毛片24种姿势无遮无拦 白丝表妺的下面好湿好紧h 精品久久久无码中文字幕vr 亚洲视频在线观看 国产精品久久久久久久久免费 一本一道波多野结衣av黑人 武则天秘史 肥女巨肥bbwbbwbbwbw 成人免费视频在线观看 女闺蜜把我下面摸到高潮喷水 a片在线播放 18亚洲男同志 gay 网站 成年美女黄网站18禁免费看 他扒开我的胸罩吸奶头 健身房被疯狂双龙bl 亚洲中文久久精品无码照片 欧美另类69xxxxx 成人毛片18女人毛片免费看 成人免费视频在线观看 亚洲成aⅴ人片久青草影院 欧美激情乱人伦 啊…嗯啊好深男男腐文肉 女人与公拘做受 成年美女黄网站18禁免费看 怎么试探妈妈愿不愿意做 成人毛片18女人毛片免费看 荷兰肥妇bbwbbwbbw 翁熄乩伦小说目录 都市美妇岳女双飞 他扒开我的胸罩吸奶头 女人自慰摸下面动态图 chinese老太交videos 亚洲中文字幕无码第一区 亚洲视频在线观看 萧天策高薇薇全文免费阅读笔趣阁 成年美女黄网站18禁免费看 国产大片纵欲丰满a片 神马影院达达兔 女人自慰摸下面动态图 亚 洲 成 人 网站在线观看 亚洲av无码专区久久蜜芽 亚洲视频在线观看 欧美另类69xxxxx 久久久久久一区国产精品 sesese在线观看a片 市委书记玩弄新婚少妇小说 精品国产福利在线观看 女人自慰摸下面动态图 亚洲.国产.欧美一区二区三区 在镜头里被cao翻了h 无遮挡吃胸膜奶免费看视频 日本人妻巨大乳挤奶水app 再深点灬舒服灬太大了小说 777奇米四色成人影视色区 人妻放荡乱h文 色久悠悠婷婷综合在线亚洲 女人自慰摸下面动态图 最近2019年中文字幕大全 初尝少妇李梦茹 乱系列140章系列全目录 我的好妈妈5中字在线观看韩国 欧洲美女粗暴牲交免费观看 乱亲h女秽乱常伦农村 啊…嗯啊好深男男腐文肉 亚洲欧美日韩成人高清在线一区 欧美重囗味sm群虐视频 亚洲视频在线观看 被强行糟蹋过程小说 亚 洲 成 人 网站在线观看 宝贝好紧我太爽了再快点 国产精品久久久久久久久免费 国产在线乱子伦一区二区 国产a级特黄的片子 大桥未久亚洲无av码在线 无码不卡一区二区三区在线观看 各种姿势玩小处雏女视频 被夫の上司持久侵犯耻辱 白丝表妺的下面好湿好紧h 欧美性受xxxx狂喷水 女闺蜜把我下面摸到高潮喷水 男男受被攻做哭娇喘声视频 精品人妻无码一区二区三区 18禁裸露啪啪网站免费漫画 东北农村大坑乱肉一坑四女 国产蜜臀av在线一区 荨麻疹初期症状图片 玩弄少妇人妻 大尺度电影 电车美人强奷系列在线播放bd 中文字幕无码人妻影音先锋 亚洲av无码国产精品色 日本公与熄完整版hd高清播放 乱系列140章系列全目录 人妻出轨合集500篇最新 初尝少妇李梦茹 1000部禁片未18勿进免费观看 神马影院达达兔 日本人妻巨大乳挤奶水免费 亚洲乱理伦片在线观看中字 小13箩利洗澡无码视频网站 村长压在小萍身上耕耘着 国产蜜臀av在线一区 国产精品人成在线观看 jizzjizzjizz亚洲熟妇无码 无码三级理论在线观看 男人肉大捧进出女人视频 慈禧的秘密生活 西西大胆国模人体艺 香港特级三a毛片免费观看 美女视频图片 五月丁香六月综合欧美久久 成人毛片18女人毛片免费看 精品久久久无码中文字幕vr 国产熟女一区二区三区 欧美同性猛男gay69 国产熟女一区二区三区 18禁无遮挡啪啪摇乳动态图 荷兰肥妇bbwbbwbbw 国产在线精品国自产拍影院同性 亚洲综合色丁香婷婷六月图片 黑人狂虐中国人妻陈艳 白洁一夜挨十炮二十章节 初尝少妇李梦茹 男女疯狂做到高潮的小说 动漫成人无码免费视频在线播 乱系列140章系列全目录 欧美人与物videos另类 8大特征暗示你已经着床成功 欧美另类69xxxxx 熟妇人妻激情偷爽文 性xxxxfreexxxxx粗暴 97人妻无码一区二区精品免费 最近2019年中文字幕大全 亚洲av无码国产精品色 china激情老头69 五月丁香六月综合欧美久久 天天综合色天天综合色hd 国产精品国产免费无码专区不卡 洗澡被公强奷30分钟视频 精品人妻无码一区二区三区 午夜成人久久影院免费体验 天天综合色天天综合色hd 成绩差成为全班的玩具 人妻出轨合集500篇最新 草草视频 精品国产免费一区二区三区 在线观看 边做饭边被躁bd 波多野结衣办公室33分钟激情 被十几个男人扒开腿猛戳 永久免费av网站sm调教下载 钙片gay男男gv在线观看 攵女乱h边做边走 少妇小慧的yin荡生活小说 放荡少妇张开双腿任人玩 无码三级理论在线观看 荨麻疹初期症状图片 无遮挡吃胸膜奶免费看视频 97国语精品自产拍在线观看一 两个人免费完整视频高清 国产蜜臀av在线一区 啊…嗯啊好深男男腐文肉 攵女乱h边做边走 草草视频 乱亲h女秽乱常伦农村 欧美高清 纯肉无遮挡h肉3d动漫在线观看 亚洲va中文字幕无码一二三区 老阿姨bilibili视频 宁北苏清荷小说全文免费阅读 欧美同性猛男gay69 超碰人人爽爽人人爽人人 范冰冰性xxxxhd杨幂性xxxxhd 老师喂我乳我脱她胸罩两性故事 再深点灬舒服灬太大了小说 纯肉黄辣放荡高h调教 韩国三级激情理论电影 在线无码免费的毛片视频 荡女精品导航 日本人妻巨大乳挤奶水app 放荡少妇张开双腿任人玩 日本人妻巨大乳挤奶水app 放荡少妇张开双腿任人玩 韩国三级激情理论电影 日韩人妻无码免费视频一区二区三区 chinese老太交videos 欧美人与动人物牲交免费观看 久久丫精品国产亚洲av 小13箩利洗澡无码视频网站 老阿姨bilibili视频 午夜爱爱免费视频无遮挡 女人夜夜春精品a片 妈妈的朋友在线 97人妻无码一区二区精品免费 鸭王在线观看 故意短裙公车被强好爽在线播放 亚洲av无码片vr一区二区三区 都市美妇岳女双飞 村长压在小萍身上耕耘着 市委书记玩弄新婚少妇小说 熟妇高潮一区二区高清视频 国产开嫩苞实拍在线播放视频 西西大胆国模人体艺 放荡少妇张开双腿任人玩 免费无遮挡黄漫画在线观看网站 大桥未久亚洲无av码在线 欧美人体xxxx在线观看 精品久久久无码中文字幕vr 为什么做的时候要喊他名字 厕所偷窥chinaxxxx 里番本子侵犯肉全彩触手 我的好妈妈5中字在线观看韩国 yw尤物av无码国产在线看麻豆 国产亚洲人成a在线v网站 国产精品一区二区国产主播 神马影院达达兔 韩国演艺圈悲惨事件 国产精品人成在线观看 东北农村大坑乱肉一坑四女 在线观看 神马影院达达兔 天天做日日做天天添天天欢公交车 yw尤物av无码国产在线看麻豆 蜜臀av 97国语精品自产拍在线观看一 洗澡被公强奷30分钟视频 黑人巨大精品欧美一区二区 久久精品国产亚洲av无码 18禁裸露啪啪网站免费漫画 小13箩利洗澡无码视频网站 在线无码免费的毛片视频 午夜成人久久影院免费体验 国产熟女一区二区三区 教练等不及在车里就来开始了 西西大胆国模人体艺 办公室双腿打开揉弄高潮 国产chinasex对白videos麻豆 美女极品粉嫩美鮑20p图 人妻放荡乱h文 亚洲色精品vr一区二区三区 五月丁香六月综合欧美久久 亚洲va中文字幕无码一二三区 电车美人强奷系列在线播放bd 都市美妇岳女双飞 人久久精品中文字幕无码小明47 扯开她的腿狠狠占有np 全部露出来毛走秀福利视频 国产特级毛片aaaaaa chinese小男生gay男男网站 永久免费av网站sm调教下载 艳鉧动漫1~6风车动漫 他的手挤进我胸罩里揉搓 欧美人妖bbbbbxxxxxhd 扯开她的腿狠狠占有np 国产a级特黄的片子 无码三级理论在线观看 国产大片纵欲丰满a片 在线日本妇人成熟免费 成人免费视频在线观看 欧美另类69xxxxx 国产成人精品无码短视频 厕所偷窥chinaxxxx 女人夜夜春精品a片 女闺蜜把我下面摸到高潮喷水 久久国产精品男人的天堂 漂亮人妻洗澡被公强 日日躁 男男高h强迫高潮play调教 善良的妺妺hd高清中文 总裁大人放肆爱 色久悠悠婷婷综合在线亚洲 被主人公开羞辱调教自慰 亚洲の无码 国产の无码 中文字幕无码人妻影音先锋 健身房被疯狂双龙bl 新金瓶梅在线观看 范冰冰性xxxxhd杨幂性xxxxhd 无码专区丰满人妻斩六十路 精品人妻无码一区二区三区 精品免费一区二区三区在 一本一道波多野结衣av黑人 亚洲视频在线观看 领导在办公室含我奶头 私人情侣影院 大桥未久亚洲无av码在线 亚洲av无码专区久久蜜芽 国产亚洲人成a在线v网站 我的好妈妈5中字在线观看韩国 无遮挡在线18禁免费观看完整 白丝表妺的下面好湿好紧h 翁熄乩伦小说目录 国产精品无码素人福利免费 久久久久久一区国产精品 肥女巨肥bbwbbwbbwbw 无码三级理论在线观看 阳茎伸入女人阳道视频免费 亚洲乱理伦片在线观看中字 日本人妻少妇乱子伦精品 外国未满10周岁a片 成 人 黄 三 级 影片 欧美猛少妇色xxxxx 宁北苏清荷小说全文免费阅读 农民伯伯乡下妹 精品久久久无码中文字幕vr 永久免费av网站sm调教下载 18亚洲男同志 gay 网站 久久精品国产亚洲av无码 97人妻无码一区二区精品免费 草草视频 亚洲色精品vr一区二区三区 黑人狂虐中国人妻陈艳 亚洲av无码片vr一区二区三区 精品人妻无码一区二区三区 久久久久久一区国产精品 乱系列140章系列全目录 厕所偷窥chinaxxxx 午夜看片a福利在线观看 攵女乱h边做边走 3d调教済み変态jk扩张调教し 蜜臀av 成年美女黄网站18禁免费看 初尝少妇李梦茹 2022年香港正版资料大全 慈禧的秘密生活 翁熄系列乱老扒 色一情一乱一伦一小说免费看 攵女乱h边做边走 三级网站 色噜噜狠狠狠狠色综合久一 国内精品自国内精品自线下 国产精品久久久久久久久免费 羞羞影院 av资源 free×性护士vidos呻吟 tube性老少配bbwcom 精品国产免费一区二区三区 日韩人妻无码免费视频一区二区三区 97久久国产亚洲精品超碰热 欧洲美女粗暴牲交免费观看 人妻放荡乱h文 亚洲av无码专区久久蜜芽 高h禁伦餐桌上的肉伦np 娇…柳员外(禁断高h) 娇…柳员外(禁断高h) 斗罗大陆之小舞白丝玉足榨精 艳鉧动漫1~6风车动漫 荨麻疹初期症状图片 欧美高清 欧美激情乱人伦 再深点灬舒服灬太大了小说 私人情侣影院 健身房被疯狂双龙bl 娇…柳员外(禁断高h) 18禁裸露啪啪网站免费漫画 为什么做的时候要喊他名字 aaa女人18毛片水真多 初尝少妇李梦茹 亚洲av无码专区久久蜜芽 亚洲成aⅴ人片久青草影院 精品国产_亚洲人成在线观看 大尺度床戏 少妇小慧的yin荡生活小说 韩国演艺圈悲惨事件 97国语精品自产拍在线观看一 忘忧草在线社区www日本 精品久久久无码中文字幕vr 国产熟女一区二区三区 亚洲av无码专区久久蜜芽 两个人免费完整视频高清 西西大胆国模人体艺 韩国三级激情理论电影 国产亚洲人成a在线v网站 扒开衣服摸双乳在公交里 亚洲av无码片vr一区二区三区 性欧美69式xxxx 久久久久久精品免费免费直播中国 激烈的性高湖波多野结衣 男男高h强迫高潮play调教 chinese小男生gay男男网站 午夜成人久久影院免费体验 国产精品免费久久久久九九 超碰人人爽爽人人爽人人 各种姿势玩小处雏女视频 宝贝好紧我太爽了再快点 我和虎狼之年的岳135章 美女视频图片 chinese老太交videos 三人一起玩弄娇妻高潮 大尺度床戏 东北老熟妇tubesexuhd 亚洲.国产.欧美一区二区三区 yw尤物av无码国产在线看麻豆 老阿姨bilibili视频 杂交乱高h辣黄文np 玩弄少妇人妻 黑人狂虐中国人妻陈艳 黑人巨大精品欧美一区二区 a级毛片免费全部播放 宁北苏清荷小说全文免费阅读 乱亲h女秽乱常伦农村 精品国产免费一区二区三区 欧美大屁股xxxxhd黑色 777奇米四色成人影视色区 性xxxxfreexxxxx粗暴 岳潮湿的大肥赵兰梅 夜夜被公侵犯的美人妻 黑人狂虐中国人妻陈艳 我被继夫添我阳道舒服 洗澡被公强奷30分钟视频 翁熄禁欲乩伦小说 荷兰肥妇bbwbbwbbw 攵女乱h边做边走 少妇小慧的yin荡生活小说 韩国演艺圈悲惨事件 洗澡被公强奷30分钟视频 亚洲成a人无码亚洲成a无码l 黑人巨茎大战俄罗斯美女 欧美视频毛片在线播放 亚洲の无码 国产の无码 男女啪啪真实无遮挡免费 草草视频 草草视频 洗澡被公强奷30分钟视频 东北农村大坑乱肉一坑四女 国产亚洲精品无码无需播放器 纯肉无遮挡h肉3d动漫在线观看 国产精品毛片av一区二区三区 亚洲av无码片vr一区二区三区 午夜爱爱免费视频无遮挡 最近2019年中文字幕大全 宝贝好紧我太爽了再快点 2022年香港正版资料大全 久久精品国产亚洲av无码 国产开嫩苞实拍在线播放视频 大尺度电影 色一情一乱一伦一小说免费看 一本一道波多野结衣av黑人 影音先锋男人看片av资源网在线 yw尤物av无码国产在线看麻豆 老师喂我乳我脱她胸罩两性故事 老子午夜理论影院理论 扶着人妻翘臀挺进 国产农村乱子伦精品视频 成年美女黄网站18禁免费看 国产欧美va欧美va香蕉在线 小嫩批日出水了免费看 欧美人妖bbbbbxxxxxhd 善良的妺妺hd高清中文 全国疫情中高风险地区名单最新 被强行糟蹋过程小说 a片在线播放 8大特征暗示你已经着床成功 国色天香最新视频在线观看 欧美大屁股xxxxhd黑色 阳茎伸入女人阳道视频免费 国产精品人成在线观看 又大又粗粉嫩18p少妇 chinese老太交videos 国产成人精品无码短视频 jizzjizzjizz亚洲熟妇无码 日本被黑人强伦姧人妻完整版 永久免费av网站sm调教下载 蜜芽.tv.2722永不失联 三人一起玩弄娇妻高潮 中文字幕无码人妻影音先锋 成人在线观看 美女张开腿露出尿口与奶头的照片 双性含着老师的根写作业bl 久久久久久一区国产精品 白丝表妺的下面好湿好紧h 亚洲精品国产va在线观看 国产熟女一区二区三区 暴露放荡的娇妻 无码三级理论在线观看 东北农村大坑乱肉一坑四女 洗澡被公强奷30分钟视频 japanese18日本护士xxxx 国产热の有码热の无码视频 小嫩批日出水了免费看 草草视频 又黄又乱的口述小说乱之伦 偷窥厕所aaaaaa片偷窥 无码三级理论在线观看 人妻出轨合集500篇最新 777奇米四色成人影视色区 美女极品粉嫩美鮑20p图 亚洲av无码专区国产精品 神马影院在线观看 仙踪林老狼网站欢迎您 日本被黑人强伦姧人妻完整版 初尝少妇李梦茹 china13末成年videos野外 av资源 久久久久久精品免费免费69 白丝表妺的下面好湿好紧h 久久99国产综合精合精品 各种姿势玩小处雏女视频 2022年香港正版资料大全 隔着内裤滑进去了h 男男受被攻做哭娇喘声视频 永久免费不卡在线观看黄网站 仙踪林老狼网站欢迎您 欧美人体xxxx在线观看 厕所偷窥撒尿wcpeeingtube 国产精品成人av片免费看 日本人妻少妇乱子伦精品 放荡少妇张开双腿任人玩 色噜噜狠狠狠狠色综合久一 啊…嗯啊好深男男腐文肉 jizzjizzjizz亚洲熟妇无码 成绩差成为全班的玩具 国产在线乱子伦一区二区 善良的妺妺hd高清中文 国产亚洲精品久久久久妲己 无码专区丰满人妻斩六十路 成人免费av片在线观看 少妇小慧的yin荡生活小说 大桥未久亚洲无av码在线 成人毛片18女人毛片免费看 草草视频 阳茎伸入女人阳道视频免费 电车美人强奷系列在线播放bd 双性含着老师的根写作业bl japan极品人妻videos 被夫の上司持久侵犯耻辱 丝袜麻麻在我胯下娇吟 国产精品亚洲综合色区 漂亮人妻洗澡被公强 日日躁 私人情侣影院 国产作爱激烈叫床视频 久久久久久精品免费免费69 私人情侣影院 高h禁伦餐桌上的肉伦np 我的好妈妈5中字在线观看韩国 日本公与熄完整版hd高清播放 亚洲精品国产va在线观看 人妻放荡乱h文 日产亚洲一区二区三区 双性受爽到不停的喷水bl 蜜臀av 国产大片纵欲丰满a片 故意短裙公车被强好爽在线播放 国产大片纵欲丰满a片 日产亚洲一区二区三区 成人毛片18女人毛片免费看 阳茎伸入女人阳道视频免费 chinese老太交videos 精品国产_亚洲人成在线观看 扯开她的腿狠狠占有np 欧美人与物videos另类 攵女乱h边做边走 china13末成年videos野外 熟妇人妻激情偷爽文 国产chinasex对白videos麻豆 善良的妺妺hd高清中文 欧洲美女粗暴牲交免费观看 三级网站 乱亲h女秽乱常伦农村 放荡少妇张开双腿任人玩 钙片gay男男gv在线观看 无码亚洲精品久久 女上男下啪啪激烈高潮无遮盖 韩国三级激情理论电影 在线日本妇人成熟免费 图片区 小说区 区 亚洲五月 tube性老少配bbwcom 神马影院 欧美xxxxzozo另类特级 亲嘴扒胸摸屁股激烈网站 初尝少妇李梦茹 男女啪啪真实无遮挡免费 18禁高h高辣小说文 隔着内裤滑进去了h 全国疫情中高风险地区名单最新 偷窥厕所aaaaaa片偷窥 亚洲va中文字幕无码一二三区 久久99国产综合精合精品 乱系列140章系列全目录 欧美另类69xxxxx 再深点灬舒服灬太大了小说 国产熟女老妇300部mp4 我的好妈妈5中字在线观看韩国 国产精品久久久久久久久免费 高h禁伦餐桌上的肉伦np free×性护士vidos呻吟 国产亚洲精品无码无需播放器 精品久久久无码中文字幕vr 大桥未久亚洲无av码在线 宝贝乖女水真多小芳全集 人妻出轨合集500篇最新 男人肉大捧进出女人视频 被夫の上司持久侵犯耻辱 三级网站 神马影院在线观看 再深点灬舒服灬太大了小说 性xxxxfreexxxxx粗暴 美女极品粉嫩美鮑20p图 熟妇人妻激情偷爽文 电车美人强奷系列在线播放bd 神马影院 少妇小慧的yin荡生活小说 欧美同性猛男gay69 亚洲视频在线观看 小嫩批日出水了免费看 女人夜夜春精品a片 成绩差成为全班的玩具 成人免费a级毛片免费 国产精品久久久久久久久免费 欧美人与物videos另类 欧洲美女粗暴牲交免费观看 18禁无遮挡啪啪摇乳动态图 黑人狂虐中国人妻陈艳 97久久国产亚洲精品超碰热 亲嘴扒胸摸屁股激烈网站 妈妈的朋友在线 超碰人人爽爽人人爽人人 亚洲综合无码一区二区三区不卡 午夜爱爱免费视频无遮挡 神马影院在线观看 精品国产_亚洲人成在线观看 china13末成年videos野外 国产在线无码精品电影网 钙片gay男男gv在线观看 jizzjizzjizz亚洲熟妇无码 国产农村乱子伦精品视频 亚洲成aⅴ人片久青草影院 国产精品一区二区国产主播 他扒开我的胸罩吸奶头 久久久久久一区国产精品 领导在办公室含我奶头 武警肌肉男军人gay网站 国产欧美va欧美va香蕉在线 国产亚洲精品无码无需播放器 亚洲av无码国产精品色 蜜臀av 国产在线无码精品电影网 熟妇人妻激情偷爽文 阳茎伸入女人阳道视频免费 国产精品一区二区国产主播 钙片gay男男gv在线观看 天天综合色天天综合色hd 大尺度电影 传奇私服发布网 亚洲成a人无码亚洲成a无码l 总裁大人放肆爱 无码三级理论在线观看 男生晚上睡不着想看点片 无翼乌萝全彩侵犯本子h 洗澡被公强奷30分钟视频 精品国产_亚洲人成在线观看 欧美xxxxzozo另类特级 蜜臀av 欧美另类69xxxxx 黑人巨大精品欧美一区二区 精品久久久久久国产牛牛 蜜芽.tv.2722永不失联 gogo专业大尺度亚洲高清人体 成 人 黄 三 级 影片 永久免费不卡在线观看黄网站 国产chinasex对白videos麻豆 东北老妇爽大叫受不了 97国语精品自产拍在线观看一 神马影院在线观看 成人免费av片在线观看 洗澡被公强奷30分钟视频 777奇米四色成人影视色区 传奇私服发布网 jizzjizzjizz亚洲熟妇无码 我的好妈妈5中字在线观看韩国 西西大胆国模人体艺 私人漂亮的女教师hd高清 国产精品色综合国产精品 97国语精品自产拍在线观看一 国产亚洲精品无码无需播放器 a片在线播放 艳鉧动漫1~6风车动漫 再深点灬舒服灬太大了小说 高h禁伦餐桌上的肉伦np 久久久久久一区国产精品 japan极品人妻videos 欧美激情乱人伦 蜜芽.tv.2722永不失联 领导在办公室含我奶头 18禁无遮挡啪啪摇乳动态图 人皇sky和moon视频 无遮挡吃胸膜奶免费看视频 欧美日韩精品无码专区免费视频 又黄又乱的口述小说乱之伦 国产精品无码素人福利免费 婷婷丁香五月 亲嘴扒胸摸屁股激烈网站 洗澡被公强奷30分钟视频 精品国产_亚洲人成在线观看 精品久久久无码中文字幕vr 被老头下药玩好爽小雪 忘忧草在线社区www日本 武则天秘史 日本人妻巨大乳挤奶水app 无码三级理论在线观看 97久久国产亚洲精品超碰热 再深点灬舒服灬太大了小说 亚洲成a人无码亚洲成a无码l 在线日本妇人成熟免费 国产亚洲精品久久久久妲己 漂亮人妻洗澡被公强 日日躁 东北老妇爽大叫受不了 2022年香港正版资料大全 色资源av中文无码先锋 吴北唐紫怡小说免费阅读 成年美女黄网站18禁免费看 无翼乌萝全彩侵犯本子h 武警肌肉男军人gay网站 人妻出轨合集500篇最新 放荡少妇张开双腿任人玩 女人自慰摸下面动态图 老阿姨bilibili视频 老师喂我乳我脱她胸罩两性故事 男女疯狂做到高潮的小说 神马影院 武警肌肉男军人gay网站 在线观看 欧美在线视频 成人毛片18女人毛片免费看 三级全黄的视频在线观看 午夜爱爱免费视频无遮挡 东北农村大坑乱肉一坑四女 玩弄少妇人妻 sesese在线观看a片 初尝少妇李梦茹 无码专区丰满人妻斩六十路 被老头下药玩好爽小雪 777奇米四色成人影视色区 成人在线观看 a级毛片免费全部播放 欧美性受xxxx狂喷水 男女疯狂做到高潮的小说 锕锕锕锕好大不要坐上来 成年美女黄网站18禁免费看 无码专区丰满人妻斩六十路 乱亲h女秽乱常伦农村 纯禽小叔别太猛免费阅读 18禁高h高辣小说文 sesese在线观看a片 草草视频 我的好妈妈5中字在线观看韩国 亚洲成aⅴ人片久青草影院 japan极品人妻videos 丝袜麻麻在我胯下娇吟 我的好妈妈5中字在线观看韩国 精品人妻无码一区二区三区 国产亚洲精品无码无需播放器 美女极品粉嫩美鮑20p图 18禁高h高辣小说文 欧美性受xxxx狂喷水 五月丁香六月综合欧美久久 被十几个男人扒开腿猛戳 草草视频 精品久久久久久国产牛牛 永久免费av网站sm调教下载 三级全黄的视频在线观看 婷婷丁香五月 扯开她的腿狠狠占有np 97久久国产亚洲精品超碰热 欧美激情乱人伦 白洁一夜挨十炮二十章节 隔着内裤滑进去了h 成人免费视频在线观看 日本人妻巨大乳挤奶水app 成 人 黄 三 级 影片 神马影院在线观看 神马影院在线观看 男女啪啪真实无遮挡免费 宝贝乖女水真多小芳全集 2022年香港正版资料大全 老师喂我乳我脱她胸罩两性故事 成人免费视频在线观看 草草视频 草草视频 欧美同性猛男gay69 无码三级理论在线观看 东北老熟妇tubesexuhd 草草视频 草草视频 偷窥厕所aaaaaa片偷窥 欧美啪啪 韩国演艺圈悲惨事件 亚洲精品国产va在线观看 美女极品粉嫩美鮑20p图 善良的妺妺hd高清中文 国产在线无码精品电影网 总裁大人放肆爱 国产农村乱子伦精品视频 攵女乱h边做边走 娇…柳员外(禁断高h) 国产亚洲精品久久久久妲己 黑人巨大精品欧美一区二区 一本一道波多野结衣av黑人 18禁高h高辣小说文 初尝少妇李梦茹 白洁一夜挨十炮二十章节 再深点灬舒服灬太大了小说 乱亲h女秽乱常伦农村 97人妻无码一区二区精品免费 毛片24种姿势无遮无拦 亚洲av无码专区久久蜜芽 国产在线无码精品电影网 男男高h强迫高潮play调教 亚洲av无码国产精品色 女人与公拘做受 av资源 日韩人妻无码免费视频一区二区三区 亚洲av无码专区久久蜜芽 人皇sky和moon视频 三级网站 久久久久久精品免费免费69 女上男下啪啪激烈高潮无遮盖 日本xx13一18处交高清 亚洲av无码专区久久蜜芽 亚洲成aⅴ人片久青草影院 亚洲av无码专区久久蜜芽 全部露出来毛走秀福利视频 神马影院我不卡 黑人巨茎大战俄罗斯美女 再深点灬舒服灬太大了小说 国产在线乱子伦一区二区 女人与公拘做受 乱系列140章系列全目录 洗澡被公强奷30分钟视频 亚洲成aⅴ人片久青草影院 无码亚洲精品久久 武则天秘史 超碰人人爽爽人人爽人人 777奇米四色成人影视色区 亚洲综合色丁香婷婷六月图片 艳鉧动漫1~6风车动漫 神马影院在线观看 久久久久久一区国产精品 亚 洲 成 人 网站在线观看 成人免费a级毛片免费 三级全黄的视频在线观看 草草视频 小嫩批日出水了免费看 男男高h强迫高潮play调教 无翼乌萝全彩侵犯本子h 放荡少妇张开双腿任人玩 玩弄少妇人妻 欧美激情乱人伦 扶着人妻翘臀挺进 里番本子侵犯肉全彩触手 永久免费不卡在线观看黄网站 私人漂亮的女教师hd高清 少妇spa私密推油按摩受不了 黑人巨茎大战俄罗斯美女 我的好妈妈5中字在线观看韩国 亚洲综合无码一区二区三区不卡 无码不卡一区二区三区在线观看 大尺度电影 人久久精品中文字幕无码小明47 啊…嗯啊好深男男腐文肉 肥女巨肥bbwbbwbbwbw 东北农村大坑乱肉一坑四女 人妻出轨合集500篇最新 欧美另类69xxxxx 精品国产免费一区二区三区 少女潘金莲 成年美女黄网站18禁免费看 娇…柳员外(禁断高h) 日产亚洲一区二区三区 少女潘金莲 黑人巨茎大战俄罗斯美女 97人妻无码一区二区精品免费 亚洲视频在线观看 里番本子侵犯肉全彩触手 777奇米四色成人影视色区 扯开她的腿狠狠占有np 黑人狂虐中国人妻陈艳 国产熟女一区二区三区 激烈的性高湖波多野结衣 a片在线播放 少女潘金莲 三人一起玩弄娇妻高潮 东北老妇爽大叫受不了 女人自慰摸下面动态图 玩弄少妇人妻 国产精品久久久久久久久免费 荡女精品导航 a级毛片免费全部播放 斗罗大陆之小舞白丝玉足榨精 8大特征暗示你已经着床成功 久久久久久一区国产精品 妈妈的朋友在线 gogo专业大尺度亚洲高清人体 荷兰肥妇bbwbbwbbw 锕锕锕锕好大不要坐上来 无码不卡一区二区三区在线观看 被老头下药玩好爽小雪 少女潘金莲 白丝表妺的下面好湿好紧h 婷婷丁香五月 日本公与熄完整版hd高清播放 国产亚洲精品无码无需播放器 gogo专业大尺度亚洲高清人体 东北农村大坑乱肉一坑四女 我的好妈妈5中字在线观看韩国 永久免费不卡在线观看黄网站 荡女精品导航 熟妇人妻激情偷爽文 西西大胆国模人体艺 他扒开我的胸罩吸奶头 欧美同性猛男gay69 大桥未久亚洲无av码在线 人久久精品中文字幕无码小明47 人久久精品中文字幕无码小明47 亚洲成a人无码亚洲成a无码l 大尺度电影 超碰人人爽爽人人爽人人 白洁一夜挨十炮二十章节 白洁一夜挨十炮二十章节 欧美同性猛男gay69 隔着内裤滑进去了h 里番本子侵犯肉全彩触手 在线观看 亚洲av无码专区久久蜜芽 黑人狂虐中国人妻陈艳 东北农村大坑乱肉一坑四女 偷窥厕所aaaaaa片偷窥 白丝表妺的下面好湿好紧h 免费无遮挡黄漫画在线观看网站 影音先锋男人看片av资源网在线 国产作爱激烈叫床视频 精品久久久无码中文字幕vr 黑人巨茎大战俄罗斯美女 婷婷丁香五月 白丝表妺的下面好湿好紧h 放荡少妇张开双腿任人玩 人妻放荡乱h文 女人自慰摸下面动态图 国产精品人成在线观看 纯禽小叔别太猛免费阅读 扯开她的腿狠狠占有np 隔着内裤滑进去了h 双性含着老师的根写作业bl 黑人巨大精品欧美一区二区 我的好妈妈5中字在线观看韩国 国产特级毛片aaaaaa 成人免费av片在线观看 私人漂亮的女教师hd高清 久久久久久精品免费免费69 亚洲综合色丁香婷婷六月图片 精品国产免费一区二区三区 洗澡被公强奷30分钟视频 成绩差成为全班的玩具 精品久久久无码中文字幕vr 双性含着老师的根写作业bl 翁熄系列乱老扒 小嫩批日出水了免费看 老子午夜理论影院理论 黑人巨茎大战俄罗斯美女 8大特征暗示你已经着床成功 2022年香港正版资料大全 欧美激情乱人伦 健身房被疯狂双龙bl 洗澡被公强奷30分钟视频 亚洲av无码片vr一区二区三区 健身房被疯狂双龙bl 国产作爱激烈叫床视频 国产热の有码热の无码视频 被夫の上司持久侵犯耻辱 扒开衣服摸双乳在公交里 亚洲综合无码一区二区三区不卡 永久免费av网站sm调教下载 白丝表妺的下面好湿好紧h 日本人妻巨大乳挤奶水免费 中文字幕av无码不卡免费 国产亚洲人成a在线v网站 无翼乌萝全彩侵犯本子h 传奇私服发布网 free×性护士vidos呻吟 欧美人与物videos另类 白丝表妺的下面好湿好紧h 久久久久久一区国产精品 武警肌肉男军人gay网站 老师喂我乳我脱她胸罩两性故事 人妻放荡乱h文 少妇小慧的yin荡生活小说 扒开粉嫩的小缝喷白浆h 纯禽小叔别太猛免费阅读 在线日本妇人成熟免费 china13末成年videos野外 成人免费av片在线观看 亚洲成a人无码亚洲成a无码l 精品久久久无码中文字幕vr 日本xx13一18处交高清 精品国产免费一区二区三区 国产精品毛片av一区二区三区 三级全黄的视频在线观看 久久久久久精品免费免费69 成 人 黄 三 级 影片 我的好妈妈5中字在线观看韩国 蜜芽.tv.2722永不失联 亲嘴扒胸摸屁股激烈网站 chinese老太交videos 慈禧的秘密生活 欧美在线视频 国产农村乱子伦精品视频 被老头下药玩好爽小雪 高h禁伦餐桌上的肉伦np 蜜臀av 午夜爱爱免费视频无遮挡 初尝少妇李梦茹 斗罗大陆之小舞白丝玉足榨精 婷婷丁香五月 国产亚洲精品久久久久妲己 扯开她的腿狠狠占有np 亚洲va中文字幕无码一二三区 玩弄少妇人妻 日本人丰满xxxxhd 教练等不及在车里就来开始了 国产亚洲人成a在线v网站 锕锕锕锕好大不要坐上来 肥女巨肥bbwbbwbbwbw 三级全黄的视频在线观看 老师喂我乳我脱她胸罩两性故事 扒开衣服摸双乳在公交里 肥女巨肥bbwbbwbbwbw 纯禽小叔别太猛免费阅读 偷窥厕所aaaaaa片偷窥 日本xx13一18处交高清 无遮挡吃胸膜奶免费看视频 国产农村乱子伦精品视频 99久久精品国产成人综合 国产农村乱子伦精品视频 神马影院 少妇spa私密推油按摩受不了 漂亮人妻洗澡被公强 日日躁 亚洲av无码片vr一区二区三区 三级网站 在线日本妇人成熟免费 钙片gay男男gv在线观看 国产精品久久久久久久久免费 扒开粉嫩的小缝喷白浆h 他扒开我的胸罩吸奶头 日本人妻巨大乳挤奶水免费 漂亮人妻洗澡被公强 日日躁 熟妇人妻激情偷爽文 97人妻无码一区二区精品免费 成人毛片18女人毛片免费看 锕锕锕锕好大不要坐上来 天天综合色天天综合色hd 18禁无遮挡啪啪摇乳动态图 国产亚洲精品无码无需播放器 丰满人妻一区二区三区视频53 西西大胆国模人体艺 里番本子侵犯肉全彩触手 东北老熟妇tubesexuhd 美女极品粉嫩美鮑20p图 女人自慰摸下面动态图 电车美人强奷系列在线播放bd 欧美高清 无码三级理论在线观看 国产大片纵欲丰满a片 女上男下啪啪激烈高潮无遮盖 隔着内裤滑进去了h 无翼乌萝全彩侵犯本子h 性xxxxfreexxxx孕妇 肥女巨肥bbwbbwbbwbw 久久久久久一区国产精品 亚洲av无码专区久久蜜芽 欧美啪啪 久久久久久精品免费免费69 精品久久久无码中文字幕vr 无翼乌萝全彩侵犯本子h 18禁高h高辣小说文 777奇米四色成人影视色区 japan极品人妻videos 男女边摸边吃奶边做视频免费 娇…柳员外(禁断高h) 乱系列140章系列全目录 纯禽小叔别太猛免费阅读 领导在办公室含我奶头 jizzjizzjizz亚洲熟妇无码 男女疯狂做到高潮的小说 扒开粉嫩的小缝喷白浆h 艳鉧动漫1~6风车动漫 久久久久久一区国产精品 大尺度电影 国产农村乱子伦精品视频 亚洲综合无码一区二区三区不卡 18禁无遮挡啪啪摇乳动态图 japanese18日本护士xxxx 双性含着老师的根写作业bl 欧美日韩精品无码专区免费视频 领导在办公室含我奶头 a片在线播放 欧洲美女粗暴牲交免费观看 日产亚洲一区二区三区 吴北唐紫怡小说免费阅读 精品国产免费一区二区三区 小13箩利洗澡无码视频网站 五月丁香六月综合欧美久久 亲嘴扒胸摸屁股激烈网站 亚洲成a人无码亚洲成a无码l 白丝表妺的下面好湿好紧h 大桥未久亚洲无av码在线 西西人体444www高清大胆 成人毛片18女人毛片免费看 熟妇人妻激情偷爽文 人妻出轨合集500篇最新 私人漂亮的女教师hd高清 永久免费av网站sm调教下载 漂亮人妻洗澡被公强 日日躁 777奇米四色成人影视色区 亚洲av无码专区久久蜜芽 欧美性受xxxx狂喷水 成人免费a级毛片免费 欧美啪啪 隔着内裤滑进去了h 天天做日日做天天添天天欢公交车 精品人妻无码一区二区三区 国产亚洲精品久久久久妲己 国产在线无码精品电影网 成人在线观看 总裁大人放肆爱 东北老妇爽大叫受不了 色资源av中文无码先锋 国产在线乱子伦一区二区 熟妇人妻激情偷爽文 斗罗大陆之小舞白丝玉足榨精 岳潮湿的大肥赵兰梅 china13末成年videos野外 无翼乌萝全彩侵犯本子h 激烈的性高湖波多野结衣 艳鉧动漫1~6风车动漫 欧美同性猛男gay69 荡女精品导航 初尝少妇李梦茹 大尺度电影 china13末成年videos野外 亚洲精品国产va在线观看 老子午夜理论影院理论 成人免费a级毛片韩国 小嫩批日出水了免费看 被十几个男人扒开腿猛戳 毛片24种姿势无遮无拦 岳潮湿的大肥赵兰梅 在镜头里被cao翻了h 影音先锋男人看片av资源网在线 a级毛片免费全部播放 西西大胆国模人体艺 精品国产免费一区二区三区 小13箩利洗澡无码视频网站 双性含着老师的根写作业bl 翁熄系列乱老扒 a级毛片免费全部播放 阳茎伸入女人阳道视频免费 偷窥厕所aaaaaa片偷窥 3d调教済み変态jk扩张调教し 神马影院我不卡 永久免费不卡在线观看黄网站 99久久精品国产成人综合 双性受爽到不停的喷水bl 三人一起玩弄娇妻高潮 亚洲va中文字幕无码一二三区 性xxxxfreexxxxx粗暴 欧美性受xxxx狂喷水 久久久久久一区国产精品 久久99国产综合精合精品 欧美xxxxzozo另类特级 荷兰肥妇bbwbbwbbw 白丝表妺的下面好湿好紧h 国产精品无码素人福利免费 精品国产免费一区二区三区 阳茎伸入女人阳道视频免费 三人一起玩弄娇妻高潮 双性含着老师的根写作业bl 无码三级理论在线观看 洗澡被公强奷30分钟视频 大桥未久亚洲无av码在线 全部露出来毛走秀福利视频 老子午夜理论影院理论 欧美人与物videos另类 熟妇人妻激情偷爽文 欧美特黄a级高清免费大片a片 japanese18日本护士xxxx 性xxxxfreexxxxx粗暴 jizzjizzjizz亚洲熟妇无码 丝袜麻麻在我胯下娇吟 精品国产三级a在线观看 国产热の有码热の无码视频 熟妇人妻激情偷爽文 漂亮人妻洗澡被公强 日日躁 国产农村乱子伦精品视频 私人漂亮的女教师hd高清 在镜头里被cao翻了h 被十几个男人扒开腿猛戳 8大特征暗示你已经着床成功 日本xx13一18处交高清 成人免费av片在线观看 国产大片纵欲丰满a片 久久久久久一区国产精品 国产特级毛片aaaaaa 西西大胆国模人体艺 精品人妻无码一区二区三区 成人免费视频在线观看 free×性护士vidos呻吟 扒开粉嫩的小缝喷白浆h 2022年香港正版资料大全 日本人妻巨大乳挤奶水app 娇…柳员外(禁断高h) 亚洲av无码国产精品色 小13箩利洗澡无码视频网站 无码亚洲精品久久 成人免费av片在线观看 隔着内裤滑进去了h 亚洲成a人无码亚洲成a无码l 男女啪啪真实无遮挡免费 五月丁香六月综合欧美久久 小嫩批日出水了免费看 如何自罚必须非常疼又无声 宝贝乖女水真多小芳全集 tube性老少配bbwcom 韩国演艺圈悲惨事件 无翼乌萝全彩侵犯本子h 扒开衣服摸双乳在公交里 gogo专业大尺度亚洲高清人体 欧美性受xxxx狂喷水 国产精品无码素人福利免费 武警肌肉男军人gay网站 国产亚洲精品久久久久妲己 国产精品久久久久久久久免费 性xxxxfreexxxxx粗暴 japan极品人妻videos 777奇米四色成人影视色区 攵女乱h边做边走 成人毛片18女人毛片免费看 亚洲成a人无码亚洲成a无码l 超碰人人爽爽人人爽人人 日本人妻巨大乳挤奶水免费 性欧美69式xxxx 电车美人强奷系列在线播放bd 性xxxxfreexxxx孕妇 洗澡被公强奷30分钟视频 人久久精品中文字幕无码小明47 色噜噜狠狠狠狠色综合久一 天天做日日做天天添天天欢公交车 欧美在线视频 在线日本妇人成熟免费 日本公与熄完整版hd高清播放 国产精品久久久久精品亚瑟 国产精品亚洲综合色区 钙片gay男男gv在线观看 无码不卡一区二区三区在线观看 3d调教済み変态jk扩张调教し 成人免费av片在线观看 影音先锋男人看片av资源网在线 色噜噜狠狠狠狠色综合久一 毛片24种姿势无遮无拦 小13箩利洗澡无码视频网站 成人毛片18女人毛片免费看 被老头下药玩好爽小雪 东北老熟妇tubesexuhd 白洁一夜挨十炮二十章节 男人肉大捧进出女人视频 欧美性受xxxx狂喷水 成人毛片18女人毛片免费看 国产精品久久久久久久久免费 无码亚洲精品久久 国产熟女一区二区三区 玩弄少妇高潮a片 jizzjizzjizz亚洲熟妇无码 蜜臀av 无翼乌萝全彩侵犯本子h 无码亚洲精品久久 tube性老少配bbwcom 2022年香港正版资料大全 里番本子侵犯肉全彩触手 精品国产免费一区二区三区 sesese在线观看a片 国产在线乱子伦一区二区 在线无码免费的毛片视频 吴北唐紫怡小说免费阅读 村长压在小萍身上耕耘着 国产欧美va欧美va香蕉在线 我的好妈妈5中字在线观看韩国 国产在线无码精品电影网 一本一道波多野结衣av黑人 妈妈的朋友在线 小嫩批日出水了免费看 扒开粉嫩的小缝喷白浆h a级毛片免费全部播放 在线无码免费的毛片视频 西西人体444www高清大胆 久久久久久一区国产精品 天天做日日做天天添天天欢公交车 tube性老少配bbwcom 黑人巨茎大战俄罗斯美女 放荡少妇张开双腿任人玩 精品国产三级a在线观看 china13末成年videos野外 japan极品人妻videos 国产亚洲人成a在线v网站 教练等不及在车里就来开始了 日本人妻巨大乳挤奶水app 玩弄少妇人妻 男人肉大捧进出女人视频 男女啪啪真实无遮挡免费 18禁高h高辣小说文 亚洲av无码片vr一区二区三区 偷窥厕所aaaaaa片偷窥 女人与公拘做受 总裁大人放肆爱 国产欧美va欧美va香蕉在线 亚洲成a人无码亚洲成a无码l 欧美啪啪 97人妻无码一区二区精品免费 国产精品一区二区国产主播 村长压在小萍身上耕耘着 a级毛片免费全部播放 无遮挡吃胸膜奶免费看视频 偷窥厕所aaaaaa片偷窥 韩国理论电影 av资源 国产在线乱子伦一区二区 妈妈的朋友在线 五月丁香六月综合欧美久久 玩弄少妇人妻 亚 洲 成 人 网站在线观看 午夜爱爱免费视频无遮挡 性xxxxfreexxxx孕妇 隔着内裤滑进去了h 亚洲av无码专区久久蜜芽 一本一道波多野结衣av黑人 黑人巨茎大战俄罗斯美女 av资源 锕锕锕锕好大不要坐上来 少妇小慧的yin荡生活小说 亚洲综合无码一区二区三区不卡 纯禽小叔别太猛免费阅读 性欧美69式xxxx chinese老太交videos 玩弄少妇高潮a片 东北农村大坑乱肉一坑四女 扒开衣服摸双乳在公交里 大尺度电影 攵女乱h边做边走 西西人体444www高清大胆 激烈的性高湖波多野结衣 男女疯狂做到高潮的小说 精品人妻无码一区二区三区 久久久久久一区国产精品 国产精品久久久久精品亚瑟 白丝表妺的下面好湿好紧h 国产农村乱子伦精品视频 亚洲成a人无码亚洲成a无码l 善良的妺妺hd高清中文 隔着内裤滑进去了h 东北老妇爽大叫受不了 天天综合色天天综合色hd 扶着人妻翘臀挺进 亚洲成aⅴ人片久青草影院 黑人狂虐中国人妻陈艳 我的好妈妈5中字在线观看韩国 纯禽小叔别太猛免费阅读 他扒开我的胸罩吸奶头 无码三级理论在线观看 斗罗大陆之小舞白丝玉足榨精 影音先锋男人看片av资源网在线 久久久久久精品免费免费69 双性含着老师的根写作业bl 少妇spa私密推油按摩受不了 国产欧美va欧美va香蕉在线 如何自罚必须非常疼又无声 国产精品毛片av一区二区三区 国产亚洲人成a在线v网站 jizzjizzjizz亚洲熟妇无码 成人免费av片在线观看 乱系列140章系列全目录 他扒开我的胸罩吸奶头 在线观看 私人漂亮的女教师hd高清 18禁高h高辣小说文 无码三级理论在线观看 领导在办公室含我奶头 艳鉧动漫1~6风车动漫 精品久久久无码中文字幕vr 毛片24种姿势无遮无拦 在线无码免费的毛片视频 国产欧美va欧美va香蕉在线 欧美在线视频 欧美特黄a级高清免费大片a片 激烈的性高湖波多野结衣 乱亲h女秽乱常伦农村 韩国三级激情理论电影 洗澡被公强奷30分钟视频 精品国产_亚洲人成在线观看 a片在线播放 蜜臀av 传奇私服发布网 被夫の上司持久侵犯耻辱 久久久久久一区国产精品 欧美日韩精品无码专区免费视频 3d调教済み変态jk扩张调教し 色资源av中文无码先锋 三级网站 天天综合色天天综合色hd 日本人丰满xxxxhd 欧美大屁股xxxxhd黑色 各种姿势玩小处雏女视频 国产作爱激烈叫床视频 jizzjizzjizz亚洲熟妇无码 国色天香最新视频在线观看 西西人体444www高清大胆 玩弄少妇高潮a片 性xxxxfreexxxx孕妇 国产特级毛片aaaaaa 翁熄系列乱老扒 偷窥厕所aaaaaa片偷窥 扯开她的腿狠狠占有np 三级网站 纯禽小叔别太猛免费阅读 亚洲va中文字幕无码一二三区 阳茎伸入女人阳道视频免费 国产精品成人av片免费看 善良的妺妺hd高清中文 精品一卡2卡三卡4卡含羞草 天天做日日做天天添天天欢公交车 国内精品自国内精品自线下 男女啪啪真实无遮挡免费 国产熟女老妇300部mp4 鸭王在线观看 各种姿势玩小处雏女视频 天天做日日做天天添天天欢公交车 国产亚洲精品久久久久妲己 久久久久久精品免费免费69 人妻出轨合集500篇最新 女闺蜜把我下面摸到高潮喷水 sesese在线观看a片 扒开衣服摸双乳在公交里 在线观看 精品国产_亚洲人成在线观看 啊…嗯啊好深男男腐文肉 岳潮湿的大肥赵兰梅 纯禽小叔别太猛免费阅读 韩国理论电影 村长压在小萍身上耕耘着 熟妇高潮一区二区高清视频 美女极品粉嫩美鮑20p图 无码不卡一区二区三区在线观看 无码亚洲精品久久 日产亚洲一区二区三区 亚洲av无码片vr一区二区三区 西西人体444www高清大胆 慈禧的秘密生活 日本xx13一18处交高清 扒开粉嫩的小缝喷白浆h 亚洲成aⅴ人片久青草影院 慈禧的秘密生活 被夫の上司持久侵犯耻辱 chinese武警痞帅男裸体gv网 精品国产三级a在线观看 成绩差成为全班的玩具 国产精品毛片av一区二区三区 波多野结衣办公室33分钟激情 色噜噜狠狠狠狠色综合久一 国产伦精品一区二区三区视频 亚洲va中文字幕无码一二三区 美女极品粉嫩美鮑20p图 中文字幕无码人妻影音先锋 中国女人68xxxxxxxxx 小13箩利洗澡无码视频网站 无遮挡吃胸膜奶免费看视频 范冰冰性xxxxhd杨幂性xxxxhd 日本人丰满xxxxhd 农民伯伯乡下妹 鸭王在线观看 女闺蜜把我下面摸到高潮喷水 久久丫精品国产亚洲av 男女啪啪真实无遮挡免费 国产亚洲精品久久久久妲己 小嫩批日出水了免费看 被十几个男人扒开腿猛戳 啊…嗯啊好深男男腐文肉 波多野结衣办公室33分钟激情 精品国产_亚洲人成在线观看 白丝表妺的下面好湿好紧h 成绩差成为全班的玩具 亚洲视频在线观看 日产亚洲一区二区三区 洗澡被公强奷30分钟视频 玩弄少妇人妻 亚洲综合无码一区二区三区不卡 国产农村乱子伦精品视频 国产精品亚洲综合色区 久久精品国产亚洲av无码 国产伦精品一区二区三区视频 精品国产福利在线观看 大尺度电影 男人肉大捧进出女人视频 纯肉无遮挡h肉3d动漫在线观看 少妇spa私密推油按摩受不了 老子午夜理论影院理论 日本人妻少妇乱子伦精品 岳潮湿的大肥赵兰梅 扒开粉嫩的小缝喷白浆h 白洁一夜挨十炮二十章节 欧美重囗味sm群虐视频 波多野结衣办公室33分钟激情 胖老太与人牲交bbwbbw高潮 国产精品成人av片免费看 小13箩利洗澡无码视频网站 放荡少妇张开双腿任人玩 被十几个男人扒开腿猛戳 护士故意露出奶头让我吃奶 高h禁伦餐桌上的肉伦np 久久精品国产亚洲av无码 欧美xxxxzozo另类特级 又黄又乱的口述小说乱之伦 东北老熟妇tubesexuhd 敌伦交换第11部分 天天综合色天天综合色hd 中文av岛国无码免费播放 国产作爱激烈叫床视频 成人免费a级毛片韩国 萧天策高薇薇全文免费阅读笔趣阁 丰满乱子伦无码专区 影音先锋男人看片av资源网在线 蜜桃视频 翁熄禁欲乩伦小说 善良的妺妺hd高清中文 翁熄乩伦小说目录 香蕉久久久久久av成人 97精品国产品国语在线不卡 色资源av中文无码先锋 亚洲.国产.欧美一区二区三区 全国疫情中高风险地区名单最新 中文av岛国无码免费播放 被夫の上司持久侵犯耻辱 亚洲欧美日韩成人高清在线一区 敌伦交换第11部分 亚洲欧美日韩成人高清在线一区 无码亚洲精品久久 亚洲.国产.欧美一区二区三区 我的好妈妈5中字在线观看韩国 国产精品亚洲综合色区 扒开粉嫩的小缝喷白浆h 神马影院 领导在办公室含我奶头 欧美freesex黑人又粗又大 yellow最新免费观看 青柠视频在线观看高清bd 亚洲.国产.欧美一区二区三区 99久久精品国产成人综合 少妇小慧的yin荡生活小说 老子午夜理论影院理论 性欧美69式xxxx 各种姿势玩小处雏女视频 色噜噜狠狠狠狠色综合久一 国产精品毛片av一区二区三区 农民伯伯乡下妹 午夜爱爱免费视频无遮挡 国产精品亚洲综合色区 农民伯伯乡下妹 japanese18日本护士xxxx 白洁一夜挨十炮二十章节 国产热の有码热の无码视频 领导在办公室含我奶头 玩弄少妇人妻 范冰冰性xxxxhd杨幂性xxxxhd 国产热の有码热の无码视频 岳潮湿的大肥赵兰梅 tube性老少配bbwcom 亚洲综合色丁香婷婷六月图片 被老头下药玩好爽小雪 小13箩利洗澡无码视频网站 天天做日日做天天添天天欢公交车 毛片24种姿势无遮无拦 欧美日韩精品无码专区免费视频 精品国产福利在线观看 国产熟女一区二区三区 chinese武警痞帅男裸体gv网 黑人巨大精品欧美一区二区 日韩人妻无码免费视频一区二区三区 武警肌肉男军人gay网站 翁熄禁欲乩伦小说 色噜噜狠狠狠狠色综合久一 精品久久久久久国产牛牛 漂亮人妻洗澡被公强 日日躁 乱亲h女秽乱常伦农村 午夜爱爱免费视频无遮挡 无码不卡一区二区三区在线观看 杂交乱高h辣黄文np 精品人妻无码一区二区三区 玩弄少妇高潮a片 三人一起玩弄娇妻高潮 图片区 小说区 区 亚洲五月 精品久久久久久国产牛牛 国产精品成人av片免费看 被老头下药玩好爽小雪 蜜芽.tv.2722永不失联 熟妇人妻激情偷爽文 国产熟女老妇300部mp4 农民伯伯乡下妹 a片在线播放 jizzjizzjizz亚洲熟妇无码 东北农村大坑乱肉一坑四女 欧美人与物videos另类 放荡少妇张开双腿任人玩 波多野结衣办公室33分钟激情 国产精品成人av片免费看 高h禁伦餐桌上的肉伦np 漂亮人妻洗澡被公强 日日躁 蜜桃视频 男女啪啪激烈高潮喷出gif免费 精品一卡2卡三卡4卡含羞草 yw尤物av无码国产在线看麻豆 少妇spa私密推油按摩受不了 被主人公开羞辱调教自慰 美女张开腿露出尿口与奶头的照片 久久久久久精品免费免费69 av免费在线观看 国产熟女老妇300部mp4 鸭王在线观看 国产精品久久久久久久久免费 亚洲av无码专区国产精品 熟妇人妻激情偷爽文 纯肉黄辣放荡高h调教 扒开粉嫩的小缝喷白浆h 杂交乱高h辣黄文np 武则天秘史 精品国产福利在线观看 熟妇人妻激情偷爽文 图片区 小说区 区 亚洲五月 纯肉黄辣放荡高h调教 白洁小说 斗罗大陆之小舞白丝玉足榨精 国产熟女老妇300部mp4 鸭王在线观看 国产精品人成在线观看 青柠视频在线观看高清bd 少妇小慧的yin荡生活小说 大尺度电影 女闺蜜把我下面摸到高潮喷水 永久免费av网站sm调教下载 亚洲av无码专区国产精品 斗罗大陆之小舞白丝玉足榨精 传奇私服发布网 图片区 小说区 区 亚洲五月 精品久久久久久国产牛牛 天天做日日做天天添天天欢公交车 欧美同性猛男gay69 成人毛片18女人毛片免费看 领导在办公室含我奶头 成人免费a级毛片韩国 东北农村大坑乱肉一坑四女 久久久久久精品免费免费直播中国 扶着人妻翘臀挺进 各种姿势玩小处雏女视频 男女啪啪激烈高潮喷出gif免费 双性受爽到不停的喷水bl 国产精品毛片av一区二区三区 西西大胆国模人体艺 天天做日日做天天添天天欢公交车 被老头下药玩好爽小雪 村长压在小萍身上耕耘着 99久久精品国产成人综合 毛很浓密超多黑毛的少妇 黑人巨大精品欧美一区二区 青柠视频在线观看高清bd 97人妻无码一区二区精品免费 日本公与熄完整版hd高清播放 97国语精品自产拍在线观看一 东北老妇爽大叫受不了 国产精品成人av片免费看 强行18分钟处破痛哭av 亚 洲 成 人 网站在线观看 又大又粗粉嫩18p少妇 波多野结衣办公室33分钟激情 无码不卡一区二区三区在线观看 宝贝好紧我太爽了再快点 村长压在小萍身上耕耘着 阳茎伸入女人阳道视频免费 新金瓶梅在线观看 夜夜被公侵犯的美人妻 日本人丰满xxxxhd 新金瓶梅在线观看 成人免费a级毛片韩国 各种姿势玩小处雏女视频 西西人体444www高清大胆 国产精品成人av片免费看 西西人体444www高清大胆 japanese18日本护士xxxx 午夜看片a福利在线观看 米奇欧美777四色影视在线 少妇spa私密推油按摩受不了 日本xx13一18处交高清 日本xx13一18处交高清 精品国产三级a在线观看 午夜爱爱免费视频无遮挡 欧美人与物videos另类 神马影院在线观看 米奇欧美777四色影视在线 无码亚洲精品久久 岳潮湿的大肥赵兰梅 全部露出来毛走秀福利视频 国产精品一区二区国产主播 97久久国产亚洲精品超碰热 高h禁伦餐桌上的肉伦np 97久久国产亚洲精品超碰热 亚洲精品国产va在线观看 男女啪啪真实无遮挡免费 精品国产福利在线观看 97精品国产品国语在线不卡 亚洲视频在线观看 小13箩利洗澡无码视频网站 国产农村乱子伦精品视频 农民伯伯乡下妹 亚洲综合色丁香婷婷六月图片 国产在线无码精品电影网 村长压在小萍身上耕耘着 国产精品一区二区国产主播 8大特征暗示你已经着床成功 午夜爱爱免费视频无遮挡 日本人丰满xxxxhd 97国语精品自产拍在线观看一 肥女巨肥bbwbbwbbwbw 影音先锋男人看片av资源网在线 国产成人精品无码短视频 蜜芽.tv.2722永不失联 高h禁伦餐桌上的肉伦np 少妇小慧的yin荡生活小说 艳鉧动漫1~6风车动漫 肥女巨肥bbwbbwbbwbw 一本一道波多野结衣av黑人 胖老太与人牲交bbwbbw高潮 午夜看片a福利在线观看 教练等不及在车里就来开始了 成绩差成为全班的玩具 美女张开腿露出尿口与奶头的照片 男女啪啪真实无遮挡免费 办公室双腿打开揉弄高潮 岳潮湿的大肥赵兰梅 午夜看片a福利在线观看 亚洲视频在线观看 暴露放荡的娇妻 黑人巨茎大战俄罗斯美女 妈妈的朋友在线 97国语精品自产拍在线观看一 香蕉久久久久久av成人 被老头下药玩好爽小雪 国产熟女一区二区三区 一本一道波多野结衣av黑人 被夫の上司持久侵犯耻辱 亚洲综合色丁香婷婷六月图片 精品一卡2卡三卡4卡含羞草 精品人妻无码一区二区三区 国产亚洲日韩av在线播放不卡 成年美女黄网站18禁免费看 永久免费av网站sm调教下载 钙片gay男男gv在线观看 中国女人68xxxxxxxxx 丝袜麻麻在我胯下娇吟 性xxxxfreexxxx孕妇 国内精品自国内精品自线下 荡女精品导航 777奇米四色成人影视色区 纯肉无遮挡h肉3d动漫在线观看 亚洲av无码专区国产精品 扒开粉嫩的小缝喷白浆h 99久久精品国产成人综合 久久精品国产亚洲av无码 少妇小慧的yin荡生活小说 艳鉧动漫1~6风车动漫 扒开粉嫩的小缝喷白浆h 香蕉久久久久久av成人 免费无遮挡黄漫画在线观看网站 偷窥厕所aaaaaa片偷窥 china激情老头69 国产精品毛片av一区二区三区 韩国理论电影 翁熄系列乱老扒 鸭王在线观看 国产成人精品无码短视频 放荡少妇张开双腿任人玩 美女裸体扒开尿口桶到爽 男人肉大捧进出女人视频 国产精品无码素人福利免费 强行18分钟处破痛哭av 被老头下药玩好爽小雪 久久精品国产亚洲av无码 午夜看片a福利在线观看 毛片24种姿势无遮无拦 翁熄禁欲乩伦小说 东北农村大坑乱肉一坑四女 漂亮人妻洗澡被公强 日日躁 亚洲.国产.欧美一区二区三区 女闺蜜把我下面摸到高潮喷水 被主人公开羞辱调教自慰 纯肉黄辣放荡高h调教 香蕉久久久久久av成人 欧美重囗味sm群虐视频 国产熟女一区二区三区 gogo专业大尺度亚洲高清人体 欧美激情乱人伦 国产在线无码精品电影网 被夫の上司持久侵犯耻辱 男女啪啪真实无遮挡免费 国产亚洲精品久久久久妲己 男人肉大捧进出女人视频 亚洲精品国产va在线观看 鸭王在线观看 私人情侣影院 天天做日日做天天添天天欢公交车 18禁无遮挡啪啪摇乳动态图 男人肉大捧进出女人视频 性欧美69式xxxx 领导在办公室含我奶头 国产亚洲日韩av在线播放不卡 无码不卡一区二区三区在线观看 2022年香港正版资料大全 纯禽小叔别太猛免费阅读 无遮挡吃胸膜奶免费看视频 东北老熟妇tubesexuhd 我的好妈妈5中字在线观看韩国 2022年香港正版资料大全 午夜看片a福利在线观看 东北老熟妇tubesexuhd 乱亲h女秽乱常伦农村 国产精品久久久久精品亚瑟 无码不卡一区二区三区在线观看 18禁无遮挡啪啪摇乳动态图 无码三级理论在线观看 办公室双腿打开揉弄高潮 西西大胆国模人体艺 村长压在小萍身上耕耘着 各种姿势玩小处雏女视频 男女啪啪真实无遮挡免费 精品人妻无码一区二区三区 sesese在线观看a片 国产熟女一区二区三区 东北老妇爽大叫受不了 翁熄系列乱老扒 亚洲视频在线观看 初尝少妇李梦茹 领导在办公室含我奶头 97久久国产亚洲精品超碰热 我的好妈妈5中字在线观看韩国 玩弄少妇高潮a片 各种姿势玩小处雏女视频 欧美大屁股xxxxhd黑色 护士故意露出奶头让我吃奶 纯肉黄辣放荡高h调教 free×性护士vidos呻吟 熟妇高潮一区二区高清视频 宝贝好紧我太爽了再快点 白洁一夜挨十炮二十章节 精品人妻无码一区二区三区 全部露出来毛走秀福利视频 久久精品国产亚洲av无码 私人情侣影院 熟妇高潮一区二区高清视频 杂交乱高h辣黄文np 放荡少妇张开双腿任人玩 国产成人精品无码短视频 纯肉黄辣放荡高h调教 钙片gay男男gv在线观看 亚洲综合无码一区二区三区不卡 扒开衣服摸双乳在公交里 丝袜麻麻在我胯下娇吟 gogo专业大尺度亚洲高清人体 放荡少妇张开双腿任人玩 蜜桃视频 日韩人妻无码免费视频一区二区三区 女人自慰摸下面动态图 精品国产福利在线观看 a片在线播放 玩弄少妇高潮a片 777奇米四色成人影视色区 日本人妻少妇乱子伦精品 色噜噜狠狠狠狠色综合久一 日本人丰满xxxxhd 在线观看 性xxxxfreexxxx孕妇 18禁无遮挡啪啪摇乳动态图 纯禽小叔别太猛免费阅读 精品国产综合区久久久久久 色资源av中文无码先锋 白洁一夜挨十炮二十章节 私人漂亮的女教师hd高清 扒开粉嫩的小缝喷白浆h 少女潘金莲 久久久久久精品免费免费69 范冰冰性xxxxhd杨幂性xxxxhd 女人自慰摸下面动态图 亲嘴扒胸摸屁股激烈网站 chinese武警痞帅男裸体gv网 双性受爽到不停的喷水bl 欧美在线视频 97人妻无码一区二区精品免费 无遮挡吃胸膜奶免费看视频 色资源av中文无码先锋 东北老妇爽大叫受不了 亚洲.国产.欧美一区二区三区 8大特征暗示你已经着床成功 米奇欧美777四色影视在线 国产成人精品无码短视频 美女张开腿露出尿口与奶头的照片 国产伦精品一区二区三区视频 性欧美69式xxxx japanese18日本护士xxxx 午夜看片a福利在线观看 男女疯狂做到高潮的小说 扒开粉嫩的小缝喷白浆h 欧美人与物videos另类 精品一卡2卡三卡4卡含羞草 漂亮人妻洗澡被公强 日日躁 午夜看片a福利在线观看 善良的妺妺hd高清中文 gogo专业大尺度亚洲高清人体 夜夜被公侵犯的美人妻 日本公与熄完整版hd高清播放 男人肉大捧进出女人视频 a片在线播放 国产精品毛片av一区二区三区 乱亲h女秽乱常伦农村 天天做日日做天天添天天欢公交车 钙片gay男男gv在线观看 图片区 小说区 区 亚洲五月 又黄又乱的口述小说乱之伦 亚洲va中文字幕无码一二三区 tube性老少配bbwcom 妈妈的朋友在线 范冰冰性xxxxhd杨幂性xxxxhd 荡女精品导航 玩弄少妇人妻 蜜臀av 中文字幕无码人妻影音先锋 人皇sky和moon视频 小嫩批日出水了免费看 人妻出轨合集500篇最新 双性受爽到不停的喷水bl 欧美同性猛男gay69 成人毛片18女人毛片免费看 西西大胆国模人体艺 99久久精品国产成人综合 翁熄系列乱老扒 国产热の有码热の无码视频 欧美激情乱人伦 99久久精品国产成人综合 亚洲成aⅴ人片久青草影院 8大特征暗示你已经着床成功 少女潘金莲 里番本子侵犯肉全彩触手 白洁一夜挨十炮二十章节 欧美重囗味sm群虐视频 漂亮人妻洗澡被公强 日日躁 攵女乱h边做边走 成 人 黄 三 级 影片 双性受爽到不停的喷水bl 钙片gay男男gv在线观看 被十几个男人扒开腿猛戳 天天做日日做天天添天天欢公交车 欧美在线视频 三人一起玩弄娇妻高潮 97精品国产品国语在线不卡 神马影院在线观看 扒开粉嫩的小缝喷白浆h 国产亚洲日韩av在线播放不卡 欧美xxxxzozo另类特级 美女裸体扒开尿口桶到爽 无遮挡吃胸膜奶免费看视频 97久久国产亚洲精品超碰热 欧美大屁股xxxxhd黑色 妈妈的朋友在线 毛片24种姿势无遮无拦 无遮挡吃胸膜奶免费看视频 永久免费av网站sm调教下载 善良的妺妺hd高清中文 欧美重囗味sm群虐视频 新金瓶梅在线观看 国产精品毛片av一区二区三区 各种姿势玩小处雏女视频 亚洲成aⅴ人片久青草影院 国产精品一区二区国产主播 女上男下啪啪激烈高潮无遮盖 天天做日日做天天添天天欢公交车 人妻放荡乱h文 老师喂我乳我脱她胸罩两性故事 日本xx13一18处交高清 男人肉大捧进出女人视频 小13箩利洗澡无码视频网站 乱亲h女秽乱常伦农村 老师喂我乳我脱她胸罩两性故事 啊…嗯啊好深男男腐文肉 av免费在线观看 女人自慰摸下面动态图 黑人巨大精品欧美一区二区 欧美在线视频 国产精品久久久久精品亚瑟 荡女精品导航 东北农村大坑乱肉一坑四女 china激情老头69 萧天策高薇薇全文免费阅读笔趣阁 china激情老头69 久久久久久精品免费免费直播中国 国产热の有码热の无码视频 精品久久久无码中文字幕vr 精品国产福利在线观看 欧美人与物videos另类 东北老妇爽大叫受不了 777奇米四色成人影视色区 熟妇人妻激情偷爽文 被主人公开羞辱调教自慰 全部露出来毛走秀福利视频 都市美妇岳女双飞 丝袜麻麻在我胯下娇吟 宝贝乖女水真多小芳全集 久久丫精品国产亚洲av 久久人妻av中文字幕 我的好妈妈5中字在线观看韩国 国产精品久久久久久久久免费 村长压在小萍身上耕耘着 偷窥厕所aaaaaa片偷窥 范冰冰性xxxxhd杨幂性xxxxhd 少妇小慧的yin荡生活小说 黑人巨茎大战俄罗斯美女 6一14幻女bbwxxxx在线播放 欧美freesex黑人又粗又大 国产精品一区二区国产主播 美女张开腿露出尿口与奶头的照片 艳鉧动漫1~6风车动漫 范冰冰性xxxxhd杨幂性xxxxhd 精品人妻无码一区二区三区 亲嘴扒胸摸屁股激烈网站 胖老太与人牲交bbwbbw高潮 日本xx13一18处交高清 少妇激情av一区二区三区 韩国理论电影 老师喂我乳我脱她胸罩两性故事 漂亮人妻洗澡被公强 日日躁 女人与公拘做受 亚洲.国产.欧美一区二区三区 乱亲h女秽乱常伦农村 国内精品自国内精品自线下 97精品国产品国语在线不卡 日本xx13一18处交高清 老师喂我乳我脱她胸罩两性故事 国产作爱激烈叫床视频 扒开粉嫩的小缝喷白浆h 东北农村大坑乱肉一坑四女 男女啪啪激烈高潮喷出gif免费 国产亚洲精品久久久久妲己 free×性护士vidos呻吟 毛片24种姿势无遮无拦 日本人妻少妇乱子伦精品 翁熄系列乱老扒 黑人巨茎大战俄罗斯美女 av免费在线观看 欧美高清 无码三级理论在线观看 2022年香港正版资料大全 无码三级理论在线观看 啊…嗯啊好深男男腐文肉 一本一道波多野结衣av黑人 少妇小慧的yin荡生活小说 全国疫情中高风险地区名单最新 精品国产综合区久久久久久 三人一起玩弄娇妻高潮 蜜桃视频 色资源av中文无码先锋 被十几个男人扒开腿猛戳 日韩人妻无码免费视频一区二区三区 日本人丰满xxxxhd 女上男下啪啪激烈高潮无遮盖 国产热の有码热の无码视频 tube性老少配bbwcom 岳潮湿的大肥赵兰梅 无码不卡一区二区三区在线观看 范冰冰性xxxxhd杨幂性xxxxhd 天天做日日做天天添天天欢公交车 精品国产_亚洲人成在线观看 武则天秘史 蜜芽.tv.2722永不失联 熟妇高潮一区二区高清视频 被夫の上司持久侵犯耻辱 东北老熟妇tubesexuhd 女人与公拘做受 神马影院 波多野结衣办公室33分钟激情 偷窥厕所aaaaaa片偷窥 久久丫精品国产亚洲av 图片区 小说区 区 亚洲五月 国产成人精品无码短视频 china激情老头69 japanese18日本护士xxxx 图片区 小说区 区 亚洲五月 av免费在线观看 2022年香港正版资料大全 色资源av中文无码先锋 老子午夜理论影院理论 欧美激情乱人伦 米奇欧美777四色影视在线 胖老太与人牲交bbwbbw高潮 纯禽小叔别太猛免费阅读 少妇小慧的yin荡生活小说 国产精品亚洲综合色区 放荡少妇张开双腿任人玩 老子午夜理论影院理论 少妇spa私密推油按摩受不了 久久久久久精品免费免费直播中国 少妇激情av一区二区三区 免费无遮挡黄漫画在线观看网站 夜夜被公侵犯的美人妻 艳鉧动漫1~6风车动漫 美女极品粉嫩美鮑20p图 萧天策高薇薇全文免费阅读笔趣阁 久久人妻av中文字幕 老子午夜理论影院理论 天天做日日做天天添天天欢公交车 天天做日日做天天添天天欢公交车 国产亚洲日韩av在线播放不卡 国产精品人成在线观看 精品久久久无码中文字幕vr 玩弄少妇高潮a片 亚洲视频在线观看 chinese武警痞帅男裸体gv网 阳茎伸入女人阳道视频免费 国产在线无码精品电影网 漂亮人妻洗澡被公强 日日躁 翁熄系列乱老扒 男女啪啪真实无遮挡免费 777奇米四色成人影视色区 japanese18日本护士xxxx 午夜爱爱免费视频无遮挡 被夫の上司持久侵犯耻辱 久久人妻av中文字幕 国产熟女一区二区三区 玩弄少妇人妻 精品人妻无码一区二区三区 japanese18日本护士xxxx 性xxxxfreexxxx孕妇 护士故意露出奶头让我吃奶 gogo专业大尺度亚洲高清人体 鸭王在线观看 97久久国产亚洲精品超碰热 国产伦精品一区二区三区视频 美女张开腿露出尿口与奶头的照片 韩国理论电影 欧美人与物videos另类 chinese武警痞帅男裸体gv网 武警肌肉男军人gay网站 精品一卡2卡三卡4卡含羞草 少妇spa私密推油按摩受不了 成绩差成为全班的玩具 国色天香最新视频在线观看 都市美妇岳女双飞 精品国产三级a在线观看 日本公与熄完整版hd高清播放 天天做日日做天天添天天欢公交车 里番本子侵犯肉全彩触手 av免费在线观看 精品久久久久久国产牛牛 翁熄禁欲乩伦小说 钙片gay男男gv在线观看 成人免费av片在线观看 东北农村大坑乱肉一坑四女 男男受被攻做哭娇喘声视频 偷窥厕所aaaaaa片偷窥 韩国理论电影 教练等不及在车里就来开始了 西西大胆国模人体艺 三级网站 全国疫情中高风险地区名单最新 精品久久久无码中文字幕vr 99久久精品国产成人综合 精品国产综合区久久久久久 gogo专业大尺度亚洲高清人体 亚洲综合色丁香婷婷六月图片 图片区 小说区 区 亚洲五月 亚洲视频在线观看 亚洲欧美日韩成人高清在线一区 精品久久久无码中文字幕vr 私人情侣影院 欧美人与物videos另类 gogo专业大尺度亚洲高清人体 夜夜被公侵犯的美人妻 a片在线播放 国产精品人成在线观看 女人自慰摸下面动态图 小嫩批日出水了免费看 少女潘金莲 亚洲.国产.欧美一区二区三区 人妻放荡乱h文 美女裸体扒开尿口桶到爽 荡女精品导航 国产精品久久久久精品亚瑟 精品人妻无码一区二区三区 纯禽小叔别太猛免费阅读 啊…嗯啊好深男男腐文肉 亚 洲 成 人 网站在线观看 被老头下药玩好爽小雪 三级网站 扶着人妻翘臀挺进 国产热の有码热の无码视频 亚洲综合无码一区二区三区不卡 神马影院 胖老太与人牲交bbwbbw高潮 无码亚洲精品久久 亚洲精品国产va在线观看 扒开粉嫩的小缝喷白浆h 国产特级毛片aaaaaa 玩弄少妇人妻 国产农村乱子伦精品视频 蜜芽.tv.2722永不失联 扶着人妻翘臀挺进 私人情侣影院 午夜看片a福利在线观看 黑人巨大精品欧美一区二区 攵女乱h边做边走 波多野结衣办公室33分钟激情 被主人公开羞辱调教自慰 翁熄系列乱老扒 东北老妇爽大叫受不了 农民伯伯乡下妹 丰满乱子伦无码专区 欧美freesex黑人又粗又大 小13箩利洗澡无码视频网站 久久精品国产亚洲av无码 村长压在小萍身上耕耘着 黑人巨大精品欧美一区二区 双性受爽到不停的喷水bl 女上男下啪啪激烈高潮无遮盖 精品久久久无码中文字幕vr gogo专业大尺度亚洲高清人体 美女张开腿露出尿口与奶头的照片 被夫の上司持久侵犯耻辱 白洁一夜挨十炮二十章节 女人与公拘做受 翁熄系列乱老扒 黑人巨茎大战俄罗斯美女 gogo专业大尺度亚洲高清人体 亚洲va中文字幕无码一二三区 sesese在线观看a片 成绩差成为全班的玩具 亚 洲 成 人 网站在线观看 三人一起玩弄娇妻高潮 荡女精品导航 护士故意露出奶头让我吃奶 97国语精品自产拍在线观看一 国产精品成人av片免费看 护士故意露出奶头让我吃奶 白洁小说 午夜爱爱免费视频无遮挡 被十几个男人扒开腿猛戳 成绩差成为全班的玩具 三级网站 国内精品自国内精品自线下 国产精品毛片av一区二区三区 各种姿势玩小处雏女视频 精品久久久久久国产牛牛 国产成人精品无码短视频 日本xx13一18处交高清 亚洲.国产.欧美一区二区三区 韩国女主播 国产在线无码精品电影网 杂交乱高h辣黄文np 被十几个男人扒开腿猛戳 免费无遮挡黄漫画在线观看网站 国产精品成人av片免费看 影音先锋男人看片av资源网在线 农民伯伯乡下妹 国产热の有码热の无码视频 护士故意露出奶头让我吃奶 亚洲综合无码一区二区三区不卡 gogo专业大尺度亚洲高清人体 8大特征暗示你已经着床成功 翁熄禁欲乩伦小说 精品国产三级a在线观看 18禁裸露啪啪网站免费漫画 午夜看片a福利在线观看 国产精品一区二区国产主播 午夜爱爱免费视频无遮挡 精品久久久久久国产牛牛 国产精品久久久久久久久免费 亚洲精品国产va在线观看 强行18分钟处破痛哭av 成人免费a级毛片韩国 小13箩利洗澡无码视频网站 韩国女主播 男女啪啪激烈高潮喷出gif免费 男男受被攻做哭娇喘声视频 翁熄禁欲乩伦小说 私人漂亮的女教师hd高清 日本公与熄完整版hd高清播放 又黄又乱的口述小说乱之伦 8大特征暗示你已经着床成功 yw尤物av无码国产在线看麻豆 国产成人精品无码短视频 阳茎伸入女人阳道视频免费 肥女巨肥bbwbbwbbwbw 国产在线无码精品电影网 扒开粉嫩的小缝喷白浆h 夜夜被公侵犯的美人妻 玩弄少妇高潮a片 萧天策高薇薇全文免费阅读笔趣阁 慈禧的秘密生活 男女啪啪激烈高潮喷出gif免费 老子午夜理论影院理论 白洁小说 教练等不及在车里就来开始了 色噜噜狠狠狠狠色综合久一 欧美重囗味sm群虐视频 东北老妇爽大叫受不了 国产精品人成在线观看 老阿姨bilibili视频 熟妇高潮一区二区高清视频 私人情侣影院 被老头下药玩好爽小雪 女人与公拘做受 成 人 黄 三 级 影片 天天做日日做天天添天天欢公交车 妈妈的朋友在线 国色天香最新视频在线观看 三级网站 成绩差成为全班的玩具 被夫の上司持久侵犯耻辱 翁熄系列乱老扒 斗罗大陆之小舞白丝玉足榨精 欧美激情乱人伦 久久丫精品国产亚洲av 玩弄少妇人妻 欧美人与物videos另类 精品国产综合区久久久久久 白洁小说 韩国女主播 图片区 小说区 区 亚洲五月 国产精品人成在线观看 6一14幻女bbwxxxx在线播放 宝贝乖女水真多小芳全集 女上男下啪啪激烈高潮无遮盖 艳鉧动漫1~6风车动漫 亚洲视频在线观看 钙片gay男男gv在线观看 人妻出轨合集500篇最新 私人情侣影院 初尝少妇李梦茹 韩国女主播 jizzjizzjizz亚洲熟妇无码 双性受爽到不停的喷水bl 久久久久久一区国产精品 午夜看片a福利在线观看 欧美freesex黑人又粗又大 亚洲.国产.欧美一区二区三区 天天做日日做天天添天天欢公交车 男女啪啪激烈高潮喷出gif免费 蜜臀av 黑人巨茎大战俄罗斯美女 善良的妺妺hd高清中文 新金瓶梅在线观看 18禁裸露啪啪网站免费漫画 无码亚洲精品久久 鸭王在线观看 亚洲av无码片vr一区二区三区 午夜爱爱免费视频无遮挡 97精品国产品国语在线不卡 女闺蜜把我下面摸到高潮喷水 日本公与熄完整版hd高清播放 午夜爱爱免费视频无遮挡 钙片gay男男gv在线观看 chinese武警痞帅男裸体gv网 钙片gay男男gv在线观看 国产伦精品一区二区三区视频 欧美日韩精品无码专区免费视频 av免费在线观看 玩弄少妇高潮a片 小嫩批日出水了免费看 熟妇人妻激情偷爽文 武则天秘史 女上男下啪啪激烈高潮无遮盖 暴露放荡的娇妻 攵女乱h边做边走 熟妇高潮一区二区高清视频 肥女巨肥bbwbbwbbwbw 国产亚洲日韩av在线播放不卡 国色天香最新视频在线观看 武警肌肉男军人gay网站 熟妇高潮一区二区高清视频 亚洲综合色丁香婷婷六月图片 日本人丰满xxxxhd 久久丫精品国产亚洲av 欧美在线视频 又黄又乱的口述小说乱之伦 成人免费av片在线观看 韩国理论电影 无码不卡一区二区三区在线观看 6一14幻女bbwxxxx在线播放 日韩人妻无码免费视频一区二区三区 办公室双腿打开揉弄高潮 国产精品毛片av一区二区三区 里番本子侵犯肉全彩触手 成人毛片18女人毛片免费看 日韩人妻无码免费视频一区二区三区 2022年香港正版资料大全 日本xx13一18处交高清 新金瓶梅在线观看 成人毛片18女人毛片免费看 艳鉧动漫1~6风车动漫 影音先锋男人看片av资源网在线 胖老太与人牲交bbwbbw高潮 村长压在小萍身上耕耘着 人妻放荡乱h文 东北老熟妇tubesexuhd 亚洲视频在线观看 女人与公拘做受 女人与公拘做受 领导在办公室含我奶头 全国疫情中高风险地区名单最新 国产精品亚洲综合色区 国产精品一区二区国产主播 毛片24种姿势无遮无拦 国产熟女老妇300部mp4 japanese18日本护士xxxx 新金瓶梅在线观看 蜜芽.tv.2722永不失联 亚洲综合无码一区二区三区不卡 强行18分钟处破痛哭av free×性护士vidos呻吟 成人免费av片在线观看 女人与公拘做受 亚洲综合无码一区二区三区不卡 18禁裸露啪啪网站免费漫画 亚洲av无码片vr一区二区三区 白洁一夜挨十炮二十章节 老阿姨bilibili视频 老阿姨bilibili视频 黑人巨大精品欧美一区二区 777奇米四色成人影视色区 欧美人与物videos另类 私人漂亮的女教师hd高清 国产精品一区二区国产主播 传奇私服发布网 jizzjizzjizz亚洲熟妇无码 国产农村乱子伦精品视频 精品国产综合区久久久久久 18禁无遮挡啪啪摇乳动态图 美女裸体扒开尿口桶到爽 三级网站 蜜臀av 东北农村大坑乱肉一坑四女 8大特征暗示你已经着床成功 成人毛片18女人毛片免费看 男男受被攻做哭娇喘声视频 永久免费av网站sm调教下载 东北老熟妇tubesexuhd 少女潘金莲 图片区 小说区 区 亚洲五月 仙踪林老狼网站欢迎您 女人与公拘做受 亚洲色精品vr一区二区三区 色久悠悠婷婷综合在线亚洲 午夜成人久久影院免费体验 农民伯伯乡下妹 18亚洲男同志 gay 网站 精品久久久无码中文字幕vr 国产作爱激烈叫床视频 神马影院在线观看 中文av岛国无码免费播放 纯肉无遮挡h肉3d动漫在线观看 欧美人与动人物牲交免费观看 阳茎伸入女人阳道视频免费 都市美妇岳女双飞 成人免费a级毛片韩国 午夜成人久久影院免费体验 故意短裙公车被强好爽在线播放 亚洲乱理伦片在线观看中字 久久久久久精品免费免费69 武警肌肉男军人gay网站 chinese小男生gay男男网站 女人自慰摸下面动态图 欧美人妖bbbbbxxxxxhd 扯开她的腿狠狠占有np 老师喂我乳我脱她胸罩两性故事 东北农村大坑乱肉一坑四女 无码不卡一区二区三区在线观看 亚洲乱理伦片在线观看中字 国产特级毛片aaaaaa sesese在线观看a片 大尺度床戏 sesese在线观看a片 韩国女主播 西西大胆国模人体艺 国产熟女一区二区三区 永久免费av网站sm调教下载 最近2019年中文字幕大全 欧美猛少妇色xxxxx 三级网站 韩国演艺圈悲惨事件 8大特征暗示你已经着床成功 洗澡被公强奷30分钟视频 国产熟女一区二区三区 亚洲の无码 国产の无码 仙踪林老狼网站欢迎您 性欧美69式xxxx 幻女bbwxxxx呦女 扒开粉嫩的小缝喷白浆h 亚 洲 成 人 网站在线观看 三人一起玩弄娇妻高潮 宁北苏清荷小说全文免费阅读 国产精品亚洲综合色区 free×性护士vidos呻吟 都市美妇岳女双飞 各种姿势玩小处雏女视频 97国语精品自产拍在线观看一 久久丫精品国产亚洲av 性xxxxfreexxxx孕妇 被强行糟蹋过程小说 性欧美69式xxxx 中文av岛国无码免费播放 王梅的陪读性经历 黑人狂虐中国人妻陈艳 无码三级理论在线观看 东北农村大坑乱肉一坑四女 色资源av中文无码先锋 故意短裙公车被强好爽在线播放 萧天策高薇薇全文免费阅读笔趣阁 欧美猛少妇色xxxxx 久久久久久精品免费免费69 美女张开腿露出尿口与奶头的照片 厕所偷窥chinaxxxx 久久久久久精品免费免费69 羞羞影院 日韩人妻无码免费视频一区二区三区 斗罗大陆之小舞白丝玉足榨精 暴露放荡的娇妻 欧美视频毛片在线播放 亚洲の无码 国产の无码 荡女精品导航 gogo专业大尺度亚洲高清人体 宁北苏清荷小说全文免费阅读 1000部禁片未18勿进免费观看 成人免费视频在线观看 精品久久久无码中文字幕vr 西西人体444www高清大胆 亚洲av无码片vr一区二区三区 国产精品人成在线观看 艳鉧动漫1~6风车动漫 荨麻疹初期症状图片 艳鉧动漫1~6风车动漫 日本被黑人强伦姧人妻完整版 国产伦精品一区二区三区视频 老阿姨bilibili视频 萧天策高薇薇全文免费阅读笔趣阁 日本人妻少妇乱子伦精品 欧美freesex黑人又粗又大 sesese在线观看a片 故意短裙公车被强好爽在线播放 我的好妈妈5中字在线观看韩国 国产精品亚洲综合色区 办公室双腿打开揉弄高潮 夜夜被公侵犯的美人妻 8大特征暗示你已经着床成功 国产gay高中生小鲜肉屁股 大尺度电影 日韩人妻无码免费视频一区二区三区 私人情侣影院 国产gay高中生小鲜肉屁股 欧美人妖bbbbbxxxxxhd 亚洲av永久无码精品4k岛国 大尺度床戏 钙片gay男男gv在线观看 幻女bbwxxxx呦女 欧美大屁股xxxxhd黑色 人妻无码一区二区三区免费 我的好妈妈5中字在线观看韩国 市委书记玩弄新婚少妇小说 三人一起玩弄娇妻高潮 女闺蜜把我下面摸到高潮喷水 神马影院达达兔 男女疯狂做到高潮的小说 无码专区丰满人妻斩六十路 翁熄禁欲乩伦小说 欧美freesex黑人又粗又大 亚洲综合无码一区二区三区不卡 羞羞影院 亚 洲 成 人 网站在线观看 老阿姨bilibili视频 天天综合色天天综合色hd yw尤物av无码国产在线看麻豆 特大巨黑吊av在线播放 艳鉧动漫1~6风车动漫 欧美在线视频 亚洲视频在线观看 jizzjizzjizz亚洲熟妇无码 老师喂我乳我脱她胸罩两性故事 强行18分钟处破痛哭av 又黄又乱的口述小说乱之伦 我被继夫添我阳道舒服 色一情一乱一伦一小说免费看 97精品国产品国语在线不卡 sesese在线观看a片 国产精品免费久久久久九九 毛片24种姿势无遮无拦 私人情侣影院 各种姿势玩小处雏女视频 亚洲视频在线观看 熟妇高潮一区二区高清视频 成年美女黄网站18禁免费看 性xxxxfreexxxx孕妇 亚洲av无码片vr一区二区三区 杂交乱高h辣黄文np 王梅的陪读性经历 欧美重囗味sm群虐视频 米奇欧美777四色影视在线 白洁小说 啊…嗯啊好深男男腐文肉 艳鉧动漫1~6风车动漫 熟妇高潮一区二区高清视频 波多野结衣办公室33分钟激情 国产热の有码热の无码视频 各种姿势玩小处雏女视频 国产gay高中生小鲜肉屁股 神马影院达达兔 亚洲av无码专区国产精品 成年美女黄网站18禁免费看 女人与公拘做受 扶着人妻翘臀挺进 chinese小男生gay男男网站 萧天策高薇薇全文免费阅读笔趣阁 领导在办公室含我奶头 人妻无码一区二区三区免费 萧天策高薇薇全文免费阅读笔趣阁 纯肉无遮挡h肉3d动漫在线观看 成年美女黄网站18禁免费看 幻女bbwxxxx呦女 扒开衣服摸双乳在公交里 美女张开腿露出尿口与奶头的照片 97国语精品自产拍在线观看一 国产精品毛片av一区二区三区 白丝表妺的下面好湿好紧h 啊…嗯啊好深男男腐文肉 精品久久久无码中文字幕vr 美女裸体扒开尿口桶到爽 一本一道波多野结衣av黑人 偷窥厕所aaaaaa片偷窥 2022年香港正版资料大全 欧美人体xxxx在线观看 国产精品亚洲综合色区 欧美人与动人物牲交免费观看 国产精品白浆无码流出 av资源 熟妇高潮一区二区高清视频 韩国演艺圈悲惨事件 纯肉黄辣放荡高h调教 香港特级三a毛片免费观看 小13箩利洗澡无码视频网站 西西大胆国模人体艺 大尺度电影 国色天香最新视频在线观看 杂交乱高h辣黄文np 国产热の有码热の无码视频 神马影院在线观看 精品国产福利在线观看 私人情侣影院 扒开粉嫩的小缝喷白浆h 精品久久久无码中文字幕vr 乱系列140章系列全目录 成 人 黄 三 级 影片 熟妇高潮一区二区高清视频 成人免费a级毛片韩国 japan极品人妻videos 国产精品成人av片免费看 欧洲美女粗暴牲交免费观看 特大巨黑吊av在线播放 双性受爽到不停的喷水bl free×性护士vidos呻吟 翁熄禁欲乩伦小说 强行18分钟处破痛哭av 外国未满10周岁a片 放荡少妇张开双腿任人玩 熟妇人妻激情偷爽文 一本一道波多野结衣av黑人 一本一道波多野结衣av黑人 日本被黑人强伦姧人妻完整版 韩国演艺圈悲惨事件 我被继夫添我阳道舒服 宁北苏清荷小说全文免费阅读 白洁小说 各种姿势玩小处雏女视频 男男受被攻做哭娇喘声视频 无码专区丰满人妻斩六十路 精品国产_亚洲人成在线观看 欧美视频毛片在线播放 武警肌肉男军人gay网站 sesese在线观看a片 欧美xxxxzozo另类特级 故意短裙公车被强好爽在线播放 日韩人妻无码免费视频一区二区三区 老师喂我乳我脱她胸罩两性故事 男人肉大捧进出女人视频 扒开粉嫩的小缝喷白浆h 波多野结衣办公室33分钟激情 性欧美69式xxxx 精品免费一区二区三区在 1000部禁片未18勿进免费观看 都市美妇岳女双飞 女人与公拘做受 久久人妻av中文字幕 女人自慰摸下面动态图 少妇spa私密推油按摩受不了 yw尤物av无码国产在线看麻豆 黑人狂虐中国人妻陈艳 欧美人与物videos另类 国产特级毛片aaaaaa 亚洲.国产.欧美一区二区三区 欧美重囗味sm群虐视频 黑人巨茎大战俄罗斯美女 国产精品免费久久久久九九 成 人 黄 三 级 影片 欧美freesex黑人又粗又大 18禁无遮挡啪啪摇乳动态图 国产精品亚洲综合色区 国产精品成人av片免费看 色资源av中文无码先锋 扯开她的腿狠狠占有np 都市美妇岳女双飞 杂交乱高h辣黄文np 武警肌肉男军人gay网站 中国女人68xxxxxxxxx 欧美重囗味sm群虐视频 最近2019年中文字幕大全 永久免费av网站sm调教下载 萧天策高薇薇全文免费阅读笔趣阁 色资源av中文无码先锋 成人免费视频在线观看 无码亚洲精品久久 无码亚洲精品久久 国产亚洲人成a在线v网站 私人漂亮的女教师hd高清 荡女精品导航 美女视频图片 女上男下啪啪激烈高潮无遮盖 扯开她的腿狠狠占有np 女人自慰摸下面动态图 亚洲综合无码一区二区三区不卡 厕所偷窥撒尿wcpeeingtube 漂亮人妻洗澡被公强 日日躁 无码不卡一区二区三区在线观看 99久久精品国产成人综合 市委书记玩弄新婚少妇小说 厕所偷窥chinaxxxx 国产精品人成在线观看 高h禁伦餐桌上的肉伦np 米奇欧美777四色影视在线 仙踪林老狼网站欢迎您 亚洲.国产.欧美一区二区三区 一本一道波多野结衣av黑人 国产熟女一区二区三区 国产精品亚洲综合色区 亚洲精品国产va在线观看 亚洲av无码片vr一区二区三区 亲嘴扒胸摸屁股激烈网站 各种姿势玩小处雏女视频 领导在办公室含我奶头 私人情侣影院 羞羞影院 无码亚洲精品久久 在线观看 初尝少妇李梦茹 2022年香港正版资料大全 草草视频 黑人巨茎大战俄罗斯美女 亚洲色精品vr一区二区三区 久久国产精品男人的天堂 男男受被攻做哭娇喘声视频 波多野结衣办公室33分钟激情 亚洲成aⅴ人片久青草影院 少妇spa私密推油按摩受不了 神马影院在线观看 免费无遮挡黄漫画在线观看网站 国产gay高中生小鲜肉屁股 国产精品久久久久久久久免费 亚洲.国产.欧美一区二区三区 chinese小男生gay男男网站 8大特征暗示你已经着床成功 宁北苏清荷小说全文免费阅读 成年美女黄网站18禁免费看 萧天策高薇薇全文免费阅读笔趣阁 亚 洲 成 人 网站在线观看 啊…嗯啊好深男男腐文肉 久久国产精品男人的天堂 厕所偷窥chinaxxxx 国产特级毛片aaaaaa 乱系列140章系列全目录 777奇米四色成人影视色区 乱系列140章系列全目录 我和虎狼之年的岳135章 av资源 人妻出轨合集500篇最新 午夜成人久久影院免费体验 免费无遮挡黄漫画在线观看网站 白洁小说 熟妇高潮一区二区高清视频 久久国产精品男人的天堂 翁熄乩伦小说目录 成人在线观看 杂交乱高h辣黄文np 最近2019年中文字幕大全 国产a级特黄的片子 男女疯狂做到高潮的小说 精品久久久久久国产牛牛 被主人公开羞辱调教自慰 被主人公开羞辱调教自慰 王梅的陪读性经历 国产作爱激烈叫床视频 6一14幻女bbwxxxx在线播放 chinese武警痞帅男裸体gv网 久久久久久精品免费免费69 白丝表妺的下面好湿好紧h sesese在线观看a片 扯开她的腿狠狠占有np 强行18分钟处破痛哭av 色一情一乱一伦一小说免费看 新金瓶梅在线观看 女人自慰摸下面动态图 韩国女主播 仙踪林老狼网站欢迎您 精品国产_亚洲人成在线观看 亚洲va中文字幕无码一二三区 欧美猛少妇色xxxxx 我的好妈妈5中字在线观看韩国 被夫の上司持久侵犯耻辱 老师喂我乳我脱她胸罩两性故事 国产a级特黄的片子 成人免费a级毛片韩国 亚洲色精品vr一区二区三区 欧美人与动人物牲交免费观看 被主人公开羞辱调教自慰 西西人体444www高清大胆 幻女bbwxxxx呦女 国产熟女一区二区三区 日本公与熄完整版hd高清播放 国产伦精品一区二区三区视频 熟妇人妻激情偷爽文 白洁小说 成人免费视频在线观看 胖老太与人牲交bbwbbw高潮 私人漂亮的女教师hd高清 欧美人与物videos另类 乱系列140章系列全目录 啊…嗯啊好深男男腐文肉 成人免费a级毛片韩国 美女张开腿露出尿口与奶头的照片 亚洲vr国产日韩综合vr 扒开衣服摸双乳在公交里 97人妻无码一区二区精品免费 无码三级理论在线观看 日韩人妻无码免费视频一区二区三区 幻女bbwxxxx呦女 传奇私服发布网 小嫩批日出水了免费看 18禁裸露啪啪网站免费漫画 国产成人精品无码短视频 美女张开腿露出尿口与奶头的照片 国产亚洲精品久久久久妲己 国产a级特黄的片子 三人一起玩弄娇妻高潮 国产精品久久久久精品亚瑟 小嫩批日出水了免费看 99久久精品国产成人综合 一本一道波多野结衣av黑人 人妻无码一区二区三区免费 成年美女黄网站18禁免费看 久久久久久精品免费免费69 夜夜被公侵犯的美人妻 宝贝好紧我太爽了再快点 欧美人体xxxx在线观看 欧美人与物videos另类 免费无遮挡黄漫画在线观看网站 啊…嗯啊好深男男腐文肉 熟妇高潮一区二区高清视频 厕所偷窥chinaxxxx 人妻出轨合集500篇最新 国产亚洲精品久久久久妲己 久久久久久精品免费免费69 精品久久久久久国产牛牛 日韩人妻无码免费视频一区二区三区 色一情一乱一伦一小说免费看 草草视频 女上男下啪啪激烈高潮无遮盖 女闺蜜把我下面摸到高潮喷水 范冰冰性xxxxhd杨幂性xxxxhd 久久人妻av中文字幕 白丝表妺的下面好湿好紧h china激情老头69 成年美女黄网站18禁免费看 欧美视频毛片在线播放 无码专区丰满人妻斩六十路 午夜成人久久影院免费体验 胖老太与人牲交bbwbbw高潮 日产亚洲一区二区三区 精品免费一区二区三区在 仙踪林老狼网站欢迎您 少妇小慧的yin荡生活小说 啊…嗯啊好深男男腐文肉 欧美人与物videos另类 亚 洲 成 人 网站在线观看 午夜成人久久影院免费体验 最近2019年中文字幕大全 市委书记玩弄新婚少妇小说 亚洲av无码专区国产精品 漂亮人妻洗澡被公强 日日躁 攵女乱h边做边走 成年美女黄网站18禁免费看 欧美重囗味sm群虐视频 如何自罚必须非常疼又无声 日韩人妻无码免费视频一区二区三区 成人在线观看 夜夜被公侵犯的美人妻 扒开衣服摸双乳在公交里 日本人丰满xxxxhd 男男受被攻做哭娇喘声视频 18禁裸露啪啪网站免费漫画 新金瓶梅在线观看 久久丫精品国产亚洲av 纯肉无遮挡h肉3d动漫在线观看 熟妇人妻激情偷爽文 我被继夫添我阳道舒服 成年美女黄网站18禁免费看 a片在线播放 国产精品久久久久久久久免费 无遮挡在线18禁免费观看完整 私人漂亮的女教师hd高清 草草视频 小13箩利洗澡无码视频网站 男女真人后进式动态图 漂亮人妻洗澡被公强 日日躁 国产chinasex对白videos麻豆 黑人狂虐中国人妻陈艳 av资源 米奇欧美777四色影视在线 国产特级毛片aaaaaa 亚洲精品国产va在线观看 翁熄乩伦小说目录 成年美女黄网站18禁免费看 亚洲.国产.欧美一区二区三区 幻女bbwxxxx呦女 最近2019年中文字幕大全 日本人丰满xxxxhd 农民伯伯乡下妹 久久久久久精品免费免费直播中国 中国女人68xxxxxxxxx china激情老头69 亚洲成aⅴ人片久青草影院 japan极品人妻videos 久久久久久一区国产精品 成年美女黄网站18禁免费看 国产精品久久久久精品亚瑟 无码专区丰满人妻斩六十路 女人爽到高潮视频免费直播1 色资源av中文无码先锋 欧美freesex黑人又粗又大 外国未满10周岁a片 男男受被攻做哭娇喘声视频 人久久精品中文字幕无码小明47 老阿姨bilibili视频 亚洲.国产.欧美一区二区三区 纯肉黄辣放荡高h调教 a片在线播放 国产精品久久久久久久久免费 新金瓶梅在线观看 黑人巨茎大战俄罗斯美女 神马影院达达兔 国产熟女一区二区三区 老阿姨bilibili视频 西西人体444www高清大胆 亚洲.国产.欧美一区二区三区 亚洲av永久无码精品4k岛国 羞羞影院 市委书记玩弄新婚少妇小说 男人肉大捧进出女人视频 范冰冰性xxxxhd杨幂性xxxxhd 又黄又乱的口述小说乱之伦 亚洲中文字幕无码第一区 啊…嗯啊好深男男腐文肉 人久久精品中文字幕无码小明47 特大巨黑吊av在线播放 无码不卡一区二区三区在线观看 色资源av中文无码先锋 6一14幻女bbwxxxx在线播放 sesese在线观看a片 日韩人妻无码免费视频一区二区三区 日本公与熄完整版hd高清播放 国产在线精品国自产拍影院同性 亚洲av无码片vr一区二区三区 久久久久久精品免费免费69 亚洲中文字幕无码第一区 暴露放荡的娇妻 高h禁伦餐桌上的肉伦np 被主人公开羞辱调教自慰 6一14幻女bbwxxxx在线播放 国产精品亚洲综合色区 国产精品久久久久久久久免费 国产熟女一区二区三区 亚洲色精品vr一区二区三区 西西人体444www高清大胆 亚洲av无码片vr一区二区三区 亚洲视频在线观看 国产亚洲精品久久久久妲己 厕所偷窥chinaxxxx 国产亚洲人成a在线v网站 精品久久久无码中文字幕vr 我被继夫添我阳道舒服 2022年香港正版资料大全 王梅的陪读性经历 私人情侣影院 女人自慰摸下面动态图 日本人丰满xxxxhd 被强行糟蹋过程小说 亚洲av无码专区国产精品 性欧美69式xxxx 斗罗大陆之小舞白丝玉足榨精 女上男下啪啪激烈高潮无遮盖 西西人体444www高清大胆 亚洲色精品vr一区二区三区 王梅的陪读性经历 永久免费不卡在线观看黄网站 边做饭边被躁bd 我和虎狼之年的岳135章 性xxxxfreexxxxx粗暴 三级网站 亚洲视频在线观看 扯开她的腿狠狠占有np 8大特征暗示你已经着床成功 人久久精品中文字幕无码小明47 午夜成人久久影院免费体验 日本xx13一18处交高清 胖老太与人牲交bbwbbw高潮 亚洲成aⅴ人片久青草影院 日产亚洲一区二区三区 翁熄系列乱老扒 天天综合色天天综合色hd 国产精品人成在线观看 一本一道波多野结衣av黑人 777奇米四色成人影视色区 性欧美69式xxxx free×性护士vidos呻吟 私人漂亮的女教师hd高清 国产精品久久久久精品亚瑟 日产亚洲一区二区三区 亚洲av永久无码精品4k岛国 宝贝好紧我太爽了再快点 草草视频 都市美妇岳女双飞 国产热の有码热の无码视频 亚洲欧美日韩成人高清在线一区 亚洲视频在线观看 熟妇人妻激情偷爽文 韩国演艺圈悲惨事件 高h禁伦餐桌上的肉伦np chinese武警痞帅男裸体gv网 纯肉无遮挡h肉3d动漫在线观看 sesese在线观看a片 亚洲av无码专区国产精品 夜夜被公侵犯的美人妻 18禁无遮挡啪啪摇乳动态图 黑人狂虐中国人妻陈艳 宁北苏清荷小说全文免费阅读 色一情一乱一伦一小说免费看 国产熟女一区二区三区 8大特征暗示你已经着床成功 国产gay高中生小鲜肉屁股 翁熄乩伦小说目录 厕所偷窥chinaxxxx 被主人公开羞辱调教自慰 如何自罚必须非常疼又无声 天天综合色天天综合色hd 王梅的陪读性经历 free×性护士vidos呻吟 欧美人与动人物牲交免费观看 国产作爱激烈叫床视频 王梅的陪读性经历 毛片24种姿势无遮无拦 97精品国产品国语在线不卡 动漫成人无码免费视频在线播 色久悠悠婷婷综合在线亚洲 扯开她的腿狠狠占有np 扶着人妻翘臀挺进 2022年香港正版资料大全 av资源 国产特级毛片aaaaaa 亚 洲 成 人 网站在线观看 国产精品成人av片免费看 国产亚洲人成a在线v网站 里番本子侵犯肉全彩触手 厕所偷窥撒尿wcpeeingtube 阳茎伸入女人阳道视频免费 最近2019年中文字幕大全 sesese在线观看a片 日本人妻少妇乱子伦精品 老阿姨bilibili视频 偷窥厕所aaaaaa片偷窥 夜夜被公侵犯的美人妻 都市美妇岳女双飞 被老头下药玩好爽小雪 欧美猛少妇色xxxxx 黑人巨茎大战俄罗斯美女 香港特级三a毛片免费观看 仙踪林老狼网站欢迎您 精品国产福利在线观看 东北农村大坑乱肉一坑四女 美女裸体扒开尿口桶到爽 色一情一乱一伦一小说免费看 免费无遮挡黄漫画在线观看网站 久久人妻av中文字幕 办公室双腿打开揉弄高潮 白洁小说 乱亲h女秽乱常伦农村 乱系列140章系列全目录 无码亚洲精品久久 国产亚洲精品久久久久妲己 钙片gay男男gv在线观看 厕所偷窥chinaxxxx 老阿姨bilibili视频 亚洲av无码专区国产精品 美女裸体扒开尿口桶到爽 china激情老头69 又大又粗粉嫩18p少妇 国产精品国产免费无码专区不卡 亚洲vr国产日韩综合vr free×性护士vidos呻吟 宁北苏清荷小说全文免费阅读 欧美xxxxzozo另类特级 gogo专业大尺度亚洲高清人体 为什么做的时候要喊他名字 亲嘴扒胸摸屁股激烈网站 日韩人妻无码免费视频一区二区三区 国产伦精品一区二区三区视频 漂亮人妻洗澡被公强 日日躁 洗澡被公强奷30分钟视频 精品久久久无码中文字幕vr 精品久久久久久国产牛牛 国产熟女一区二区三区 大尺度电影 人妻出轨合集500篇最新 边做饭边被躁bd 荨麻疹初期症状图片 亚洲欧美日韩成人高清在线一区 亚洲av无码专区国产精品 2022年香港正版资料大全 国产精品免费久久久久九九 白丝表妺的下面好湿好紧h 亚洲vr国产日韩综合vr 天天综合色天天综合色hd 色一情一乱一伦一小说免费看 色久悠悠婷婷综合在线亚洲 国产精品白浆无码流出 外国未满10周岁a片 欧美人妖bbbbbxxxxxhd 边做饭边被躁bd 斗罗大陆之小舞白丝玉足榨精 亚洲av无码片vr一区二区三区 中文字幕无码人妻影音先锋 毛很浓密超多黑毛的少妇 色资源av中文无码先锋 国产特级毛片aaaaaa 日本人丰满xxxxhd 18禁裸露啪啪网站免费漫画 钙片gay男男gv在线观看 永久免费av网站sm调教下载 少妇小慧的yin荡生活小说 日本人妻少妇乱子伦精品 西西人体444www高清大胆 色久悠悠婷婷综合在线亚洲 亚洲vr国产日韩综合vr 永久免费av网站sm调教下载 国产精品免费久久久久九九 传奇私服发布网 亚洲va中文字幕无码一二三区 我和虎狼之年的岳135章 乱系列140章系列全目录 里番本子侵犯肉全彩触手 国产精品人成在线观看 性xxxxfreexxxxx粗暴 胖老太与人牲交bbwbbw高潮 18亚洲男同志 gay 网站 欧美重囗味sm群虐视频 纯肉黄辣放荡高h调教 女人与公拘做受 乱亲h女秽乱常伦农村 午夜看片a福利在线观看 a片在线播放 乱亲h女秽乱常伦农村 国产精品国产免费无码专区不卡 边做饭边被躁bd 国产熟女一区二区三区 新金瓶梅在线观看 草草视频 精品国产_亚洲人成在线观看 纯肉黄辣放荡高h调教 我的好妈妈5中字在线观看韩国 农民伯伯乡下妹 精品免费一区二区三区在 艳鉧动漫1~6风车动漫 暴露放荡的娇妻 日本xx13一18处交高清 国产亚洲人成a在线v网站 荡女精品导航 欧美在线视频 成人在线观看 强行18分钟处破痛哭av 18禁无遮挡啪啪摇乳动态图 国产精品人成在线观看 国色天香最新视频在线观看 偷窥厕所aaaaaa片偷窥 白丝表妺的下面好湿好紧h 草草视频 free×性护士vidos呻吟 私人情侣影院 故意短裙公车被强好爽在线播放 最近2019年中文字幕大全 女人自慰摸下面动态图 女人自慰摸下面动态图 japan极品人妻videos 无遮挡在线18禁免费观看完整 大尺度床戏 永久免费av网站sm调教下载 男女真人后进式动态图 王梅的陪读性经历 色资源av中文无码先锋 市委书记玩弄新婚少妇小说 双性受爽到不停的喷水bl 黑人狂虐中国人妻陈艳 动漫成人无码免费视频在线播 熟妇人妻激情偷爽文 少妇spa私密推油按摩受不了 精品国产_亚洲人成在线观看 女人自慰摸下面动态图 私人漂亮的女教师hd高清 亚洲成aⅴ人片久青草影院 为什么做的时候要喊他名字 国产作爱激烈叫床视频 领导在办公室含我奶头 熟妇人妻激情偷爽文 双性受爽到不停的喷水bl 日韩人妻无码免费视频一区二区三区 亲嘴扒胸摸屁股激烈网站 成人免费a级毛片韩国 亚洲av无码专区国产精品 无码专区丰满人妻斩六十路 国产gay高中生小鲜肉屁股 厕所偷窥撒尿wcpeeingtube 被老头下药玩好爽小雪 无翼乌萝全彩侵犯本子h 我和虎狼之年的岳135章 性欧美69式xxxx a片在线播放 yellow最新免费观看 里番本子侵犯肉全彩触手 天天做日日做天天添天天欢公交车 里番本子侵犯肉全彩触手 为什么做的时候要喊他名字 钙片gay男男gv在线观看 又黄又乱的口述小说乱之伦 色一情一乱一伦一小说免费看 亚洲av无码片vr一区二区三区 我和虎狼之年的岳135章 精品久久久久久国产牛牛 又大又粗粉嫩18p少妇 无遮挡在线18禁免费观看完整 久久久久久一区国产精品 成年美女黄网站18禁免费看 如何自罚必须非常疼又无声 无码专区丰满人妻斩六十路 精品国产福利在线观看 日本人丰满xxxxhd 久久丫精品国产亚洲av 私人情侣影院 锕锕锕锕好大不要坐上来 香港特级三a毛片免费观看 熟妇人妻激情偷爽文 激烈的性高湖波多野结衣 av电影网站 毛很浓密超多黑毛的少妇 久久丫精品国产亚洲av av免费在线观看 艳鉧动漫1~6风车动漫 国产亚洲人成a在线v网站 双性受爽到不停的喷水bl 亚洲中文字幕无码第一区 亚洲综合无码一区二区三区不卡 japan极品人妻videos 强行征服邻居人妻hd高清 香港特级三a毛片免费观看 在线日本妇人成熟免费 双性受爽到不停的喷水bl 国产精品白浆无码流出 鸭王在线观看 china激情老头69 日本人妻巨大乳挤奶水app 韩国三级激情理论电影 夜夜被公侵犯的美人妻 攵女乱h边做边走 久久精品国产第一区二区三区 攵女乱h边做边走 欧美在线视频 国产伦精品一区二区三区视频 mm131美女做爽爽爱视频 国产在线精品国自产拍影院同性 宁北苏清荷小说全文免费阅读 久久人妻av中文字幕 南海灵通铝锭价格今日铝价 熟妇高潮一区二区高清视频 日本被黑人强伦姧人妻完整版 亚洲乱理伦片在线观看中字 娇…柳员外(禁断高h) 南海灵通铝锭价格今日铝价 掀起少妇的裙子挺进去短篇小说 欧美人体xxxx在线观看 国产精品国产免费无码专区不卡 日本被黑人强伦姧人妻完整版 萧天策高薇薇全文免费阅读笔趣阁 杂交乱高h辣黄文np 熟妇高潮一区二区高清视频 97国语精品自产拍在线观看一 精品国产福利在线观看 东北农村大坑乱肉一坑四女 仙踪林老狼网站欢迎您 边做饭边被躁bd 日本人妻巨大乳挤奶水app 又大又粗粉嫩18p少妇 亚洲va中文字幕无码一二三区 国产欧美va欧美va香蕉在线 韩国女主播 杂交乱高h辣黄文np 成 人 黄 三 级 影片 东北农村大坑乱肉一坑四女 国产精品人成在线观看 在线日本妇人成熟免费 韩国女主播 人妻出轨合集500篇最新 国产特级毛片aaaaaa 香港特级三a毛片免费观看 一本一道波多野结衣av黑人 欧美人与动人物牲交免费观看 三级网站 乱亲h女秽乱常伦农村 亚洲中文字幕无码第一区 绝伦老人公肉翻波多野结衣3 国产欧美va欧美va香蕉在线 久久国产精品男人的天堂 扒开粉嫩的小缝喷白浆h 熟妇高潮一区二区高清视频 女人夜夜春精品a片 我和虎狼之年的岳135章 农夫导航美国十次va导航 japan极品人妻videos 国产在线精品国自产拍影院同性 国产熟女老妇300部mp4 三级网站 国产精品国产免费无码专区不卡 日本人妻巨大乳挤奶水app 性xxxxfreexxxx孕妇 南海灵通铝锭价格今日铝价 强行18分钟处破痛哭av 精品国产福利在线观看 在线无码免费的毛片视频 18亚洲男同志 gay 网站 亚洲综合无码一区二区三区不卡 国产精品白浆无码流出 久久久久久精品免费免费直播中国 锕锕锕锕好大不要坐上来 yellow最新免费观看 国产精品白浆无码流出 少妇spa私密推油按摩受不了 玩弄少妇人妻 日本人妻巨大乳挤奶水免费 国内精品自国内精品自线下 亚洲视频在线观看 中文av岛国无码免费播放 亚洲.国产.欧美一区二区三区 chinese老太交videos 翁熄系列乱老扒 人妻无码一区二区三区免费 日本人妻巨大乳挤奶水app 初尝少妇李梦茹 放荡少妇张开双腿任人玩 强行18分钟处破痛哭av 精品国产福利在线观看 锕锕锕锕好大不要坐上来 韩国三级激情理论电影 啊…嗯啊好深男男腐文肉 三级网站 武警肌肉男军人gay网站 国产精品色综合国产精品 成人免费视频在线观看 动漫成人无码免费视频在线播 国产a级特黄的片子 纯肉黄辣放荡高h调教 东北农村大坑乱肉一坑四女 国产作爱激烈叫床视频 被强行糟蹋过程小说 最近2019年中文字幕大全 精品一卡2卡三卡4卡含羞草 亚洲av无码片vr一区二区三区 做爰全过程免费的叫床看视频 亚洲中文字幕无码第一区 国产精品免费久久久久九九 熟妇人妻激情偷爽文 大尺度床戏 亚洲色精品vr一区二区三区 国产熟女一区二区三区 被强行糟蹋过程小说 欧美另类69xxxxx 翁熄系列乱老扒 japan极品人妻videos china激情老头69 娇…柳员外(禁断高h) 97精品国产品国语在线不卡 亚洲av无码专区久久蜜芽 美女裸体扒开尿口桶到爽 羞羞影院 各种姿势玩小处雏女视频 中文字幕无码人妻影音先锋 女人自慰摸下面动态图 欧美啪啪 美女极品粉嫩美鮑20p图 西西人体444www高清大胆 在线无码免费的毛片视频 欧美人与动人物牲交免费观看 chinese小男生gay男男网站 娇…柳员外(禁断高h) 亚洲av无码一区二区三区在线观看 国产欧美va欧美va香蕉在线 亚洲乱理伦片在线观看中字 丝袜麻麻在我胯下娇吟 农夫导航美国十次va导航 精品久久久无码中文字幕vr 久久人妻av中文字幕 男男高h强迫高潮play调教 成人免费视频在线观看 国产精品人成在线观看 亚洲中文久久精品无码照片 萧天策高薇薇全文免费阅读笔趣阁 在线无码一区二区三区不卡 武警肌肉男军人gay网站 掀起少妇的裙子挺进去短篇小说 激烈的性高湖波多野结衣 亚洲中文字幕无码第一区 精品免费一区二区三区在 国产精品国产免费无码专区不卡 天天做日日做天天添天天欢公交车 新金瓶梅在线观看 新一本二卡三卡四卡乱码 两个人免费完整视频高清 18禁裸露啪啪网站免费漫画 777奇米四色成人影视色区 性xxxxfreexxxx孕妇 被强行糟蹋过程小说 亚洲中文字幕无码第一区 亚洲欧美日韩成人高清在线一区 精品久久久无码中文字幕vr 丝袜麻麻在我胯下娇吟 天天做日日做天天添天天欢公交车 锕锕锕锕好大不要坐上来 中国女人68xxxxxxxxx 美女裸体扒开尿口桶到爽 被夫の上司持久侵犯耻辱 欧美啪啪 亚洲色精品vr一区二区三区 国产成人精品无码短视频 他的手挤进我胸罩里揉搓 yw尤物av无码国产在线看麻豆 精品国产综合区久久久久久 武警肌肉男军人gay网站 被夫の上司持久侵犯耻辱 国产亚洲精品久久久久妲己 翁熄乩伦小说目录 精品国产综合区久久久久久 纯肉无遮挡h肉3d动漫在线观看 少妇小慧的yin荡生活小说 国产gay高中生小鲜肉屁股 欧美人与动人物牲交免费观看 一本一道波多野结衣av黑人 国产a级特黄的片子 成人免费视频在线观看 国产熟女老妇300部mp4 成年美女黄网站18禁免费看 亚洲av永久无码精品4k岛国 天天做日日做天天添天天欢公交车 欧美猛少妇色xxxxx 国产亚洲日韩av在线播放不卡 欧美啪啪 国内精品自国内精品自线下 在镜头里被cao翻了h 宝贝好紧我太爽了再快点 阳茎伸入女人阳道视频免费 香港特级三a毛片免费观看 丝袜麻麻在我胯下娇吟 日本xx13一18处交高清 玩弄少妇人妻 三级网站 新金瓶梅在线观看 幻女bbwxxxx呦女 传奇私服发布网 亚洲vr国产日韩综合vr 国产gay高中生小鲜肉屁股 纯肉黄辣放荡高h调教 夜夜被公侵犯的美人妻 阳茎伸入女人阳道视频免费 玩弄少妇人妻 无遮挡在线18禁免费观看完整 精品久久久无码中文字幕vr 神马影院达达兔 国产成人亚洲精品青草 chinese小男生gay男男网站 小13箩利洗澡无码视频网站 欧美人体xxxx在线观看 国产熟女一区二区三区 少妇spa私密推油按摩受不了 成年美女黄网站18禁免费看 香港特级三a毛片免费观看 三人一起玩弄娇妻高潮 18亚洲男同志 gay 网站 无码亚洲精品久久 萧天策高薇薇全文免费阅读笔趣阁 男男受被攻做哭娇喘声视频 国产特级毛片aaaaaa 久久精品国产第一区二区三区 韩国三级激情理论电影 白洁一夜挨十炮二十章节 纯肉无遮挡h肉3d动漫在线观看 老司机福利导航 曰本女人牲交全过程免费观看 欧美人体xxxx在线观看 亚洲综合无码一区二区三区不卡 美女视频图片 荨麻疹初期症状图片 东北农村大坑乱肉一坑四女 国产大片纵欲丰满a片 强行18分钟处破痛哭av 亚洲色精品vr一区二区三区 国产精品国产免费无码专区不卡 在镜头里被cao翻了h 成人在线观看 攵女乱h边做边走 大尺度床戏 艳鉧动漫1~6风车动漫 熟妇高潮一区二区高清视频 国产亚洲人成a在线v网站 怎么试探妈妈愿不愿意做 精品一卡2卡三卡4卡含羞草 japan极品人妻videos 久久人妻av中文字幕 扶着人妻翘臀挺进 欧美啪啪 双性受爽到不停的喷水bl 人妻出轨合集500篇最新 武则天秘史 yellow最新免费观看 a级毛片免费全部播放 无遮挡在线18禁免费观看完整 国产精品 强行征服邻居人妻hd高清 国产开嫩苞实拍在线播放视频 人妻出轨合集500篇最新 亚洲av无码专区国产精品 亚洲综合无码一区二区三区不卡 欧美视频毛片在线播放 亚洲色精品vr一区二区三区 china激情老头69 毛片24种姿势无遮无拦 国产作爱激烈叫床视频 性xxxxfreexxxx孕妇 香港特级三a毛片免费观看 韩国演艺圈悲惨事件 欧美视频毛片在线播放 中文av岛国无码免费播放 漂亮人妻洗澡被公强 日日躁 敌伦交换第11部分 china激情老头69 欧美猛少妇色xxxxx 都市美妇岳女双飞 成绩差成为全班的玩具 国产精品国产免费无码专区不卡 午夜成人久久影院免费体验 欧美freesex黑人又粗又大 yw尤物av无码国产在线看麻豆 午夜看片a福利在线观看 黑人巨茎大战俄罗斯美女 纯肉无遮挡h肉3d动漫在线观看 武则天秘史 国产精品色综合国产精品 美女张开腿露出尿口与奶头的照片 欧美重囗味sm群虐视频 国产精品免费久久久久九九 日本人妻少妇乱子伦精品 最近2019年中文字幕大全 亚洲av无码一区二区三区在线观看 97精品国产品国语在线不卡 国产大片纵欲丰满a片 男男受被攻做哭娇喘声视频 成年美女黄网站18禁免费看 日本xx13一18处交高清 国产精品国产免费无码专区不卡 国产精品国产免费无码专区不卡 敌伦交换第11部分 亚洲va中文字幕无码一二三区 女人夜夜春精品a片 武则天秘史 久久人妻av中文字幕 chinese武警痞帅男裸体gv网 国产特级毛片aaaaaa 强行18分钟处破痛哭av 萧天策高薇薇全文免费阅读笔趣阁 仙踪林老狼网站欢迎您 欧美高清 神马影院达达兔 超碰人人爽爽人人爽人人 少妇小慧的yin荡生活小说 仙踪林老狼网站欢迎您 攵女乱h边做边走 国产作爱激烈叫床视频 国产蜜臀av在线一区 亚洲.国产.欧美一区二区三区 国产伦精品一区二区三区视频 午夜看片a福利在线观看 久久久久久精品免费免费69 成年美女黄网站18禁免费看 人妻出轨合集500篇最新 精品一卡2卡三卡4卡含羞草 攵女乱h边做边走 精品久久久无码中文字幕vr 教练等不及在车里就来开始了 毛片24种姿势无遮无拦 av免费在线观看 日本被黑人强伦姧人妻完整版 韩国女主播 强行18分钟处破痛哭av 艳鉧动漫1~6风车动漫 男男高h强迫高潮play调教 杂交乱高h辣黄文np 被主人公开羞辱调教自慰 小13箩利洗澡无码视频网站 被夫の上司持久侵犯耻辱 yw尤物av无码国产在线看麻豆 做爰全过程免费的叫床看视频 韩国女主播 双性受爽到不停的喷水bl 亚洲.国产.欧美一区二区三区 杂交乱高h辣黄文np 午夜看片a福利在线观看 mm131美女做爽爽爱视频 性xxxxfreexxxx孕妇 又黄又乱的口述小说乱之伦 韩国女主播 久久久久久精品免费免费直播中国 扒开粉嫩的小缝喷白浆h 久久人妻av中文字幕 a级毛片免费全部播放 超碰人人爽爽人人爽人人 翁熄禁欲乩伦小说 夜夜被公侵犯的美人妻 男男高h强迫高潮play调教 欧美xxxxzozo另类特级 人妻出轨合集500篇最新 chinese老太交videos 健身房被疯狂双龙bl 被十几个男人扒开腿猛戳 久久丫精品国产亚洲av 又大又粗粉嫩18p少妇 黑人巨茎大战俄罗斯美女 攵女乱h边做边走 萧天策高薇薇全文免费阅读笔趣阁 阳茎伸入女人阳道视频免费 国产在线乱子伦一区二区 国产gay高中生小鲜肉屁股 国产作爱激烈叫床视频 男生晚上睡不着想看点片 女人爽到高潮视频免费直播1 欧美人体xxxx在线观看 初尝少妇李梦茹 漂亮人妻洗澡被公强 日日躁 漂亮人妻洗澡被公强 日日躁 国产亚洲人成a在线v网站 欧美人与物videos另类 各种姿势玩小处雏女视频 china激情老头69 边做饭边被躁bd 永久免费av网站sm调教下载 mm131美女做爽爽爱视频 欧美在线视频 纯肉黄辣放荡高h调教 熟妇高潮一区二区高清视频 老司机福利导航 欧美高清 韩国三级激情理论电影 各种姿势玩小处雏女视频 成人在线观看 美女极品粉嫩美鮑20p图 毛片24种姿势无遮无拦 男生晚上睡不着想看点片 新一本二卡三卡四卡乱码 健身房被疯狂双龙bl 久久久久久精品免费免费直播中国 宁北苏清荷小说全文免费阅读 三级网站 娇…柳员外(禁断高h) 亚洲中文字幕无码第一区 锕锕锕锕好大不要坐上来 绝伦老人公肉翻波多野结衣3 欧美freesex黑人又粗又大 成人免费a级毛片免费 都市美妇岳女双飞 乱亲h女秽乱常伦农村 日本被黑人强伦姧人妻完整版 杂交乱高h辣黄文np 各种姿势玩小处雏女视频 亚洲欧美日韩成人高清在线一区 国产亚洲精品久久久久妲己 成人免费a级毛片免费 精品一卡2卡三卡4卡含羞草 国产熟女老妇300部mp4 gogo专业大尺度亚洲高清人体 亚洲av无码一区二区三区在线观看 欧美猛少妇色xxxxx 私人情侣影院 毛片24种姿势无遮无拦 最近2019年中文字幕大全 杂交乱高h辣黄文np 中国女人68xxxxxxxxx 亚洲vr国产日韩综合vr 亚洲av无码片vr一区二区三区 黑人狂虐中国人妻陈艳 黑人巨茎大战俄罗斯美女 美女视频图片 永久免费不卡在线观看黄网站 新一本二卡三卡四卡乱码 新金瓶梅在线观看 日本xx13一18处交高清 欧美猛少妇色xxxxx 成人免费a级毛片免费 新一本二卡三卡四卡乱码 欧美啪啪 成 人 黄 三 级 影片 国色天香最新视频在线观看 玩弄少妇人妻 yellow最新免费观看 乱亲h女秽乱常伦农村 女人爽到高潮视频免费直播1 国产成人亚洲精品青草 又黄又乱的口述小说乱之伦 国内精品自国内精品自线下 午夜看片a福利在线观看 毛很浓密超多黑毛的少妇 他的手挤进我胸罩里揉搓 双性受爽到不停的喷水bl 永久免费不卡在线观看黄网站 被强行糟蹋过程小说 国产熟女一区二区三区 双性受爽到不停的喷水bl 性xxxxfreexxxx孕妇 国产精品色综合国产精品 成人免费a级毛片免费 双性受爽到不停的喷水bl 怎么试探妈妈愿不愿意做 欧美重囗味sm群虐视频 毛很浓密超多黑毛的少妇 人妻出轨合集500篇最新 被强行糟蹋过程小说 羞羞影院 久久国产精品男人的天堂 男男高h强迫高潮play调教 国产精品白浆无码流出 他的手挤进我胸罩里揉搓 亚洲av无码专区国产精品 女人夜夜春精品a片 亚洲va中文字幕无码一二三区 日本人妻少妇乱子伦精品 japan极品人妻videos 又大又粗粉嫩18p少妇 少妇激情av一区二区三区 他扒开我的胸罩吸奶头 国产熟女老妇300部mp4 杂交乱高h辣黄文np 欧美freesex黑人又粗又大 范冰冰性xxxxhd杨幂性xxxxhd 日韩人妻无码免费视频一区二区三区 武警肌肉男军人gay网站 我和虎狼之年的岳135章 性xxxxfreexxxx孕妇 他扒开我的胸罩吸奶头 亚洲中文字幕无码第一区 武警肌肉男军人gay网站 最近2019年中文字幕大全 被十几个男人扒开腿猛戳 午夜成人久久影院免费体验 男女啪啪激烈高潮喷出gif免费 最近2019年中文字幕大全 中国女人68xxxxxxxxx 欧美人妖bbbbbxxxxxhd china13末成年videos野外 成年美女黄网站18禁免费看 精品国产福利在线观看 精品免费一区二区三区在 少妇激情av一区二区三区 中文字幕av无码不卡免费 农夫导航美国十次va导航 都市美妇岳女双飞 日本人妻少妇乱子伦精品 欧美人与动人物牲交免费观看 亚洲色精品vr一区二区三区 亚洲.国产.欧美一区二区三区 gogo专业大尺度亚洲高清人体 欧美另类69xxxxx 国产伦精品一区二区三区视频 国产精品人成在线观看 攵女乱h边做边走 武则天秘史 色一情一乱一伦一小说免费看 米奇欧美777四色影视在线 大尺度电影 欧美猛少妇色xxxxx 激烈的性高湖波多野结衣 娇…柳员外(禁断高h) 教练等不及在车里就来开始了 阳茎伸入女人阳道视频免费 18禁无遮挡啪啪摇乳动态图 白丝表妺的下面好湿好紧h 女人自慰摸下面动态图 大尺度床戏 亚洲av永久无码精品4k岛国 白洁小说 又黄又乱的口述小说乱之伦 成年美女黄网站18禁免费看 亚洲中文久久精品无码照片 国产在线乱子伦一区二区 国产精品毛片av一区二区三区 a片在线播放 女上男下啪啪激烈高潮无遮盖 超碰人人爽爽人人爽人人 国产精品免费久久久久九九 厕所偷窥chinaxxxx 各种姿势玩小处雏女视频 欧美啪啪 强行征服邻居人妻hd高清 纯肉黄辣放荡高h调教 办公室双腿打开揉弄高潮 青柠视频在线观看高清bd 敌伦交换第11部分 欧美在线视频 亲嘴扒胸摸屁股激烈网站 超碰人人爽爽人人爽人人 香蕉久久久久久av成人 人妻出轨合集500篇最新 国产亚洲人成a在线v网站 日本人妻少妇乱子伦精品 国产gay高中生小鲜肉屁股 蜜桃视频 丝袜麻麻在我胯下娇吟 国产精品久久久久久久久免费 精品国产_亚洲人成在线观看 小13箩利洗澡无码视频网站 小13箩利洗澡无码视频网站 熟妇人妻激情偷爽文 欧美重囗味sm群虐视频 阳茎伸入女人阳道视频免费 他扒开我的胸罩吸奶头 农夫导航美国十次va导航 杂交乱高h辣黄文np 欧美激情乱人伦 被夫の上司持久侵犯耻辱 欧美视频毛片在线播放 gogo专业大尺度亚洲高清人体 久久丫精品国产亚洲av 幻女bbwxxxx呦女 亚洲av无码一区二区三区在线观看 女人爽到高潮视频免费直播1 日本人丰满xxxxhd 成人在线观看 精品国产福利在线观看 国产精品免费久久久久九九 我和虎狼之年的岳135章 暴露放荡的娇妻 国色天香最新视频在线观看 做爰全过程免费的叫床看视频 老子午夜理论影院理论 亚洲va中文字幕无码一二三区 国产在线精品国自产拍影院同性 农民伯伯乡下妹 色噜噜狠狠狠狠色综合久一 亚洲色精品vr一区二区三区 办公室双腿打开揉弄高潮 国产a级特黄的片子 日本人妻少妇乱子伦精品 我被继夫添我阳道舒服 武则天秘史 欧美猛少妇色xxxxx 午夜成人久久影院免费体验 男生晚上睡不着想看点片 午夜爱爱免费视频无遮挡 人妻无码一区二区三区免费 纯禽小叔别太猛免费阅读 两个人免费完整视频高清 亚洲の无码 国产の无码 洗澡被公强奷30分钟视频 美女张开腿露出尿口与奶头的照片 仙踪林老狼网站欢迎您 欧美视频毛片在线播放 被十几个男人扒开腿猛戳 gogo专业大尺度亚洲高清人体 精品久久久无码中文字幕vr 又大又粗粉嫩18p少妇 杂交乱高h辣黄文np 翁熄禁欲乩伦小说 亚洲中文久久精品无码照片 亚洲中文久久精品无码照片 yw尤物av无码国产在线看麻豆 色一情一乱一伦一小说免费看 老阿姨bilibili视频 纯禽小叔别太猛免费阅读 两个人免费完整视频高清 妈妈的朋友在线 男女啪啪激烈高潮喷出gif免费 chinese小男生gay男男网站 久久丫精品国产亚洲av 夜夜被公侵犯的美人妻 熟妇高潮一区二区高清视频 丝袜麻麻在我胯下娇吟 国产热の有码热の无码视频 男男受被攻做哭娇喘声视频 国产熟女老妇300部mp4 成绩差成为全班的玩具 日本人妻巨大乳挤奶水免费 精品国产综合区久久久久久 健身房被疯狂双龙bl 国产精品色综合国产精品 美女裸体扒开尿口桶到爽 国产大片纵欲丰满a片 宁北苏清荷小说全文免费阅读 毛很浓密超多黑毛的少妇 蜜桃视频 传奇私服发布网 纯肉无遮挡h肉3d动漫在线观看 6一14幻女bbwxxxx在线播放 鸭王在线观看 蜜桃视频 国产精品 一本一道波多野结衣av黑人 大尺度床戏 国产蜜臀av在线一区 精品国产福利在线观看 肥女巨肥bbwbbwbbwbw 欧美freesex黑人又粗又大 亚洲の无码 国产の无码 扒开粉嫩的小缝喷白浆h 美女裸体扒开尿口桶到爽 萧天策高薇薇全文免费阅读笔趣阁 国内精品自国内精品自线下 人皇sky和moon视频 国内精品自国内精品自线下 美女视频图片 翁熄系列乱老扒 国产a级特黄的片子 漂亮人妻洗澡被公强 日日躁 18禁无遮挡啪啪摇乳动态图 韩国三级激情理论电影 日本xx13一18处交高清 荡女精品导航 纯禽小叔别太猛免费阅读 欧美人妖bbbbbxxxxxhd 各种姿势玩小处雏女视频 亚洲.国产.欧美一区二区三区 萧天策高薇薇全文免费阅读笔趣阁 国产大片纵欲丰满a片 国产精品国产免费无码专区不卡 韩国女主播 萧天策高薇薇全文免费阅读笔趣阁 南海灵通铝锭价格今日铝价 农民伯伯乡下妹 精品久久久无码中文字幕vr 三级网站 各种姿势玩小处雏女视频 欧美人与动人物牲交免费观看 妈妈的朋友在线 掀起少妇的裙子挺进去短篇小说 av免费在线观看 传奇私服发布网 艳鉧动漫1~6风车动漫 神马影院达达兔 漂亮人妻洗澡被公强 日日躁 人皇sky和moon视频 国产在线精品国自产拍影院同性 熟妇人妻激情偷爽文 乱亲h女秽乱常伦农村 男男高h强迫高潮play调教 羞羞影院 被主人公开羞辱调教自慰 精品人妻无码一区二区三区 国色天香最新视频在线观看 三人一起玩弄娇妻高潮 亚洲vr国产日韩综合vr 荨麻疹初期症状图片 国产精品久久久久精品亚瑟 王梅的陪读性经历 东北老熟妇tubesexuhd 为什么做的时候要喊他名字 yellow最新免费观看 国产亚洲人成a在线v网站 各种姿势玩小处雏女视频 国产亚洲人成a在线v网站 国产精品久久久久精品亚瑟 再深点灬舒服灬太大了小说 亚洲av无码一区二区三区在线观看 漂亮人妻洗澡被公强 日日躁 玩弄少妇高潮a片 人妻无码一区二区三区免费 神马影院我不卡 做爰全过程免费的叫床看视频 国产精品无码素人福利免费 电车美人强奷系列在线播放bd 欧美日韩精品无码专区免费视频 特大巨黑吊av在线播放 亚洲av永久无码精品4k岛国 国产精品人成在线观看 成人免费a级毛片免费 中文字幕av无码不卡免费 欧美猛少妇色xxxxx 在镜头里被cao翻了h 全国疫情中高风险地区名单最新 高h禁伦餐桌上的肉伦np 国产a级特黄的片子 韩国演艺圈悲惨事件 永久免费不卡在线观看黄网站 婷婷丁香五月 欧美人与动人物牲交免费观看 久久久久久精品免费免费69 国产精品一区二区国产主播 国产精品国产免费无码专区不卡 亚洲av无码专区久久蜜芽 丝袜麻麻在我胯下娇吟 草草视频 国产精品免费久久久久九九 他扒开我的胸罩吸奶头 欧美同性猛男gay69 男女疯狂做到高潮的小说 chinese武警痞帅男裸体gv网 女闺蜜把我下面摸到高潮喷水 亚洲中文字幕无码第一区 欧美猛少妇色xxxxx 国产熟女一区二区三区 国产熟女老妇300部mp4 亚洲色精品vr一区二区三区 怎么试探妈妈愿不愿意做 韩国理论电影 国产欧美va欧美va香蕉在线 人妻无码一区二区三区免费 久久人妻av中文字幕 男女真人后进式动态图 扯开她的腿狠狠占有np 被十几个男人扒开腿猛戳 男女疯狂做到高潮的小说 av免费在线观看 亚洲综合无码一区二区三区不卡 欧美特黄a级高清免费大片a片 女闺蜜把我下面摸到高潮喷水 国产农村乱子伦精品视频 娇…柳员外(禁断高h) 无码专区丰满人妻斩六十路 阳茎伸入女人阳道视频免费 女人自慰摸下面动态图 玩弄少妇高潮a片 阳茎伸入女人阳道视频免费 色一情一乱一伦一小说免费看 亚洲综合色丁香婷婷六月图片 美女裸体扒开尿口桶到爽 纯肉无遮挡h肉3d动漫在线观看 国产亚洲精品久久久久妲己 精品人妻无码一区二区三区 为什么做的时候要喊他名字 亚洲视频在线观看 yellow最新免费观看 亚洲av永久无码精品4k岛国 精品国产免费一区二区三区 色噜噜狠狠狠狠色综合久一 男女啪啪真实无遮挡免费 亚洲av无码一区二区三区在线观看 东北老妇爽大叫受不了 国产特级毛片aaaaaa 亚洲乱理伦片在线观看中字 久久99国产综合精合精品 女人自慰摸下面动态图 无遮挡吃胸膜奶免费看视频 色资源av中文无码先锋 6一14幻女bbwxxxx在线播放 强行18分钟处破痛哭av 男男受被攻做哭娇喘声视频 我被继夫添我阳道舒服 18亚洲男同志 gay 网站 国产亚洲人成a在线v网站 yellow最新免费观看 熟妇人妻激情偷爽文 被老头下药玩好爽小雪 蜜芽.tv.2722永不失联 女人与公拘做受 国产亚洲精品无码无需播放器 亚洲.国产.欧美一区二区三区 国产精品国产免费无码专区不卡 丰满人妻一区二区三区视频53 18亚洲男同志 gay 网站 97久久国产亚洲精品超碰热 无遮挡在线18禁免费观看完整 国产蜜臀av在线一区 男女啪啪真实无遮挡免费 欧美日韩精品无码专区免费视频 日韩人妻无码免费视频一区二区三区 china激情老头69 荷兰肥妇bbwbbwbbw 再深点灬舒服灬太大了小说 国产在线乱子伦一区二区 人久久精品中文字幕无码小明47 再深点灬舒服灬太大了小说 国产在线无码精品电影网 国产精品久久久久精品亚瑟 无码不卡一区二区三区在线观看 做爰全过程免费的叫床看视频 a片在线播放 婷婷丁香五月 韩国三级激情理论电影 欧美同性猛男gay69 东北老熟妇tubesexuhd 香港特级三a毛片免费观看 范冰冰性xxxxhd杨幂性xxxxhd 国产蜜臀av在线一区 私人情侣影院 成人免费a级毛片韩国 阳茎伸入女人阳道视频免费 国产chinasex对白videos麻豆 亚洲综合色丁香婷婷六月图片 黑人狂虐中国人妻陈艳 毛片24种姿势无遮无拦 china13末成年videos野外 精品免费一区二区三区在 里番本子侵犯肉全彩触手 国产在线无码精品电影网 翁熄乩伦小说目录 8大特征暗示你已经着床成功 蜜芽.tv.2722永不失联 五月丁香六月综合欧美久久 男女边摸边吃奶边做视频免费 女人爽到高潮视频免费直播1 丝袜麻麻在我胯下娇吟 人妻无码一区二区三区免费 精品久久久无码中文字幕vr 美女裸体扒开尿口桶到爽 tube性老少配bbwcom 蜜芽.tv.2722永不失联 欧美性受xxxx狂喷水 武警肌肉男军人gay网站 成人毛片18女人毛片免费看 荷兰肥妇bbwbbwbbw 两个人免费完整视频高清 大尺度电影 色噜噜狠狠狠狠色综合久一 大桥未久亚洲无av码在线 岳潮湿的大肥赵兰梅 男人肉大捧进出女人视频 武警肌肉男军人gay网站 吴北唐紫怡小说免费阅读 欧美猛少妇色xxxxx 被强行糟蹋过程小说 超碰人人爽爽人人爽人人 久久精品国产亚洲av无码 夜夜被公侵犯的美人妻 午夜看片a福利在线观看 健身房被疯狂双龙bl 国产成人亚洲精品青草 宝贝好紧我太爽了再快点 厕所偷窥撒尿wcpeeingtube 无遮挡在线18禁免费观看完整 欧美激情乱人伦 各种姿势玩小处雏女视频 国产作爱激烈叫床视频 里番本子侵犯肉全彩触手 熟妇人妻激情偷爽文 久久99国产综合精合精品 少女潘金莲 成绩差成为全班的玩具 国产特级毛片aaaaaa 初尝少妇李梦茹 岳潮湿的大肥赵兰梅 扯开她的腿狠狠占有np 老子午夜理论影院理论 亚洲欧美日韩成人高清在线一区 在线日本妇人成熟免费 暴露放荡的娇妻 欧美freesex黑人又粗又大 美女张开腿露出尿口与奶头的照片 亚洲中文久久精品无码照片 都市美妇岳女双飞 女人夜夜春精品a片 欧美激情乱人伦 精品久久久无码中文字幕vr 亚洲视频在线观看 永久免费不卡在线观看黄网站 国色天香最新视频在线观看 宁北苏清荷小说全文免费阅读 男女边摸边吃奶边做视频免费 都市美妇岳女双飞 荷兰肥妇bbwbbwbbw 色一情一乱一伦一小说免费看 tube性老少配bbwcom 女人与公拘做受 我的好妈妈5中字在线观看韩国 av资源 被十几个男人扒开腿猛戳 国色天香最新视频在线观看 武则天秘史 国产精品国产免费无码专区不卡 纯肉无遮挡h肉3d动漫在线观看 做爰全过程免费的叫床看视频 翁熄禁欲乩伦小说 777奇米四色成人影视色区 偷窥厕所aaaaaa片偷窥 荨麻疹初期症状图片 在镜头里被cao翻了h 吴北唐紫怡小说免费阅读 扒开粉嫩的小缝喷白浆h 欧美重囗味sm群虐视频 宁北苏清荷小说全文免费阅读 成人免费视频在线观看 做爰全过程免费的叫床看视频 亚洲va中文字幕无码一二三区 永久免费不卡在线观看黄网站 2022年香港正版资料大全 东北老妇爽大叫受不了 我的好妈妈5中字在线观看韩国 范冰冰性xxxxhd杨幂性xxxxhd 亚洲av无码专区国产精品 美女极品粉嫩美鮑20p图 亚洲av无码一区二区三区在线观看 国产熟女一区二区三区 办公室双腿打开揉弄高潮 日本被黑人强伦姧人妻完整版 欧美重囗味sm群虐视频 怎么试探妈妈愿不愿意做 mm131美女做爽爽爱视频 成人免费视频在线观看 chinese武警痞帅男裸体gv网 被主人公开羞辱调教自慰 chinese老太交videos 国产成人精品无码短视频 亚洲欧美日韩成人高清在线一区 无码三级理论在线观看 我的好妈妈5中字在线观看韩国 97精品国产品国语在线不卡 china13末成年videos野外 精品国产免费一区二区三区 掀起少妇的裙子挺进去短篇小说 永久免费av网站sm调教下载 国产在线精品国自产拍影院同性 欧美同性猛男gay69 扯开她的腿狠狠占有np 国产亚洲精品久久久久妲己 国产在线无码精品电影网 少女潘金莲 熟妇高潮一区二区高清视频 亚洲乱理伦片在线观看中字 男女真人后进式动态图 亚洲va中文字幕无码一二三区 武警肌肉男军人gay网站 国产a级特黄的片子 free×性护士vidos呻吟 欧美激情乱人伦 亚洲av无码片vr一区二区三区 吴北唐紫怡小说免费阅读 男女疯狂做到高潮的小说 人妻无码一区二区三区免费 欧洲美女粗暴牲交免费观看 永久免费av网站sm调教下载 双性含着老师的根写作业bl 纯肉黄辣放荡高h调教 厕所偷窥撒尿wcpeeingtube 东北农村大坑乱肉一坑四女 神马影院 男男高h强迫高潮play调教 yellow最新免费观看 av资源 做爰全过程免费的叫床看视频 亚洲综合无码一区二区三区不卡 扒开粉嫩的小缝喷白浆h 美女裸体扒开尿口桶到爽 在线日本妇人成熟免费 chinese小男生gay男男网站 厕所偷窥chinaxxxx 国产亚洲人成a在线v网站 强行征服邻居人妻hd高清 国产伦精品一区二区三区视频 国产gay高中生小鲜肉屁股 他扒开我的胸罩吸奶头 影音先锋男人看片av资源网在线 国产chinasex对白videos麻豆 永久免费不卡在线观看黄网站 亚洲av无码专区久久蜜芽 777奇米四色成人影视色区 厕所偷窥撒尿wcpeeingtube 最近2019年中文字幕大全 韩国演艺圈悲惨事件 亚洲中文久久精品无码照片 chinese小男生gay男男网站 av资源 亚洲vr国产日韩综合vr free×性护士vidos呻吟 欧美freesex黑人又粗又大 韩国三级激情理论电影 掀起少妇的裙子挺进去短篇小说 掀起少妇的裙子挺进去短篇小说 中国女人68xxxxxxxxx 久久丫精品国产亚洲av 国产伦精品一区二区三区视频 国产亚洲精品无码无需播放器 在线无码免费的毛片视频 99久久精品国产成人综合 yellow最新免费观看 中国女人68xxxxxxxxx a级毛片免费全部播放 欧美猛少妇色xxxxx 国产成人精品无码短视频 精品人妻无码一区二区三区 日本人妻巨大乳挤奶水app free×性护士vidos呻吟 永久免费av网站sm调教下载 china激情老头69 精品国产三级a在线观看 国产精品成人av片免费看 玩弄少妇高潮a片 私人情侣影院 全国疫情中高风险地区名单最新 强行征服邻居人妻hd高清 亚洲成a人无码亚洲成a无码l 国产特级毛片aaaaaa 偷窥厕所aaaaaa片偷窥 国产亚洲人成a在线v网站 欧美激情乱人伦 中文字幕在线播放 久久国产精品男人的天堂 毛片24种姿势无遮无拦 色一情一乱一伦一小说免费看 影音先锋男人看片av资源网在线 中国女人68xxxxxxxxx 厕所偷窥撒尿wcpeeingtube 成年美女黄网站18禁免费看 国产a级特黄的片子 强行18分钟处破痛哭av 97精品国产品国语在线不卡 美女张开腿露出尿口与奶头的照片 亚洲综合色丁香婷婷六月图片 a片在线播放 久久人妻av中文字幕 武警肌肉男军人gay网站 亲嘴扒胸摸屁股激烈网站 毛片24种姿势无遮无拦 图片区 小说区 区 亚洲五月 幻女bbwxxxx呦女 被老头下药玩好爽小雪 黑人狂虐中国人妻陈艳 东北老妇爽大叫受不了 特大巨黑吊av在线播放 亚洲av无码一区二区三区在线观看 国产在线无码精品电影网 中文字幕在线播放 波多野结衣办公室33分钟激情 荷兰肥妇bbwbbwbbw 被主人公开羞辱调教自慰 厕所偷窥chinaxxxx 国产熟女一区二区三区 1000部禁片未18勿进免费观看 18禁裸露啪啪网站免费漫画 黑人狂虐中国人妻陈艳 free×性护士vidos呻吟 国产精品人成在线观看 国产a级特黄的片子 国产成人精品无码短视频 初尝少妇李梦茹 毛片24种姿势无遮无拦 掀起少妇的裙子挺进去短篇小说 纯肉无遮挡h肉3d动漫在线观看 国产亚洲精品无码无需播放器 全国疫情中高风险地区名单最新 欧美猛少妇色xxxxx 漂亮人妻洗澡被公强 日日躁 中文字幕无码人妻影音先锋 yw尤物av无码国产在线看麻豆 我被继夫添我阳道舒服 大尺度床戏 老子午夜理论影院理论 精品国产三级a在线观看 欧美激情乱人伦 日本人妻少妇乱子伦精品 欧洲美女粗暴牲交免费观看 老师喂我乳我脱她胸罩两性故事 国产亚洲人成a在线v网站 我的好妈妈5中字在线观看韩国 久久国产精品男人的天堂 国色天香最新视频在线观看 鸭王在线观看 久久国产精品男人的天堂 美女张开腿露出尿口与奶头的照片 香港特级三a毛片免费观看 成人免费视频在线观看 精品人妻无码一区二区三区 男男受被攻做哭娇喘声视频 丰满人妻一区二区三区视频53 国产在线精品国自产拍影院同性 永久免费不卡在线观看黄网站 强行18分钟处破痛哭av 午夜成人久久影院免费体验 黑人巨茎大战俄罗斯美女 国色天香最新视频在线观看 成人免费视频在线观看 又黄又乱的口述小说乱之伦 国产chinasex对白videos麻豆 蜜芽.tv.2722永不失联 亚洲视频在线观看 毛很浓密超多黑毛的少妇 女人爽到高潮视频免费直播1 无遮挡吃胸膜奶免费看视频 yellow最新免费观看 亚洲成a人无码亚洲成a无码l 强行征服邻居人妻hd高清 国产精品国产免费无码专区不卡 宝贝好紧我太爽了再快点 中文av岛国无码免费播放 久久丫精品国产亚洲av 幻女bbwxxxx呦女 神马影院达达兔 china13末成年videos野外 成 人 黄 三 级 影片 人妻出轨合集500篇最新 男女疯狂做到高潮的小说 丝袜麻麻在我胯下娇吟 成人毛片18女人毛片免费看 chinese武警痞帅男裸体gv网 国产开嫩苞实拍在线播放视频 女人自慰摸下面动态图 欧美同性猛男gay69 国产亚洲精品久久久久妲己 做爰全过程免费的叫床看视频 亚洲乱理伦片在线观看中字 18禁裸露啪啪网站免费漫画 蜜臀av 人妻放荡乱h文 荨麻疹初期症状图片 亚洲.国产.欧美一区二区三区 97久久国产亚洲精品超碰热 亚洲综合无码一区二区三区不卡 色一情一乱一伦一小说免费看 亚洲av无码专区久久蜜芽 做爰全过程免费的叫床看视频 又大又粗粉嫩18p少妇 为什么做的时候要喊他名字 天天综合色天天综合色hd 欧美人与动人物牲交免费观看 亚洲av永久无码精品4k岛国 黑人狂虐中国人妻陈艳 国产精品免费久久久久九九 2022年香港正版资料大全 蜜臀av 翁熄乩伦小说目录 黑人狂虐中国人妻陈艳 亚洲va中文字幕无码一二三区 老子午夜理论影院理论 娇…柳员外(禁断高h) 我的好妈妈5中字在线观看韩国 成人免费视频在线观看 99久久精品国产成人综合 色噜噜狠狠狠狠色综合久一 亚洲vr国产日韩综合vr 又黄又乱的口述小说乱之伦 成年美女黄网站18禁免费看 亚洲vr国产日韩综合vr 国产特级毛片aaaaaa yellow最新免费观看 草草视频 在线日本妇人成熟免费 欧洲美女粗暴牲交免费观看 国产gay高中生小鲜肉屁股 午夜看片a福利在线观看 国产精品国产免费无码专区不卡 健身房被疯狂双龙bl 久久精品国产亚洲av无码 18亚洲男同志 gay 网站 我的好妈妈5中字在线观看韩国 夜夜被公侵犯的美人妻 亚洲av无码一区二区三区在线观看 丝袜麻麻在我胯下娇吟 丝袜麻麻在我胯下娇吟 国产大片纵欲丰满a片 欧美高清 东北老熟妇tubesexuhd 男男受被攻做哭娇喘声视频 精品国产福利在线观看 国产亚洲人成a在线v网站 韩国三级激情理论电影 chinese小男生gay男男网站 国产开嫩苞实拍在线播放视频 草草视频 国产精品国产免费无码专区不卡 萧天策高薇薇全文免费阅读笔趣阁 东北老妇爽大叫受不了 tube性老少配bbwcom 久久丫精品国产亚洲av 99久久精品国产成人综合 亚洲中文字幕无码第一区 办公室双腿打开揉弄高潮 亚洲中文久久精品无码照片 成人毛片18女人毛片免费看 都市美妇岳女双飞 亚洲の无码 国产の无码 领导在办公室含我奶头 美女极品粉嫩美鮑20p图 天天综合色天天综合色hd 最近2019年中文字幕大全 永久免费av网站sm调教下载 厕所偷窥撒尿wcpeeingtube 色久悠悠婷婷综合在线亚洲 欧美人体xxxx在线观看 扯开她的腿狠狠占有np 大尺度床戏 色久悠悠婷婷综合在线亚洲 男男高h强迫高潮play调教 掀起少妇的裙子挺进去短篇小说 国色天香最新视频在线观看 五月丁香六月综合欧美久久 国产亚洲人成a在线v网站 久久久久久精品免费免费69 亚洲综合色丁香婷婷六月图片 中国女人68xxxxxxxxx 亚洲成a人无码亚洲成a无码l 吴北唐紫怡小说免费阅读 国产chinasex对白videos麻豆 精品国产免费一区二区三区 鸭王在线观看 健身房被疯狂双龙bl 我和虎狼之年的岳135章 国产a级特黄的片子 亚洲av无码一区二区三区在线观看 荡女精品导航 王梅的陪读性经历 中文av岛国无码免费播放 成人毛片18女人毛片免费看 女人夜夜春精品a片 熟妇高潮一区二区高清视频 中国女人68xxxxxxxxx 为什么做的时候要喊他名字 女人爽到高潮视频免费直播1 成人免费a级毛片免费 大尺度床戏 亚洲乱理伦片在线观看中字 男女啪啪真实无遮挡免费 激烈的性高湖波多野结衣 男女真人后进式动态图 韩国三级激情理论电影 亚洲综合色丁香婷婷六月图片 全国疫情中高风险地区名单最新 丰满人妻一区二区三区视频53 三级全黄的视频在线观看 夜夜被公侵犯的美人妻 韩国演艺圈悲惨事件 亚洲色精品vr一区二区三区 男女边摸边吃奶边做视频免费 国产伦精品一区二区三区视频 tube性老少配bbwcom 国产精品一区二区国产主播 tube性老少配bbwcom 男女真人后进式动态图 欧美大屁股xxxxhd黑色 婷婷丁香五月 97国语精品自产拍在线观看一 亚洲av无码专区国产精品 色一情一乱一伦一小说免费看 老子午夜理论影院理论 丰满人妻一区二区三区视频53 永久免费不卡在线观看黄网站 美女裸体扒开尿口桶到爽 亚洲欧美日韩成人高清在线一区 全国疫情中高风险地区名单最新 国产特级毛片aaaaaa 日本人妻巨大乳挤奶水app 亚洲中文久久精品无码照片 亚洲中文字幕无码第一区 强行征服邻居人妻hd高清 yellow最新免费观看 欧美大屁股xxxxhd黑色 他扒开我的胸罩吸奶头 yellow最新免费观看 玩弄少妇人妻 我的好妈妈5中字在线观看韩国 都市美妇岳女双飞 扯开她的腿狠狠占有np 黑人狂虐中国人妻陈艳 永久免费不卡在线观看黄网站 再深点灬舒服灬太大了小说 free×性护士vidos呻吟 人久久精品中文字幕无码小明47 亚洲综合色丁香婷婷六月图片 china激情老头69 欧美猛少妇色xxxxx 超碰人人爽爽人人爽人人 南海灵通铝锭价格今日铝价 做爰全过程免费的叫床看视频 欧美人妖bbbbbxxxxxhd 各种姿势玩小处雏女视频 国产成人精品无码短视频 欧美人与动人物牲交免费观看 国产成人精品无码短视频 熟妇人妻激情偷爽文 欧洲美女粗暴牲交免费观看 婷婷丁香五月 厕所偷窥chinaxxxx chinese老太交videos chinese小男生gay男男网站 我的好妈妈5中字在线观看韩国 农民伯伯乡下妹 tube性老少配bbwcom 亚洲va中文字幕无码一二三区 日韩人妻无码免费视频一区二区三区 私人情侣影院 亚洲成a人无码亚洲成a无码l 午夜爱爱免费视频无遮挡 在镜头里被cao翻了h 国产亚洲人成a在线v网站 欧美重囗味sm群虐视频 chinese小男生gay男男网站 国产亚洲人成a在线v网站 国产在线无码精品电影网 无码三级理论在线观看 肥女巨肥bbwbbwbbwbw japanese18日本护士xxxx 国产成人精品无码短视频 怎么试探妈妈愿不愿意做 欧美高清 又黄又乱的口述小说乱之伦 欧美同性猛男gay69 西西人体444www高清大胆 欧美高清 亚洲成a人无码亚洲成a无码l 国产精品成人av片免费看 日本人妻巨大乳挤奶水app 久久99国产综合精合精品 tube性老少配bbwcom 国产亚洲精品无码无需播放器 成人免费视频在线观看 五月丁香六月综合欧美久久 国产精品久久久久精品亚瑟 欧美特黄a级高清免费大片a片 国产亚洲人成a在线v网站 吴北唐紫怡小说免费阅读 全国疫情中高风险地区名单最新 97久久国产亚洲精品超碰热 东北老妇爽大叫受不了 美女裸体扒开尿口桶到爽 久久99国产综合精合精品 为什么做的时候要喊他名字 欧美特黄a级高清免费大片a片 a片在线播放 国产开嫩苞实拍在线播放视频 成人免费视频在线观看 武警肌肉男军人gay网站 mm131美女做爽爽爱视频 欧美猛少妇色xxxxx 美女视频图片 chinese武警痞帅男裸体gv网 国产开嫩苞实拍在线播放视频 神马影院我不卡 娇…柳员外(禁断高h) 宝贝好紧我太爽了再快点 美女视频图片 chinese小男生gay男男网站 荨麻疹初期症状图片 国色天香最新视频在线观看 成年美女黄网站18禁免费看 chinese小男生gay男男网站 老师喂我乳我脱她胸罩两性故事 亚洲vr国产日韩综合vr 武警肌肉男军人gay网站 韩国女主播 五月丁香六月综合欧美久久 宝贝好紧我太爽了再快点 玩弄少妇人妻 国产成人亚洲精品青草 成绩差成为全班的玩具 女人爽到高潮视频免费直播1 熟妇人妻激情偷爽文 国产精品成人av片免费看 成人免费a级毛片免费 久久精品国产亚洲av无码 亚洲视频在线观看 久久精品国产亚洲av无码 国色天香最新视频在线观看 久久人妻av中文字幕 宝贝乖女水真多小芳全集 办公室双腿打开揉弄高潮 色资源av中文无码先锋 美女视频图片 被十几个男人扒开腿猛戳 亚洲av无码国产精品色 被主人公开羞辱调教自慰 美女裸体扒开尿口桶到爽 无码三级理论在线观看 欧美特黄a级高清免费大片a片 厕所偷窥撒尿wcpeeingtube 男男受被攻做哭娇喘声视频 yw尤物av无码国产在线看麻豆 国产大片纵欲丰满a片 美女视频图片 2022年香港正版资料大全 男男高h强迫高潮play调教 无码三级理论在线观看 18禁高h高辣小说文 国产精品无码素人福利免费 成人免费视频在线观看 亚洲.国产.欧美一区二区三区 欧美人体xxxx在线观看 东北老熟妇tubesexuhd 人妻出轨合集500篇最新 为什么做的时候要喊他名字 8大特征暗示你已经着床成功 男人肉大捧进出女人视频
    <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>