明確的概念。訓(xùn)練一個(gè)分類器系統(tǒng)，自動(dòng)向智能服務(wù)機(jī)器人提出一些有用的概念，排除那些“非常規(guī)”的做法和案例。

溫和系統(tǒng)。所謂“適度的制度”，就是那種不會(huì)過分追求目標(biāo)的制度，也就是達(dá)到目標(biāo)后就停止行動(dòng)，而不是投入過多的資源去達(dá)到完美的目標(biāo)。

摒棄工具性激勵(lì)。如果工具性獎(jiǎng)勵(lì)太多，智能機(jī)器人就會(huì)產(chǎn)生欺騙程序員的想法。比如我們用分?jǐn)?shù)作為衡量目標(biāo)的工具性標(biāo)準(zhǔn)，不好的結(jié)果會(huì)是機(jī)器人只認(rèn)分?jǐn)?shù)，任何影響分?jǐn)?shù)的衡量標(biāo)準(zhǔn)都會(huì)被它拒絕。之后分?jǐn)?shù)很高，但沒有達(dá)到預(yù)期目標(biāo)。

隨著智能服務(wù)機(jī)器人越來越接近現(xiàn)實(shí)，我們應(yīng)該關(guān)注這些漏洞。因此，我們可以考慮為學(xué)習(xí)系統(tǒng)設(shè)計(jì)一個(gè)更完善的目標(biāo)函數(shù)，使這些學(xué)習(xí)系統(tǒng)能夠代表程序員的真實(shí)意愿。陶:如果你想設(shè)計(jì)一個(gè)具有預(yù)期目標(biāo)的智能服務(wù)機(jī)器人，你需要定義目標(biāo)函數(shù)，并做一些測試，以設(shè)計(jì)一個(gè)能夠避免偏離目標(biāo)并產(chǎn)生負(fù)面影響的AI系統(tǒng)。即使程序員設(shè)計(jì)的目標(biāo)函數(shù)暫時(shí)不能與預(yù)期目標(biāo)一致，你也要盡量保持“容錯(cuò)”較低。那么，要做出符合預(yù)期目標(biāo)的智能服務(wù)機(jī)器人，需要遵循哪些具體步驟呢？

 未來，智能服務(wù)機(jī)器人能夠以一種連程序員都無法想出的“智慧”方法來達(dá)成目標(biāo)，它們更喜歡利用較快捷的途徑實(shí)現(xiàn)操作者的直接目標(biāo)，而不是滿足其預(yù)期的目標(biāo)。但是，這一特點(diǎn)是把雙刃劍，直接目標(biāo)也永遠(yuǎn)代替不了預(yù)期目標(biāo)。