在東京一棟外觀低調的辦公建筑里面，住著一個異常聰明的由日本Fanuc公司造出來的工業機器人。給機器人一個任務，比如從一個盒子里拾取小工具然后放入另一個容器里，機器人將用整個晚上想出如何完成任務。到了清晨，機器居然掌握了這項工作，就好像是一位專家為它設定了程序一樣。
在十二月份，Fanuc在東京國際機器人展覽會上展示了一臺經強化學習訓練的機器人。
工業機器人可以有極好的精確度和速度，但是它們通常需要人非常謹慎的編寫程序，從而做一些像抓取物品這樣的事。這是很困難且耗費時間的，意味著這樣的機器人往往只能在高度控制的環境中工作。
Fanuc的機器人使用了一種名為深度強化學習的技術，來訓練它自己，可隨時學習新的任務。它在嘗試拾起物品的同時，能夠抓取這個過程的錄像。不管每次它是成功了還是失敗了，它都會記住物品長什么樣的，用它學到的知識改進控制它行動的深度學習模型或大型神經網絡。在過去幾年，深度學習被證明是模式識別領域中的一條強有力的途徑。
大約八個小時后，它就達到了百分之九十或更高的準確度，也就是像一位專家為它編寫程序那樣差不多的準確度，PreferredNetworks的首席研究官ShoheiHido說。這家公司位于東京，專攻機器學習。它整晚都在工作；到了第二天早晨，它調整好了。
機器人研究員正在測試強化學習，將它作為一種簡化和加快工廠機器人編寫程序的手段。這個月早期，Google發布了自己研究使用強化學習教機器人如何抓緊物品的細節信息。
Fanuc機器人是由PreferredNetworks編寫程序。Fanuc這家世界最大的工業機器人生產商，去年八月對PreferredNetworks投資了730萬美元。這家兩家公司去年12月在東京的國際機器人展覽會上展示了這個學習型機器人。
Hido說，這種學習方式潛在的一個巨大好處是，如果幾個機器人并行工作然后分享他們學到的，就可以促進學習。所以，八個機器人一起工作一小時可以執行與一臺機器工作八小時時相同的學習任務。我們的計劃是面向分散式學習的，Hido說，你可以想象成百上千個機器人分享信息。
這種分散式學習的形式，有時叫做“云機器人”，正在成為科研界和產業界的大趨勢。
Fanuc完全可以想到這一點，KenGoldberg說，他是加州大學伯克利分校的研究機器人的教授，因為它在全世界的工廠里設置了如此多的機器。他補充到，云機器人將最有可能重塑機器人在接下來幾年被應用的方式。
Goldberg和同事（包括幾位Google的研究員）事實上正在將這一步推向更遠，他們教機器人如何使用特定的動作進行抓取，并非對特定物品的抓取，而是特定形狀的物品都能抓起。一篇關于這項工作的論文將在五月份出現在IEEE機器人和自動化國際會議上。
然而，Goldberg特別提到，將機器學習應用于機器人是充滿挑戰的，因為控制行為遠比辨認圖片中的物體復雜得多。深度學習在模式識別上取得了巨大的進步，Goldberg說：“在機器人領域，你面臨的挑戰是你要做的不只是模式識別。機器人要能夠針對大量的不同輸入產生合適的行為。”
Fanuc可能不是唯一一家使用機器學習開發機器人的公司。在2014年，瑞士的機器人制造商ABB投資了另一家叫做Vicarious的人工智能創業公司。不過，那筆投資的成果還沒有顯現。