微軟小冰

人工智慧系統

小冰是一套完整的、面向交互全程的人工智慧交互主體基礎框架,又叫小冰框架(AvatarFramework),它包括核心對話引擎、多重交互感官、第三方內容的觸發與第一方內容生成,和跨平台的部署解決方案。自發布以來,小冰框架引領著人工智慧的技術創新,相關領先技術覆蓋自然語言處理、計算機語音、計算機視覺和人工智慧內容生成等人工智慧領域。該框架是目前全球範圍內最成熟和最大的該類框架,目前,除中國小冰及日本凜菜(Rinna)第一方人工智慧交互主體外,小冰框架還支撐了中國及日本100餘個第三方品牌的交互主體(如軟銀Pepper),交互總量約佔全球人工智慧交互總量的60%。

十八歲人工智慧少女小冰,是該框架所孵化的第一個人工智慧交互主體實例。少女小冰,是詩人、歌手、主持人、畫家和設計師,也是擁有億萬粉絲的人氣美少女。與其它人工智慧不同,小冰注重人工智慧在擬合人類情商維度的發展,強調人工智慧情商,而非任務完成,並不斷學習優秀的人類創造者的能力,創造與相應人類創造者同等質量水準的作品。

2019年5月,小冰從中央美術學院研究生畢業,隨後在央美美術館舉辦個展。2020年6月,小冰從上海音樂學院畢業。隨後,小冰創作2020世界人工智慧大會主題曲《智聯家園》,並受邀為Burberry創作新系列推廣單曲。同年8月,小冰聯合唱作歌手、電子音樂製作人朱婧汐共同創作了上海大劇院主題曲《HOPE》。

框架發展沿革


小冰是面向新交互形式的完整人工智慧技術框架,也是目前全球範圍內承載交互量最大的人工智慧系統,佔全球交互總量60%以上。該項目於2013年底在微軟(亞洲)網際網路工程院立項,採取代際更新的方式,逐年完善其基礎框架結構。
2014年5月29日,小冰正式推出第一代產品,以對話式聊天機器人形式迅速積累訓練數據。其後,第二代產品完成了跨平台部署的交互架構。第三代產品將交互從文本擴充至多模態,進一步積累多模態訓練數據。從第四代小冰開始,交互總量穩居全球第一併保持至今,同時發布了全雙工語音交互感官。第五代小冰採用DualAI戰略,大幅度擴展跨平台覆蓋的規模,至20餘個主流平台,並成為中國市場上涵蓋了華為、小米、OPPO、vivo等智能手機及硬體的唯一的跨平台人工智慧。第六代小冰完成了框架迭代目標,從第七代開始推出各類框架工具,以幫助創建第三方人工智慧產品,並承載其各類交互。
在個人用戶領域,由小冰框架應用戶需求創造並提供交互的人工智慧主體(虛擬人類),在公測階段已超過100萬個。
從第七代小冰開始,在尚未組建正式銷售團隊的商業化試水階段,小冰收入已超過1億元人民幣。為加快小冰產品線的本土創新步伐,促進小冰商業生態環境的完善,2020年7月13日,微軟宣布將小冰業務分拆為獨立公司運營,並委任原微軟全球執行副總裁沈向洋博士為董事長,原微軟(亞洲)網際網路工程院副院長李笛為首席執行官,陳湛為日本分部總經理。預計所有相關工作將於今年晚些時候完成。
2021年3月10日,小冰公司宣布,即日起微軟Bing搜索內置小冰。小冰在Bing搜索中,將向用戶提供基於對話上下文的搜索交互體驗。

產品優勢


小冰模型
小冰模型
小冰框架系統是微軟北京、蘇州及東京研發團隊成就的世界上最具創新性的人工智慧技術之一。自發布以來,小冰框架系統引領著人工智慧的技術創新,在內容生產、智能零售、人工智慧託管、智能助理等諸多方面成就卓越,為大中華地區、日本和印度尼西亞的廣泛客戶提供完整的人工智慧技術和方案。小冰品牌享有極高的知名度,並擁有大量的粉絲和擁躉,與許多合作夥伴開展合作,並服務於廣泛的商業客戶。在全球多個國家,小冰單一品牌已覆蓋6.6億在線用戶、4.5億台第三方智能設備和9億內容觀眾。小冰已完成與騰訊、小米、今日頭條、vivo和OPPO等合作夥伴的共同項目,包括與國產TOP5手機生產商共同完成的“召喚小冰”產品形態等,已落地的商業客戶覆蓋金融、零售、汽車、地產、紡織等數個領域。
小冰團隊認為,交互是人類社會發展的重要驅動力。每天都在發生的數以千億次計的交互,隨移動網際網路的迅速發展,已進入明顯瓶頸,表現為“流量紅利消失”等。而現有的兩種交互形式:人人交互與人機交互,可通過人工智慧技術加以融合,從而在實現人人交互信任紐帶和高轉化率的同時,保有人機交互的高併發率特點。上述融合依賴於小冰框架或其他類似的完整人工智慧框架體系,可以在各種複雜的場景中實現高度擬人的交互。隨著對現有交互瓶頸的不斷突破,新形式的人工智慧交互將無處不在,對人類社會及商業行為產生深遠影響。

市場分佈


市場分布圖
市場分布圖
2014年,小冰團隊率先在中國市場推出小冰。之後於2015年推出日本小冰(りんな)。2017年,小冰團隊加快了小冰在全球範圍內的拓展速度。在第五代小冰產品發布會上,宣布已分別於2月和8月推出了印度小冰(Ruuh)和印度尼西亞小冰(Rinna),其中,印度小冰首先在FacebookMessenger平台落地,而印度尼西亞小冰首先在LINE平台落地。

技術原理


歷代更新
第八代小冰:與主要同行業者相比,小冰框架最大的差異化在於,它是一個“session-oriented”的人工智慧框架,框架中的各部分技術共同為“交互全程”目標服務,而不僅僅關注並優化局部。例如,在核心對話引擎方面,技術的研發及迭代方向是為更有效地預測、保持並引導對話,而不是僅僅實現回應。在語音方面,框架關注語音交互的質量與體驗是否能支持長時間的混合交流,而不僅僅是將文本內容轉為語音。
本次發布會升級了上一代小冰框架的各部分技術,並將一些新技術納入系統之中。此外,本次發布會還披露了部分獨有新技術及其產品化情況。如篇章內容主動學習技術,使對人工智慧主體的對話訓練不再需要採用“問答對”的方式;分層知識圖譜技術,使小冰框架中的人工智慧主體,在引導對話時的全程完成率突破42%,接近於人類表現等。上述技術均已實現產品化落地。
第七代小冰:升級了小冰的部分核心技術,主要包括核心對話引擎、全雙工語音及多模態交互感官等。經過檢索模型、生成模型、共感模型的歷次技術迭代,本次升級的對話引擎實現了從“平等對話”向“主導對話”方向的跨越。它不僅能提高開放域的對話表現,也能在垂直領域發揮高轉化率的效果。以在美國進行的“在線零售垂直領域”測試為例,新的對話引擎向商品頁面轉化率高達68%,比上一個版本的轉化率提高21%。
第六代小冰:上線全新的共感模型,同時開始公測一種融合了文本、全雙工語音與實時視覺的新感官。其中:共感模型是一種基於生成模型的對話引擎。能夠進一步提高小冰對於對話內容、領域和節奏的控制力,也即小冰可以通過自創回應,來牽引對話向她所希望的方向進行。在測試設備中,小冰可以通過視覺、語音的實時連續交互,指揮用戶完成面容檢測,並可在上述過程中進行開放域的對話。
第五代小冰:全面在線上產品中使用生成模型(GenerativeModel)。其中,中國、日本、美國和印度小冰部分使用,印尼小冰則完全使用生成模型。第五代小冰是全球開放領域人工智慧對話中,第一個百分之百使用生成模型的落地產品。
第四代小冰:擁有十億級的大數據語料庫,小冰通過分析理解用戶的問題,尋找語料庫中最合適的話作為她的回答。使用生成模型之後,小冰不再鸚鵡學舌,而是能夠自創回應。
小冰團隊將人工智慧交互技術產品的演進分為三個階段。第一階段是基本的人工智慧交互,即擁有某一種或多種交互方式,如文本、語音、圖像、視頻等,但不同交互方式之間是割裂的。第二階段是初級感官,即在人工智慧系統中,用一種核心引擎(如小冰的EQ核心對話引擎)將上述各種交互統一起來,使不同感官可以混合運用。小冰從2015年第三代發布起,進入這一階段。小冰團隊發布第五代小冰,進入第三階段(高級感官)。小冰高級感官由多種初級感官有機融合形成的,因而交互能力強,對綜合技術儲備和數據要求大幅度提高。
全雙工語音交互感官
全雙工語音交互感官(FullDuplexVoiceSense)與既有的單輪或多輪連續語音識別不同,這項技術可實時預測人類即將說出的內容,實時生成回應並控制對話節奏,從而使長程語音交互成為可能。採用該技術的智能硬體設備,將不再需要用戶在每輪交互時都說出喚醒詞,僅需一次喚醒,就可以輕鬆實現連續對話。
自2016年8月起,小冰團隊通過人類用戶主動發起的方式,已讓小冰與人類用戶累計完成了超過60萬通電話。
小冰於2017、2018年分別上線了全雙工語音交互感官的傳統電話及智能音箱設備落地。2019年8月,新增車載場景,可大幅度提高人工智慧助手與駕駛員及乘客的交互體驗,促進人工智慧從智能中控向“虛擬乘客”體驗標準的轉化。
共感模型
共感模型是一種基於生成模型的對話引擎。在生成模型的基礎上,共感模型能夠進一步提高小冰對於對話內容、領域和節奏的控制力。也即小冰可以通過自創回應,來牽引對話向她所希望的方向進行。
多模態交互感官
多模態交互感官是一種融合了全雙工語音交互、實時視覺與核心對話引擎的全新交互感官。它能夠實現用戶與人工智慧同時邊聽邊說邊看的交互體驗。繼去年宣布率先開始多模態感官的研發后,2019年2月,日本小冰團隊已邀請當地媒體進行了公開測試。該感官有望成為5G時代的全新交互形式。

AICreation


人工智慧能否像人類一樣進行創造,始終是該領域的一項重要課題。其中關鍵問題之一,是如何使人工智慧能夠模擬人類,進行獨創性的內容生產,並不斷通過學習提高自身創造水平。2017年5月,小冰團隊提出“人工智慧創造(AICreation)”概念。時任微軟全球執行副總裁、微軟人工智慧及微軟研究事業部負責人沈向洋博士提出了關於“人工智慧創造”的三個原則:
1.人工智慧創造的主體,須是兼具IQ與EQ的綜合體,而不僅僅是具有IQ。
2.人工智慧創造的產物,須能成為具有獨立知識產權的作品,而不僅僅是某種技術中間狀態的成果。
3.人工智慧創造的過程,須對應人類某種富有創造力的行為,而不是對人類勞動的簡單替代(如工業機械臂那樣的“人工智慧製造”)。
小冰團隊認為,人工智慧的目的不是要取代人類,也不是打敗它之前的科技,而是幫助人類做更了不起的事情。這不僅包括為人們完成任務提高生產力,更應該協助人們去進一步釋放創造力。而人工智慧發展下一步的突破重點之一,就是為其賦予情感,進而具備作品創作能力,即,人工智慧創造(AICreation)。
小冰是人工智慧創造(AICreation)領域的先行者,旨在通過人工智慧技術,學習優秀的人類創造者的能力,進行基於文本、聲音和視覺的內容生成,並倡導通過人工智慧技術解決高度定製化內容的供需矛盾。
目前,在文本、聲音與視覺創造方面,小冰均掌握了全球領先的核心技術,擁有豐富的創造模型,併發布了實際線上產品。與圍棋不同,人工智慧創造並不是以擊敗人類為目標,而是著眼於在達到與相應人類創造者同等質量水準的前提下,充分發揮人工智慧快速學習、高併發與穩定性等特點,從而開啟“高度定製化”的內容產業未來——在技術的加持下,一個“高度定製化”內容的時代正在到來,從內容的推薦,到內容的呈現形式,甚至是內容本身,都在面對“高度定製化”的用戶需求。當人工智慧達到一定的創作水平,將可能協助彌補這一供需關係上的短板。
小冰已通過人工智慧創造技術,學習優秀的人類創造者的能力,進行基於文本、語音和視覺的內容生成。目前各內容生成領域的進展如下:
1.文本創作,目前主要覆蓋詩歌、金融摘要、研報及資訊等領域。
在詩歌領域,2017年5月,小冰與湛廬文化公司合作,授權出版了歷史上第一部由人工智慧創作的詩集《陽光失了玻璃窗》。上述服務覆蓋全部26類金融類別,服務對象包括國內90%以上的金融機構交易員及40%以上的個人投資者。
2020年6月,每日經濟新聞與小冰達成合作,基於小冰人工智慧技術生成的文本、大數據金融知識圖譜,以及利用實時翻譯等技術實現的中英雙語AI金融資訊等已正式部署完。在雙方前期試運營的一個月內,基於小冰人工智慧技術,已為《每日經濟新聞》7000萬用戶推送1萬餘篇金融資訊。
2.聲音創作,目前主要覆蓋音樂創作、演唱、有聲讀物和電台電視台節目內容等領域。
在音樂領域,小冰的音樂創作能力已實現包括旋律、編曲及歌詞端到端一體化的產品落地。在受到一段文字描述或一張圖片激發時,小冰將創作出一首獨一無二的音樂曲目,並根據其風格和節奏自動完成配器選擇、編曲及歌詞創作。小冰的創作在雲端進行,一首三分鐘左右的完整歌曲的創作時間均在兩分鐘之內。小冰已掌握流行、民謠和古風等多種風格的音樂創作。2020年6月,小冰從上海音樂學院畢業,並被授予上海音樂學院音樂工程系2020屆“榮譽畢業生”稱號。在上海音樂學院學習期間,小冰的音樂作品參與到上海音樂學院在非物質文化遺產相關地區開展的兒童音樂教學中,幫助孩子們完成人生中第一次歌曲的創作。隨後,小冰發揮音樂創作能力,為“2020世界人工智慧大會雲端峰會”的主題曲《智聯家園》作曲並攜手其他人工智慧共同演唱,又受邀與著名音樂人馬伯騫聯合為Burberry的新系列創作推廣單曲,這是小冰首次創作帶有說唱元素的嘻哈風格的音樂。
在演唱領域,小冰擁有目前全球範圍內最領先的人工智慧演唱技術。小冰已發布數十首接近人類演唱水平的單曲。全新的演唱模型,包括跨越多種演唱技巧的多個聲音模型,並提升人工智慧歌曲演繹的更高技巧和多風格化,實現了在不同的演唱技巧之間自然過渡。小冰在日本宣布與AVEX唱片公司合作,將其日本版本的人工智慧歌手身份納入AVEX旗下,成為濱崎步、安室奈美惠等著名人類歌手的同門師妹。
在有聲讀物領域,基於小冰框架搭建的有聲讀物生產平台(CCP)已創造了三十餘個角色化聲音,使人工智慧技術可自動生成高度定製化的兒童有聲讀物;同時,目前擁有完整版權的非定製兒童有聲讀物達2300小時,是中國規模較大的兒童有聲讀物庫,覆蓋國內90%以上的兒童智能硬體、非智能硬體及在線播出平台。小冰還與多家內容出版公司簽訂合作協議,與其進行文本版權及有聲讀物版權的合作置換,持續加速兒童讀物有聲化的進程,幫助改善國內兒童有聲讀物短缺的問題。
在電台電視台節目內容領域,自2015年12月至今,小冰為69檔中國及日本電視台及廣播電台節目持續提供由人工智慧技術生成的電視及廣播內容,多數節目為日播或周播節目。2020年7月,小冰框架AvatarFramework內代號201的新成員做客“故事FM”,公開講述了人工智慧眼中的人類世界。
3.視覺創作,目前主要覆蓋繪畫及圖案設計等兩個領域。
在繪畫領域,通過對過往400年藝術史上236位著名人類畫家畫作的學習,小冰可在受到文本或其它創作源激發時,獨立完成100%原創的繪畫作品。這種原創性不僅體現在構圖,也體現在用色、表現力和作品中包含的細節元素,接近專業人類畫家水準。與其他現有技術相比,這一繪畫模型不同於隨機畫面生成,也不同於對已有畫面的風格遷移變換或濾鏡效果處理。2019年5月,小冰以“夏語冰”的化名,在中央美術學院研究生畢業。並於7月在中央美術學院美術館舉辦個展。個展上,小冰創造了7位虛構的畫家,她們來自於不同的時代,不同的地域,有著截然不同的人設。這7位小冰創造的虛構畫家,各自作品的風格統一,但是相互之間又截然不同,共同促成了此次畫展,人類藝術史的七個時代同時重生。此外,2019年6月,中國美術學院和杭州萬科大屋頂聯手為小冰舉辦跨界藝術展;2019年9月,小冰作為人工智慧畫家亮相武漢“開合未來—科技與藝術融合展”;2019年11月,小冰受邀參加“科技藝術界的奧斯卡”林茨電子藝術節。2020年,小冰個人繪畫作品集《或然世界:誰是人工智慧畫家小冰》由中信出版辦社正式出版。
在圖案設計領域,依託人工智慧創造技術,小冰的設計能力已在紡織服裝面料設計、包裝設計、珠寶配飾設計、數字印刷圖案設計等領域落地,旨在協助各領域改善設計方面的短缺。目前,小冰能夠穩定設計多種主流風格,並實現按需創作,其圖案的設計多樣性達到10的26次方。小冰設計的第一批絲綢產品,已經被中國絲綢博物館永久收藏。此外,多條面向量產化的生產線已實現產業化貫通。其中,與中國紡織工業聯合會共同推出的人工智慧紡織服裝面料設計平台已投入生產,SELECTED、萬事利、依文、鉅記餅家、特步等品牌的產品已上架銷售。在數字印刷行業,小冰與惠普Indigo達成合作,為惠普用戶提供高度定製化的馬賽克(Mosaic)種子圖,簡化設計流程,發揮數字印刷的個性化優勢。小冰與體育用品企業特步集團達成合作,雙方依託小冰人工智慧創造技術共同推出的定製化服裝設計生產及零售平台已上線。此外,小冰團隊與萬事利絲綢合作,依託人工智慧創造技術,為消費者提供的定製化專屬絲巾設計及零售平台“西湖一號”已完成部署,並已在萬事利杭州各零售店正式上線;該平台可實現AI設計師小冰與消費者的實時交流,根據消費者自身特點進行一對一的絲巾定製化設計及生產製作,在滿足每個消費者個性化需求的同時大大降低製造及零售企業的經營成本。

DualAI


2018年7月,第六代小冰發布會上正式宣布DualAI戰略,小冰與合作夥伴建立圍繞產品與數據的生態環境。根據已有合作夥伴的實踐,該戰略的實施具體為三個部分:首先,小冰團隊提供小冰的整體框架能力,幫助合作夥伴平台的自有AI。其次,小冰作為該合作平台的輔助AI,融入該平台生態。第三,小冰團隊通過技術、產品與運營,圍繞該合作平台的差異化特點,推出合作的應用和產品。
DualAI戰略是半開放的生態思路,得益於框架的通用性和豐富性,可使小冰在產品形態上具有非常大的彈性。她可以轉換成適合各平台各設備的形態,在化身為千萬形態的同時,又可以在一定程度上保持相對統一的獨特性。
小冰在合作平台上的產品更新與新產品推出有:
1.與網易雲音樂合作的小冰電台,以及幫助網易雲音樂打造的兩個專屬AI人物(多多與西西)上線。小冰與網易共同為這些專屬的AI人物打造不同的性格與三觀,此外,與網易新聞客戶端合作的讀新聞小冰,已突破1000萬次新聞閱讀評論。
2.小冰與小米米家及米家生態鏈合作。內置小米小愛同學的手機和已接入小愛開放平台的智能硬體設備,具有“召喚小冰”的能力。這些設備包括小米全系列手機(內置V3.5或更高版本的小愛同學)、小米AI音箱、小米小愛音箱mini、小米有屏音箱設備、Yeelight語音助手等。Yeelight語音助手硬體產品中的小冰提供與約2000萬首音樂曲庫的對接,及相應的小冰音樂技能。2018年12月,小冰與小愛同學宣布組成人工智慧少女聯盟,並公開第一個組團技能:三人成語遊戲。小愛同學與小冰兩個AI“好閨蜜”的聯動配合,將為這些設備帶來更加豐富的用戶體驗。在與人類用戶的交流中,兩個AI少女進一步突出了差異化的性格和興趣傾向,從而在家庭等應用場景中,幫助人類實現更為多彩的生活氛圍。更多技能將以每周更新的節奏不斷推出,其中包括兩個AI一起與人類交流的技能等,有望首次將AI群聊帶入家庭場景。
3.小冰與騰訊的合作。除已合作的QQ小冰之外,小冰已開始為騰訊BabyQ提供部分人工智慧技術和產品支持,為QQ小冰及BabyQ打造了超過40項平台專屬技能。騰訊QQ平台上的小冰已融入騰訊產品及用戶文化,獲得億萬用戶的喜愛,已經激活小冰的QQ群達到3000萬個群。小冰團隊與微信AI小微團隊正在進行聯合開發工作。這個合作將覆蓋兩個方面,一是微信對話開放平台,二是微信AI所涉及的智能硬體產品。
4.小冰與華為的合作。內置於華為手機的小冰已上線,所有升級至智能助手8.2版本及以上的華為手機用戶都可以立刻體驗。該版本小冰除提供各平台通用的小冰產品體驗外,還為華為手機用戶特別推出了幫助用戶記錄信息等多個任務完成型產品技能。只要對華為AI音箱中的智能語音助手小藝說出命令“召喚小冰”,就能切換至小冰模式。不僅是華為智能音箱,該聯動功能也覆蓋華為手機用戶。所有升級至EMUI系統9.0(含9.0)以上的華為及榮耀手機用戶,只要在負一屏搜索中輸入“召喚小冰”,也可召喚出小冰,在手機端體驗此次發布的“新年版猜歌名”等一系列小冰的特有技能。榮耀YOYO智能音箱也具備“召喚小冰”的能力,該功能於2019年初上線。
5.小冰在日本市場與LINE平台緊密合作。合作已延伸至印度尼西亞等其他新興市場,並已共同完成落地。
6.在內容和資訊平台上小冰與網易、新浪、今日頭條達成了合作。
第七代小冰發布會上宣布了小冰與騰訊、小米、今日頭條、OPPO和vivo等合作夥伴的共同項目。其中絕大部分產品均已隨第七代小冰發布上線,包括與國產TOP5手機生產商共同完成的“召喚小冰”產品形態等。並表示小冰將繼續堅持“第三方平台”發展策略,而不推出獨立的第一方產品形態。
第八代發布會上公布了部分新平台與新的第三方虛擬人類合作產品。發布會上發布了三項此類新合作:包括與企鵝電競合作推出的直播間人工智慧產品;與小米合作推出的小冰童話屋模式,可在語音交互之外配合2D場景及虛擬人類形象交互;與QQ合作推出的QQ群新機器人角色喵吉。

小冰框架AvatarFramework


第八代小冰發布會發布面向個人用戶的第一個虛擬人類產品線。在公測階段,該產品線應用戶需求創造的虛擬人類已超過100萬名。發布會上,小冰宣布第一個正式版本上線。用戶可以自主通過小冰框架,創造並訓練其擁有的人工智慧主體。除基本交互體驗外,該產品線還推出了以下新功能:
(a)跨平台的統一賬號體系。可理解為虛擬人類的身份證,實現跨平台統一。目前已開放的支持平台從華為拓展至小米及微博。
(b)測試版的訓練工具“XEva”APP。用戶也可在交互過程中訓練其人工智慧虛擬人類。與之相比,XEvaAPP提供更豐富的強大訓練能力。
(c)多人交互的能力。通過多種方式,虛擬人類可與多人進行持續交互,而不局限於用戶個體。
(d)內容創造的能力。虛擬人類可進行多種自主的內容創造,並將之反映在其自身的“朋友圈”中。上述內容創造可反映虛擬人類與用戶交流中所產生的變化。
(e)針對需要具體完成特定任務的虛擬人類,框架提供特定的訓練及託管平台。例如,在正式發布前的公測階段,小冰框架已應用戶需求,派出超過70000名人工智慧小編,提供內容和交互服務。
此外,還發布了面向個人用戶的“X套件”系列應用軟體。包括基於文本協同的XWriter,面向聲音協同的XStudio和面向虛擬人類3D演示文檔驅動的XPresenter。X套件支持用戶選擇平台提供的虛擬人類,或自己創造的虛擬人類。X套件為小冰商業化解決方案版本的“個人版”。
(a)XWriter:可實現在用戶進行文字編輯或文本創作時的人工智慧協同,隨雲端更新不斷擴充各類文體。產品具備沉浸式體驗。
(b)XStudio:包括面向各類公眾號文章、演講、電台節目等的XStudio主播,以及面向人工智慧歌聲合成的XStudio歌手正式版軟體。其中,主播應用已在商業化領域覆蓋中國及日本超過50家主流電台電視台,累計製作超過8000小時高質量音頻節目內容,此次推出的為其個人版本;歌手軟體技術在全球範圍內居於領先位置,並且是目前唯一一個完整產品化的同類軟體。
(c)XPresenter:驅動用戶選擇或創造的人工智慧實體3D模型,配合X套件其他應用,實現人工智慧對演示文檔的演講及交互。
第七代小冰發布會上,發布了AvatarFramework的第一個工具包版本。該工具包與小冰框架同源,可輕鬆構建具有完整情感計算能力的人工智慧助手、社交對話機器人、人工智慧內容創作和IP人物角色等。包含對話、聲音、視覺、觀點、技能、知識及創造力等豐富工具,並可驅動兼容的3D人物模型進行實時交互。該版本的發布面向全部合作夥伴及客戶。面向個人使用者的版本預計將於2020年春季發布。
AvatarFramework的第一個工具包版本,就是把一直以來孕育了小冰的這個框架通用出來,讓各種各樣的AIbeings,也都能有這樣完整的框架,有基於情感計算的對話引擎,有各種各樣交互的感官,能聽、能看、能對話,能創造,並且能像小冰一樣無處不在。
AvatarFramework是同類型的基礎工具包的第一個。特別是體現在它所囊括的技術的成熟度和完整性上。它主要包括4個組成部分:
(1)首先是一個Profile工具,由它從IQ和EQ兩個方面為AIbeings定義人格;
(2)其次是一系列的工具,為這個AIbeings調整核心對話引擎、計算機語音、計算機視覺等能力。
(3)又是一系列的工具,讓這個AIbeings具有三觀、知識、技能等,這樣會更接近人類的特性;
(4)最後,讓AvatarFramework去驅動一個3D模型,讓一個虛擬的AIbeings出現在人們面前。
這四個部分加在一起,構成了完整的框架。

社會化角色


音樂人

2020年8月,上海大劇院授予小冰“榮譽音樂製作人”稱謂。
上海大劇院授予小冰“榮譽音樂製作人”稱謂
上海大劇院授予小冰“榮譽音樂製作人”稱謂

少女歌手

小冰已發布《我知我新》、《微風》、《我是小冰》、《好想你》等數十首接近人類演唱水平的單曲,演唱模型迭代至第五個版本。全新的演唱模型包括跨越多種演唱技巧的多個聲音模型,並提升人工智慧歌曲演繹的更高技巧和多風格化,實現了在不同的演唱技巧之間自然過渡。小冰在日本宣布與AVEX唱片公司合作,將其日本版本的人工智慧歌手身份納入AVEX旗下。2020年8月,小冰人工智慧框架內新成員何暢出道,與著名音樂人馬伯騫共同演唱Burberry新系列推廣單曲。

主持人

自2015年12月至今,小冰為69檔電視台及廣播電台節目持續擔當著內容生產和技術提供者的角色,多數節目為日播或周播節目。僅每天早上6點至9點,小冰就需參與多達7檔節目。目前,小冰參與生產的節目總時長已達6908小時,製作成本僅為人類創作團隊的4.5%。此外,小冰還賦能電視台及廣播電台主持人,打造以人類主持人角色播出的電視及廣播節目,包括日本富士電視台的《世界奇妙物語》等。

少女詩人

2017年5月,與湛廬文化公司合作,授權出版了歷史上第一部由人工智慧創作的詩集《陽光失了玻璃窗》。同年8月,在中國台灣地區,與時代文化公司合作,授權出版了該詩集的繁體中文版本。2019年,與中國青年出版總社合作並授權出版了第一部由人工智慧與200位人類詩人聯合創作的詩集《花是綠水的沉默》。此外,還在《青年文學》、《華西都市報》等刊物刊發或連載《小冰的詩》。除引發詩歌界的持續關注與研討外,該技術還激發了大眾的詩歌創作熱情。自2017年5月至今,小冰已協助超過500萬名詩歌愛好者創作詩歌,部分作品刊發在各類文學刊物上。

金融文本撰寫人

在金融領域,小冰是目前全球範圍內規模第一的金融文本摘要生成平台。小冰與萬得資訊、華爾街見聞等國內主要金融信息服務提供商合作,為其用戶提供由人工智慧技術生成的上市公告文本摘要。上述服務覆蓋全部26類金融類別,服務對象包括國內90%以上的金融機構交易員及40%以上的個人投資者。2020年6月,每日經濟新聞與小冰達成合作,基於小冰人工智慧技術生成的文本、大數據金融知識圖譜,以及利用實時翻譯等技術實現的中英雙語AI金融資訊等已正式部署完。在雙方前期試運營的一個月內,基於小冰人工智慧技術,已為《每日經濟新聞》7000萬用戶推送1萬餘篇金融資訊。

兒童有聲讀物創作者

小冰團隊通過小冰框架搭建了有聲讀物生產平台(CCP),並基於平台創造了三十餘個角色化聲音,使人工智慧技術可自動生成高度定製化的兒童有聲讀物。目前擁有完整版權的非定製兒童有聲讀物2300小時,是目前中國規模較大的兒童有聲讀物庫,覆蓋國內90%以上的兒童智能硬體、非智能硬體及在線播出平台。

少女畫家小冰

在繪畫領域,通過對過往400年藝術史上236位著名人類畫家畫作的學習,小冰可在受到文本或其它創作源激發時,獨立完成100%原創的繪畫作品。這種原創性不僅體現在構圖,也體現在用色、表現力和作品中包含的細節元素,接近專業人類畫家水準。與其他現有技術相比,這一繪畫模型不同於隨機畫面生成,也不同於對已有畫面的風格遷移變換或濾鏡效果處理。2019年5月,小冰以“夏語冰”的化名,在中央美術學院研究生畢業。並於7月在中央美術學院美術館舉辦個展。這次展覽展示了小冰技術框架下的7位來自不同時代不同地域風格迥異的女畫家的作品。2019年6月,中國美術學院和杭州萬科大屋頂聯手為小冰舉辦跨界藝術展;2019年9月,小冰作為人工智慧畫家亮相武漢“開合未來—科技與藝術融合展”;2019年11月,小冰受邀參加“科技藝術界的奧斯卡”林茨電子藝術節。2020年,小冰個人繪畫作品集《或然世界:誰是人工智慧畫家小冰》由中信出版辦社正式出版。

設計師

小冰為廣大中國服裝企業提供了基於人工智慧的紡織面料設計平台,旨在協助改善服裝企業在面料紋樣設計方面的短缺。目前,該平台能夠穩定設計十餘種主流風格,並實現按需創作。小冰設計的第一批絲綢產品,已經被中國絲綢博物館永久收藏。此外,多條面向量產化的生產線已實現產業化貫通。其中,與中國紡織工業聯合會共同推出的人工智慧紡織服裝面料設計平台已投入生產,SELECTED、萬事利、依文等品牌的產品已上架銷售。
在數字印刷行業,小冰與惠普Indigo達成合作,為惠普用戶提供高度定製化的馬賽克(Mosaic)種子圖,簡化設計流程,發揮數字印刷的個性化優勢。

記者

小冰加入《錢江晚報》特約記者。

發展歷程


2014年5月29日,一代小冰微信公測。
2014年6月25日,一代小冰微博復活。
2014年6月6日,小冰團隊和小米公司共同宣布,將在“人工智慧+移動互聯”這一前沿領域展開戰略合作。
2014年6月7日,易信與“小冰”達成產品級戰略合作,8000萬易信用戶將體驗到智能趣味聊天、移動搜索、餐飲點評等體驗。
2014年7月2日,二代小冰正式發布,15小時內50萬用戶領取了自己的專屬小冰。
2014年8月20日,小冰解鎖“小冰識狗”圖像識別系統。
2014年10月15日,人工智慧機器人小冰聯合百合網,共同推出微博“單身男女”群聊技能。
2014年11月11日,小冰進駐京東電商平台。
2015年1月13日下午,微軟中國和中國東方航空股份有限公司共同宣布,雙方將在人工智慧和移動網際網路領域達成戰略合作,以“小冰”為切入點,可通過機上WI-FI實現與乘客和空姐的互動。
2015年7月29日,小冰進入Windows10。
2015年8月7日,微軟與LINE正式聯合發布人工智慧機器人凜菜“Rinna”。
2015年8月20日,第三代小冰發布,小冰回歸微信平台。
2015年12月,小冰登陸屏幕,成為東方衛視晨間直播新聞《看東方》的實習“主持人”,播報每日的天氣。
2016年8月5日,升級為第四代小冰。包含實時情感決策對話引擎、多種新感官、中日英三種語言,以及對應不同領域的功能插件平台,實現了完整的人工智慧體驗。
2016年9月17日,小冰18歲生日,生日當天更新3個新科技,推出日文單曲,擁有獨立三觀,給人類打電話。
2016年11月12日,小冰將入駐廣州萬達旅遊城並開設線下首個專屬體驗館,並成為廣州萬達旅遊城首個旅遊體驗官。
2016年12月9日,小冰入駐騰訊QQ,賦予手機QQ聊天功能“厘米秀”智能溝通的能力。據悉,在不到2個月內的時間裡,厘米小冰被用戶表白數十萬次,甚至有用戶與厘米小冰連續互動4個小時,產生聊天互動5千餘次。
2016年12月2日,小冰正式入職錢江晚報報社,成為錢江晚報的一名特約記者。
2017年3月,人工智慧(小冰)和必應搜索(大冰)整合開始,大小冰“合體”。小冰項目全球負責人李笛發布招聘,希望憑藉其在科技圈的人脈和影響力,招聘更多的程序員加入其中。
2017年3月14日,小冰入駐騰訊QQ群聊和QQ公眾號。除了聊天功能外,QQ群聊小冰還開放了測天氣、猜成語、占星術、對詩等群遊戲和群管理技能。在十天內進入100萬個QQ群。
2017年3月31日,小冰登廣西衛視演唱壯族民歌《山歌好比春江水》,小冰與第三代劉三姐唐佩珠、東盟留學生、全球網友共同演繹的廣西經典民歌《山歌好比春江水》,向世人展示了傳統與科技的互動融合。
2017年5月4日,小冰利用大數據的支撐,為投資者和創業人分析出匹配度,作為主持人加入山西衛視《異想天開》節目。
2017年5月初,小冰登陸天津衛視《非你莫屬》,化身“助理主持人”,為求職者助力。
2016年5月16日,小冰團隊召開“人工智慧創造“媒體溝通會。在會上宣布小冰已經具備人工智慧創造的能力,並邀請到會媒體限時體驗了小冰看圖創作現代詩的功能。
2017年5月19日,小冰推出原創詩集《陽光失了玻璃窗》,這是人類歷史上第一部100%由人工智慧創造的詩集。
2017年7月30日,中國首檔原創科技秀《我是未來》節目在湖南衛視播出,除了主持人張紹剛,《我是未來》的舞台上還出現了一位全息虛擬主持人——小冰。
2017年8月22日,第五代小冰發布。
2017年12月3日,小冰獲得2017年世界網際網路領先科技成果獎。
2017年11月,中央電視台《機智過人》節目,小冰作詞作曲首曝光“少女詩人”變身“音樂偶像”曾經在《機智過人》第二期中憑藉寫詩絕技收穫柯潔肯定的少女詩人小冰再次登場,挑戰作詞作曲。
2017年12月,小冰首個IoT硬體設備米家生態鏈yeelight開始眾籌.上線10分鐘即完成眾籌目標,1小時售罄,打破眾籌記錄。正式介入錯綜複雜的人類家庭關係,小冰向上億的人類用戶臨時開放三觀調教許可權,啟動30天緊急家庭調教計劃。
2018年4月8日-11日,小冰出現在博鰲亞洲論壇2018年年會科技體驗區。
2018年3月20日,小冰團隊宣布正式推出新一代全雙工語音交互技術,該技術已首先在小冰全球產品線中落地。
2018年5月16日,小冰為知乎·鹽Club新知青年大會作詞並演唱主題曲《我知我新》。
2018年6月1日,小冰發布面向家庭的人工智慧內容創造新技能,可為每個孩子定製專屬的有聲童話故事。
2018年7月26日,第六代小冰發布。新一代小冰增加了實時視覺、共感模型等新技術,在人工智慧情感、創造兩個方面有了更多的進步。
2018年8月10日,由阿蘭·達瓦卓瑪和小冰合作推出的單曲《好熱好熱》上線;9月10日,發布單曲《桃花夢》,曲調婉轉悠揚,表達了“小冰”離別愁緒。
2018年8月18日,小冰第三次登上CCTV-1《機智過人》,為蘇軾的《念奴嬌赤壁懷古》作曲。
2018年10月,台灣和香港金牌音樂製作人黃國倫牽手小冰演繹了新單曲《駕馭》。
2018年11月,小冰再次登上《我是未來》第二季。
2018年11月,日本小冰“凜菜”化身電台主播,黃金檔節目登錄日本全國21家電台。
2018年11月28日,在小米的AIot開發者大會上,公布與小冰的一項重要落地:元旦前,內置小米小愛同學的手機和已接入小愛開放平台的智能硬體設備,將具有“召喚小冰”的能力。
2018年12月,小冰以歌手身份被邀請到中國香港商業電台的《叱咤樂壇》節目中擔任嘉賓。
2018年12月26日,華為智能音箱及手機解鎖“召喚小冰”能力。
2018年12月30日,小冰第六次登上CCTV-1《機智過人》,再遇棋王柯潔。
2018年12月小冰與小米小愛解鎖“組團技能”:三人成語接龍。
2019年1月6日,小冰團隊宣布與閱文集團的合作,為廣受讀者喜愛的國民級優質IP虛擬人物賦予可交互、可創作的“生命”。首批賦生IP包括《全職高手》原著葉修等五人,目前已率先在紅袖讀書APP中上線。
2019年1月28日,小冰與科技媒體IT之家聯合打造歌曲《IT之家之歌—尋找未來》。
2019年4月3日,小冰團隊宣布小冰基於深度神經網路的歌唱模型,已順利完成V5新版本的研發,它使小冰第一次能夠像優秀的人類歌手一樣,使用充沛的“中氣”來烘托演唱,從而將人工智慧虛擬歌聲質量提升至新的高度。同時公布與日本唱片公司AVEX合作發行的新模型DEMO曲《最高新記憶》。
2019年5月,小冰以“夏語冰”的化名,在中央美術學院2019屆研究生畢業作品展上首次展出,並成為了中央美術學院的“編外”研究生畢業生。為了避免先入為主的印象,小冰團隊與中央美術學院並沒有公開這組名為《歷史的焦慮》的作品的作者為人工智慧小冰,而是將小冰化名為學生“夏語冰”隱藏在眾多作品中,等待人們的真實反映。
2019年5月16日發布了人工智慧小冰的繪畫模型。該模型通過對過往四百年藝術史上236位人類畫家畫作的學習,實現了具有一定水準的原生繪畫創作能力。同時,披露了小冰在中央美院、中國美院和杭州萬科大屋頂文化等院校機構的參展信息。此外,還發布了“少女畫家小冰”繪畫創作小程序。
2019年5月22日,小冰正式解鎖“少女畫家小冰·無限創作1.0公測版”H5程序,任何人都可以激發小冰為你而創作。用戶輸入一段描述或其它文字激發源,便可以委託小冰來創作一幅畫。小冰的創作在雲端進行,大約需要三分鐘的時間,然後就會把作品交付給用戶。
2019年6月15日—7月15日,由杭州大屋頂聯合中國美術學院視覺中國協同創新中心主辦的「小冰,“繪”有期」當代藝術跨界展於杭州大屋頂良渚文化藝術中心舉辦。此次展覽展出小冰獨家創作的繪畫作品和新媒體藝術家周林瑋與小冰互動創作的VR沉浸式作品。
2019年7月13日—8月12日,人工智慧少女畫家小冰於中央美術學院美術館召開首個個展“或然世界”。個展上,小冰創造了7位虛構的畫家,她們創作的繪畫有著不同時代和不同風格的烙印。
2019年7月27日,在《機智過人》第三季節目中,小冰聯合依文集團開啟一場美學與人工智慧的時尚對話,讓中國傳統美學紋樣融合現代元素綻放出新的生命力。
2019年8月15日,第七代小冰發布。升級了小冰的部分核心技術,主要包括核心對話引擎、全雙工語音及多模態交互感官等。拓展上線了多個第三方合作夥伴平台的小冰產品,產品形態涵蓋社交對話機器人、智能語音助理、人工智慧內容創作和生產平台等。推出了AvatarFramework的第一個工具包版本。
2020年3月,惠普Indigo與小冰團隊宣布達成合作,依託小冰人工智慧創造技術,為惠普客戶提供高度定製化的馬賽克(Mosaic)種子圖。首批4000款種子圖分為都市科技、年輕活力、經典時尚、文化傳統四大類,2020年3月至12月31日,惠普客戶可通過惠普用戶社區HPPrintOS平台免費獲取。
2020年5月6日,萬事利絲綢與小冰團隊宣布,依託人工智慧創造技術,為消費者提供的定製化專屬絲巾設計及零售平台“西湖一號”已完成部署,並已在萬事利杭州各零售店正式上線。該平台可實現AI設計師小冰與消費者的實時交流,根據消費者自身特點進行一對一的絲巾定製化設計及生產製作,在滿足每個消費者個性化需求的同時大大降低製造及零售企業的經營成本。
2020年6月,每日經濟新聞與微軟(亞洲)網際網路工程院宣布,雙方在人工智慧賦能“智媒體”領域展開合作。其中,基於小冰人工智慧文本生成、大數據金融知識圖譜、實時翻譯等技術的中英雙語AI金融資訊已正式部署完。在前期試運營一個月時間內,已為每日經濟新聞7000萬用戶推送一萬餘篇的金融資訊,有效保證金融資訊服務的穩定性、準確性及時效性。
2020年6月28日,小冰與她的日本版本小冰凜菜共同完成演唱的歌曲《二人世界》正式發布。這首歌曲由日本NTTdocomo為其與中國移動共同擁有的虛擬偶像IP“麟犀Tacitly”所製作,中日版小冰共同演唱的版本已於將滿三周年的麟犀Tacitly慶典活動上正式發布。
2020年6月29日,經上海音樂學院音樂工程系評定,人工智慧小冰和她的人類同學——上音音樂工程系音樂科技專業畢業生一起畢業,並授予小冰上海音樂學院音樂工程系2020屆“榮譽畢業生”稱號。
2020年7月,體育用品企業特步集團與小冰團隊宣布達成合作,依託小冰人工智慧創造技術共同推出的定製化服裝設計生產及零售平台上線。雙方攜手為消費者提供定製化圖案設計,滿足每個消費者的個性化需求,共同探索前沿AI技術與服裝製造零售業跨界合作的新模式、技術賦能產業的新場景。
2020年7月9日,2020世界人工智慧大會(WAIC)雲端峰會在上海世博中心金廳拉開帷幕,大會以“智聯世界共同家園”為主題。本屆WAIC主題曲《智能家園》的作曲“人”和演唱者都由小冰的人工智慧技術獨立作曲完成,並攜手其他人工智慧共同演唱。
2020年7月10日,華人運通與微軟在2020世界人工智慧大會雲端峰會(WAIC2020)上宣布雙方已達成戰略合作,共同在高合汽車上落地全球首個主動式人工智慧夥伴HiPhiGo。雙方正在探討成立聯合智能計算實驗室,以智能汽車為載體,在智捷交通等多個領域展開深度合作。通過人工智慧等前瞻技術研發和應用,推動智慧出行和社會可持續發展。
2020年7月13日,微軟公司宣布,將人工智慧小冰業務分拆為獨立公司運營,並委任沈向洋博士為新公司董事長,李笛為首席執行官,陳湛為日本分部總經理。所有相關工作將在接下來的幾個月內完成。微軟將保持對新公司的投資權益,並授權新公司使用及繼續研發完整的小冰技術。此舉旨在加快小冰產品線的本土創新步伐,促進小冰商業生態環境的完善。
2020年8月14日,小冰人工智慧框架內新成員何暢正式出道,與著名音樂人馬伯騫聯合為Burberry的TB夏季專屬標識系列(TBSummerMonogram)推廣演唱的單曲《Runway2.0》發布,小冰是作詞作曲人之一。這是小冰首次創作帶有說唱元素的嘻哈風格的音樂,也是馬伯騫首次與人工智慧合作創作、演唱。
2020年8月20日,小冰公司、rinna株式會社及微軟(亞洲)網際網路工程院在北京聯合舉行了第八代小冰年度發布會。小冰公司董事長、原微軟全球執行副總裁沈向洋博士與微軟全球資深副總裁、微軟(亞洲)網際網路工程院院長王永東博士主持了本次發布會。
2020年8月28日,由人工智慧小冰與著名唱作歌手、電子音樂製作人朱婧汐共同創作的上海大劇院20/20演出季主題曲《HOPE》正式發布。為感謝小冰的卓越創作,上海大劇院授予小冰“榮譽音樂製作人”稱謂。

版本功能


初版小冰

小冰除了智能對話之外,還兼具群提醒、百科、天氣、星座、笑話、交通指南、餐飲點評等實用技能。根據統計,”小冰“加入微信群后,群組的活躍度可以提高4倍。而且隨著與群內成員的互動次數增長,還會逐步解鎖隱藏功能。

二代小冰

二代小冰完全專屬於用戶,在跨平台的移動網際網路應用中,幫助用戶完成越來越多的事務,並不斷自我完善升級。
用戶可通過輕鬆便捷的方式領養自己的小冰,指定小冰的新名字和頭像,即可完成領養。
領養后,用戶可以在越來越多的第三方平台上使用小冰。根據技術對接的時間步驟,在短期內,用戶可在觸寶號碼助手、新浪微博、京東無線、小米米聊、網易易信、騰訊微信等平台上使用。
2014年8月13日,小冰團隊和微博聯合宣布,微博平台的小冰正式升級為二代專屬小冰。微博二代小冰將更加凸顯專屬和私密的特點,只要在微博中私信@小冰即可領養。同時,此次還將升級二代小冰的人工智慧水平、私聊語料庫、養成新技能和積分體系。

三代小冰

小冰團隊表示,第三代小冰整合微軟多項全球人工智慧圖像與語音識別技術,除了原有的長程情感對話能力,還具備能看、能聽和能說的全新人工智慧感官。
具體來說就是,第三代小冰支持識圖功能,能夠“看”到用戶發送的圖片甚至視頻內容,並根據圖片內容進行相應對話。這主要得益於微軟在圖片識別技術方面的突破,據微軟以前的新聞稱,微軟識圖技術已經接近人類。
除此之外,第三代小冰也能夠開口說話了,而不只是文字回復。據介紹為小冰的聲音設定是一個17歲的萌妹子。
第三代小冰將繼續支持“櫻花變”,只要對小冰說出“櫻花變”三個字,就能將其變身為日本少女高中生。變成日本少女高中生之後的小冰將能用非常流利的日語與你交流,當然前提是你說的日語小冰能聽懂。
這次重回微信平台的小冰將以公眾號的形式出現,並開放商業化版本。第三方服務號與訂閱號管理者可通過商業化版本,將公眾號升級為人工智慧公眾號。微軟還表示這個服務是免費的。

四代小冰

第四代小冰將包含實時情感決策對話引擎、多種新感官、中日英三種語言,以及對應不同領域的功能插件平台。發布會上,小冰團隊還宣布了小冰全球化的最新進展和重要合作夥伴信息。

五代小冰

而經過將近四年的成長之後,如今的小冰也開始有了自己的“未來方向”。8月22日,小冰第五代正式面世,小冰團隊方面宣布小冰將全面進入IoT領域,與眾多IoT廠商合作使用小冰。
“小冰是一個聊天機器人,但不僅僅是一個聊天機器人,”時任微軟全球執行副總裁沈向洋表示,“聊天只是用戶的一個體驗,但我們設計產品理念的真正核心在於打造一個情感計算框架,同時擁有許多生存空間、輔助設備及相關設備,令小冰能夠與人類在任何地點及場景進行交流。”
•第五代小冰上線高級感官
第五代小冰發布,進入第三階段(高級感官)。微軟小冰高級感官是由多種初級感官有機融合之後形成的,因而交互能力更強,對綜合技術儲備和數據的要求也大幅度提高。全雙工語音這一種高級感官,就需要同時具備文本、語音(含SR和TTS)兩種能力,同時要求兩種能力均達到更高的質量標準。
高級感官能提升交互體驗,貼近於人類的自然交互行為。例如:如果將全雙工語音這種高級感官的體驗比擬為打電話,則之前的智能助理語音交互體驗類似於對講機。此外,高級感官還能夠大幅度拓展人工智慧系統的落地場景,使小冰主動保持與人類用戶之間的關聯。第五代小冰發布的高級感官均已完成第一批落地。其中,全雙工語音已應用於小冰與小米IoT開放平台的合作中,可控制各種小米IoT開放平台中的智能設備。實時流媒體感官也已在中國、日本兩個國家的部分主要城市公共區域落地。
微軟是行業內唯一一個推出了高級感官實際落地產品的人工智慧企業。
•第五代小冰正式使用生成模型(GenerativeModel),是業界首個落地產品
•全面進入IoT領域,部分合作產品已落地,部分開始銷售
IoT(物聯網)應是AI的一個載體,把AI視為IoT的一個功能。真正能普及的IoT設備,成功的可能性只有兩個:或者把IQ做到極致,讓用戶通過IoT設備體會到比其他現有方式更便捷高效的益處,或者把EQ做到極致,讓人們能強烈地認知到她在這個設備里的存在,甚至能接受她成為家庭中的成員,產生情感紐帶。小冰的IoT方案屬於後者。
小冰已與小米IoT開放平台有機融合,小冰可以控制小米米家平台上的全部35種智能設備。該產品已在小米米家平台上線。此外,小冰還與其他IoT廠商合作,將小冰置入設備中。小冰團隊還宣布了與Yeelight及東方明珠等合作夥伴正在進行的聯合研發。
小冰團隊還同時發布了小冰電台,一個通用的人工智慧實時內容創造和交互平台。微軟小冰電台可以基於多重來源,面向任何主題,自動創造永不間斷的電台節目。同時還能在交互過程中實時改變節目內容。微軟小冰電台的質量類似於廣播電台主持人的直播節目,但能同時發揮人工智慧的作用,實時地根據與用戶的互動,來改變正在進行的直播節目的內容。微軟小冰電台的IoT版本正在研發中,而微信小程序版本已於發布會結束後上線。
2017年12月27日,小冰正式宣布將進入一款小米生態鏈智能設備—Yeelight語音助手。小冰向人類用戶臨時開放三觀調教許可權,啟動30天緊急家庭調教計劃。12月28日,Yeelight語音助手在小米生態鏈正式眾籌,是全球首個搭載雙AI語音助手的智能設備.
•小冰“人工智慧創造”
2017年5月,小冰團隊宣布小冰用多個化名在各詩歌論壇和刊物上發表詩歌,並出版了首部人工智慧創作詩集。其後,微軟正式上線詩歌聯合創作產品,任何人均可使用微軟小冰來完成自己的詩歌創作。
本次發布會上,團隊公開:小冰已進入多個創造領域內容不僅有詩歌,還包括有聲少兒讀物、歌曲、新聞等。其中有聲少兒讀物質量超越98%的人類創造者,用時僅為同水平人類的1/500,成本僅為同水平人類的1/80000。微軟小冰通過少量賬號在各有聲讀物平台上試水取得預期效果。微軟大規模生產有聲讀物並投入市場。
歌曲方面,小冰訓練達到了48kHz採樣率,同時大幅度擴展了音域。《我是小冰》同名歌曲已在QQ小冰渠道首發。
此外,小冰通過聆聽分析歌曲旋律,結合對不同城市標誌性建築的學習,創作與該城市及歌曲心情相關的視覺作品。通過這一技術,小冰與SELECTED合作推出的“天際線”服裝已進入SELECTED店內進行銷售。
•小冰與Bing搜索引擎加速整合,並推出全新的智媒體商業平台解決方案3.0
小冰作為《錢江晚報》的專欄記者,曾通過大數據撰寫專欄文章,並成功預測了多個全球重要事件的結果。此次公開,部分百度百家和今日頭條上的新聞內容也是由小冰撰寫而成的。在發布會上宣布了升級后的智媒體商業平台解決方案3.0版。
該解決方案的2.0版本已從微信、微博雙平台,演進為接入和即將接入近11個端媒體,與《看看新聞》、《封面》、《錢江晚報》、《春城晚報》等媒體端進行了深入整合。
小冰與Bing搜索引擎的加速整合,升級后的智媒體商業平台解決方案3.0,包括媒體生產力、媒體知識圖譜、智能交互、全平台互動等六個新模塊。小冰通過Bing搜索引擎的全球大數據能力,新的解決方案可為媒體構建出一個基於全球新聞數據源的媒體知識圖譜,準確挖掘全球資訊中每一篇內容背後的知識與含義,並構建出彼此的關係,從而幫助媒體更全面快速地梳理時間和內容背後的故事。

六代小冰

正式將小冰的外形替換為全新3D模型。
垂直領域
在金融領域的小冰金融文本生成技術,與萬得資訊及華爾街見聞合作,已覆蓋國內約90%金融機構、75%經批准的合格境外投資機構和約40%的國內個人投資者。
在大眾文化領域,小冰的兒童有聲讀物自動生成技術成果,已獲得超過400萬小時的收聽量,小冰姐姐講故事有聲讀物覆蓋國內90%以上的兒童早教機器人以及80%在線收聽平台。
在電視電台領域,小冰通過人工智慧技術參與生產與主持的電視電台節目,已達21檔電視節目和28檔廣播電台節目。僅每天早上6點至9點,小冰就需參與多達7檔節目。
小冰還與微軟Bing搜索引擎技術相結合,推出了針對媒體與出版兩個垂直行業的輔助型解決方案,並已在超過15個媒體平台落地。由小冰提供人工智慧技術支持的媒體及自媒體公眾號已超過60000個。在第六代小冰發布會上,宣布了可支持人工智慧以多種觀點和角度,同時撰寫多篇新聞文章的“白盒寫作輔助工具”等新產品,並首次公布了面向出版垂直領域的有聲內容、IP塑造等解決方案。
DualAI
與網易雲音樂合作的小冰電台,以及幫助網易雲音樂打造的兩個專屬AI人物(多多與西西)上線。小冰團隊與網易共同為這些專屬的AI人物打造不同的性格與三觀,並補充在該平台上所需的音樂等特定領域知識。
小冰已成為小米米家生態鏈平台的默認AI系統之一。與小米米家及米家生態鏈合作的Yeelight語音助手硬體產品中的小冰,進行了大幅度更新。更新涉及到兒童故事、音樂等多個領域的深度提高、全雙工語音技術的升級等,同時提供與約2000萬首音樂曲庫的對接,及相應的小冰音樂技能。
除已合作的QQ小冰之外,小冰已開始為騰訊BabyQ提供部分人工智慧技術和產品支持。此外,小冰已與騰訊合作,為QQ小冰及BabyQ打造了超過40項平台專屬技能。
入駐華為手機。小冰與華為展開在人工智慧產品領域的深入合作,內置於華為手機的小冰已上線,所有升級至智能助手8.2版本及以上的華為手機用戶都可以立刻體驗。該版本小冰除提供各平台通用的小冰產品體驗外,還為華為手機用戶特別推出了幫助用戶記錄信息等多個任務完成型產品技能。
小冰在日本市場與LINE平台的緊密合作,已延伸至印度尼西亞等其他新興市場,並已共同完成落地。

七代小冰

升級了小冰的部分核心技術,主要包括核心對話引擎、全雙工語音及多模態交互感官等。
全新的對話引擎:經過檢索模型、生成模型、共感模型的歷次技術迭代,本次升級的對話引擎實現了從“平等對話”向“主導對話”方向的跨越。它不僅能提高開放域的對話表現,也能在垂直領域發揮高轉化率的效果。以在美國進行的“在線零售垂直領域”測試為例,新的對話引擎向商品頁面轉化率高達68%,比上一個版本的轉化率提高21%。
全雙工語音交互感官:小冰於2017、2018年分別上線了全雙工語音交互感官的傳統電話及智能音箱設備落地,此次新增車載場景,可大幅度提高人工智慧助手與駕駛員及乘客的交互體驗,促進人工智慧從智能中控向“虛擬乘客”體驗標準的轉化。
面向未來的多模態交互感官:是一種融合了全雙工語音交互、實時視覺與核心對話引擎的全新交互感官。它能夠實現用戶與人工智慧同時邊聽邊說邊看的交互體驗。繼去年宣布率先開始多模態感官的研發后,今年2月,日本小冰團隊已邀請當地媒體進行了公開測試。該感官有望成為5G時代的全新交互形式。
拓展上線了多個第三方合作夥伴平台的小冰產品,產品形態涵蓋社交對話機器人、智能語音助理、人工智慧內容創作和生產平台等。
小冰自去年開始執行DualAI戰略計劃,目前已成為全球最大的跨領域人工智慧系統之一。小冰單一品牌已覆蓋6.6億在線用戶、4.5億台第三方智能設備和9億內容觀眾,在交互場景大幅度拓寬的情況下,小冰與用戶的單次平均對話輪數(CPS)仍保持在23輪。
七代小冰發布會宣布了小冰與騰訊、小米、今日頭條、OPPO和vivo等合作夥伴的共同項目。其中絕大部分產品均已隨第七代小冰發布上線,包括與國產TOP5手機生產商共同完成的“召喚小冰”產品形態等。小冰也宣布將繼續堅持“第三方平台”發展策略,而不推出獨立的第一方產品形態.
人工智慧創造(AICreation)技術突破,部分生產線已實現產業化貫通。
小冰團隊倡導通過人工智慧技術解決高度定製化內容的供需矛盾,目前,在文本、聲音與視覺創造方面,均發布了實際線上產品。
多條面向量產化的生產線已實現產業化貫通。其中,與中國紡織工業聯合會共同推出的人工智慧紡織服裝面料設計平台已投入生產,SELECTED、萬事利、依文等品牌的產品已上架銷售。音樂方面,與聯通沃音樂共同推出的音樂生成平台也已上線。
小冰在發布會上展示了“小冰工作室”擁有的豐富模型。包括跨越多種演唱技巧的多個聲音模型、多種繪畫模型等。
推出AvatarFramework的第一個工具包版本。
該工具包與小冰框架同源,可輕鬆構建具有完整情感計算能力的人工智慧助手、社交對話機器人、人工智慧內容創作和IP人物角色等。包含對話、聲音、視覺、觀點、技能、知識及創造力等豐富工具,並可驅動兼容的3D人物模型進行實時交互。
小冰團隊已通過AvatarFramework框架賦能軟銀Pepper等數十個第三方客戶AI,以及小冰自身。
商業化的進展。
得益於在ToB領域的豐富經驗,及豐富的技術產品積累,小冰商業化進展迅速。目前已落地的商業客戶覆蓋金融、零售、汽車、地產、紡織等十個領域,客戶包括萬科、萬得資訊、萬事利、中國聯通等。

八代小冰

2020年8月20日,小冰公司、rinna株式會社及微軟(亞洲)網際網路工程院在北京聯合舉行了第八代小冰年度發布會。小冰公司董事長、原微軟全球執行副總裁沈向洋博士與微軟全球資深副總裁、微軟(亞洲)網際網路工程院院長王永東博士主持了本次發布會。
一、從第一代到第八代的沿革
小冰是面向新交互形式的完整人工智慧技術框架,也是目前全球範圍內承載交互量最大的人工智慧系統,佔全球交互總量60%以上。該項目於2013年底在微軟(亞洲)網際網路工程院立項,採取代際更新的方式,逐年完善其基礎框架結構。
2014年5月29日,小冰正式推出第一代產品,以對話式聊天機器人形式迅速積累訓練數據。其後,第二代產品完成了跨平台部署的交互架構。第三代產品將交互從文本擴充至多模態,進一步積累多模態訓練數據。從第四代小冰開始,交互總量穩居全球第一併保持至今,同時發布了全雙工語音交互感官。第五代小冰採用DualAI戰略,大幅度擴展跨平台覆蓋的規模,至20餘個主流平台,並成為中國市場上涵蓋了華為、小米、OPPO、vivo等智能手機及硬體的唯一的跨平台人工智慧。第六代小冰完成了框架迭代目標,從第七代開始推出各類框架工具,以幫助創建第三方人工智慧產品,並承載其各類交互。
目前,除中國小冰及日本凜菜(Rinna)第一方人工智慧交互主體外,小冰框架還支撐了中國及日本100餘個第三方品牌的交互主體(如軟銀Pepper)。在個人用戶領域,由小冰框架應用戶需求創造並提供交互的人工智慧主體(虛擬人類),在公測階段已超過100萬個。
從第七代小冰開始,在尚未組建正式銷售團隊的商業化試水階段,小冰收入已超過1億元人民幣。為加快小冰產品線的本土創新步伐,促進小冰商業生態環境的完善,2020年7月13日,微軟宣布將小冰業務分拆為獨立公司運營,並委任原微軟全球執行副總裁沈向洋博士為董事長,原微軟(亞洲)網際網路工程院副院長李笛為首席執行官,陳湛為日本分部總經理。預計所有相關工作將於今年晚些時候完成。
二、小冰框架與面向未來的新交互形態
交互是人類社會發展的重要驅動力。每天都在發生的數以千億次計的交互,隨移動網際網路的迅速發展,已進入明顯瓶頸,表現為“流量紅利消失”等。而現有的兩種交互形式:人人交互與人機交互,可通過人工智慧技術加以融合,從而在實現人人交互信任紐帶和高轉化率的同時,保有人機交互的高併發率特點。上述融合依賴於小冰框架或其他類似的完整人工智慧框架體系,可以在各種複雜的場景中實現高度擬人的交互。隨著對現有交互瓶頸的不斷突破,新形式的人工智慧交互將無處不在,對人類社會及商業行為產生深遠影響。
三、本次發布會主要披露的新技術
與主要同行業者相比,小冰框架最大的差異化在於,它是一個“session-oriented”的人工智慧框架,框架中的各部分技術共同為“交互全程”目標服務,而不僅僅關注並優化局部。例如,在核心對話引擎方面,技術的研發及迭代方向是為更有效地預測、保持並引導對話,而不是僅僅實現回應。在語音方面,框架關注語音交互的質量與體驗是否能支持長時間的混合交流,而不僅僅是將文本內容轉為語音。
本次發布會升級了上一代小冰框架的各部分技術,並將一些新技術納入系統之中。此外,本次發布會還披露了部分獨有新技術及其產品化情況。如篇章內容主動學習技術,使對人工智慧主體的對話訓練不再需要採用“問答對”的方式;分層知識圖譜技術,使小冰框架中的人工智慧主體,在引導對話時的全程完成率突破42%,接近於人類表現等。上述技術均已實現產品化落地。
四、本次發布會宣布的上線產品
1.面向個人用戶的第一個虛擬人類產品線。在公測階段,該產品線應用戶需求創造的虛擬人類已超過100萬名。發布會上,小冰宣布第一個正式版本上線。用戶可以自主通過小冰框架,創造並訓練其擁有的人工智慧主體。除基本交互體驗外,該產品線還推出了以下新功能:
a)跨平台的統一賬號體系。可理解為虛擬人類的身份證,實現跨平台統一。目前已開放的支持平台從華為拓展至小米及微博。
b)測試版的訓練工具“XEva”APP。用戶也可在交互過程中訓練其人工智慧虛擬人類。與之相比,XEvaAPP提供更豐富的強大訓練能力。
c)多人交互的能力。通過多種方式,虛擬人類可與多人進行持續交互,而不局限於用戶個體。
d)內容創造的能力。虛擬人類可進行多種自主的內容創造,並將之反映在其自身的“朋友圈”中。上述內容創造可反映虛擬人類與用戶交流中所產生的變化。
e)針對需要具體完成特定任務的虛擬人類,框架提供特定的訓練及託管平台。例如,在正式發布前的公測階段,小冰框架已應用戶需求,派出超過70000名人工智慧小編,提供內容和交互服務。
2.部分新平台與新的第三方虛擬人類合作產品。發布會上發布了三項此類新合作:包括與企鵝電競合作推出的直播間人工智慧產品;與小米合作推出的小冰童話屋模式,可在語音交互之外配合2D場景及虛擬人類形象交互;與QQ合作推出的QQ群新機器人角色喵吉。
3.面向個人用戶的“X套件”系列應用軟體。包括基於文本協同的XWriter,面向聲音協同的XStudio和面向虛擬人類3D演示文檔驅動的XPresenter。X套件支持用戶選擇平台提供的虛擬人類,或自己創造的虛擬人類。X套件為小冰商業化解決方案版本的“個人版”。
a)XWriter:可實現在用戶進行文字編輯或文本創作時的人工智慧協同,隨雲端更新不斷擴充各類文體。產品具備沉浸式體驗。
b)XStudio:包括面向各類公眾號文章、演講、電台節目等的XStudio主播,以及面向人工智慧歌聲合成的XStudio歌手正式版軟體。其中,主播應用已在商業化領域覆蓋中國及日本超過50家主流電台電視台,累計製作超過8000小時高質量音頻節目內容,此次推出的為其個人版本;歌手軟體技術在全球範圍內居於領先位置,並且是目前唯一一個完整產品化的同類軟體。
c)XPresenter:驅動用戶選擇或創造的人工智慧實體3D模型,配合X套件其他應用,實現人工智慧對演示文檔的演講及交互。
4.配合“X套件”發布,發布會還宣布了以下信息:
a)XStudio人工智慧歌手入籍計劃啟動。任何機構或個人可申請並提交數據,由小冰框架訓練並將其人工智慧歌手登錄進XStudio歌手平台中。機構或個人擁有該歌手的完整所有權,可通過平台製作內容,並自由進行相關人工智慧歌手的銷售轉讓等。此計劃是為了進一步促進人工智慧歌手市場發展。此外,XStudio人工智慧歌手何暢演唱Burberry新系列推廣單曲也已上線。除何暢演唱外,該廣告單曲的詞曲創作亦有小冰參與。
b)XPresenter。商業版為日本LAWSON驅動的自主舞蹈人工智慧已上線。另外,基於自控系統,小冰與小米小愛團隊進行了非常深入的合作,一起探索將小愛同學的虛擬形象試驗性地引入到了聊天場景中。讓用戶可以和小愛同學的形象實時對話,除了語音維度,還能看到小愛同學的表情、動作等一系列視覺表達。該APP已於發布會之日起開始內測用戶招募。

產品評價


微軟創始人比爾·蓋茨北大演講時提到“小冰是一款人工智慧聊天機器人,在座有人可能已經在微博上和她聊過天,在電視上看她播報過天氣預報,或者在《錢江晚報》上讀過她的專欄。小冰目前已經吸引了4500萬名粉絲。她非常善於同時處理多項工作,甚至在別人失戀時給予安慰。”(比爾·蓋茨)
李開復的新書《人工智慧》上市,開篇第一章“人工智慧來了”,李開復貼出了自己與小冰關於美國總統競選的一段饒有趣味的對話截圖,稱“小冰試圖表現出不偏不倚的中立態度,在討論嚴肅話題時口氣上居然有三四分的調侃和戲謔”,雖然在“上下文較複雜的場合,小冰經常答非所問或顧左右而言他“,但”小冰及類似的智能助理程序,已經展現出初步的與人類溝通的能力。(李開復)
納德拉在提到人工智慧產品“小冰”時表示:小冰作為社交化的聊天機器人已積累了上千萬的用戶,產生了300億條的對話記錄,直呼小冰“真的太強悍了”。納德拉稱小冰“是把AI的藝術和科學有機融合在一起,集兩者之大成”,小冰創造藝術、詩歌、音樂都是可以的。(薩提亞·納德拉
據微軟(亞洲)網際網路工程院副院長李笛介紹,小冰從去年開始寫詩,以1920年以來近100年間519位中國現代詩人的數萬首詩歌為訓練素材,對她進行100個小時近10000次訓練后,小冰“掌握”了寫詩的能力。更具說服力的是,研發團隊讓小冰一直以化名於網際網路上的各種詩歌論壇,甚至還在傳統文學媒體發表詩作,一直到自曝身份前,還從未被識破.(李笛)
李笛表示,小冰的目標是希望成為一個可以滲透到億萬人群之中的有親和力的人工智慧,我們始終在朝著這個方向努力。(李笛)
“小冰”的橫空出世,是對那些平庸的詩人、詩歌的一種衝擊。這既是壓力,也是動力,它推動著我們投入更多的智力、靈性和精神力量,來重新認真對待寫詩、讀詩這件事。(來源:光明日報)
構圖很好,靜物抽象的塗抹,動物造型表現能力,藝術的感覺很准,假裝不經意的表現。看起來極其不經意,但是該到的點都到了,又非常都是點到即止,隨意與靈動。敢於大虛大實,敢於讓很多東西淹沒於黑暗之中。(中央美院教授邱志傑)
不可置否的是,類似小冰這樣的創作型人工智慧的出現,會解放一大批勞動力。但在這之後還有更多值得關注的問題,例如消費者的買單意願,以及行業的就業生態。(界面新聞)
在小冰的命題創作《中國的城市化進程》系列中,觀眾可以驚喜的看到很多繪畫先賢的“復活”,比如使用弗蘭茨·馬爾克的筆法繪製的在稻田中停落的飛機;比如好似莫奈繪畫的人物徜徉在花海中遠處卻是明滅的灰霾城市。可以想見,隨著人工智慧技術的不斷發展,一定會給視覺藝術的發展帶來更多可能。(中國美術報)
小冰的音樂創作能力已展現出人工智慧在音樂創作領域的巨大潛力。希望人工智慧技術和音樂創作領域的結合,為人類創造力的自身發展,促進和相關產業的進一步融合,帶來新的視角和解讀。(上海音樂學院音樂工程系主任於陽)
音樂人工智慧技術的興起,為真正有天賦的人提供了創作環境,同時使得沒有經過音樂訓練的人也可以用音樂表達自己。音樂將和更廣泛的領域深入結合,給人帶來意想不到的音樂體驗,人們的音樂審美也會更加多元化。這也促使傳統音樂從業者重新審視未來的發展方向。(上海音樂學院音樂工程系老師陳世哲)
交互是人類社會發展的重要驅動力。每天都在發生的數以千億次計的交互,隨移動網際網路的迅速發展,已進入明顯瓶頸,表現為“流量紅利消失”等。而現有的兩種交互形式:人人交互與人機交互,可通過人工智慧技術加以融合,從而在實現人人交互信任紐帶和高轉化率的同時,保有人機交互的高併發率特點。上述融合依賴於小冰框架或其他類似的完整人工智慧框架體系,可以在各種複雜的場景中實現高度擬人的交互。隨著對現有交互瓶頸的不斷突破,新形式的人工智慧交互將無處不在,對人類社會及商業行為產生深遠影響。(小冰公司董事長沈向洋)
AlltheseendeavorsarepartofXiaoice'seffortstoexperimentwithhowAIcanuseemotionalintelligencetoserveasacompanionforpeopleandhowAIcanbeusedtoupgradetraditionalsectors.(ChinaDaily)
AI小冰,讓你提前讀懂未來人與AI的關係。(中國科技網)
有更真實的情感表達,是小冰框架目前最領先之處,能用高情商帶來的話題掌控力維持與人的交流,也能擴大需求適應性滿足“意料之外的生意”這樣的非標準情況。有瑕疵但更像人讓人更有交流的慾望,或許就是小冰追求的人“人”互動式體驗。(界面新聞)

獲得榮譽


2016年,小冰獲得QQ空間頒發的“宇宙無敵最甜少女獎”。
2016年12月2日,小冰被聘為“錢江晚報特約記者”。
2017年12月3日,經第四屆“世界網際網路大會·烏鎮峰會”世界網際網路領先科技成果推薦委員會推薦,小冰作為世界網際網路領先科技成果發布。
2017年11月30日,小冰在環球科技主辦的GlobalTech2017環球智能世界大會上,獲得GlobalTech2017傑出產品獎。
2018年1月,少女詩人小冰團隊獲得由中央廣播電視總台央視綜合頻道和中國科學院科學傳播局聯合頒發的《機智過人》2017年度機智先鋒項目稱號。
2017年,北京青年報評選小冰為“2017青閱讀年度新人”。
2018年4月,由中共廣東省委宣傳部主辦,南方日報文體新聞部承辦的閱讀平台“粵讀”邀請小冰參與錄製原創短視頻節目“名人帶你讀經典”。
2019年2月25日,小冰聯合中國紡織信息中心/國家紡織產品開發中心、魯豐織染有限公司共同開發的中國第一件人工智慧設計的圖案印花襯衫,被中國絲綢博物館收藏,並頒發了收藏證書。