“帮我们发展人工智能,也就是优化我们的神经网络?”
“是,也不是。白泽刚在你们的互联网上浏览了一下,发现你们的神经网络还停留在深度学习这个低级阶段,连婴儿都不如。”
“你会深度学习?走,我正好有问题需要解答。”
刘岁安狂喜,哪还管她的来历是什么,从天而降的白泽对于他来讲,无异于溺死前抓住的救命稻草。
他将金属方盒合起来带在身上,步履轻快地走回实验室。
实验室内。
此时韩启明和他姐姐都不在这里,可能是一起出去吃饭了。
实验室内其他几个研究生正热烈地讨论,无非是感叹韩启明的姐姐有多美,气质有多好等等。
至于实验室唯一的博士生张莎莎,正坐在椅子上扣手机。
她看到刘岁安出去一趟,带了个金属方盒回来,面无表情地打量了一眼,又埋下头滑动屏幕。
张莎莎因为不喜欢刘岁安,向来和他不对付,故而不会在意他带了个什么东西回来。
刘岁安调试代码心切,没有和任何人交流,忙不迭坐到服务器前的椅子上,打开代码编译器,把代码一行一行地展示给白泽看。
在路上时刘岁安从白泽口中得知,集成在耳环上的‘感知器官’,包括视觉传感器和雷达,这意味着白泽可以‘看’到这个世界。
见白泽一直没有出声,他逐渐加快了鼠标滑动的速度,不然这几千行代码要看很久。
人间一秒,计算机一年。
白泽作为高等智能,运算速度应该很惊人,这个速度不在话下。
终于,代码划到最后一行,刘岁安绷紧身子坐好,略显紧张地等待白泽开口。
“人脑神经是离散的信号传导,而你的神经网络建模的是连续可导空间,或者说目前你们绝大部分神经网络都是这样,其实不能叫神经网络……
vit模块那里的多头自注意力机制倒是有点意思,不过效率太低,看你的代码,似乎是想降低运算的复杂度,但是没有调试完成……
这里局部特征的提取使用深度卷积就可以了。键值对通过线性层直接提取到低维,优化的方向没错,但是q和k投影的方式有问题……”
白泽一张嘴,刘岁安就听出来她没有吹牛,是真的有点东西。
至于东西多不多,要等代码改完看实验结果如何。
在她的指导下,刘岁安编码完成了核心创新部分的代码。
“这个注意力机制是不是应该取个新名字,叫suian attention怎么样?”刘岁安开玩笑道。
“你足够不要脸的话,当然可以,不过白泽的建议是叫ultra efficient attention,简称uea。”
“……挺好的。”
“结构改完,参数也需要调整。初始学习率设为0025,weight-decay减半,为防止过拟合,num-heads降为4就够了……”
刘岁安通通照做。
……
实验室另一边,张莎莎表面上在看手机,实则在用余光关注‘自言自语’的刘岁安。
“该不会是实验做不出来,疯了吧。”
她想到这个可能性,看向刘岁安的目光不禁多了些怜悯。
张莎莎和刘岁安之间的过节其实很儿戏,起因是很久之前一个学妹喜欢后者。
当时刘岁安对那个学妹没有任何发展的想法,不知道怎么拒绝合适,随口谎称自己是弯的,想让对方不要来打扰自己。
学妹被拒绝后还想和刘岁安成为好朋友,后来知道了真相,差点抑郁了。
张莎莎是东南大学的少年班,和刘岁安的学妹恰好是室友,知道此事后,自然对刘岁安没什么好脸色。
张莎莎不愿意指导刘岁安,还有另一个原因。
刘岁安觉得张莎莎做的研究太偏工程,属于实验报告