rt，只看方向的话两个Offer选择，求建议！
端侧AI感觉主要是手机、车载一类的用途，但是迷惑是，是否有必要冒着更高的耗电量与低性能的风险研发手机端侧大模型？应用场景真的是必要的吗？ Infra是针对国产GPU进行模型框架算子等的优化，但是感觉岗位需求可能也不大。（主要是xhs太多人劝退这个方向了） 求建议，谢
同想咨询，大家都劝退infra，但目前许多服务器的性能，说实话还不如手机。。。之前组内测试iphone推理avatar肢体模型耗时低于桌面级i7。。。甚至挺多服务器性能不及我个人办公pc（公司配的i7＋48g内存去，1660gpu）..我在想端侧的性能是不是越来越强了，还有必要云侧吗
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
没有相关内容!
看具体应用场景感觉，端侧对于一些小模型的推理感觉可能足够了，更大规模模型的训练与推理还是依赖于计算集群，云端必定是必要的 iPhone还是和Mac比吧哈哈（皮一下）
Infra感觉主要偏向于让GPU集群高效支撑AI训练和推理，端侧主要是模型轻量化来支持端侧设备上的运行（哈哈但我后来没咋follow这方面工作了……
别来 infra
端侧和infra两个方向大差不差，还是想办法打听到公司内对应组的情况吧，领导的行事风格和水平还是更重大一些 [g=shengli]
都不行
唉麻了也，我也感觉许多日常的东西无需放在端侧运行。目前感觉俩方向可能都不太好跳槽 [g=pijiu][g=pijiu]
礼貌问楼主，端侧大模型部署和ai infra有什么区别
哈哈投春招一票
唉谢谢您！我之前报infra一部分缘由是想要设计一些和硬件结合更加紧密、落地性更好的算法，但是感觉纯做Infra的话和我想象的是不一样的。 端侧llm感觉的确 也是一种趋势，但是感觉也只能实现一些相对简单的需求，我的顾虑是，从性能角度，端侧llm必然很难达到别人几十B模型的性能。除了一些强隐私相关的问题，从用户体验角度，我会更倾向于调用云端llm给我更加准确的回答，感觉端侧应用就相对受限了。
咋说？求理由55 感觉算力国产化是一种趋势，但是不知道为啥岗位需求那么少
国产GPU也要看是哪家的
我觉得如果自己没做过infra项目，单纯是自己想去的，提议别去。如果做过还是觉得有意思的话，可以尝试。个人还是比较看好端侧llm的，学术界也在大力做这个。未来也应该会落地且有岗位需求，不过应该不是今年。具体是什么时候下场感觉可以看苹果的动向，至少目前来看人家还是用的别人的。
过来人，转算法了
端侧模型部署，但是感觉也是不一样的，端侧更强调资源占用以及能耗一类的，Infra目前去做的话肯定偏向大模型加速了（我猜测
前端测ai infra人路过。端侧最大的痛点就是隐私，其他都没有云端方便/性能好。而且面其他不做移动设备的公司，gpu相关知识往往超级有限，不利于跳槽…… [g=aixin]
端侧ai是啥意思？端侧的模型部署还是说做一些小模型的算法？如果前者的话感觉和infra没啥区别
唉心塞 我之前签的时候感觉之后大模型赛道会很卷，像是几年前的CV一样，当时想既然都卷LLM那去造轮子也是一条路，拖来拖去就剩这俩了，都不行得蹲春招找算法岗
是的……但是不做GPU只做平台，也是我有点子纠结的地方
嗷嗷Get，谢谢您！ 的确 ，和选实验室一样