感觉这波大家可能都开源发的比较急,safety都没来得及好好搞,又加上safety肯定损害智商,为了模型效果也都不想加。 但是kindly reminder,大家还是最好认真做一下…咱不能只学claude做agent,不学claude花大力气做safety啊 看到一些case,但为了这个号的安全,我们就不截图了
AI基础设施安全和agentic各种协议 系统底层漏洞风控,下半年有好公司 估值能涨起来
有啥文章
我感觉豆包强一点,你可以在doubao用用
安全是成本,不太能创造经济价值,不太可能卷起来。应该会局限在安全学术界。
大佬有时间测一下step3的多模态啊,看看他和qwen2.5vl72b还有doubao1.6thinking比怎么样
感觉这个价值不太大,一方面操作安全在系统层面设置权限或者沙箱就行,另一方面内容安全目前许多agent都用不到(列如游戏agent),而且用户并不关心内容安全,相反许多用户会更喜爱内容上不那么安全的agent [g=woshou]
推荐一个resesrch topic,agentic的safety!
有mcp这块的,总感觉可以和传统网安混在一起玩由于agent需要调用外部资源
我们常遇到的问题是几个:不论什么功能的agent,都会有用户拿它来玩颜色rp,你一不小心可以超级多; 个别人特别喜爱强行把你的agent搞出什么奇怪的东西,然后发到网上,影响不好; 有一波人会把网页转成api用你的agent免费试用转换成api搞它们自己的货。 所以我很好奇openai这种policy之类的能不能让开发者来扩展。oai也有一个专门给agent开发者的特殊prompt,不知道和sys prompt什么差别
做烂咯
有啥文章
我感觉豆包强一点,你可以在doubao用用
安全是成本,不太能创造经济价值,不太可能卷起来。应该会局限在安全学术界。
大佬有时间测一下step3的多模态啊,看看他和qwen2.5vl72b还有doubao1.6thinking比怎么样
感觉这个价值不太大,一方面操作安全在系统层面设置权限或者沙箱就行,另一方面内容安全目前许多agent都用不到(列如游戏agent),而且用户并不关心内容安全,相反许多用户会更喜爱内容上不那么安全的agent [g=woshou]
推荐一个resesrch topic,agentic的safety!
有mcp这块的,总感觉可以和传统网安混在一起玩由于agent需要调用外部资源
我们常遇到的问题是几个:不论什么功能的agent,都会有用户拿它来玩颜色rp,你一不小心可以超级多; 个别人特别喜爱强行把你的agent搞出什么奇怪的东西,然后发到网上,影响不好; 有一波人会把网页转成api用你的agent免费试用转换成api搞它们自己的货。 所以我很好奇openai这种policy之类的能不能让开发者来扩展。oai也有一个专门给agent开发者的特殊prompt,不知道和sys prompt什么差别
做烂咯