大会的日程是两天,时间显得比较充裕,据主持人说以前的日程是一天,显得比较紧迫所以今年增加到了两天。会议的主题在各个层面都有所概括,大的有云系统、大数据,还有分布式数据库,以及分布式文件系统,比较小的有服务器监控等项目,下面介绍几个我比较感兴趣的部分,并没有按照演讲日程排序。
58同城的演讲标题为《私有云探索与实践》,首先介绍了云计算,以及给出了一个私有云的示意图:
几乎是全中文了,演讲后来又提到了OpenStack,作为一个开软的云解决方案,OpenStack当前可谓是万众瞩目,其中应用案例也为数不少。
大数据也是相当热门的领域,其演讲嘉宾是联通沃商店的大数据技术经理,演讲标题为《基于用户画像的大数据实例》,采用的大数据实例是通过对联通营运商和沃商店数据进行分析得到用户的“画像”,从而在如广告、游戏下载等其他应用场景为用户推荐相关的产品。演讲内容是很不错,提到了很多算法以及数学公式,但是对例子的讲解也不缺乏,如机器学习、语义分析等都有所涉及,专业性和普适性都很强。后来的提问环节也很热闹,因为到场的很多都是进行实际工作的,相关领域的人并不少。
可以看到这是比较典型的Hadoop体系,里面Spark和Storm都有用到,而HIVE和机器学习都有涉及。
阿里的兄弟的第一个分享是《走进阿里分布式数据库服务》,这是用于阿里云的分布式数据库服务,也是最近才推出的,据说当时还处于测试阶段,会免费提供给用户使用。
DRDS,Distributed RDS,也就是阿里云现在的RDS(Relationship Database Service,关系数据库)的分布式版本,可以看出和Amazon早些日子推出的Aurora有些若隐若现的联系。DRDS脱胎于Alibaba的Cobra分布式数据库引擎,并吸收了Taobao TDDL分布式数据库引擎的大量优秀经验和解决方案(TDDL支持分布式join、分布式aggregation、异步索引构建、Auto sharding以及自动扩容缩容),DRDS专门针对外部用户进行了重新设计,简化操作流程。DRDS和Aurora一样,都高度兼容MySQL的API——但不是100%实现。DRDS的特点是小表异步广播、智能push等几个技术,而对于用户来说,最大的特点应该是自动扩容缩容,例如,在容量不够的时候,可以方便地购买新的容量并加入到原来的集群既可以进行扩容。
阿里集团阿里云的同学分享了一个分布式文件系统:TFS(Taobao File System),分享的标题是《TFS架构演进》,当前TFS已经是开源产品,并会在未来和飞天系统的盘古文件系统相融合,阿里的同学应该是希望TFS能得到大家的广泛使用。
TFS(Taobao File System)是一个面向互联网服务的分布式文件系统,主要针对海量的非结构化数据。从架构上看,TFS和GFS(Google File System)有些相似,都具有Nameserver节点用来处理Metadata,不同之处在于,TFS在内部使用的时候,主要用于保存taobao的产品图片,因此很多通用文件系统具有的特性它并不具备,而GFS这面向大数据。相似的地方则是,它们都构筑在普通的Linux机器集群上,为外部提供高可靠和高并发的存储访问。因此,TFS和GFS都是集中式Metadata的分布式文件系统。随着Taobao的发展,以及阿里对TFS逐渐开放给其它应用环境的需要,TFS的架构也在慢慢发展,最新的TFS 1.4.0新增支持大文件功能。TFS目前并没有怎么考虑一致性问题,因为在Taobao内部由于应用的单一性,其问题并不复杂,如果要做成一个通用的文件系统,还要进行一些开发。
两天的分享包括了系统从上到下的内容,略微遗憾的是并没有涉及到硬件基础设施,可能这也是大众对架构师的认知:偏重软件架构。很多厂商的分享都结合了自己的应用案例,而充足的提问时间也导致了一个良好的分享氛围。
有益的大会。
好文章,需要你的鼓励
铠侠正在测试最新的UFS v4.1嵌入式闪存芯片,专为智能手机和平板电脑设计,可提供更快的下载速度和更流畅的设备端AI应用性能。该芯片采用218层TLC 3D NAND技术,提供256GB、512GB和1TB容量选择。相比v4.0产品,随机写入性能提升约30%,随机读取性能提升35-45%,同时功耗效率改善15-20%。新标准还增加了主机发起碎片整理、增强异常处理等功能特性。
上海AI实验室团队提出创新的异步拍摄方案,仅用普通相机就能实现高速4D重建。该方法通过错开相机启动时间将有效帧率从25FPS提升至100-200FPS,并结合视频扩散模型修复稀疏视角导致的重建伪影。实验结果显示,新方法在处理快速运动场景时显著优于现有技术,为低成本高质量4D内容创作开辟新路径。
谷歌在伦敦云峰会上发布Firebase Studio更新,新增Gemini命令行界面集成、模型上下文协议支持和"代理模式"。代理模式提供三种AI协作层次:对话式"询问"模式用于头脑风暴,人机协作代理需开发者确认代码变更,以及几乎完全自主的代理模式。尽管谷歌声称已有数百万应用使用该平台,但目前仍需精心设计提示词,非工程师用户还无法直接创建成熟应用。
上海AI实验室联手复旦大学提出了POLAR方法,这是一种革命性的奖励模型训练技术。通过让AI学会识别不同策略间的差异而非死记评分标准,POLAR在多项任务上实现了显著提升,7B参数模型超越72B现有最强基线,为AI对齐问题提供了全新解决思路。