首页 > 技术文章 > 关于处理大数据量和高并发的学习路径

timchen5858 2014-04-08 17:38 原文

首先说说我们公司的项目情况:
1.表A,下载记录表,目前数据量在3700W左右,每天入库数据10-20W左右
2.该表A未做分区
3.为了加快统计下载信息(报表),现在的方案是:存储过程每晚执行数据预统,生成记录到其他表,查询统计信息时,从预统表里获取。
4.服务器未作负载均衡
5.应用服务器使用的是TOMCAT,数据库ORACLE 10G
6.未使用缓存框架,很多信息保存在静态变量里充当缓存
7.开发语言JAVA,SSH框架

 

我想要请教的是:
现在主流的高并发大数据量的开发框架是什么?包括应用服务器选用、开发框架选用、其他中间件选用。
可以分别从软件、硬件方面回答。
哪里有这方面的系统解决学习方案,网上的都很零散。
可以举例的话更好,例如一般的团购网站等。
不需要很牛B的解决方案,例如淘宝、百度贴吧、微博啊之类的,只需要一个中等或入门级的解决方案。

 

发表下意见只仅仅提供参考:
1.数据量比较大的话,建议使用Hadoop,搭建分布式环境HDFS,做数据分片sharding。
2.服务器需要做负载均衡,不然数据量大读写频繁,而且还要做成多节点的,防止当机。
3.服务器建议使用高性能的反向代理服务器:Nginx。
4.数据持久化ORM层也附加缓存技术,建议使用Reids或者Memcahe,建议使用前者,前者数据类型支持的多,且性能各个方面都不错。数据量多数据操作直接落到库上压力大,当使用人较多是并发量大更受不了。
5.建议废弃掉SSH架构,使用轻量级的Spring MVC + Ibatias。

 

转自:http://www.w3c.com.cn/%E5%85%B3%E4%BA%8E%E5%A4%84%E7%90%86%E5%A4%A7%E6%95%B0%E6%8D%AE%E9%87%8F%E5%92%8C%E9%AB%98%E5%B9%B6%E5%8F%91%E7%9A%84%E5%AD%A6%E4%B9%A0%E8%B7%AF%E5%BE%84

推荐阅读