c# - 使用 Redis 实现排序、搜索和分页以获得最佳性能的最佳方式
问题描述
我有大约 1,00,000 个员工的大数据。我已将此数据存储到一个名为“employess”的 Redis 密钥中。现在有一个屏幕,我想在某些字段上执行搜索并对每一列进行排序以及分页。
因此,为此我创建了以下可以正常工作的代码。但平均需要大约 1.2 秒到 2 秒的时间。
我想将它减少到 200 毫秒(要求)
有人可以指导我如何实现该性能或我在以下代码中做错了什么。
我正在使用 C# 代码和 ServiceStack.Redis 客户端。如果需要,我可以自由使用任何其他 Redis 客户端。
public class Employee
{
public int EmployeeId { get; set; }
public string LastName { get; set; }
public string FirstName { get; set; }
public DateTime DOB { get; set; }
public char Gender { get; set; }
public string Street { get; set; }
public string City { get; set; }
public string State { get; set; }
public string Zip { get; set; }
public string Department { get; set; }
public string Occupation { get; set; }
public decimal Salary { get; set; }
}
// 处理排序、搜索、分页和从 Redis 获取数据的方法。
private GeneralResponse<IEnumerable<Employee>> GetEmp(SearchParam filter, int initialPage, int pageSize, out int totalRecords, out int recordFilterd,
int sortColumn, string sortDirection)
{
var response = new GeneralResponse<IEnumerable<Employee>>();
totalRecords = 0;
recordFilterd = 0;
try
{
var data = Enumerable.Empty<Employee>().AsQueryable();
try
{
using (var redisClient = new RedisClient(Common.redisUrl, Common.redisPort))
{
var rdata = redisClient.Get<IEnumerable<Employee>>("employess");
data = rdata.AsQueryable();
ViewBag.source = "redis";
}
}
catch (Exception e)
{
data = Common.EmployeesList.AsQueryable();
ViewBag.source = "Database";
}
totalRecords = data.Count();
//filter
if (!string.IsNullOrWhiteSpace(filter.FirstName))
{
data = data.Where(x =>
x.FirstName.ToLower().Contains(filter.FirstName.Trim().ToLower())
);
}
if (!string.IsNullOrWhiteSpace(filter.LastName))
{
data = data.Where(x =>
x.LastName.ToLower().Contains(filter.LastName.Trim().ToLower())
);
}
if (!string.IsNullOrWhiteSpace(filter.Department))
{
data = data.Where(x =>
x.Department.ToLower() == filter.Department.Trim().ToLower()
);
}
if (filter.FromDob != null && filter.FromDob != default(DateTime))
{
data = data.Where(x => x.DOB >= filter.FromDob);
}
if (filter.ToDob != null && filter.ToDob != default(DateTime))
{
filter.ToDob = filter.ToDob.AddHours(23).AddMinutes(59);
data = data.Where(x => x.DOB <= filter.ToDob);
}
recordFilterd = data.Count();
//sort
var ascending = sortDirection == "asc";
switch (sortColumn)
{
case 0:
data = data.OrderBy(p => p.EmployeeId, ascending);
break;
case 1:
data = data.OrderBy(p => p.LastName, ascending);
break;
case 2:
data = data.OrderBy(p => p.FirstName, ascending);
break;
case 3:
data = data.OrderBy(p => p.DOB, ascending);
break;
case 4:
data = data.OrderBy(p => p.Gender, ascending);
break;
case 5:
data = data.OrderBy(p => p.Street, ascending);
break;
case 6:
data = data.OrderBy(p => p.City, ascending);
break;
case 7:
data = data.OrderBy(p => p.State, ascending);
break;
case 8:
data = data.OrderBy(p => p.Zip, ascending);
break;
case 9:
data = data.OrderBy(p => p.Department, ascending);
break;
case 10:
data = data.OrderBy(p => p.Occupation, ascending);
break;
case 11:
data = data.OrderBy(p => p.Occupation, ascending);
break;
default:
data = data.OrderBy(p => p.Salary, ascending);
break;
}
data = data
.Skip(initialPage * pageSize)
.Take(pageSize);
var result = data.ToList();
response.Data = result;
}
catch (Exception e)
{
response.Error = true;
response.Exception = e;
}
return response;
}
任何帮助或指导将不胜感激。以下是我想要达到速度的参考屏幕。
解决方案
经过深入研究,我终于发现 Redis 并不是执行这些操作的好选择。除了这个,我们可以选择 AWS CloudSearch,它具有完整的排序、搜索和分页功能。
推荐阅读
- r - 使用多个 geom_point 图层指定指南图例美学
- c - 使用带有一个函数的蹦床作为参数
- java - Bytebuddy - 拦截 java.net.ServerSocket 构造函数
- javascript - Node.js JWT 处理
- java - 如何一次获取 500 行,直到获取表中的所有项目?
- three.js - GLTFLoader 不是构造函数
- python - 无法在 centos 7 中构建 vowpal wabbit
- pandas - 将一列与熊猫中的多列相加
- magnolia - 如何获取页面的绝对 URL?
- python - Python Pip:没有名为 pkg_resources 的模块