performance - 可能使用并发/异步/并行方法比较 2 个数据集
问题描述
我目前正在尝试改进现有机制(比较来自 2 个来源的数据,在 perl5 中实现),并希望改用 perl6。
在未压缩的平面文件中,我的目标数据量范围约为 20-30 GB。就行而言,一个文件可以包含 1800 万到 2800 万行。每行大约有 40-50 列。
我每天都会进行这种类型的数据核对,从文件中读取并填充散列可能需要大约 10 分钟。花了大约 20 分钟来读取这两个文件并填充哈希。
比较过程大约需要 30-50 分钟,包括迭代哈希、收集所需结果以及写入输出文件(csv、psv)。
总而言之,在具有 256GB RAM 的 32 核双至强 cpu 服务器(包括间歇性服务器负载)上,执行该过程可能需要 30 分钟到 60 分钟。
现在我正试图进一步降低总处理时间。
这是我目前使用 perl5 的单线程方法。
- 一个接一个地从 2 个源(比如说 s1 和 s2)获取数据,并根据键值对填充我的哈希。数据源可以是平面 csv 或 psv 文件,也可以是通过 DBI 客户端的数据库查询数组结果。数据一开始总是未排序的。
- 具体来说,我逐行读取文件,拆分字段,并为键、值对选择所需的索引并插入哈希。
- 在收集数据并使用所需的键/值对填充散列后,我开始比较和收集结果(主要比较 s2 wrt s1 中缺失或不同的内容,反之亦然)。
- 将输出转储到 excel 文件中(如果行数很大,如 ~100 万或更多,则成本非常高)或简单的 CSV(廉价操作。首选方法)。
我想知道是否可以以某种方式并行执行第一步,即一次从两个来源收集数据并填充我的全局哈希,然后继续比较和转储输出?
perl6 可以提供哪些选项来处理这种情况?我已经阅读了有关使用 perl6 的并发、异步和并行操作,但我不确定哪一个可以帮助我。
我真的很感激任何关于此事的一般指导。我希望我能很好地解释我的问题,但遗憾的是我到目前为止没有太多可以展示的东西?原因是我才刚刚开始解决这个问题。我只是看不到单线程方法,需要一些帮助。
谢谢。
编辑
由于社区认为我现有的问题陈述“过于宽泛” - 请允许我尝试在下面强调我的痛点:
- 如果可能的话,我想通过使用所有 32 个内核来进行文件比较。我只是无法提出策略或初步想法。
- perl6 可以使用或适用哪些类型的新技术来解决此问题或问题类型。
- 如果我产生 2 个进程来读取文件并收集数据 - 是否可以将结果作为数组或哈希返回?
- 是否可以并行比较数据(存储在哈希中)?
我目前的 p5 比较逻辑如下所示,供您参考。希望这会有所帮助,不要让这个问题关闭。
package COMP;
use strict;
use Data::Dumper;
sub comp
{
my ($data,$src,$tgt) = @_;
my $result = {};
my $ms = ($result->{ms} = {});
my $mt = ($result->{mt} = {});
my $diff = ($result->{diff} = {});
foreach my $key (keys %{$data->{$src}})
{
my $src_val = $data->{$src}{$key};
my $tgt_val = $data->{$tgt}{$key};
next if ($src_val eq $tgt_val);
if (!exists $data->{$tgt}{$key}) {
push (@{$mt->{$key}}, "$src_val|NULL");
}
if (exists $data->{$tgt}{$key} && $src_val ne $tgt_val) {
push (@{$diff->{$key}}, "$src_val|$tgt_val")
}
}
foreach my $key (keys %{$data->{$tgt}})
{
my $src_val = $data->{$src}{$key};
my $tgt_val = $data->{$tgt}{$key};
next if ($src_val eq $tgt_val);
if (!exists $data->{$src}{$key}) {
push (@{$ms->{$key}},"NULL|$tgt_val");
}
}
return $result;
}
1;
如果有人想尝试一下,这里是示例输出和使用的测试脚本。
脚本输出
[User@Host:]$ perl testCOMP.pl
$VAR1 = {
'mt' => {
'Source' => [
'source|NULL'
]
},
'ms' => {
'Target' => [
'NULL|target'
]
},
'diff' => {
'Sunday_isit' => [
'Yes|No'
]
}
};
测试脚本
[User@Host:]$ cat testCOMP.pl
#!/usr/bin/env perl
use lib $ENV{PWD};
use COMP;
use strict;
use warnings;
use Data::Dumper;
my $data2 = {
f1 => {
Amitabh => 'Bacchan',
YellowSun => 'Yes',
Sunday_isit => 'Yes',
Source => 'source',
},
f2 => {
Amitabh => 'Bacchan',
YellowSun => 'Yes',
Sunday_isit => 'No',
Target => 'target',
},
};
my $result = COMP::comp ($data2,'f1','f2');
print Dumper $result;
[User@Host:]$
解决方案
如果您有一个现有的可用工具链,则无需全部重写即可使用 Perl6。它的并行机制也适用于外部进程。考虑
allnum.pl6
use v6;
my @processes =
[ "num1.txt", "num2.txt", "num3.txt", "num4.txt", "num5.txt" ]
.map( -> $filename {
[ $filename, run "perl", "num.pl", $filename, :out ];
})
.hyper;
say "Lazyness Here!";
my $time = time;
for @processes
{
say "<{$_[0]} : {$_[1].out.slurp}>";
}
say time - $time, "s";
编号.pl
use warnings;
use strict;
my $file = shift @ARGV;
my $start = time;
my $result = 0;
open my $in, "<", $file or die $!;
while (my $thing = <$in>)
{
chomp $thing;
$thing =~ s/ //g;
$result = ($result + $thing) / 2;
}
print $result, " : ", time - $start, "s";
在我的系统上
C:\Users\holli\tmp>perl6 allnum.pl6
Lazyness Here!
<num1.txt : 7684.16347578616 : 3s>
<num2.txt : 3307.36261498186 : 7s>
<num3.txt : 5834.32817942962 : 10s>
<num4.txt : 6575.55944995197 : 0s>
<num5.txt : 6157.63100049619 : 0s>
10s
文件是这样设置的
C:\Users\holli\tmp>perl -e "for($i=0;$i<10000000;$i++) { print chr(32) ** 100, int(rand(1000)), chr(32) ** 100, qq(\n); }">num1.txt
C:\Users\holli\tmp>perl -e "for($i=0;$i<20000000;$i++) { print chr(32) ** 100, int(rand(1000)), chr(32) ** 100, qq(\n); }">num2.txt
C:\Users\holli\tmp>perl -e "for($i=0;$i<30000000;$i++) { print chr(32) ** 100, int(rand(1000)), chr(32) ** 100, qq(\n); }">num3.txt
C:\Users\holli\tmp>perl -e "for($i=0;$i<400000;$i++) { print chr(32) ** 100, int(rand(1000)), chr(32) ** 100, qq(\n); }">num4.txt
C:\Users\holli\tmp>perl -e "for($i=0;$i<5000;$i++) { print chr(32) ** 100, int(rand(1000)), chr(32) ** 100, qq(\n); }">num5.txt
推荐阅读
- spring - Spring reactive:链接存储库结果
- c++ - 如何用 cmake 制作一个只有头文件的库?
- php - 如何让我的 Wordpress(wp_query - 自定义帖子类型)、isotope.js 和 Bootstrap 过滤器正确显示?
- excel - 使用宏生成数据透视表(运行时错误 1004)
- angular - 如何将值从一个组件传递到另一个组件(没有@Input)
- python - 如何为提出的 QWidget 设置 QVariantAnimation?
- deep-learning - 在不平衡数据集上对多个对象训练 YOLO(对象检测)?
- excel - 一键单击选项按钮后VBA Excel按钮无效(ActiveX控件)
- c# - “自定义控件”中的 KeyDown 和 KeyUp 事件
- python - python - 从另一个文件导入的函数运行缓慢