performance - Powershell 问题 - 寻找最快的方法来遍历 500k 对象以在另一个 500k 对象数组中寻找匹配项
问题描述
我有两个使用 import-csv cmdlet 导入的大型 .csv 文件。我做了很多搜索和尝试,终于发帖寻求帮助以使这更容易。
我需要遍历第一个数组,该数组的行数从 80k 到 500k 不等。这些数组中的每个对象都有多个属性,然后我需要在第二个相同大小的数组中找到对应的条目,该数组与那里的属性匹配。
我将它们作为 [systems.collection.arrayList] 导入,并且我也尝试将它们放置为哈希表。我什至尝试过使用其他几篇文章中提到的 LINQ。
任何人都可以提供建议或见解如何使这个运行更快?感觉就像我在一个干草堆中寻找不同堆栈中的干草。
$ImportTime1 = Measure-Command {
[System.Collections.ArrayList]$fileList1 = Import-csv file1.csv
[System.Collections.ArrayList]$fileSorted1 = ($fileList1 | Sort-Object -property 'Property1' -Unique -Descending)
Remove-Variable fileList1
}
$ImportTime2 = Measure-Command {
[System.Collections.ArrayList]$fileList2 = Import-csv file2.csv
[System.Collections.ArrayList]$fileSorted2 = ($fileList2 | Sort-Object -property 'Property1' -Unique -Descending)
Remove-Variable fileList2
}
$fileSorted1.foreach({
$varible1 = $_
$target = $fileSorted2.where({$_ -eq $variable1})
###do some other stuff
})
解决方案
这可能有用:https ://powershell.org/forums/topic/comparing-two-multi-dimensional-arrays/
评论 #27359 中的更新解决方案 + 添加 Max Kozlov 在评论 #27380 中建议的更改。
Function RJ-CombinedCompare() {
[CmdletBinding()]
PARAM(
[Parameter(Mandatory=$True)]$List1,
[Parameter(Mandatory=$True)]$L1Match,
[Parameter(Mandatory=$True)]$List2,
[Parameter(Mandatory=$True)]$L2Match
)
$hash = @{}
foreach ($data in $List1) {$hash[$data.$L1Match] += ,[pscustomobject]@{Owner=1;Value=$($data)}}
foreach ($data in $List2) {$hash[$data.$L2Match] += ,[pscustomobject]@{Owner=2;Value=$($data)}}
foreach ($kv in $hash.GetEnumerator()) {
$m1, $m2 = $kv.Value.where({$_.Owner -eq 1}, 'Split')
[PSCustomObject]@{
MatchValue = $kv.Key
L1Matches = $m1.Count
L2Matches = $m2.Count
L1MatchObject = $L1Match
L2MatchObject = $L2Match
List1 = $m1.Value
List2 = $m2.Value
}
}
}
$fileList1 = Import-csv file1.csv
$fileList2 = Import-csv file2.csv
$newList = RJ-CombinedCompare -List1 $fileList1 -L1Match $(yourcolumnhere) -List2 $fileList2 -L2Match $(yourothercolumnhere)
foreach ($item in $newList) {
# your logic here
}
将列表传递到此哈希表应该很快,并且迭代也很快。
推荐阅读
- java - 我需要在子类中覆盖 CompareTo 方法
- amazon-web-services - 加密 EKS 中的流量
- c - 使用 strcpy 在某个字符后复制部分字符串
- r - 如何测试数据框的每个值并填充 R 中的特定列?
- javascript - 每次单击按钮以使滑块工作时,我想增加索引号
- aem - 如何在 AEM 中扩展虚 URL 功能
- php - if($_POST['dropdown_value'] == null) 如果没有也不会返回 true
- python - 十六进制字符串的前导零
- ffmpeg - 在无头模式下使用 Xvfb 和 ffmpeg 时看到空白视频
- java - 选项卡内的面板未显示