时间戳

首页 > 解决方案 > 如果变量值出现两次，则拆分数据集

sas - 如果变量值出现两次，则拆分数据集

问题描述

我想将数据集分成两个子集。我希望第一个子集包含 id 或 id1 值多次出现的所有行。

像这样，

data test;
input id id1 var1 $ var2 $;
datalines;
1 11 A B
2 22 C D
3 11 E F
3 12 G H
7 15 K L
3 13 M N
2 10 I J
8 16 P L
;;;;
run;

我希望子集是

1 11 A B
2 22 C D
3 11 E F
3 12 G H
3 13 M N
2 10 I J

和

7 15 K L
8 16 P L

我可以使用下面的代码，但效率不高，因为拆分时有两次通过数据集。还有其他选择吗？

proc sql;
create table DuplicateId as
select id from test
group by id
having count(id) > 1;
quit;

proc sql;
create table DuplicateID1 as 
select id1 from test
group by id1
having count(id1) > 1;
quit;

proc sql;
create table split1 as 
select * from test 
where id not in (select id from DuplicateID) and id1 not in (select id1 from DuplicateID1);
quit;

proc sql;
create table split2 as
select * from test
where id in (select id from DuplicateID) or id1 in (select id1 from DuplicateID1);
quit;

标签： sasproc-sql

解决方案

您的代码正在通过数据进行 4 次传递。一个用于查找每个单独 ID 变量的唯一（或重复）代码。每个输出数据集一个。您可以通过使用索引查找将最后一步减少到一次。

proc sql ;
create table dup1 (index=(id)) as
  select id from test
  group by 1 having count(*) > 1
;
create table dup2 (index=(id1)) as
  select id1 from test
  group by 1 having count(*) > 1
;
quit;
data single multiple;
  set test;
  set dup1 key=id / unique;
  if _iorc_ then set dup2 key=id1 / unique;
  if _iorc_ then output single;
  else output multiple;
  _error_=0;
run;

如果重复 id 的列表足够小以存储在内存中，您可以使用 HASH 对象在单次数据传递中生成两个重复列表。

然后，您可以将它们写回并使用上面的数据步骤进行拆分。或者只是使创建哈希对象的步骤再次重新读取数据集。

推荐阅读