for my $i (0..$#$ref_a) {
    push @{$ref_a->[$i]}, @{$ref_b->[$i] || []};
}