for my $i (0..$#$ref_a) {
    push @{$ref_a->[$i]}, @{$ref_b->[$i] || []};
}

##</code><code>##

for my $i (0.. ($#$ref_a > $#$ref_b ? $#$ref_a : $#$ref_b) ) {