你离得不远了--我修复了一些小问题，稍微清理了一下代码，添加了一个测试工具，现在看起来工作正常：

#include <assert.h>
#include <stdio.h>
#include <stdlib.h>
#include <altivec.h>

static int convolve_ref(const short *a, const short *b, int n)
{
    int out = 0;
    int i;

    for (i = 0; i < n; ++i)
    {
        out += a[i] * b[i];
    }

    return out;
}

static inline int convolve_altivec(const short *a, const short *b, int n)
{
    int out = 0;
    union {
        vector signed int m128;
        int i32[4];
    } tmp;

    const vector signed int zero = {0, 0, 0, 0};

    assert(((unsigned long)a & 15) == 0);
    assert(((unsigned long)b & 15) == 0);

    tmp.m128 = zero;

    while (n >= 8)
    {
        tmp.m128 = vec_msum(*((vector signed short *)a),
                            *((vector signed short *)b), tmp.m128);

        a += 8;
        b += 8;
        n -= 8;
    }

    out = tmp.i32[0] + tmp.i32[1] + tmp.i32[2] + tmp.i32[3];

    while (n --)
        out += (*(a++)) * (*(b++));

    return out;
}

int main(void)
{
    const int n = 100;

    vector signed short _a[n / 8 + 1];
    vector signed short _b[n / 8 + 1];

    short *a = (short *)_a;
    short *b = (short *)_b;

    int sum_ref, sum_test;

    int i;

    for (i = 0; i < n; ++i)
    {
        a[i] = rand();
        b[i] = rand();
    }

    sum_ref = convolve_ref(a, b, n);
    sum_test = convolve_altivec(a, b, n);

    printf("sum_ref = %d\n", sum_ref);
    printf("sum_test = %d\n", sum_test);

    printf("%s\n", sum_ref == sum_test ? "PASS" : "FAIL");

    return 0;
}

（警告：我所有的Altivec经验都来自Xbox360/PS3 -我不确定它们与其他Altivec平台有何不同）。
首先，你应该检查你的指针是否对齐。大多数向量加载（和存储）操作都应该来自16字节对齐的地址。如果不是，事情通常会在没有警告的情况下继续进行，但是你不会得到你所期望的数据。
也可以执行非对齐加载（但速度较慢），但基本上必须在数据前后读取一些数据，然后将它们组合起来。请参阅Apple's Altivec page。我在使用lvlx和lvrx加载指令之前也做过这种操作，然后将它们进行“或”运算。
接下来，我不确定你的乘法和加法是否相同。我从未使用过_mm_madd_pi16或vec_msum，所以我不确定它们是否等价。你应该在调试器中单步调试，并确保它们对相同的输入数据给予相同的输出。另一个可能的区别是它们可能以不同的方式处理溢出（例如，模运算与饱和运算）。
最后但并非最不重要的一点是，你一次计算4个int，而不是2个。所以你的并集应该包含4个int，最后你应该对所有4个int求和。