我用过PortAudio/PortMidi和Juce，效果都很好。我正在把一个项目从PortMidi切换到Juce，因为对我来说，所有其他应用框架的东西最终都非常有用（根据我的经验，它坚如磐石）。YMMV。

我已经创建了一个C音频库命名为“串扰”。
串扰是一个实时C音频引擎，允许您实时创建和路由音频系统（几乎是您试图实现的图形），它真的很容易使用。
以下是如何播放mp3文件的示例：

XtSystem system;
XtMp3Decoder mp3Decoder;
XtAudioDevice audioDevice;

long md = system.addComponent(&mp3Decoder);
long ad = system.addComponent(&audioDevice);

system.connOutToIn(md,0,ad,0);
system.connOutToIn(md,1,ad,1);

mp3Decoder.loadFile("../05 Tchaikovski-Swan Lake-Scene.mp3");
mp3Decoder.play();

您可以在此处查看API文档和许可详情：http://www.adaptaudio.com/Crosstalk

编辑日期（2012年1月12日）：

Crosstalk已经被一个名为“DSPatch“的开源项目所取代。DSPatch本质上是Crosstalk背后的路由引擎的升级版本，它不再仅限于音频处理。DSPatch允许您创建和路由几乎任何类型的可以想象到的过程链，并且免费供个人和专有用途：）

我还推荐openFramworks：http://www.openframeworks.cc/它适用于各种媒体、交互......它有一个非常容易使用/理解的API，这也是非常好的文档。
祝你好运，音响机器人

在this tutorial series中有一篇关于对MIDI数据做出React的文章。它还涉及到其他主题，如合成等。