将 OpenGL 与 RtAudio(或端口音频)同步
Synchronizing OpenGL with RtAudio (or Port Audio)
我需要用节拍器与OpenGL同步一些绘图。节拍器是用libPD构建的,用RtAudio播放。这两件事都运行良好(单独(,但我需要移动一个物体(三角形(,脉冲节拍器。应用程序也必须播放单击。这两个动作必须并行完成(播放和绘图(。我也应该添加一个 midi 记录。我的申请处于C++状态。我尝试用一个线程运行它,但它不起作用。我尝试遵循以下解释:如何使我的节拍器与在我的程序中录制的同时播放?GUI库是WxWidgets。线程是用 Poco::Runnable 以这种方式完成的:
class MyThread : public Poco::Runnable {
public:
MyThread(BasicGLPane *pane, std::shared_ptr<SoundManager> man);
virtual void run();
private:
BasicGLPane *_pane;
std::shared_ptr<SoundManager> _man;
};
MyThread::MyThread(BasicGLPane *pane, std::shared_ptr<SoundManager> man) {
_pane = pane;
_man = man;
}
void MyThread::run() {
_man->play();
_pane->startAnimation();
}
BasicGLpane是一个wxGLCanvas。声音管理器类的播放功能如下:
void SoundManager::play() {
// Init pd
if(!lpd->init(0, 2, sampleRate)) {
std::cerr << "Could not init pd" << std::endl;
exit(1);
}
// Receive messages from pd
lpd->setReceiver(object.get());
lpd->subscribe("metro-bang");
lpd->subscribe("switch");
// send DSP 1 message to pd
lpd->computeAudio(true);
// load the patch
open_patch("metro-main.pd");
std::cout << patch << std::endl;
// Use the RtAudio API to connect to the default audio device.
if(audio->getDeviceCount()==0){
std::cout << "There are no available sound devices." << std::endl;
exit(1);
}
RtAudio::StreamParameters parameters;
parameters.deviceId = audio->getDefaultOutputDevice();
parameters.nChannels = 2;
RtAudio::StreamOptions options;
options.streamName = "Pd Metronome";
options.flags = RTAUDIO_SCHEDULE_REALTIME;
if ( audio->getCurrentApi() != RtAudio::MACOSX_CORE ) {
options.flags |= RTAUDIO_MINIMIZE_LATENCY; // CoreAudio doesn't seem to like this
}
try {
if(audio->isStreamOpen()) {
audio->closeStream();
}
else {
audio->openStream( ¶meters, NULL, RTAUDIO_FLOAT32, sampleRate, &bufferFrames, &audioCallback, lpd.get(), &options );
audio->startStream();
}
}
catch ( RtAudioError& e ) {
std::cerr << e.getMessage() << std::endl;
exit(1);
}
}
OpenGL 绘图方法如下:
void BasicGLPane::startAnimation() {
std::cout<<"Start Animation"<<std::endl;
triangle_1(p1, p2, p3);
Refresh();
}
void BasicGLPane::triangle_1(std::shared_ptr<vertex2f> _p1, std::shared_ptr<vertex2f> _p2, std::shared_ptr<vertex2f> _p3) {
CGLContextObj ctx = CGLGetCurrentContext(); //enable multithreading (only apple)
CGLError err = CGLEnable( ctx, kCGLCEMPEngine);
if (err != kCGLNoError ) {
glEnable(GL_MULTISAMPLE);
glMatrixMode(GL_PROJECTION);
glLoadIdentity();
glOrtho(0, getWidth(), getHeight(),0 , -1, 1);
glShadeModel(GL_SMOOTH);
glBegin(GL_POLYGON); // Drawing Using Triangles
glColor3f (157.0/255.0, 44.0/255.0, 44.0/255.0);
glVertex3f( p1->x, p1->y, 0.0f); // Top left
glVertex3f(p2->x,p2->y, 0.0f); // Top Right
glVertex3f( p3->x,p3->y, 0.0f); //Bottom
glEnd();
glMatrixMode(GL_MODELVIEW);
glEnable (GL_BLEND);
glLoadIdentity();
glDisable(GL_MULTISAMPLE);
}
}
线程使用以下功能调用:
void BasicGLPane::startThread() {
while (_object->getCounter()<10) { //this is only to test the functionality
thread.start(work);
}
thread.join();
manager->stop();
}
之后,这个功能在 Reder 中被调用:
void BasicGLPane::render( wxPaintEvent& evt ) {
//some code here, not important....
startThread();
SwapBuffers();
}
也许我要改变这个对象,现在不重要了,我的问题是同步。我认为RtAudio正在制造问题,因为我成为获取DeviceCount((或RtAudio任何其他功能的EXC_BAD_Acces。这仅在线程上下文中发生。最好用端口音频来做?。很高兴知道我做错了什么,或者是否有其他方法可以解决这个问题
我找到了解决方案。问题出在 wxwidgets 主循环和 openGL 之间的交互中。解决方案是按以下方式创建一个 Idle 事件:
//on wxApp
void MyApp::activateRenderLoop(bool on) {
if(on && !render_loop_on) {
Connect(wxID_ANY, wxEVT_IDLE, wxIdleEventHandler(MyApp::onIdle));
render_loop_on = true;
}
else if (!on && render_loop_on) {
Disconnect(wxEVT_IDLE, wxIdleEventHandler(MyApp::onIdle));
render_loop_on = false;
}
}
void MyApp::onIdle(wxIdleEvent &evt) {
activateRenderLoop(glPane->render_on);
if(render_loop_on) {
std::cout<<"MyApp on Idle, render_loop_on"<<std::endl;
glPane->paint_now();
evt.RequestMore();
}
}
//on event table:
EVT_PAINT(BasicGLPane::paint_rt)
void BasicGLPane::rightClick(wxMouseEvent& event) {
render_on = true;
manager->init();
SLEEP(2000);
manager->play();
wxGetApp().activateRenderLoop(true);
}
void BasicGLPane::paint_rt(wxPaintEvent &evt) {
wxPaintDC dc(this);
render_rt(dc);
}
void BasicGLPane::paint_now(){
wxClientDC dc(this);
std::cout<<"paint now() "<<std::endl;
render_rt(dc);
}
void BasicGLPane::render_rt(wxDC &dc) {
wxGLCanvas::SetCurrent(*m_context);
if(_object->getCounter()>=10) {
wxGetApp().activateRenderLoop(false);
manager->stop();
render_on = false;
}
else {
ctx = CGLGetCurrentContext(); //OSx only
err = CGLEnable( ctx, kCGLCEMPEngine); //OSX only
std::cout<<"render_rt CGLError: "<<err<<std::endl;
if (err==0) {
glTranslatef(p3->x, p3->y, 0);
Refresh(false);
}
}
}
同步现在运行良好。
相关文章:
- 用c++阅读音频
- 为什么这个音频包络不能通过开关的情况?
- 松弛原子与无同步情况下的记忆连贯性
- 使用QQuickFramebufferObject时同步数据的最佳方式是什么
- FFMpeg库:如何在音频文件中精确查找
- 在C++中同步线程
- 与 stdio 同步是否使程序 I/O 非交互式?
- 需要反转音频步进公式
- 如何在qt中同步应用程序和显示器的刷新率?
- 如何在音频处理中使用超能力时间拉伸类
- Windows 进程间同步类似事件?
- C++新手,想知道如何使用VS code 2019播放音频文件
- 将超能力高级音频播放器同步到绝对位置
- 如何将音频与功率谱同步并选择帧长度 N(执行 fft)
- 将 OpenGL 与 RtAudio(或端口音频)同步
- 使用 OpenAL 和 C++ 同步音频和视频播放
- 计算PTS和DTS正确同步音频和视频
- DirectShow转换过滤器与多个视频帧-同步与音频
- 录制视频和音频-同步问题
- Directshow推送源筛选器,同步音频和视频流