从多个表中读取数据的最佳方法
Best Approach to read data from multiple tables
我必须创建一个应用程序来同时从200多个表中读取一些实时数据提要并处理这些数据。我想讨论什么是最好的方法来解决这个问题,以最佳的速度为每个表,我们得到20+记录在每分钟。到目前为止,我能想到以下解决方案:-
1)我可以让多个线程独立处理大约20个奇数符号。
2)我可以创建两个线程,一个用于数据读取,另一个用于数据处理,但读取线程将花费更多的时间,因为它必须顺序读取所有表。
我的数据库是MySQL,我不希望转移到nosql DB现在。我用c++来解决这个问题。我觉得如果我可以在一个表中获得实时数据feed而不是200多个表,那么我的第二种方法将变得更加合适和更快。
是否需要使用MySQL,如果不是,您可能会从任何nosql "数据库"中获得速度提升。此外,从数据库中检索数据总是一个瓶颈,通常当涉及到大量数据时,您希望将尽可能多的数据加载到RAM中并从那里读取数据,因为这样更快。
你可以做一个查询,只检索最新的数据从一个特定的时间戳(这是相同的时间戳执行你的最后一个查询),然后加载到内存中做所有需要速度的操作,并清理旧的条目不再需要
相关文章:
- 在c代码之间共享数据的最佳方式
- 使用QQuickFramebufferObject时同步数据的最佳方式是什么
- 将线程中的数据存储到全局容器的最佳方法?
- 读取大文件(>2GB)(文本文件包含以太网数据)并通过不同参数随机访问数据的最佳方法是什么?
- 在 c++ 中解析数据包数据的最佳方法是什么?
- 使用 QT C++过滤大数据的最佳方式
- 在wxWidgets的事件中包含我自己的数据的最佳方法是什么?
- 用于筛子的最佳数据结构是什么(即一些被划掉的数字列表)?
- 用于存储分组关系和支持外观的最佳数据结构
- 适用于频繁更改的大型数据集的最佳数据结构
- 将数据从一个应用程序单向发送到另一个应用程序的最佳做法
- 点遍历的最佳数据结构
- 使用 jsoncpp 时从 JSon 剥离私有数据的最佳方法
- 代表软件包安装和系统依赖关系的最佳数据结构
- 在 c++ 中,在线程之间共享数据容器的最佳方法是什么?
- 组织从内存读取的数据的最佳方法(用于调试)c++
- 数字序列的最佳数据结构 [0:9]
- 什么是在C 中存储结果INT*的最佳数据类型
- 我的数据结构的最佳序列化方法
- 存储数据列表并自动分配给结构的最佳方法是什么