当我使用 QDomDocument 解析 html 数据时,如何保留 "?

How can I keep “ when I use QDomDocument to parse html data?

本文关键字:何保留 保留 QDomDocument 解析 数据 html      更新时间:2023-10-16
void test()
{
QDomDocument doc("doc");
QByteArray data = "<div><p>Of course, &ldquo;Jason.&rdquo; My thoughts, exactly.</p></div>";
QString sErrorMsg;
int errLine, errCol;
if (!doc.setContent(data, &sErrorMsg, &errLine, &errCol)) {
qDebug() << sErrorMsg;
qDebug() << errLine << ":" << errCol;
return;
}
QDomNodeList pList = doc.elementsByTagName("p");
for (int i = 0; i < pList.size(); i++)
{
QDomNode p = pList.at(i);
while (!p.isNull()) {
QDomElement e = p.toElement(); 
if (!e.isNull()) {
QByteArray ba = e.text().toUtf8(); //Here, there is no left and right quota marks anymore.
}
p = p.nextSibling();
}
}
}

我正在解析带有&ldquo;&rdquo;的 html 短语。代码运行到没有配额标记的QByteArray ba = e.text().toUtf8();

如何保留它们?

我必须承认,这是我第一次使用QDomDocument,尽管我已经对XML有一些经验,特别是libXml2。

首先,我可以确认 QDomElement::text(( 返回的文本没有由实体编码的印刷引号。

我稍微修改了 OP 的 MCVE,现在,应该很明显为什么会发生这种情况。

我的testQDomDocument.cc

#include <QtXml>
static const char* toString(QDomNode::NodeType nodeType);
int main(int, char**)
{
QByteArray text = "<div><p>Of course, &ldquo;Jason.&rdquo; My thoughts, exactly.</p></div>";
// setup doc. DOM
QDomDocument qDomDoc("doc");
QString qErrorMsg; int errorLine = 0, errorCol = 0;
if (!qDomDoc.setContent(text, &qErrorMsg, &errorLine, &errorCol)) {
qDebug() << "Line:" << errorLine << "Col.:" << errorCol << qErrorMsg;
return 1;
}
// inspect DOM
QDomNodeList qListP = qDomDoc.elementsByTagName("p");
const int nP = qListP.size();
qDebug() << "Number of found <p> nodes:" << nP;
for (int i = 0; i < nP; ++i) {
const QDomNode qNodeP = qListP.at(i);
qDebug() << "node <p> #" << i;
qDebug() << "node.toElement().text(): " << qNodeP.toElement().text();
for (QDomNode qNode = qNodeP.firstChild(); !qNode.isNull(); qNode = qNode.nextSibling()) {
qDebug() << toString(qNode.nodeType());
switch (qNode.nodeType()) {
case QDomNode::TextNode:
#if 1 // IMHO, the correct way:
qDebug() << qNode.toText().data();
#else // works as well:
qDebug() << qNode.nodeValue();
#endif // 1
break;
case QDomNode::EntityReferenceNode:
qDebug() << qNode.nodeName();
break;
default:; // rest of types left out to keep sample short
}
}
}
// done
return 0;
}
const char* toString(QDomNode::NodeType nodeType)
{
static const std::map<QDomNode::NodeType, const char*> mapNodeTypes {
{ QDomNode::ElementNode, "QDomNode::ElementNode" },
{ QDomNode::AttributeNode, "QDomNode::AttributeNode" },
{ QDomNode::TextNode, "QDomNode::TextNode" },
{ QDomNode::CDATASectionNode, "QDomNode::CDATASectionNode" },
{ QDomNode::EntityReferenceNode, "QDomNode::EntityReferenceNode" },
{ QDomNode::EntityNode, "QDomNode::EntityNode" },
{ QDomNode::ProcessingInstructionNode, "QDomNode::ProcessingInstructionNode" },
{ QDomNode::CommentNode, "QDomNode::CommentNode" },
{ QDomNode::DocumentNode, "QDomNode::DocumentNode" },
{ QDomNode::DocumentTypeNode, "QDomNode::DocumentTypeNode" },
{ QDomNode::DocumentFragmentNode, "QDomNode::DocumentFragmentNode" },
{ QDomNode::NotationNode, "QDomNode::NotationNode" },
{ QDomNode::BaseNode, "QDomNode::BaseNode" },
{ QDomNode::CharacterDataNode, "QDomNode::CharacterDataNode" }
};
const std::map<QDomNode::NodeType, const char*>::const_iterator iter
= mapNodeTypes.find(nodeType);
return iter != mapNodeTypes.end() ? iter->second : "<ERROR>";
}

Qt项目文件 –testQDomDocument.pro

SOURCES = testQDomDocument.cc
QT += xml

构建和测试:

$ qmake-qt5 testQDomDocument.pro
$ make && ./testQDomDocument 
g++ -c -fno-keep-inline-dllexport -D_GNU_SOURCE -pipe -O2 -Wall -W -D_REENTRANT -DQT_NO_DEBUG -DQT_GUI_LIB -DQT_XML_LIB -DQT_CORE_LIB -I. -isystem /usr/include/qt5 -isystem /usr/include/qt5/QtGui -isystem /usr/include/qt5/QtXml -isystem /usr/include/qt5/QtCore -I. -I/usr/lib/qt5/mkspecs/cygwin-g++ -o testQDomDocument.o testQDomDocument.cc
g++  -o testQDomDocument.exe testQDomDocument.o   -lQt5Gui -lQt5Xml -lQt5Core -lGL -lpthread 
Number of found <p> nodes: 1
node <p> # 0
node.toElement().text():  "Of course, Jason. My thoughts, exactly."
QDomNode::TextNode
"Of course, "
QDomNode::EntityReferenceNode
"ldquo"
QDomNode::TextNode
"Jason."
QDomNode::EntityReferenceNode
"rdquo"
QDomNode::TextNode
" My thoughts, exactly."
$

要了解发生了什么,了解<p>的内容不会直接存储在QDomNode实例中以供<p>使用会有所帮助。相反,<p>(以及任何其他元素(的QDomNode实例具有存储其内容的子节点,例如用于存储一段文本的QDomText实例。

因此,QDomElement::text()是一个方便的函数,它返回(收集的(文本,但似乎忽略了任何其他节点。 在 OPs 示例中,并非所有<p>QDomElement的子节点都是文本节点。

实体(&ldquo;&rdquo;(被存储为QDomEntityReference实例,并且在QDomElement::text()中显然被跳过了。

我必须承认我有点惊讶,因为(根据我在libXml2的经验(我已经习惯了实体也被解析为文本的事实。

QDomEntityReference中的段落:

此外,XML 处理器可以在构建 DOM 树时完全扩展对实体的引用,而不是提供 QDomEntityReference 对象。

支持我对QDomDocument的同样期望.

但是,此示例显示在这种情况下并非如此。

经过

三思而后行,我意识到&ldquo;&rdquo;不是XML 中的预定义实体。

在HTML5(及更早版本(中是这种情况,但在一般的XML中不是这种情况。

XML 中唯一的预定义实体是:

Name | Chr. | Codepoint   | Meaning
-----+------+-------------+-----------------
quot |  "   | U+0022 (34) | quotation mark
amp  |  &   | U+0026 (38) | ampersand
apos |  '   | U+0027 (39) | apostrophe
lt   |  <   | U+003C (60) | less-than sign
gt   |  >   | U+003E (62) | greater-than sign

因此,为了替换HTML实体,QDomDocument中还需要其他东西。

顺便说一句,在寻找这个方向的提示时,我偶然发现了:

SO:QDomDocument 无法设置带有标记的 HTML 文档的内容


我想了一会儿如何解决这个问题。

我想知道我没有立即想到一个非常简单的解决方法: 用数字字符引用替换实体。

HTML Entity | NCR
------------+----------
&ldquo;     | &#x201c;
&rdquo;     | &#x201d;

对上述示例稍作修改:

int main(int, char**)
{
QByteArray text =
"<div><p>Of course, &#x201c;Jason.&#x201d; My thoughts, exactly.</p></div>";
// setup doc. DOM
QDomDocument qDomDoc("doc");
QString qErrorMsg; int errorLine = 0, errorCol = 0;
if (!qDomDoc.setContent(text, &qErrorMsg, &errorLine, &errorCol)) {
qDebug() << "Line:" << errorLine << "Col.:" << errorCol << qErrorMsg;
return 1;
}
// inspect DOM
QDomNodeList qListP = qDomDoc.elementsByTagName("p");
const int nP = qListP.size();
qDebug() << "Number of found <p> nodes:" << nP;
for (int i = 0; i < nP; ++i) {
const QDomNode qNodeP = qListP.at(i);
qDebug() << "node <p> #" << i;
qDebug() << "node.toElement().text(): " << qNodeP.toElement().text().toUtf8();
for (QDomNode qNode = qNodeP.firstChild(); !qNode.isNull(); qNode = qNode.nextSibling()) {
qDebug() << toString(qNode.nodeType());
switch (qNode.nodeType()) {
case QDomNode::TextNode:
qDebug() << qNode.toText().data().toUtf8();
break;
case QDomNode::EntityReferenceNode:
qDebug() << qNode.nodeName();
break;
default:; // rest of types left out to keep sample short
}
}
}
// done
return 0;
}

我得到了以下输出:

$ make && ./testQDomDocument
g++ -c -fno-keep-inline-dllexport -D_GNU_SOURCE -pipe -O2 -Wall -W -D_REENTRANT -DQT_NO_DEBUG -DQT_GUI_LIB -DQT_XML_LIB -DQT_CORE_LIB -I. -isystem /usr/include/qt5 -isystem /usr/include/qt5/QtGui -isystem /usr/include/qt5/QtXml -isystem /usr/include/qt5/QtCore -I. -I/usr/lib/qt5/mkspecs/cygwin-g++ -o testQDomDocument.o testQDomDocument.cc
g++  -o testQDomDocument.exe testQDomDocument.o   -lQt5Gui -lQt5Xml -lQt5Core -lGL -lpthread 
Number of found <p> nodes: 1
node <p> # 0
node.toElement().text():  "Of course, xE2x80x9CJason.xE2x80x9D My thoughts, exactly."
QDomNode::TextNode
"Of course, xE2x80x9CJason.xE2x80x9D My thoughts, exactly."
$

瞧!现在,<p>只有一个子节点具有完整的文本,包括编码为 NCR 的引号。

不过,报价的输出xE2x80x9CxE2x80x9D让我有点不确定。(请注意,我添加了调试输出.toUtf8(),因为我之前??

对 UTF-8 编码表和 Unicode 字符的简短检查使我相信这些 UTF-8 字节序列是正确的。
但为什么要逃跑呢?
我的bash设置错误LANG

$ ./testQDomDocument 2>&1 | hexdump -C
00000000  4e 75 6d 62 65 72 20 6f  66 20 66 6f 75 6e 64 20  |Number of found |
00000010  3c 70 3e 20 6e 6f 64 65  73 3a 20 31 0a 6e 6f 64  |<p> nodes: 1.nod|
00000020  65 20 3c 70 3e 20 23 20  30 0a 6e 6f 64 65 2e 74  |e <p> # 0.node.t|
00000030  6f 45 6c 65 6d 65 6e 74  28 29 2e 74 65 78 74 28  |oElement().text(|
00000040  29 3a 20 20 22 4f 66 20  63 6f 75 72 73 65 2c 20  |):  "Of course, |
00000050  5c 78 45 32 5c 78 38 30  5c 78 39 43 4a 61 73 6f  |xE2x80x9CJaso|
00000060  6e 2e 5c 78 45 32 5c 78  38 30 5c 78 39 44 20 4d  |n.xE2x80x9D M|
00000070  79 20 74 68 6f 75 67 68  74 73 2c 20 65 78 61 63  |y thoughts, exac|
00000080  74 6c 79 2e 22 0a 51 44  6f 6d 4e 6f 64 65 3a 3a  |tly.".QDomNode::|
00000090  54 65 78 74 4e 6f 64 65  0a 22 4f 66 20 63 6f 75  |TextNode."Of cou|
000000a0  72 73 65 2c 20 5c 78 45  32 5c 78 38 30 5c 78 39  |rse, xE2x80x9|
000000b0  43 4a 61 73 6f 6e 2e 5c  78 45 32 5c 78 38 30 5c  |CJason.xE2x80|
000000c0  78 39 44 20 4d 79 20 74  68 6f 75 67 68 74 73 2c  |x9D My thoughts,|
000000d0  20 65 78 61 63 74 6c 79  2e 22 0a                 | exactly.".|
000000db
$

啊哈。这似乎是由qDebug()引起的,它转义了值为 128 及以上的所有字节。

QTextDocument text;
text.setHtml("&lt;&gt;&quot;");
qDebug() << text.toPlainText();

我发现这种方式,至少我不必硬编码来替换每个转义的 html 字符。