合并两个单词列表

Merge two wordlists

本文关键字：两个 单词 列表 合并      更新时间：2023-10-16

我想将两个单词表合并到一个文件中。必须删除所有重复项。每个单词用换行符分隔。我找过这种程序，但什么也找不到。我在寻找正确的东西吗？是否有此功能的c/c++实现？

// read input
std::ifstream in( file_path );
typedef std::set< std::string > wordlist_type;
wordlist_type wordlist;
std::string word;
while ( in >> word ) {
    wordlist.insert( word );
}
// repeat with other files to merge more wordlists
// now output to a new file
std::ofstream out( output_path );
for ( wordlist_type::iterator it = wordlist.begin(); it != wordlist.end(); ++ it ) {
    out << * it << 'n';
}

文件有多大。如果你能把它们都记在记忆里，使用STL:比较简单

std::vector<std::string> v(
        (std::istream_iterator<std::string>( ifile1 )),
        (std::istream_iterator<std::string>()));
v.insert(v.end(),
         std::istream_iterator<std::string>( ifile2 ),
         std::istream_iterator<std::string>());
std::sort( v.begin(), v.end() );
std::copy( v.begin(), std::unique( v.begin(), v.end() ),
           std::ostream_iterator<std::string>( ofile, "n" ) );

或

std::vector<std::string> v1(
        (std::istream_iterator<std::string>( ifile1 )),
        (std::istream_iterator<std::string>()) );
std::sort( v1.begin(), v1.end() );
v1.erase( std::unique( v1.begin(), v1.end() ), v1.end() );
std::vector<std::string> v2(
        (std::istream_iterator<std::string>( ifile2 )),
        (std::istream_iterator<std::string>()) );
std::sort( v2.begin(), v2.end() );
v2.erase( std::unique( v2.begin(), v2.end() ), v2.end() );
std::set_intersection( v1.begin(), v1.end(),
                       v2.begin(), v2.end(),
                       std::ostream_iterator<std::string>( ofile, "n" ) );

如果它们不适合记忆，你可能需要对它们进行排序文件(使用system调用本地实用程序(，然后执行手动合并：

class FilterDuplicates
{
    std::ostream& myDest;
    std::string myLastOutput;
public:
    Outputter( std::ostream& dest ) : myDest( dest ) {}
    void write( std::string const& word ) const
    {
        if ( word != myLastOutput ) {
            myDest << word;
            myLastOutput = word;
        }
    }
};
ifile1 >> s1;
ifile2 >> s2;
FilterDuplicates out( ofile )
while ( ifile1 && ifile2 ) {
    if ( s1 < s2 ) {
        out.write( s1 );
        ifile1 >> s1;
    } else {
        out.write( s2 );
        ifile2 >> s2;
    }
}
while ( ifile1 ) {
    out.write( s1 );
    ifile1 >> s1;
}
while ( ifile2 ) {
    out.write( s2 );
    ifile2 >> s2;
}

#include <string>
#include <set>
#include <iostream>
int main()
{
    std::set<std::string> s;
    std::string word;
    while (std::cin >> word)
        s.insert(s);
    for (std::set<std::string>::const_iterator i = s.begin(); i != s.end(); ++i)
        std::cout << s << 'n';
}

用法：

cat input1 input2 | program > output

类似的东西。。。

std::set<std::string> words;    
std::string word;
while(cin >> word)
  if (words.insert(word).second)
    cout << word;

编辑：哎呀，太急于简化了。。。

如果您可以访问unix

cat file1 file2 | sort | uniq > file3
相关文章：