Как можно разделить строку на массив токенов средствами stl?

Question

[pixik]

Добрый день!
Хочу научиться обрабатывать средствами stl без велосипедов входные данные следующего вида: "1 2 3, 4".
Запускаю программу так:
echo "1 2 3, 4" | ./my_program
В программе я разделяю stdin строку на массив подстрок таким образом:

string std_in;
getline(cin, std_in);

stringstream ss( std_in );
vector<string> tokens;     
string token;

while(std::getline(ss, token, ',')) tokens.push_back(token);

Можно ли достичь того же результата (массива токенов из входной строки) меньшим количеством телодвижений используя stl как то умнее?

Изменение #1

string std_in;
getline(cin, std_in);

stringstream ss( std_in );
list<string> tokens;
string token;

while(std::getline(ss, token, ',')) tokens.push_back( token );

Comments

[devalone]

как минимум можно использовать не вектор, а связный список или set или что-то с меньшими затратами на добавление элементов, вектор при добавлении новых элементов копируется полностью когда закончится буфер.

[Денис Загаевский]

devalone: а это вот заблуждение. Большинство исследований говорит, что вектор в среднем лучше, несмотря на реаллокацию. Связный список имеет накладные расходы в виде фрагментации, кеш-миссов, памяти на хранение указателей.

[pixik]

Денис Загаевский: укажите пожалуйста ссылку на одно или парочку подобных исследований.

[Денис Загаевский]

pixik: рекомендую для этого воспользоваться гуглом.

[devalone]

Денис Загаевский: если верить этому тесту microfork.com/stdvector-stdlist-stdqueue-preforman... то вектор действительно быстрее особенно для небольших типов данных.

Answer 1

[devalone]

Можно использовать boost

#include<iostream>
#include<boost/tokenizer.hpp>
#include<string>

int main()
{
   std::string s = "hello, boost!";
   boost::char_separator<char> sep(", !");
   boost::tokenizer<boost::char_separator<char>> tok(s, sep);
   for(auto it = tok.begin(); it != tok.end(); it++) {
       std::cout << *it << std::endl;
   }
}

Это не stl, но решение хорошее

Comments

[pixik]

Без придирок. Сейчас изучаю возможности stl чтобы меньше велосипедидть. Борюсь с циклами:

for_each(begin(tok), end(tok), 
	[](const string& line){cout << line <<endl;});

В бусте знаю, что есть встроенная функциональность по разбору массива чаров. По поводу STL нагуглить не смог. Но возможно в STL есть какие то хитрые функции, которые позволят сделать то же самое, меньшими усилиями.
Вообще может я не ту задачу решаю) Я хочу написать программу таким образом, чтобы можно было ее тестировать скармливая ей на stdin данные и проверять результат из stdout с эталонным. Но в программе в нескольких местах нужен пользовательский ввод на стандартный ввод. По этому решил, что в режиме тестирования можно подавать на ввод строку с токенами, а в боевом варианте ожидать ввод с std::cin. Но я не знаю как написать echo "..." | ./my_program таким образом, чтобы каждый токен попал туда куда нужно.

[devalone]

pixik: всмысле каждый токен попал туда, куда нужно?

[pixik]

devalone: К примеру, сначала мне нужно прочитать набор чисел из стандартного ввода. Потом построить дерево и спросить у пользователя какое число поискать в дереве? вывести результат на стандартный вывод. Я не знаю как это сделать с помощью одной строки bash

[devalone]

pixik: так?
echo -e 'string 1\nstring 2'|program
аналогично вводу первой строки, нажатию enter, вводу второй строки и нажатию enter

[pixik]

devalone: Да, чёт изначально ступил)

string std_in;
getline(cin, std_in, ',');
cout << "line 1: " << std_in << endl;
getline(cin, std_in, ',');
cout << "line 2: " << std_in << endl;

Если так сделать, все становится удобно)

[pixik]

devalone: Так как вы посоветовали получится, но тогда getline будет такой: getline(cin, std_in, '\n');