Большая часть олимпиадников выполняет задания на плюсах (скорость работы + возможность решить задачу несколькими способами), однако знать его нужно не на поверхностном уровне, если хотите стать призёром/победителем.
Там, где C# принимают, можете использовать его, так как чем больше знаете инструментов для решения, тем больше шанс выполнить задачу (сам так использую Java/C++).