fMain fMa = new fMain();
Это зачем?
Этим вы создаёте копию вашей формы, а не используете ту, что уже есть.
Добавляю proof-of-concept:
public partial class Form1 : Form
{
public Form1()
{
InitializeComponent();
}
public void Selection()
{
if (!String.IsNullOrEmpty(rtbTextPad.Text))
{
rtbTextPad.SelectionStart = 0;
rtbTextPad.SelectionLength = rtbTextPad.Text.Length;
rtbTextPad.SelectionColor = Color.Red;
}
System.Console.WriteLine("selected");
}
private void button1_Click(object sender, EventArgs e)
{
Selection();
}
}