Класс, который вам нужен, называется AnnotationUtility, он internal, так что без рефлексии к нему не подобраться.
using System.Reflection;
using UnityEditor;
public class Test
{
[MenuItem("Test/ShowGrid")]
private static void ShowGrid()
{
var type = typeof (Editor).Assembly.GetType("UnityEditor.AnnotationUtility");
var property = type.GetProperty("showGrid", BindingFlags.Static | BindingFlags.NonPublic);
bool showGrid = (bool) property.GetValue(null, null);
property.SetValue(null, !showGrid, null);
}
}