В принципе вы можете попробовать в .bashrc добавить проверку на IP клиента, раз вы все время с вашего компа заходите.
Берете $SSH_CLIENT переменную, отрезаете первый столбец, сравниваете его с IP вашего компа. Если совпало - значит это подключились именно вы, и можно врубать ваши конфиги.
CLIENT_IP="${SSH_CLIENT%% *}"
if [[ "$SSH_CLIENT" == "10.20.30.40" ]]; then
source ~/.bashrc_Angel2S2
fi
Таким образом ваши настройки не будут подгружаться у коллег, и .bashrc не ломает scp.
Ну и можно несколько ваших машин перечислить.