shai_hulud

Почитайте логи:
https://docs.unity3d.com/Manual/LogFiles.html

C:\Users\<username>\AppData\Local\Unity\Editor\Editor.log

Причина в том что с сервера не слушается не веб-сокет.
Веб сокеты это не TCP сокеты.

https://en.wikipedia.org/wiki/WebSocket

Еще WebSocketSharp глючная либа, которая ломается на iOS и Android когда приложение сворачивается/разворачивается. В продакшене лучше использовать BestHttp

выберите любой из предоставленных ассетов для бинарных форматов и скормите ему ваши классы/списки:
https://assetstore.unity.com/search?q=bson или
https://assetstore.unity.com/search?q=messagepack
Хотя на самом деле JSON местами компактнее BSON, и его тоже можно использовать. JSON.NET неплох. Если нужна мультиплатформа то вот JSON & MessagePack работает везде.

И не используйте BinaryFormatter, получите много разной боли при смене стуктуры классов, имен, версий. Юнитевский форматтер в JSON не лучше.