<ul>
  <li><a href="#">Пункт &</a></li>
  <li><a href="#">Пункт &</a></li>
  <li><a href="#">Пункт &</a></li>
  <li><a href="#">Пункт &</a></li>
</ul>

Не просто можно, а НУЖНО, новичкам именно "ручками" без фреймворков и чужих заготовок учится писать все с нуля. Без этого, столкнувшись с проблемой в будущем вы не сможете ее решить, так как будете опираться только на возможности фреймворка, и если в нем не будет заложено то, что Вам требуется - упретесь в стену.