В заголовок страницы , перед тагом </head> необходимо вставить

<link rel="stylesheet" href="style.css" type="text/css">

эта строка будет вызывать файл style.css и использовать шаблон стиля указанном в нем для всей страницы.

В таблицу стилей вставьте следующий код:
body { scrollbar-face-color:#5997CA;
scrollbar-shadow-color: #ffffff;
scrollbar-highlight-color: #ffffff;
scrollbar-3dlight-color: #5997CA;
scrollbar-darkshadow-color: #5997CA;
scrollbar-track-color: #F6F6F6;
scrollbar-arrow-color: #F6F6F6; }

------------------------------------------------------------------------------------------

В примере без подключения внешнего файла (придется одно и тоже вписывать на каждой странице, но некоторым это действие нравится). Вставляем весь этот код в заголовок, перед тагом </head>:

---
<style>
body { scrollbar-face-color:#5997CA;
scrollbar-shadow-color: #ffffff;
scrollbar-highlight-color: #ffffff;
scrollbar-3dlight-color: #5997CA;
scrollbar-darkshadow-color: #5997CA;
scrollbar-track-color: #F6F6F6;
scrollbar-arrow-color: #F6F6F6; }
</style>