WordPressでサイドバーにリンク集を表示するウィジェットがありますが、ずっと存在に気がついていませんでした。お手軽で良いなと思い、使ってみたのですが、画像を表示させたときに、「画像」、「名前」、「概要」が横並びに表示されてしまい、どうにも見た目が悪い。

テーマを編集すればデザインの変更もできると思いますが、それなら、最初からテーマに直接リンク集を書いてしまった方が楽なのではないかと思います。（カテゴリ分けするなら、デザイン変更して、ウィジェットを使うのもありですが）
WordPressのテーマで、サイドバーを変更するには、「sidebar.php」ファイルを編集します。他のテーマによって違うかもしれませんが、私が使っているテーマの場合は次の場所に書けば良いです。

<div id="sidebar">

    <ul id="sidelist">

        <li>

ここに記述する

        </li>

    </ul>

</div>