見た目は空白なのに、普通の空白ではない文字

貼り付けた文章の行頭が、なぜか少しずれている。
検索しても引っかからない。文字数を数えると想定と合わない。

原因が空白にあることがあります。
空白に見えるものは、1種類ではありません。

空白の種類

よく混ざるのは次のあたりです。

半角スペース。通常の空白です。

全角スペース。日本語の文章では意図的に使われることもありますが、AIの出力では字下げの目的で紛れ込むことがあります。半角の約2倍の幅を取ります。

改行しないスペース。見た目は半角スペースと同じですが、別の文字です。ここで行が折り返されないという意味を持っています。Webページからコピーした文章に混ざりやすいところです。

幅の狭いスペース。数値と単位の間などに使われる、半角より狭い空白です。

いずれも画面上は「空いている」だけなので、目で見分けることはできません。

何が起きるか

まず、検索が一致しなくなります。
半角スペースで検索しても、改行しないスペースはヒットしません。同じに見えていても別の文字だからです。

次に、幅が揃いません。
全角スペースで字下げされた行と、半角スペース2つで字下げされた行が混ざると、見た目が微妙にずれます。

さらに、プログラムに渡すと壊れることがあります。
設定ファイルやコードでは、空白の種類が意味を持つ場面があるためです。

なぜ混ざるのか

意図して入れたわけでもないのに混ざる経路が、いくつかあります。

ひとつはWebページからのコピーです。表示を整えるために改行しないスペースが使われていることがあり、コピーすると一緒に付いてきます。

もうひとつは、生成された文章そのものです。学習した文章に含まれていたものが、そのまま出力に現れます。

日本語入力から入る場合もあります。全角モードのままスペースキーを押せば全角スペースになるので、書いた本人も気づかないまま混ざります。

対処

半角スペースに揃えるのが基本です。

改行しないスペースや幅の狭いスペースは、通常の半角スペースへ置き換えて問題ないことがほとんどです。
Suppinizeでも、この2つは半角スペースに変換しています。削除ではなく置換にしているのは、消すと単語がつながってしまうためです。

全角スペースは判断が要ります。
日本語の組版として意図的に入っている場合があるので、一律に置換すると意図が消えます。字下げの目的で使われているものだけを対象にするなら、行頭のものに限って処理するほうが安全です。

混ざっているかを確かめる

エディタで「制御文字を表示」の設定を入れると、空白の種類が記号で表示されるものがあります。

そこまでせずに済ませたい場合は、文字数を数えるのが早いです。
見た目の文字数と実際の文字数が合わなければ、何かが混ざっています。