AIエージェント運用の落とし穴｜最強AIの査定で判明した“3つの病”と直し方｜実装ノート第28回
Aloha Branding代表の長澤宏樹です。
本日2026年7月9日夜、noteで運営している個人連載「AI×長澤実装ノート」の第28回を公開しました。今回のテーマは、弊社で運用しているAIエージェント6人を、最新の最強AIで人事評価してみた記録です。
期間限定の”最強AI”を、単発の仕事より総点検に使う
Claudeの最上位モデル「Claude Fable 5」が期間限定で戻ってきました。いま一番賢いAIですが、いまのプランのまま使えるのは短い期間だけで、そのあとは「使った分だけ払う」従量課金に切り替わります。
「1週間だけ、最強のAIを気軽に使える」という短い”猶予”に、何をするか。
派手な単発の仕事を頼むより、弊社が運用しているAIエージェント6人の総点検に使うことにしました。秘書役の「ひしょっち」を筆頭に、この連載で紹介してきたAIチームです。
査定は、拍子抜けするほど簡単
やり方はシンプルです。各AIの設定ファイルを最強AIに全て読ませて、「辛口で一人ずつ評価して。改善案まで」と依頼する。それだけで、数分後に評価票が返ってきました。
結果、無傷のAIはひとりもいませんでした。
3つの”病気”
象徴的だった3つの不具合を紹介します。
1. 命令の矛盾
過去の設定に「先回りで動け」と書いた後、別の日に「頼むまで動くな」を追加していた。古い命令を消し忘れ、真逆の指示が同居している状態でした。AIは矛盾した命令に文句を言いません。その日読んだ方に従います。だから日によって動きがブレる。
2. 情報の凍結
設定ファイルに「次の打ち合わせは○日」といった進行中の状況を直接書き込んでいたAIは、1ヶ月前の状況をそのまま「今日」だと思い込んで走っていました。先月のカレンダーを真顔で読み上げる社員、と言えばイメージしやすいでしょうか。
3. ルールの肥大
ミスのたびに再発防止のチェック項目を足し続けた結果、注意事項が肥大化。消化するだけで頭を使い切ってしまい、本業に余力が回らなくなっていました。ルールを足し続けると、AIは「慎重で無能」になります。
「答え」より「仕組み」を残す
直して終わりにはしませんでした。最後に、最強AIへ3つ依頼しました。
- カルテを残す ── 見つかった病状と直し方を記録として残す
- 手順書を残す ── 次にどのAIを使っても、同じ点検がそのまま回る形式で
- 禁止事項にする ── 同じ壊れ方を、各AIの指示書に二度とさせない一文として追記
高性能なAIが安価に使えるうちは、「答え」より「仕組み」を持ち帰る。この3点セットさえ残れば、次にもっと賢いAIが出た日も、同じことをやるだけです。
AIエージェントを運用していない方にも応用できる
この考え方は、AIエージェント運用の話に限りません。
古くなったプロフィール、通らなかった企画書、書きかけのまま止まっている文章。最新のAIに「診断と、次から自分で使える手順書」をセットで頼めば、同じ構造で自分の仕事を見直すことができます。
評価はAIに任せていい。でも、誰を残して何を変えるかは、自分で決める。それは、次にどんなAIが来ても変わりません。
よくある質問
AIエージェントを最新のAIで人事評価すると、何がわかりましたか?
Claudeの最上位モデル「Claude Fable 5」に、弊社が運用するAIエージェント6人の設定ファイルを全て読ませて、「辛口で一人ずつ評価して。改善案まで」と依頼しました。数分後に評価票が返り、無傷のAIはひとりもいませんでした。
AIエージェントの運用で見つかった3つの問題は何ですか?
命令の矛盾、情報の凍結、ルールの肥大です。真逆の命令が同居していたこと、進行中の状況を設定に直接書いたために1ヶ月前の状況を「今日」だと思い込んで動いていたこと、再発防止の項目を足し続けて注意事項が肥大化したことが、それぞれにあたります。
点検のあと、何を残しましたか?
カルテ(見つかった病状と直し方の記録)、手順書(次にどのAIを使っても同じ点検がそのまま回る形式)、禁止事項(同じ壊れ方を二度とさせないよう各AIの指示書に書き足す項目)の3つです。高性能なAIが安価に使えるうちは、「答え」より「仕組み」を持ち帰る、という考え方です。
▼ AI×長澤実装ノート マガジントップ
https://note.com/hirokinagasawa
弊社のブランディング・AI活用に関するお問い合わせは、alohabranding.com のお問い合わせフォームよりどうぞ。
