Who the F*** Am I?

こんにちは、Daniel Floresです。ソフトウェア開発者で、確か7年ほどの業務経験があります。

ここ数年は本当に目まぐるしい日々でした。私はGitHub Copilotのプレビュー版を実際に試した初期の1人だったと思います。おそらく2021年か2022年頃のことです。完全に驚かされましたが、確かにまだ粗削りな部分が多かったですね。

とはいえ、世間には全く知られていません。私は元々、著名人になるつもりも、「AIの行くべき方向を知っている」ような人間になるつもりもありませんでした。それは私らしくないし、それでいいと思っています。私はこの新しいパラダイムが、横から進化し、そして退化していく様子を見守ってきました。

What I Think About LLMs and "AI"

私は長年、このトピックに関する動画を見てきました。進化シミュレーター、学習アルゴリズム、かくれんぼを学習したモデル——その動画がOpenAI自身のものであったことに、完全に戸惑いました。

私はモデルの構築方法やLLMの専門家ではありません。博士号も持っていません。ただ、長年、自分のペースで活動しながら、どのツールが採用され、どのツールが役に立たないのかを見てきただけです。そして、こう言わざるを得ません。業界は一体何が起きているのか、わかっていない。私もわかっていない。誰もわかっておらず、それが一番嫌な点です。

LLMは非常に有用です。大量の作業時間を節約できます。ただし、それは話の半分に過ぎません。

So What's the Issue?

ほぼ全員——主にAIの有料宣伝者——が、あなたにこう言っています。「これらのツールを使わなければ、遅れを取るぞ！」

彼らは業界全体をFOMO（取り残されることへの恐怖）状態に追い込もうとしています。

この全く重要ではない恐怖について、私の個人的な経験をお話ししましょう。

もしあなたがすでに十分な経験を積んでいて、LLMとは何かを理解し、何かを作ったりリファクタリングしたりするようプロンプトを投げられるのであれば、あなたは何も取り残されていません。それが全てです。

これから説明します。古いGitHub Copilotで私が抱えていた問題——当時どんなモデルが使われていたかはわかりませんが、おそらくカスタマイズされたGPTでしょう——は、最新の最先端モデルでも今も変わらず存在しています。

どのモデルも幻覚を起こします。ある程度までは理解しているように見えて、突然わからなくなる。そして、ミスを捉える人間がループの中にいなければ、そのミスはチェーン内のすべてのエージェントに波及していきます。

これは、すでにさまざまなエージェントループ、CLI、ローカルモデル、APIホスト型モデルを試してきた経験豊富な開発者にとっては常識です。すべてが根本的に同じ挙動を示します。それは「間違い」ではなく、LLMが最も確率の高い次のトークンを提示しているだけですが、要するにそういうことです。

But You Should Still Be Scared

私は怖いと思っています——ただし、LLMや技術を取り逃すことではありません。私はすでにこれらのシステムの限界を理解している（少なくともそう信じています）。今も、それらを使ってより効率的なツールを構築する方法を学び続けています。現在はXiaomiのMiMo v2.5モデルを使っています。普通の「vibe-coder」にとっては、このモデルは最低です。しかし、熟練した開発者にとっては素晴らしく、非常に安価です。

私が怖いのは、業界の未来です。仕事、知識の売り方。

私は今、新たな立場を取っています。履歴書の応募書類には、LLMを活用したアプローチでは生成されたコードを100%レビューすることを明記しています。しかし、それは魅力的に見えません。標準的でもありません。だから誰も連絡をくれないのでしょう。それも一部は私の責任です——もっと上手な表現でスキルを売り込めたかもしれない——でも本当の問題はそこではありません。

誰もが与える標準的なアドバイスはこうです。「これらのスキルやツールを学び、新しいものを活用しろ。」そして次のものがリリースされるまで。ですが、彼らはあなたが自分の時間とお金を使ってテストしている間、給与を払ってはくれません。もちろん、そんなことはしません。

私は新しいことを学ぶことや次のモデルを試すことを怖がっていません。なぜなら、ほとんどのモデルは自律性や曖昧に説明された問題を解く点でわずかに優れている程度だからです。

私が怖いのは、業界が次のモデル、そしてその次のモデルへと、ひたすら高速で突き進もうとしているということです。新しいモデルの作成コストがどれだけ高くても、関係ありません。彼らは決して速度を緩めようとしません。

新しいモデルは毎日リリースされています。しかし、それに伴う単一の標準は存在しません。vibe-codingはすでに企業に浸透し始めています。私は、狂った組織がレビューされていないvibe-codedなソフトウェアをペースメーカーや組み込み制御システムに触れさせることだけは起こらないことを心から願っています。

The Real Problem: Drift

私は——そして多くの人が——これらのトークンギャンブルマシンが不完全であることを知っています。しかし、それらは有用です。ただし、欠陥があります。

私はすでに多くの実験的なワークフローやアプローチを試してきました。仕様駆動開発——試しました。ある程度は機能します。しかし、モデルがdriftを決めると、必ずdriftします。

仕様がどれだけ良く書かれていても関係ありません。モデルはdriftしたいときにdriftします。そして、ソースコード自体をレビューしなければ——たとえ最も重要なステップ、最終出力であっても——driftを決める可能性は残ります。このdriftは小さなバグや誤ったロジックを書くだけではありません。モデルがサブエージェントを呼び出し、単一の関数が存在すべき理由について極めて包括的で無駄な調査タスクを実行することを決めることもあります。これは一例に過ぎません。

モデルがdriftすると、その影響は無視できるものから致命的なものまであります。

人間もdriftします。私たちは怠惰です。そして正直なところ、ほとんどのLLMは純粋に技術的なレベルで、私よりも優れたコーディングをする場合がほとんどです。しかし、私にはプライドがあります——仕事に責任を持ちます。LLMにはありません。それはギャンブルマシンです。自分で決断することはできません。

私たちは決断できます。

What I Truly Believe

私はすべてのコードを100%レビューすべきだと言っているわけではありません。しかし、私は強く信じています。

  1. すべてのユニットテスト、統合テスト、エンドツーエンドテストは100%人間がレビューすべきです。 テストが理解しにくくても、エージェントにリファクタリングさせて、脳が実際に消化できるようにしてください。テストを理解できなければ、テストを信頼することはできません。

  2. システムの最も重要な部分は、毎回100%レビューする必要があります——すべての行を。 もしvibe-codedなslopのブロックが重要なシステムに触れて人を殺すようなことがあれば、私は人類への希望を失いたくありません。（現時点ではそれが起きたかどうかを調査していませんが、すでに起こっている可能性は十分にあると信じています）。

Conclusion: You're Not Falling Behind

はっきりと言っておきます。あなたは遅れを取っていません。

業界は急速に変化しています、それは認めます。しかし、誰も——本当に誰も——何をしているのかわかっていません。私も、モデルを構築している企業も、そしてあなたにコースを売っている連中も、確実に何もわかっていません。彼らも何も知りません。これはすべて新しすぎるのです。

99%の精度、有効性、効率性でLLMを現実的に使っている人はいません。この地球上に一人もいません。そう言う人は、物を売るために嘘をついているか、自分自身に嘘をついているかのどちらかです。

数ヶ月ごとに、誰かが最新のコース、最新のワークフロー、最新の「出力を10倍にする奇妙なテクニック」を売ってきます。そして、それが「時代遅れ」になると、あなたはより良いものが登場したからだと思うでしょう。しかし、そうではありません。最初から機能していなかったからです。

モデルが変わった。APIが変わった。 hypeが移動した。そしてあなたは、すでに存在しないツールに関するコースを抱えていることになります。

だから私のアドバイスはこうです。追いかけるのをやめましょう。基本を学びましょう。これらのツールが実際に何ができ、何ができないのかを理解しましょう。自分の判断力を養いましょう。出力の信頼性を判断し、捨てるべき時を知るスキル——それは決して時代遅れになりません。

hypeサイクルは回り続けます。回らせておきましょう。あなたは遅れていません。

自分に良いことをして、Pi Coding Agentを使い始めるのも良いでしょう。これは優れたオープンソースツールです。あるいは好きな他のオープンソースのエージェントツールでも構いません。opencodeも良い選択です。そして、ただそれを実行してください。スキルをダウンロードする必要はありません、何も必要ありません……ただ生のLLMが何ができるのかを調査し、そこから拡張していけばいいのです。

注記: ところで気づいたかもしれませんが、はい、私はこの投稿を修正するためにモデルを使いました。MiMo v2.5です。本当に修正されたかどうかはわかりませんが、良い結果を出してくれたと思います。私の個人的なタッチのほとんどを保ってくれました。元のドラフト全体に好きなemダッシュを追加してくれたくらいです。まあ、今日は許しましょう。